diff --git a/examples/brax_minatar.ipynb b/examples/brax_minatar.ipynb index ff2e5d5..9c9ed0d 100644 --- a/examples/brax_minatar.ipynb +++ b/examples/brax_minatar.ipynb @@ -20,11 +20,11 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 1, "metadata": {}, "outputs": [], "source": [ - "!pip install -r https://raw.githubusercontent.com/luchris429/purejaxrl/main/requirements.txt" + "# !pip install -r https://raw.githubusercontent.com/luchris429/purejaxrl/main/requirements.txt" ] }, { @@ -53,17 +53,76 @@ "metadata": {}, "outputs": [], "source": [ + "from functools import partial\n", + "from typing import Any, NamedTuple, Optional, Sequence, Tuple, Union\n", + "\n", + "import chex\n", + "import distrax\n", + "import flax.linen as nn\n", + "import gymnax\n", "import jax\n", "import jax.numpy as jnp\n", - "import flax.linen as nn\n", "import numpy as np\n", "import optax\n", + "from flax import struct\n", "from flax.linen.initializers import constant, orthogonal\n", - "from typing import Sequence, NamedTuple, Any\n", "from flax.training.train_state import TrainState\n", - "import distrax\n", - "import gymnax\n", - "from gymnax.wrappers.purerl import LogWrapper, FlattenObservationWrapper\n", + "from gymnax.environments import environment\n", + "from gymnax.wrappers.purerl import FlattenObservationWrapper, GymnaxWrapper\n", + "\n", + "\n", + "@struct.dataclass\n", + "class LogEnvState:\n", + " env_state: environment.EnvState\n", + " episode_returns: float\n", + " episode_lengths: int\n", + " returned_episode_returns: float\n", + " returned_episode_lengths: int\n", + " timestep: int\n", + "\n", + "\n", + "class LogWrapper(GymnaxWrapper):\n", + " \"\"\"Log the episode returns and lengths.\"\"\"\n", + "\n", + " def __init__(self, env: environment.Environment):\n", + " super().__init__(env)\n", + "\n", + " @partial(jax.jit, static_argnums=(0,))\n", + " def reset(\n", + " self, key: chex.PRNGKey, params: Optional[environment.EnvParams] = None\n", + " ) -> Tuple[chex.Array, environment.EnvState]:\n", + " obs, env_state = self._env.reset(key, params)\n", + " state = LogEnvState(env_state, 0, 0, 0, 0, 0)\n", + " return obs, state\n", + "\n", + " @partial(jax.jit, static_argnums=(0,))\n", + " def step(\n", + " self,\n", + " key: chex.PRNGKey,\n", + " state: environment.EnvState,\n", + " action: Union[int, float],\n", + " params: Optional[environment.EnvParams] = None,\n", + " ) -> Tuple[chex.Array, environment.EnvState, float, bool, dict]:\n", + " obs, env_state, reward, done, info = self._env.step(\n", + " key, state.env_state, action, params\n", + " )\n", + " new_episode_return = state.episode_returns + reward\n", + " new_episode_length = state.episode_lengths + 1\n", + " state = LogEnvState(\n", + " env_state=env_state,\n", + " episode_returns=new_episode_return * (1 - done),\n", + " episode_lengths=new_episode_length * (1 - done),\n", + " returned_episode_returns=state.returned_episode_returns * (1 - done)\n", + " + new_episode_return * done,\n", + " returned_episode_lengths=state.returned_episode_lengths * (1 - done)\n", + " + new_episode_length * done,\n", + " timestep=state.timestep + 1,\n", + " )\n", + " info[\"returned_episode_returns\"] = state.returned_episode_returns\n", + " info[\"returned_episode_lengths\"] = state.returned_episode_lengths\n", + " info[\"timestep\"] = state.timestep\n", + " info[\"returned_episode\"] = done\n", + " return obs, state, reward, done, info\n", "\n", "class ActorCritic(nn.Module):\n", " action_dim: Sequence[int]\n", @@ -316,13 +375,13 @@ "name": "stderr", "output_type": "stream", "text": [ - "/usr/local/lib/python3.8/dist-packages/jax/_src/ops/scatter.py:89: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=int32 to dtype=bool. In future JAX releases this will result in an error.\n", + "/home/yutai/miniconda3/envs/jaxrl/lib/python3.8/site-packages/jax/_src/ops/scatter.py:92: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=int32 to dtype=bool. In future JAX releases this will result in an error.\n", " warnings.warn(\"scatter inputs have incompatible types: cannot safely cast \"\n", - "/usr/local/lib/python3.8/dist-packages/jax/_src/ops/scatter.py:89: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=float32 to dtype=bool. In future JAX releases this will result in an error.\n", + "/home/yutai/miniconda3/envs/jaxrl/lib/python3.8/site-packages/jax/_src/ops/scatter.py:92: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=float32 to dtype=bool. In future JAX releases this will result in an error.\n", " warnings.warn(\"scatter inputs have incompatible types: cannot safely cast \"\n", - "/usr/local/lib/python3.8/dist-packages/jax/_src/ops/scatter.py:89: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=int32 to dtype=bool. In future JAX releases this will result in an error.\n", + "/home/yutai/miniconda3/envs/jaxrl/lib/python3.8/site-packages/jax/_src/ops/scatter.py:92: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=int32 to dtype=bool. In future JAX releases this will result in an error.\n", " warnings.warn(\"scatter inputs have incompatible types: cannot safely cast \"\n", - "/usr/local/lib/python3.8/dist-packages/jax/_src/ops/scatter.py:89: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=float32 to dtype=bool. In future JAX releases this will result in an error.\n", + "/home/yutai/miniconda3/envs/jaxrl/lib/python3.8/site-packages/jax/_src/ops/scatter.py:92: FutureWarning: scatter inputs have incompatible types: cannot safely cast value from dtype=float32 to dtype=bool. In future JAX releases this will result in an error.\n", " warnings.warn(\"scatter inputs have incompatible types: cannot safely cast \"\n" ] } @@ -358,7 +417,7 @@ "outputs": [ { "data": { - "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkoAAAGwCAYAAABWwkp7AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAB0DUlEQVR4nO3dd3gU1foH8O9uyiYhjXQCgdB7LzGAFAn9IioWFBFEURRUwIvKT0XFAtfeuJarYgOxISpVepEmgdBbgBBKQoCQbHrZnd8fyc7O7M7sburuJt/P8+RxZ+bs7JkIycs573mPRhAEAURERERkRevsDhARERG5KgZKRERERCoYKBERERGpYKBEREREpIKBEhEREZEKBkpEREREKhgoEREREanwdHYHXIHRaMTly5cREBAAjUbj7O4QERGRAwRBQE5ODqKjo6HV1szYDwMlAJcvX0ZMTIyzu0FERESVcOHCBTRp0qRG7s1ACUBAQACAsm90YGCgk3tDREREjtDr9YiJiRF/j9cEBkqAON0WGBjIQImIiMjN1GTaDJO5iYiIiFQwUCIiIiJSwUCJiIiISIVTA6Vt27ZhzJgxiI6OhkajwYoVK2TXNRqN4tdbb70ltomNjbW6vnDhwlp+EiIiIqqLnBoo5eXloWvXrli0aJHi9bS0NNnXV199BY1Gg3HjxsnazZ8/X9buiSeeqI3uExERUR3n1FVvI0eOxMiRI1WvR0VFyY5///13DB48GC1atJCdDwgIsGprS1FREYqKisRjvV7v8HuJiIio/nCbHKUrV65g1apVeOihh6yuLVy4EKGhoejevTveeustlJaW2rzXggULEBQUJH6x2CQREREpcZs6St988w0CAgJwxx13yM4/+eST6NGjB0JCQrBz507MnTsXaWlpePfdd1XvNXfuXMyePVs8NhWsIiIiIpJym0Dpq6++woQJE+Dj4yM7Lw14unTpAm9vbzz66KNYsGABdDqd4r10Op3qNSIiIiITt5h62759O06ePImHH37Ybtu4uDiUlpYiJSWl5jtGREREdZpbBEpffvklevbsia5du9ptm5SUBK1Wi4iIiFroGREREdVlTp16y83NRXJysnh87tw5JCUlISQkBE2bNgVQlj/0888/45133rF6/65du7Bnzx4MHjwYAQEB2LVrF2bNmoX7778fDRs2rLXnICIiorrJqYHSvn37MHjwYPHYlG80adIkfP311wCAZcuWQRAE3HvvvVbv1+l0WLZsGV5++WUUFRWhefPmmDVrlixviYiIiKqXvrAEgT5ezu5GrdAIgiA4uxPOptfrERQUhOzsbAQGBjq7O0RERC7ptZXH8MWOcwCAER2j8OnEnjbb7z57HQE+nugYHVQj/amN399us+qNiIiIaldxqRFeHmXbgwEQgyQAWHs03eZ7L2cVYPznuwEAZ94YBQ+tpuY6WoPcIpmbiIiIqkd6dqFD7TLzitHmhTWY8cOBCn/G+mNX0HfhJvG4sMRQ4Xu4CgZKRERE9YDBKCD2uVW4acFGjP5wu932n207AwBYdSgNAHD4YrbDnzX1232y4zEf7ahAT10LAyUiIqJ64Nf9F8XXRy/rIQgCtp++iit65RGmf85lyo7HfGwd7Gw6ccWhzz57LQ+5Rba3F3NVDJSIiIjqgWd+OSQ7bj53NSZ+uRfxCzZatS0qNWB/apZ4nKESTC3ff0l8ve5oOl7+4yjU1oilZRVUotfOx0CJiIjITWXlF2N/6o0q3cMoALHPrUKb59eI577bdV7WRjoa9Llkpdtdvcr2SS01GPHod4n4emcKfpUET1INdO65fsw9e01ERFRHfbb1DK7oizBvTAe7bbvNXw+gLHgZ1jGqSp9bbDAiv7gUft6eeG3Vcdm1whKj+LptVADaNwrE8TQ9sgtKUGow4qNN5uLR6yxWw6UsHF2lfjkbR5SIiKheWnnoMmKfW4VdZ647uyui3KJSLFhzAl/9fQ6/Jl60/4Zyj3yXiPxi2zlAvl4edu+z9khZkBNgMfpzSTJtFujjhRJDWeD05A8H0Or5Nfhg42nxelGpOaiKDHT/DegZKBERUb00Y2nZsvfpS/fXyucZjQL+PHgZKdfyVNtkF5SIr5/++WCF7m8KcpQIgoACB5boX8gsC4j6tQqTnT98ybzizcfLA8kZuar32Hbqqvj6vXu62f1MV8dAiYiI6rXMvOJa+Zw/D13GEz8cwKC3t6i22XvO8dGtvAqsItt11rH7FhvKgqlSo1F2/kPJiJG3pxYD2oQ7dL++LcPsN3JxDJSIiKjecUYBxKeWJYmvDUbllWGzfjSPIrWLClBsc/hiNn47cBHP/CpfxXYj3zwaJQiCbHTqcpZ51dr+F4eq9rG4fNosPMBHtY2HVoNP7++het3k38Pa2G3jDhgoERFRvbNoc7Ls+NtdKYh9bpXDVasrQ7qDR26h/dGgE+k5ikvtb/vv35j140GxEKTJa6uOia9f+uMoer66XlwRdz23SLwW4OOJsd2iFT/TlF+09kia4nUTP29Pu8HSyM6NbF53FwyUiIio3jl6WS++jm8Rinm/HwUA3KRQU6i6SAeRPD2U9z0L8vWSHf9LoaK12miUIJgDom93nUepUcAHG8qmzNIldZA8NBr8nnRZ8R6Xswpw+kqOODoVE+Kr8jRA15hg1WsAEBvawOZ1d8FAiYiI6p1NJzLE147m71TE38nXkHQhS/W6WpXqkAbesuOjl/W4JhkNUguSTHq+tgE7k69ZnZfmM2ltbE6bX2yQJW4/PbStattAH3lQ5+1hDinOLXDfTXAtMVAiIqI6Yd3RdIz/fBfOX1dfVVYbzl/Pw4Qv9uC2RX+rtikoVs6RSlHou3T0a/0x+1uG3PfFHvG1Kc/Jz7tsuf/ITrZrLQX5eqGhJFjr2awhXr+9k3gszW9qoJNPv7WPDhRfazR1I0gCGCgREVEd8eh3idh9NhNPSpKmneGVP825QqZ6Q0aLkSClUayT6TlQ2v0jLasA+1LK9l2zHKWJCvTBkVeGq/bF1N40EtWsfDrsxX+VFbO8p7yytkmpUZD1NSbED3f3isEXD/TCwXnDrEa8+rc2r357aUwHBOg88cLo9qr9cUeszE1ERHWKXrLaqzIEQVAcEcnOL8G1vCK0DPdXfN/FG/lYceASbuSbyw0Ulxrh5aGVTZ8BwNzlhxHXPAQtJPf6dleK+PrMG6PQbf5fyCksxXPLDwMATrw6wqokwMA24fC3sTXIf7ecwZT+zcWAzV9XVnRySr9YDG0fiZgQX9zdOwa/7r+IpXtSYTAKyMqXf/+8PLRI6BCpeH9/nSdWP3kztFqgXVQgkl4aVmem3Ew4okRERKoKig1On8qqKFuBAwC8+9dJm9fV8oCGvLsFCe9uxUGV3KNJX+3F23+dwgHJZrI9X1uP4lKjrFq12H7xXtmxj6RytodWYzU9l5lXjHm/H5Gd+7/y0ZufHo1XfZ5er20Ql/17lecRaTQaNA31g0ajQc9mDdGzaUMAZblbz1qUHbCnQ3Qg2kUFiv2uaxgoERGRqtEfbcfAt7bg0MUsZ3fFJn2heRQkp1B9REkQBHy4KVn1OgCcvJJjdc5gFHAttxiCoDxtllNYgjNXrQPKwhIjdp65phgomapgm8SG+gEw5xGVWgRsRaVG6CVlBfb+3xBxlVyf5iE2n2lLebVsb0/lX/tnr5krbVt+bn3HQImIiFSdLf/lX1vbfNgiCAK+230e05fsR1q2PMg4fy1ffJ2nkigNyIsyAkC/VqEAgO3PDBbP3fe/PbD0zC/mURalPdMWbT6j+pl5RQZxRMcWU3yilgc9WFLRe3zvGEQEqheFtGSqPi7d3FYqpqGf1Tm1gpf1DQMlIiKyy3L0wxm2nLyKF1ccwarDaXhxxVHZtYwcc52gqzlFlm8VFZXKg6jvpsThxKsjECHZvDVbIcfp1/3mDWr/s/aE1fXE85mqn7n1VAaKDcoBygNfmaffTM/gyIqxm1s7toWIpd6xDRXPt28UaHWuVYRyLlZ9w0CJiIjcwurD5mrRG45fwV9HzZvASitte6kUcwRgNbKj1Wrg4+UBjwosZ88vNlhtgRJgUVNI6vAlPfKLy6bMwvzlq8akG8iaRqWOp5WVA5g7sp3qPbMKrPen2/N/Q/DMCPW6RwDQTiEgApQLYK47qr7Jbn3CQImIyI3sOnMdoz/cbrOYYXWxV9ywthVYBCePfJcovu4v2e2+xCDg/PU8TF68F2uPyH/ZSzfAfe+eruJrW0nISvvCWSZaB/hYJ5Cbbnk8TY/Ptp4FAFzLtQ5w3vnrpGxJvmm609ND/Vf07d0bW52LDPRBr2a2c5X8FKYNAXOSt1SJwbX+/zsLAyUiIjdy7/924+hlPe75bFeNf5Yj+5FZ2nsuE0cklZ2lVh1KQ+xzq/BPivo0lS1KU2JAWSBjmaA98K0t2HLyKqZ9n4jnJKu4/jxoHpW6vXsT8bWt6a52L661OmeZ8KxUCPKmFqHi662SkaN7+8hrF320KRlXJFOHb9zeGQBwI886qDIxFZC01ECnHAgBwB3dG6tW5VYKlJ4eWjc2ta0qBkpERG5IaRWVGkEQcPBCljj9U1Ou5Rbh7s924V8f7VDMEzIlhN/1aeWCvO2nrbfmAICdZ5TPmyz754L4+nSG9Yo2k1Gdy1abRUrylSxzmkyMFpUh8yUjTO/c1RW/PtYXO88ob40yrKN1dez4BZvE1+N6lo0WXdFXfIPeDo0C8cQtrXBrV+tNb/tKRt0s6RRWw/mojD7VNwyUiIjquNWH0zF20d+Y83PF6uMsP3DRfiOJHMkIVOL5TFzKKsC4T3bi96RLFbpPRZQYjFDJk5YRygMbtWALAAa1iQAAXNEXIa+oFG+sPo6NxzMU28a9sVF1hGtczybo2Uw5aXpCXFPFoETKS1t2PU4yIuUojUaDp4e1xYf3dsd/xnWWXVNarWfSKMh6BZ1SHlR9xECJiMhNqO0PZs835RWfV0mSoR3hyJJ2qY82nRZfe2q1+HjTaSSev4GnliXhQma+rK0gGZFx5LnUpqHOXM11aOTFNAIXWJ5LZDn9BciX5Xd8aR0+33YWjy9RL4vwr4+22/1cSz2aNkSPpspBlIlpeizUIvEbABoH+2L33CEOfdY9vZvKjn291X/lazQanHh1BDY+PVA8py+o2RFId8FAiYjITexQ2BXeEXvPVS4nqFGwr+y4xM7QzfL95pGjEoMRP+w1T3nd/OZmWduU62WB064z19F+3lq8tc56yb3UUz8mKZ4vKjHC04Fq0CfTy6bcmpdvGTKknfWWHNoKbuRqKpmQLanN9NigluLrRff1sHrP2G7RDk9pKY3ybP73IEQpnHeEvc/18fJAy3B/NA0pq6k0rmcTm+3rCwZKRERuwjLf1nKURo2p4jOACiVSW27kqrT6K7dIedThjTXHbd7bNB33yp9l9ZBsFWwEgGJJrtDe580jKmMX/Y2vd6bYfC9QVk4AAAzGsmDPQ2E5vL0crqMqm8/+d6s5kfzBfrHi6xbhDazamlayNbYIQpW0iQhAmL83hrSLQMrC0UhZOFq1srYjHN0Db/O/B+HgvGHoFhNc6c+qSxgoERG5icw8+S+6Pw5eduh9gb7mGj9bT1610VLOsjxAvsUU2Y7T19Dl5XV4e5313mn2ClS+v6Fsms4yKVpJ4vlMdJdMV0UEyEdUTqSrJ2ibfFS+Kq60fMm70ijUcTv3aaCyh9zlLPPUX6CknlL7RoForVK0cfO/B2HdzAE2P0+r1WDfC0Px5eTeNtvZ8urYjuJrW8ncUh5aDYL81OtC1TcMlIiI3MT6Y/KaQGqjOZakIUFIg7K8l1IHMqAtAyXLEaU3152AUQA+3mx77zRbTl3JtXn9/Q2nMO6TXfhkS9mI09hu1qu5pJ6zUaQRMD+TUt2k/g4GEpY2HjeXBrCc3lo/eyBmDG5l9R5vTy3a1sIWIRPjY7HvhQT883yCLIgjxzFQIiJyEyM6yZeVZ+U7NpUiHQkqKjVi4ZoT6PDSOpy5ajtIOXddvsmrtHbQvpRMHLqoXC+pOplGnkxsVdCOCNCJ+TVKPthwGqczyp7ZU2v9629Exyh8fF/3CvXPYBSsRtosOXsKK8xfh/AAnf2GpIiBEhG5pffWn8KC1bbzYOoanad8tMLR3GPpyFCgryc+3XoGxaVGvLf+lM33mUZxTEollZrvrGQtpKpSK5gIAA/1b44wf/WA4L0N5ufNU8hH0mo1+FcX5RGrH6bepHjekVG9W9pFYHLfWLxzV1e7bcn1MFAiIrdTWGLABxtP47NtZytVlM9dWebztAx3bNNS6fue/+2I+HrlobJyAUajIFuur+ZGvnpdnbTsim+aq5Qcbo+tEaW2UQEOPQcAtKvgtFd8y7KaRl2aBMnOX82x/+dPq9Xg5Vs7OrSKTGmlHDkXAyUicjv6QvOUU2VrC7kjyxhAur+YIAgY8f42xD63CskZ8ik1W1W8Sw1GjPpwO8Z9stNqlZulRTZykaSVpR0l/f8IwOEgBwD8FRKrNRoNOjUOUmhtrVGQ/VVnSsZYjDhdvFGAEeWVtpX2X7Pniwd6ia+9PbQY3aVRpfpFNYeBEhG5HWkhvGJHyjJXs1KDsVKjIVVlOaKUdCELxaVGpGUX4Gpukbj6K+HdrbJ2adnqox5jF/2NE+k52J+ahRw700i2qlpXhmWQuyP5Gk5dycHxNL147qYW8k1ef9xXVpupd6x10cYr2YVooPPE8fkjsOPZwfj1sb64/6amVu2qYlLfWLx5ZxfxePLif7D2aFmSfSuVFW62JHSIxOS+sQCAF//Vvlr6SNWLgRIRubycwhKsOpQm/mItNZqDo2HvbUO6jUCguhWVGtDq+TVo9+JaZNmYiqoJlpWyl+5JRb//bEL8gk1YedC66rbRKNgtIXD0sjkocWQlHACcvmJ/Ob7q50lqEd2wSEaf+OVeDHtvG0Z+sF2saaSB8lTbi//qYHXOFBD6enugSUM/9GzWEHNHVm/w4e2pxd29rKt6A0BRJYPnl8Z0wPZnBmNifGwVekY1hYESEdWoz7edwZc7ztltZzQKSDyfiTyLUQ1BEND55b8wfel+PFu+C3xmrjxA+e+Wyi9PryhpzZzKbu5aWcfTrAMU0+az81ces7r2/sbTePKHAw7fv9TO1JvJ0Pe2OXxPQL7JrLT69ct/HFV9jyko3nVWvrHspPhmAIAW4f448OJQdGgUKF67p7d1AKNUBsCeg/OG4ZspfXBHj4pNpTk67WdJo9EgxsZqPXIupwZK27Ztw5gxYxAdHQ2NRoMVK1bIrk+ePBkajUb2NWLECFmbzMxMTJgwAYGBgQgODsZDDz2E3FzbS16JqHZk5hXjjdUn8OrKY7icZTvZ9/eDlzDuk11WvzyPSaZhTKMj/7VYjXVdZR+w6lZYYsBdn+4Ujy3rDNU0nVfFfmR/uPG0/UYSJQYj8otLHa7PpOaTCeaE5DaR/rKkc2ll6aQLWar3KCgxKI5wTenfXHzdsIG37M+H0mazFd2WBACC/LwwsE04HhtYth1JZwcDIF9vx7YmIffi1EApLy8PXbt2xaJFi1TbjBgxAmlpaeLXDz/8ILs+YcIEHD16FOvXr8fKlSuxbds2PPLIIzXddSJygDSnpu/CTYh9bpVqW9NqrJ8T5TvWZ+iLrNpa/oLddea6VZvK2JeSaXMa78sd53BNMpoV7cA2FBWRll2ABauPq25NYpp6cyRpuCKJ0SYlBgFxr29Ep5fW2UySt7e32sjOjTAzoTUW3NEZ62YOwM2twwGUJSt7aDUIUKlwLfX0Twfxr492iMf7XkhAysLRaBZqvS2IidK2JEpbfoQpbDarpHVkAPa9kIDlj/e1ujakXYTVucjAyu3BRq7N/p/WGjRy5EiMHDnSZhudToeoqCjFa8ePH8fatWvxzz//oFevspUDH330EUaNGoW3334b0dG2K7gSUc3af/6G1bmcwhIEKFQIbqDzVCzcp1TvpltMsGyD2MxqGFE6fDEbd366C60j/LF+tnkHdUEQcOZqLpqFNsBnW+UjWZXdbFbNo98l4tDFbKw6nIYdz95idd2UQN4s1P40zdc7U9A0xA+pDu4HBwC/JF4QE7pPSfKQIgJ0yMgpEqfQ2kYFyHKblMxMaCO+fvjm5gj190bf8iX29pLGAWCPxfdWbWSocbAvLpWPVqoFYB+M74anliWJx3/M6G/3803U6jIF+1kHW00aVm/gTK7B5XOUtmzZgoiICLRt2xaPPfYYrl83/8tx165dCA4OFoMkAEhISIBWq8WePXtU71lUVAS9Xi/7IqLqp1Q5ukAl4VVtafpJhf23YkKq/xfSzjNlgddpi6X1fx27goR3t6H182usplYGtg2vts+fueyAWOn64g3laUrT987XywM3t7a93cYrfx7DyE7K/8hUI92YttQoiKMxplVehSVlI1qm8x/e61gVay+PsgToJg3LArxbFEZj7FEbxOoYbc5R0qgEU9Il/b1jG1bLSODFG9YBqI8np97qIpcOlEaMGIFvv/0WGzduxH/+8x9s3boVI0eOhMFQ9sMiPT0dERHyv3Cenp4ICQlBenq60i0BAAsWLEBQUJD4FROjvIKBiKpGaen+pK/+UcxXUltuH6Gw9UJRSfWXBFBK+i0oNuDR7xLF4ysW04Drj12xfEuF/JOSicTyUbcVSfY3uDU9t4+XB/zs5MP4eXs4tOGsmlKDUcwRCirfVNcUqB1IzQIANKzkxqmbTmRU+D1qQVBLB5bkS6t53xdXPeUCujUNtvk5VHe4dKA0fvx43HrrrejcuTNuu+02rFy5Ev/88w+2bNlSpfvOnTsX2dnZ4teFCxeqp8NEJPOBQjLx8TS9uHpNKk8lJ0YpYXr5gUsOtasIpV/EM390fMVYReUUluCuT3dh3Cc7kV3g2J5t0hElW0UkgbJRnKqUmCosNcL0LTVNlRaXGmE0CuJ0lLdH9fwKaRvpQJVslf+9po1s20TaDpju7dMUbSMDMKR9ZEW7pygiQJ6PtPIJx6fzyL24dKBkqUWLFggLC0NyctlS4KioKGRkyP9lUlpaiszMTNW8JqAs7ykwMFD2RUTVz7R03ZLliJKtxGPpkvU2kf6qtX5+tUgCV3PwQpZiHSBpHrBpGnDd0aqNGNkinZZMvW49jbPiwCWr74spwVrnpVWpLmRmMApWI0p7/m+Iw/3LkVTNNo0oAWVVvk11rEIdTIq21KuZvFhk8tVcq3OWPBUStQGgb8tQLH+8L5Y8rLwXm8mCOzpj3awBCFTIj6uM6CBzoLRu5oBKlwYg1+dWgdLFixdx/fp1NGpUVuI9Pj4eWVlZSEw0D41v2rQJRqMRcXFxzuomEdkhrUUE2N5iQzpSVFxqlAVOb9zeWXydYrHTPVC23F3qem4Rxi76W7EOkHTaZPfZ6llF56gT6dZ5kjN/TMLqw+YUAkEQxJpCvl4eaGNnrzINzAGop1aDn6fFV2hVlrT6ebBkiq2wxCBujuup1WLRfT3QLioA79/TDWH+3g7tVXZvH/n01wfju6FFuPpqNqAs2V+JRqNBj6YNEa4wRVuThneMwsyE1vh2Sh+0reC+ceRenBoo5ebmIikpCUlJSQCAc+fOISkpCampqcjNzcWcOXOwe/dupKSkYOPGjRg7dixatWqF4cPLKru2b98eI0aMwNSpU7F37178/fffmDFjBsaPH88Vb0ROdvdn6sUYLRO6bdXtKbURKI2QJCtb/rLaduoqOr60Dt/sTBHPTfxyr/g68bz6qqof/rlgVQVbjWW7tUfS8b5kl3qTDH2hLHCT1jia84v1VCQALPsnVXwt3WetYQNvu4nDXWOCxamz6YNboXdsiFWbpQ/HYWgH5ako04iSl4cGXh5aeJWP6NzILxb/f3l5lu1NtnbmANzWvTH+eT7Bob3KpCNUADCyUyN4VdM0Xm3RajWYmdAGA9pUX0I/uSan/snct28funfvju7dy1ZOzJ49G927d8e8efPg4eGBQ4cO4dZbb0WbNm3w0EMPoWfPnti+fTt0OvO/HJYsWYJ27dphyJAhGDVqFPr374/PP//cWY9EROVsLZ2XVlMG5CNKlknK0hGl/BKDbEooULIp7DMWwcaCNSdQXGrES5ICltLihOM+kQdyH28yByJ/HryMK3rHtkWxTFif9n0i3t9wGr8dME8FnkjXo88bGzH247/Fc5b1opSYkqYB4O2/zMFXt5hgu0UhIwJ0MJSPKKktre/bKkx1BCinsDwYKg9gTPlId0qqkXtZJC+rJVxbshzZ8tBqrMoBELkKp9ZRGjRokM3chHXr1tm9R0hICJYuXVqd3SKiavbELa3wkSQQsRzFkK54s6ylJA2U9AUlyCsyX/f00KJZqB/OX89HgI/8x1lOBXamLywxIN0iMFp7RH3lrFRJqREo/7ebXvKZP++7iNu7NwEA/F6+ok0aqDlCLRjy8tAqbguT0D4CG46X5W0uP3BJHAWSDtbENQ+RBSVKBRkBiLWJTEGWKdleWrPKs5KjQK0VEq+v5yrnswHWwTNRbXKvsU4icktPD2srOxYAHEi9gVf+PAp9YYk4emEirQotLXxoFIANx+UJ1qZ8l0Ft5aVCfL3kv1x32qjeff8X1nXXPtrk2PYf0uk0aZK6n7c5cFOqZN24irV8lj0iT17+ZVo8vpjUG2O7mdMOSspziaTVxN+9pxsGtw3Hkodt53H+Vr6y0BSsNQqyzm+y/B47ykfhfe2i1BfVfPdQn0p9DlF1cOqIEhHVH+EBOnEV3IcbT4s5OqUGAeN6NpG1bT9vLVIWjgYAWM7mbD15VXZsCkIsV9JZ/jKeoBAMmexTqCCuL3RsvzPp1Nt1SUAiDaCkgeDus9dxU4tQccSmsm5qESo77lWeg6RUpfyaZLSmcbAvFj9Y8cBDadVZde5tpraqzdtDi57NrPOriGoLR5SIqFrpC0sw9uMdVuctV6CZnM7IgcFofe1AalnwYpn3Ylr51aq80KApCNl55rpYxTuvqBSHL2WL7ykqVa7RpFZqwJKtKtimURsASJZU9ZZ+/paT5jIm4z/fjcMXzddseSC+mdU5pT3GpJRqMql9700sR6ek+rUqC8i8tDX76yKK+6SRi2KgRETV6s+Dl3FQEgiY6uO8fWdXxfa7z2Zizs/Wq75MVbDVqnCHlO+1Jd1z7OPylWGWBS3VCjqevWZdUsDEtNz83j4xmHpzC/F815hg/PjITWJVaukWK9LEcenITopFnaQVSdYFMwFgct9Y2bFSzZ/HB7dU7TMANFTYg8xePaj2Nqa9/k4uC0wtv1cV3R7F0uLJZdOEh18eBgB4bmQ73NIuAp9N7Clrp1Tdnag2MVAiomplWSH7vXu6AQASOkSih8K2D4DtgCXpQpbieS/PspGmCTeZa/L8efAyDqTewMpDabK2+1Ksp9YA5f3DTBWeTdOEpQYBGyV5UaM6RSGuRShulBeMnPZ9ovVNALSTlCswbQZropSIDQBPDWktOzZIEtBNtYyCfG0XeVRKfDaNCqm+R1fxKbRpA20HbPYMbheBD8Z3F6t+h/rr8NXk3hjesWoBGFF1Y6BERNXKcqWWdEf1CXHWU0nqyoKEVhHKhQhNy9Z7NJVXdL79vzut2j6+ZL/iPaTTZianrsg3xf058SJaS7bYsLcsX9q/jPKVdI5uwhpssXeaqbJ2Vn6xWMlbmhiuVMNHaSWavRpFHg4u65fqEM0dDah+YKBERNXKchW+NMfIS2Upui0K6UsAgLTy6t66StzTJKN81KhLE/XtJ6b0a447Jcnmtj6vq+Q+hy9lY8g7W1FqMKpu5WJJo9FgVkIb8dhoFHAyPQfdX10vnvOXlEF4dWxHdIwOxAfju4nn7u1jvcm3rRVlQFnxxK4xwQCsp//UKK3kI6qLGCgRUaXkqYysXLyhvprLVi0ja2W/iE3TTy+N6SC7GhZQNgVVlYrOk77ai5/2XcCh8pyqRwe2sGrTqXGgbOVdaqb1vmwmls+eU1SKvGIDtp66qvIOa08ltMZjg8qmtQxG4F8fbZcFn6YNaQGgWWgDrHryZozt1lg817eldeL5k0Na2f3c36f3Q8rC0bLEcwDoo1DRG3C8uCSRu2OgRFQPFJUasOP0NVlhx6r4YvtZdHxpHTafyLC69sPeVIV3lLHMX7Llel6R7D1NGvrJrpuSjD2qOLIhreidoS+yGinZeuqqbGoqLVu5YndRqQHXFZbmO7oVSv9W5gDH1AWjIMimB9W2G7G0+d+DZMfSmk726Cy2Rvleod5SaIPKbYZL5I4YKBHVA6/8eQz3f7nHajVYZb226jgA4MGv/6nQ+2xtfmvp+d+OADDn6dgaOHp1bMcK9UPNXb2a4IPx3WXnDEYBnh5atC3PUzKtgJNuwyIIArLzlVfWpasEVpbu6W2eMjMFZpaBpbeDo2fNQvzsN1JhuarOVLl7y78H4YXR7bHmqZuxec6gSt+/op4e2sZ+I6IaxECJqB5YuqdslMe0lUZtmW8RwEg3TJ3Sr7lVe1MpASlTsGC5X9lPj8aLrztEq+cYVUSvZiEoNshH3UyBwpqnbkbSvKFiAvWkvubEdH1hqepU1BiFmlJSPZs1hIdWI0vMNt3ru93nK/4QKMs5Mgmp4OjPmC7KG4rHhjXAwze3QPtGgYplC2rKExYrAYlqGwMlInLYkj3n0e7FNQ617dE0GA/Ex8rOBfp4IfGFBBx6eRjmWeQcAcCU/tbBkylQspxi69PcnDujNv327ZSKVaD29tQi0aJKt6kukVarQbCkRpG08nepwYgzV+Wr5Rwx8aZm+PnReBx9ZTiCfM3Bx+rDaYrtV6mcV/L5xJ5oHOyL/z3Q035jCa1Wg0cGWOdq1aaXFf5sEDkLtzAhIoeZpsMc8cQtyiMBoZJk5Af7xWLx3ynisVKCuCmR2XJESUptJZrl8vk/ZvTD23+dwrHLetm2HlITb4rF97vNeVbSvdOkpEnV13KL8da6k6r9U7Pt9FVotRr4aOV5QZXdbFZqWMcoDKtkTaLpg1sh6UIWOjqpBMD4Pk0RFqBTTEwnqm0cUSKqZyqSUF1R0uDDkSTr50e1lx1fVQhezpUXo7QVKNlafv/ELeYVX12aBOPbKX0Up/hMooPlW2l0aRKs2E4anH248bRDO9w/M0K+OfD568or6No3ClA8/8Lo9ornq1uQrxd+ejQeL42pntyvivLx8sC/ukRXeNqQqCYwUCKqZ+zt+1UVWZKEZoMDpQAsR05ahvtbtTFtYXE6I8fqmolSkvi4HmW1j6YNbImx3aLxuWRrDKUgLjKwbIQowMH8mzaSytvJGblWhS+VPNhXPrXYrbx2kSV/nfJgv+XKPyKqeQyUiOq4T7eekR2XVvOIknSEKqfQHCgZHfycHx+5CVNvbo7nRrbD0Pby5e/SqTilIMok0Mc6sPi/Ue0AAA10nvhgfHfZNJTS4NT0weaRp/sl26Kof6Y5oCoxGMXgS6ngo4mHVoPlj/cVj9WW2f97eFvF86ZgjohqD3OUiOq4hWtOyI5LKzmitC8lU/F8WZDggdWH02RbhThajzCuRSjiWpj3Ijs4bxi6zv8LQNm0m85Ti6JSI5raWPIuTew2keZCWVKaJouX9GHOsLIg6/buja3aKRnUNkIcqfP20KJz4yAcvpRt1c7bUysbeVIbdVNbVeZdhSrkRFQ5/FtHVM/kFNreq+zs1VzEPrcK764/JTuvtqqr1CggLbvAaj+1+BaVS8QNkux3VlBiEEesPD00eCC+bEm+tDgjULacPmXhaIdzeJSm16Sr2IL8vPDabZ3Rs5lyVWpLx9KykZyRW95PrbgRsNQrt1rn+1Q0X6yqxTWJqOIYKBHVM6M/3I5kG/k+t7yzFUBZgrJUA5W8mZJSI85ezbM67+tAcrOaduX5P4UlBnGq0MtDi1kJbfDmuC5YdF8PxfdNiGuGgW3C7e5XdjLd+vnV8oIcsftsJiICykawLmcVoFWEv9WWK7e0i7B6X3SQY5vlmlRoBxgiqhYMlIjqGX1hKR7+Zp/sXHZ+CYa8s8Vqms5EEATM/umg4rWZPyahoLh6tkYxMa0oy5RsCeKl1aJhA2/c3TtGNuok5evtgW+m9MHLCqM3Uk8lWJcuqOq0lmlwqHVEWS6VNLE9NtQPMZKpw/fu6YpuMcGYcYv9Pdiqs49EVHHMUSKqh1IslqV/uOk0zlzNwxmLxO8jl7LRqXEQms9drXqvraeuVmjTV0eYpgeTLmSJ53y8qy9IUFqhVplprUAfT+gLSxEd5INSY3mOUnkw0yzUHBj9y6La9e3dm+D27k0q/HkV21SYiKoD/3lCVMc1Dlaf3lm6JxXP/3YYX+44p3h9whd7kF9sO6epRpTHLCfSzFNklpu1VoWHVoPPJ/aUFaSsTKD02KCyEaG+rcKwL6WsondhidHqfkWl1TPi1jxMfeUfEdUMBkpEdVx4gPLqr3PX8vB/vx3Gkj2pitcBQF9YgqKSmqu7pCamvF7QrrPXa+wzhnWMwu3dzSM9Ho4u05MQUDbCs/XUVZwuT+b+eHMyAHmBTKUVcBX1wfhuTOYmcgIGSkR1nFqByesqW3hIjekSLRZ8rIjZVdzx3bOWAgLpTJa2Ep/52/5LAOSVwU21kaSTZLvPKpdWsOXxQS1lxwySiJyDgRJRHXf0sl7xvCMr0w9ezML4z3dX6PMCfDzxpJvs+F7V2ptKW5CYCldKC26O761ehFLNv4e1RefGQeJxfjUnzBORYxgoEdVhZ23saG90IDH4/PV8ca81R5lqHVXFxhMZVb5HbdB5Wf8INe0VdyPfvGKvbZTy3m22aLUadJIESvqCEhutiaimMFAiqkWHL2ZjwJub8dfR9Fr5vNdWHRdfS1dhAWU1iiojzF+HE6+OUL3eLcb+nmeuwmCsWv6V0uo5TXlu0ujOjcRzXh6V+1ErnW2r7q1niMgxDJSIatGYj3cgNTMfj3yXWK333XwyA7HPrcLP+y7IzkvzkCyniRwZUVJyS7twWRVrqSduaYWE9taFFavKtG9bdcvMq9oozb19rPeEMyWFRwT6oEVYAwDKxSYd8cNec6J9Rat4E1H1YKBEVAc8uPgfAMCcXw7JfqHamvKxt5WJmlJD2f2VNqId1DZcHFGpTv1bhdtvVAmD2lbtvkpJ5346cxC5duYA7H9xKKJtlGiwpVWEuRyAo5sME1H1YqBE5IKyC0ow8cs9+CXxot22lkUIpVNqjYPLptsGtrEOCJqFNqhU31YdTgMAPNS/hdW1iACfSt3TkuUWJBGB6hvcVkX7RoHYMHsADr40rFLvV1qJJt1c19tTi5DyVXCV8dxI80iaF6tyEzkF/+YR1ZLcIsdHcCYv3ovtp6/h3z8rbxti8ubaE1ZVs6Vh09ryXKiYEOsRjcquNi8qLcvrmXFLK/z0aLzitaoa10NetTrMv2YCJQBoFRGAIF/lLVHsiQqSB4ahDbyrdUQttIH5ue/sWfFK3kRUdQyUiGrJIcl2HPYcSLXfttRgxH+3nLE6L516i5b8Iv9sYk9Zu6rO5HhoNejTPMTintUzPVTZwKW2tW8UKDuu7lpHXZoEYeJNzfD8qPY1GiwSkToGSkS1JK+KdXByi0rx4OK94nYjaoHOEUkVaEN54NKlSTCGd4zCtIHmIobVFdTUhMYNzSNgt3WLttHS+cZ0lVT3ruZASaPR4NXbOmHqAOtpTiKqHQyUiGrJ6Ywc+41s+M+aE9h88ipeXXkMJ9L12HD8imK79cfM502jS6aVWJ9KNr115Q1WPbQa/PRoPG7rFo35t3Vydnds+nB8N/E1a2cT1T0MlIhqibaKuSvf7T4vvh7x/nY8vmS/Yjvp1Jtp1Mg00tFIMhVnOSK149nBNj9/aIdItG8UiG+m9JGd/2pyL/F1ZesFKenTPATvj++OQB/XnoaT5iTVxIo/InIu6/W9RFQjaqsOjrQwoameomkfs65NgpGWnV5+zdzu2RHtVGsjmXSKDsL/Huhldf6WdpF4bFBLZOWXoHlY5VbSERG5KgZKRLWktgKlIkl5AFOOkmnqbeqA5uJKuJ/2mUsPTBvYwu6qPFvpN8+OqJmCkO7mqgMbDRORe+HUG1EtsdyCQi1HKDOvWPG8o45cNidzm0aNTDNi4f5lU29+3h74db85UNJoNHZHlDJyGASomRBXVqH7rTu7OLknRFTdnBoobdu2DWPGjEF0dDQ0Gg1WrFghXispKcGzzz6Lzp07o0GDBoiOjsYDDzyAy5cvy+4RGxsLjUYj+1q4cGEtPwmRfZb7iqmNMJ1MV076HtExyqHPOXUlF7HPrUJyRo44omTKjzKl0CjFaNL8ovljOwIAbm4dJp5rHelv9R4q89ptnbD3+SEY262xs7tCRNXMqVNveXl56Nq1K6ZMmYI77rhDdi0/Px/79+/Hiy++iK5du+LGjRt46qmncOutt2Lfvn2ytvPnz8fUqVPF44CAiu/UTWTLf9aewMUbBXj/nm6VXgJusKjFWGoU4KkwiKO0bF8QBERWsDr1G6tPSEaU5H0WoByknXljFAxGAd6eWtzevTEu3ijAyA+2K96DzDQaTbVVJSci1+LUQGnkyJEYOXKk4rWgoCCsX79edu7jjz9Gnz59kJqaiqZNzZtRBgQEICrKsX9tE1VUicGIT8oLOz7YL1Zxx3hHlFpESmp1jCyn6H7Ym4pFm5Nx8UZBhT7vem4R0vWFAMzJ3LZGlICyYMgUEAX4eKGBt3nTWKV9zYiI6jq3ylHKzs6GRqNBcHCw7PzChQsRGhqK7t2746233kJpqe2k1KKiIuj1etkXkRrpthxVScg+eUU+pVZqFLDlZAZm/5SE7AJzQLL5RIas3dzlhyscJJncyCu7r6F8I1vT8nVHtxrx9DAHR55at/pxQURULdxm1VthYSGeffZZ3HvvvQgMNG8b8OSTT6JHjx4ICQnBzp07MXfuXKSlpeHdd99VvdeCBQvwyiuv1Ea3qQ5Izy4UX1dlUGX76WuyY4NBwMPf7EOpUUBMQz/MGtoGAPD1zpTKf4jEwYvmpO4AH0/Zfx1VnXWRiIjckVsESiUlJbj77rshCAI++eQT2bXZs2eLr7t06QJvb288+uijWLBgAXQ65ZyOuXPnyt6n1+sRExNTM50nt7fqUJr4usRQfUv8i0qN4jRbckZule61buYAfL/7vKwopdS13LKVdA28K/ZXXhpYpWVXblSLiMidufw/F01B0vnz57F+/XrZaJKSuLg4lJaWIiUlRbWNTqdDYGCg7ItIjTTxudjBKStH3PzmJvH1qsNpNlra1zYqAJ2bBKlev5pTNiomzUFyhI+XBwa0CYeHVoNx3L2eiOohlx5RMgVJp0+fxubNmxEaGmr3PUlJSdBqtYiIiKiFHlJ90KtZiPh63dF0DGgTXi33rc7RKQD4JfGi6jVPyRSat4cWBUZzUcpHB9recPVbiy1LiIjqE6cGSrm5uUhOThaPz507h6SkJISEhKBRo0a48847sX//fqxcuRIGgwHp6WUVhUNCQuDt7Y1du3Zhz549GDx4MAICArBr1y7MmjUL999/Pxo2rNzKJCJLvyReEF/HhPg5sSe25RerL2Lw9jQHSl4eGkhyxxHuX7GyA0RE9YlTA6V9+/Zh8GDzRpymvKFJkybh5Zdfxh9//AEA6Natm+x9mzdvxqBBg6DT6bBs2TK8/PLLKCoqQvPmzTFr1ixZ/hFRVekkxY6CfWtug9b84lL4VTCHCACeLk8CD7LRt17NzP9w8Pb0AGAOqqq6WS8RUV3m1EBp0KBBqts4AOpbPJj06NEDu3fvru5uEcl0axqMH/eVjSpduJFfY5+TdCELfVuG2W9owat8tGh4xyj8nXxdsU2LcHNV7ax8+RYpLI9ERKTO5ZO5iZytRFIo0keplHY1ue9/ezDv9yMVfp9pw9vhDm5xYlnQUstIiYhIFQMlclup1/Mx6au92GFRn8gWfWEJXlt5DIclNYbsOXa56gVJHV0t9+0u8/L+bxxMojbNnFV2Ck3DqTciIlUMlMhtLVhzHFtPXcVjSxIdfs87607iix3nMObjHQ6/J9jPW3xdUsnK3NL6Rk8Oae3Qexzd28203D+kgbedlsr+PHjZfiMionqKgRK5rUPlo0I5hba3rJE6XYnCjrlF5iViJZY72zroyCXzCNaA1o7lIVV0yxAPrQanXhuJ5Nfl+yd+ML6bzfd1bxpcoc8hIqpPXLqOEpEt9pL9lVRmlun73ania8uNbR3124FL4msfL8fynLw8HOusNHiTlgEwaRsVYPP9Q9tHOvQ5RET1EUeUyKnSsgvw0cbTuJ5bVOH3VmYSTLr5bGX8bKOoo6McDZQ0cCxQ0hdYj6itnzVAfO1pJ1lbKbgiIqIy/AlJTnXnJ7vwzvpTGPXh9gq9TxAEpEk2q3XUkUtVS8zu0iS4Su8HHB8pCvF3LOfo483JVudahPsjvkUomjT0RWxoA9m1B+KbOXRfIiJioEROdimrbKPVK/qKjShVdW80Z2qgc2zG21+hnc5TC18vD8Q1D1F4h5mHVoMfHrkJO569RbZ9CQDMH9sJ/zyfIB7bm5ojIqrPmKNEbmnNkfRqv6cgCPjxnwtoGxWA7k2Vt8CpTF6UpbAqbBnyyf090L9VOEoMRnR8aV2l7xMeoEPKwtGVfj8RUX3BQIncUk1su7Ej+RqeW34YAMQgYu+5TFmb7RWo2VTd1s68Ge2iAgEwr4iIqLbwpy25pQx9xfOT7ElWKB3w+JL9VucMlaylVBmjOzcSX4f4Kecs3exguQEiIqo4BkrksnYmX0PCu1utRnUAYI/CuapS2lT2msJqvMrWUqqMwe0ixNdqFbRbhDVQPE9ERFXHQIlc1n1f7EFyRi7u/mxXrXyeo+lHtqbfVhy4hNjnVmHlocuK25b8+ljfCvVJurJfbbaxVSSTsYmIagoDJXIL+sKq1T9yhKMTaptOZKhem/ljEgBgxtIDaPPCGvG8rjynKCrIp0J9KjWYe2VZf+nHR27Ck0Na497eMRW6JxEROY6BErmF1Ov5Nf4Z0hVtRht5SD/sTVW9pnZP063t1H4UfTaxZ1k/JH3ytljmH9ciFLOHtrFa/k9ERNWHP2HJLSjlDzkiv9jxfeAu3CgQXydfrfiecEpMid+mgMdUbXvO8LY23ze8Y1T5+8znHC1USURE1YeBErmFipYvEgQBI97fhg7z1uH3pEv23wDAYDTnFH2zM6ViHwjllXimQMfUfdOIUhuLvKJHB7TA5L6xAIBnRpiDqKJSg/haLZmbiIhqDusokUtae0ReeVuwkUHUViGZecGaEziRngMAeGpZEsZ2a2z3M4N9zcvvC0vsr2z7O/kakjNyMak8wHly2QGrNqaRJHFEqTzYsQx55o5qX/7fdtB5mnOR1tZAYU0iInIcR5TIJU37Xl6/6EBqluw4MtBc3drL03qk5fNtZ+1+hq0q27/uv4jsghJEBJR9zqon+1u1mfDFHrz0x1HsOXsdALD7rHXJAtPUm+mjTINCmfnFip8rDZIAoH2jQNsPQURENYqBErkMW0UkTavJTJpLagcZK1nWSF9gO3/piR8OiONYGqsxIDPTfnVKDIIgC8hMFcWl5178VwfV94/p2kj1GhER1TwGSuQy3l1/yuG2KdfMq+CMDiYwFRQbZMd/n7G9HUleUSmu5pQVnLSVHmTr4wWjPCHblKN09mqeeK55mJ/q+3s2C8FnE3ti7cybbfaViIhqBgMlchmnFbYQUdM0xBxcOJroXVgiD5QaWmwJ8vrq47LjxPM3xNe2AqXMPOVpNADILS6VBXKmkam2Uea8qsMX9eo3R9kKONMeb0REVLsYKJHLkAYm9pRI5tscHVEqtth6pCJ7tmmgQdeYYMVr2QXqxTB/TbwoC+Q05X/jRnYyT6lFSPKtiIjItTBQIpfka1GF2pK0YrWjgVJekTwnqbQCyU36whK8c1cXAECAzlO239vHm5MBAON6NLF6X8q1PFn/TDlK0hGqm1qEOtwPIiKqXQyUyCXZKgcAyDemVYqT2kT6W53LK5JPvZmCLVur30xOXcmBt0dZ8JZTVIrWz6+xatPQz7oo5vIDl1BqlE69lZFW2W5UwW1NiIio9jBQIqfytNjTY+yiv3EhM99u3pGpRhKgPKKkVUgqupZbJDsuNQqY/VMS+ryxEZdtrFwDgK5NgqFV+dvSrjzfyKDS6b3nrlv1S6vV4NDLw5A0b6jVHm5EROQ6WHCSnMZoFGSjLQBw8EIW5i4/bJVPZPM+DqYaWQdKRizfX1a1+4vt52y+t1PjIKRlKwdTJ9JzIAgCNh5X3iw3t0haXdt8PtCnctuyEBFR7eGIEtWIrPxixD63Cje9sVE1aXqFytYi5zPzFEeU1KbI7E3TmVj2Q7pazdfb/l8FLxubz24+mYHUTOWNe70le7RxFxIiIvfCQIlqRJ83NgIA0vWF2HD8CoCy7ThWHDAHR0cvKy+LLy41wkNrHVFk5SuvLrOXkx3gUzZwakq6NpFOz6Vlqxe7NPFSm3sDMOXrfeLrxwa1lF07JnlOpSlBIiJyXZx6oxpRXGqOXspyjgRM+z4RANC3ZSgiAn1wQ6X+0BV9keL542l69G0VhtTr8pEbpZEm6SnTNiQXb8inzqTbokgLQKpyMMbxsdiGZL1kSo6BEhGRe+GIEtWK7afNVbCvlucKLT+gPPWmJrd8ef9n287Izl9WGA06ecWc7G0KmixXwv26/6L4OulClurnfjmpV/l9HJvis8yFOp5mHlFimERE5F4YKFGteOCrveJr0x5rjYN9K3SP8AAdDEYB205ftbqmL5RPy8WEmO999lrZaNGgthEV+jyTyMCy5fu2VqcN7RApvm6tUJrARKswpUhERK6LgRLViNGd1TdzNSVfx7UIsXufyX1jxQRoLw8tPt16BhcyrVefvbbyGAAgLbsAt7y9xapNblEpzlRgixQp03SZrUBp/bEr4mtPG7lMRETkXvgTnWqEn7d6UGFKvu7RtKHd+9zSLgJR5SM6ggB8vTNFsd1P+y5i3dF0xC/YJI4gSd3IK0ZIA2+Fd9onTSzv0iTIbvuzVysXkBERkethoEQ1wlOyJP5arjxpOzO/7Lio1H6tJC8PrTiio1bQ0eTR7xJVr5UahUonUocHmPdic6T20bpj6Zg7sl2lPouIiFwLAyWqEQ28zQsqm4f5ya79t3yZvjTJWY2Xh0asiG1ZgVuphIAag0JxSzX/e6CX7Fg6EmWZqK3Ez8sTjw5sabcdERG5PgZKVCOkoz/FBnmAYgp4TCUEOjQKtHkvj/KRIKNFoBPX3H6Ok4kgCA5vgtukoXqSuXTrFDUNdNyShIiormCgRDXCtLINAEottiPx15WNNv1x8DIA4Hi6+shSqVEQV4p9uvWsbHn9zjPXld8kYRp0MgiOjyhVZKRKSai/TvH8iI5RVbovERHVPqcGStu2bcOYMWMQHR0NjUaDFStWyK4LgoB58+ahUaNG8PX1RUJCAk6fPi1rk5mZiQkTJiAwMBDBwcF46KGHkJvLZFpnu5RlLgpZajGipLHIFbKVeuSh1Yi5RRuOX0FGjv2pLylTbHT2ah5WHUpz6D1ajfooVx8HRrHevrOr4vlhHSMVzxMRketyaqCUl5eHrl27YtGiRYrX33zzTXz44Yf49NNPsWfPHjRo0ADDhw9HYaG5wOCECRNw9OhRrF+/HitXrsS2bdvwyCOP1NYjkIo8yUawr68+Xun7aDUaceqtKh5fsr9Cn/nztHjc3DoMb9zeWXatc2PzqjelKboP7+2OID/lhG9PG3vFERGRa3LqT+6RI0fitddew+233251TRAEvP/++3jhhRcwduxYdOnSBd9++y0uX74sjjwdP34ca9euxRdffIG4uDj0798fH330EZYtW4bLly/X8tOQ1OFL2arXxnSxrrHUJ1Z5pEarkVfZrg1ajQYNdJ747qE43BfXVHbtkmQblPtvamb1XmkgZarobWIr94mIiFyTy/4T99y5c0hPT0dCQoJ4LigoCHFxcdi1axcAYNeuXQgODkavXuZfSAkJCdBqtdizZ4/qvYuKiqDX62VfVHtKLKbiBrQJt9pI1sTekv5371ae5qoKW5956GKW+Hr/+Rv4YHw32fXYUPMKP8tK4N1jgquje0REVItcNlBKT08HAERGyvM6IiMjxWvp6emIiJD/MvL09ERISIjYRsmCBQsQFBQkfsXExFRz78mWIF/51NSzI9picLsIPNS/uVVbe7WTbCVeNwv1U71mi63C2tJ95U5dycHYbo1l1y3zrxy9RkRErsllA6WaNHfuXGRnZ4tfFy5ccHaX6pXkq7lIvW5O9jatggtTWC12zUbydp/mIVaJ4lJqI0OzEtqgR9NgAGU1krpaVNu2tVWJ1KS+sTavc1s3IiL352m/iXNERZUtpb5y5QoaNTLntFy5cgXdunUT22RkZMjeV1paiszMTPH9SnQ6HXQ65SXc5JiUa3l4ffVxPD6oJborbEUSE+KruCcbAHy+7SwuZJoDJdOokL+P9R/HAW3CVfuQoS+ErUEatUsNdB5YPLkPtpzKwNAOkSgxCOj6yl/idUcDJWnFbqVjjiAREbk/lx1Rat68OaKiorBx40bxnF6vx549exAfHw8AiI+PR1ZWFhITzVtXbNq0CUajEXFxcbXe5/rkke/2Yf2xK7j9vzsVr9ur7bjmiHlq1BQo3dWziazNmTdG2QxabmkXaXNPOVuC/Lwwtltj+Hl7Wk0Fejo4FGSaFTQloo/vzSlcIqK6xqkjSrm5uUhOThaPz507h6SkJISEhKBp06aYOXMmXnvtNbRu3RrNmzfHiy++iOjoaNx2220AgPbt22PEiBGYOnUqPv30U5SUlGDGjBkYP348oqOjnfRU9cOZq9Ybz0oVlhhsXpcyBUqWQZG9wo8TbmqKZiG285C8PbViBXAT01Sfvf4oubl1GLafvgagbHsVAPhyci8knr+Bfq3CrNp/fF93zFh6wObnERGR63JqoLRv3z4MHjxYPJ49ezYAYNKkSfj666/xzDPPIC8vD4888giysrLQv39/rF27Fj4+PuJ7lixZghkzZmDIkCHQarUYN24cPvzww1p/lvrGYKPKdUGxAdfzilWvA8DgtuHYfPIqAMjqJH14b3c8+cMBNA62v5S+gben7dpEGmDT0wPR/z+bZae1dgIwLxv3lO77ZlrVFuDjZbXCzeRfXaLRONgXUUE+iteJiMi1OTVQGjRoEAQbq5o0Gg3mz5+P+fPnq7YJCQnB0qVLa6J7pMJySxJLG09csXsP6aiNp2SZ2ZgujdA6wh8tw/1tvv/xQS3F4KNjdCCOXlYu8dCkoR/C/HWyzWyrUsBSmiDuaC6TUg4XERG5B5fNUSLXZW/LNFujTSZJF8wFKaXL8TUaDdo3CoS3p/nk0A7WW3/MGd5WfP3oQOUaTOL9LeKiGIXpum4O1jiqyJQiERG5P5dd9UauS4DtQMiR1V7SER5bU10AMKxDJNYfk49SST8jQGG1HGBe9Wa5P5zSfm0/PnoTvt+dijFdrauGS0kDOCIiqvv4U58qzE4NSBjsLHlrHOwrW61m73539Ghi87qXrQqRFga3VS43oPP0wEP9myMiwHYu0fjeZVuatIm0PTVIRER1Q6VGlPLy8rBw4UJs3LgRGRkZMFr8Yjx79my1dI5cU9KFLJvXf/zHdgHPyEAdOkQHiqNEnh62R6AsV6FFBupsXjcxjTp1aRKEQxfLpvrsbYliT3zLUGx8eqBDyeZEROT+KhUoPfzww9i6dSsmTpyIRo0asbBePXPumnppAEEQsPtsps33G4yCmAh9Z88mdqfeLF3Ry6fSMnIKFduZ/lRKg6Pq+KNqL9GciIjqjkoFSmvWrMGqVavQr1+/6u4PuQFbU2X26isBZZviGstv0ik6sMr9uaqyzYmpRIF0BOzklZwqfx4REdUflcpRatiwIUJCrBNiqX5IlWw/AkBW4sGRFW8GoyC+x15NI0cMaW+9Kg4AMhVqOXVuHKTQkoiISFmlAqVXX30V8+bNQ35+vv3GVOd8szNFdlwkqXxttBhu+t8DvcQK1iYlRqO4xYmj07bNQtUrcEvvH2Cn6nZVc5SIiKh+qVSg9M4772DdunWIjIxE586d0aNHD9kX1W2tLVZ82QqUhnaIxGu3dQIAhJZXtTYazVNvjhZ/XHSf+p8rafAj3UZEac82R/dxIyIiAiqZo2Taa43qp7t7xYiryADg6KVs9C0PUJTyhe7o0QQhDXTQaoCHvtkHg2AOlByNWzrZmDKTBkq+krIDb93VxbotAyUiIqqACgdKpaWl0Gg0mDJlCpo0sV3fhuomy+X4gb5e4utnfz1k1d7LQ4uhHSJxsDyp2mg0V/euyFTY1Jub43/bz+GJW1rJzkvLKPl4abH4wd7Yl5KJsV0bW/edU29ERFQBFQ6UPD098dZbb+GBBx6oif6QG0i5Ll/Z5i/JC5Iu3bfMKzIFWPnFpWLQVJERntlD26JfqzDc1CJUdl7naR5FmtKvOVpHBmCwyia1ajWXiIiIlFQqR+mWW27B1q1bq7sv5CbCGsgLPlrmJZlEB8mLMppGj27kl4hL9/UFJQ5/rq+3Bwa1jbDajDbI1wsvjemA50e1R+vIAKv3vX9PN/F1AfdqIyKiCqhUjtLIkSPx3HPP4fDhw+jZsycaNGggu37rrbdWS+fINVkGRqZptKx8+XL8XWevy46VKnArbVBbGQ/2a6567YKknMHvSZfxwfju1fKZRERU91UqUHr88ccBAO+++67VNY1GA4OB/2qvq4pKDUjLtqyEXRYp5RXb/v+ulI9UwaLclVLiQG0nIiIiJZUKlCz3dqP6o9drG5BTWCo7Z4pD7C29V8oPqo26RhEBOvuNiIiIFNTCv+eprricVWAVJAHmqTh7idJKK85qI7m6W0xwjX8GERHVTZUaUZo/f77N6/PmzatUZ8i1bT11VfH8os1n8OH4bnbfr1UIy2tjuX5HyX5y99/UtMY/j4iI6o5KBUq//fab7LikpATnzp2Dp6cnWrZsyUCpDioqNeDXxIuK1/48eBl/HryM36fb3iRZceqtFkaUpNukPDmkdY1/HhER1R2VCpQOHDhgdU6v12Py5Mm4/fbbq9wpcj2Pf78f+87fsNlm4ZoTNq8rjR4pbVxbE468Mhw5hSWICPCplc8jIqK6odpylAIDA/HKK6/gxRdfrK5bkgvZeCLDbptig+0kf6XRoxNp+kr3qSL8dZ5oZFHXiYiIyJ5qTebOzs5Gdna2/YZUJxksluHf0V2+hYi0greJtyfXExARkeuq1NTbhx9+KDsWBAFpaWn47rvvMHLkyGrpGLmfpPJtSQDg7l5N8PSwtrLrlhW1Afn2I0RERK6mUoHSe++9JzvWarUIDw/HpEmTMHfu3GrpGLkvnacWb97Z1aG2baKstxwhIiJyFZUKlM6dO1fd/aA6xNaK/2ahfjh/3bylSPemwTXfISIiokqqVILIlClTkJOTY3U+Ly8PU6ZMqXKnyL3ZqrZtWSIgQCFviYiIyFVUKlD65ptvUFBQYHW+oKAA3377bZU7Re4t38aebyF+3rJjTS0UnCQiIqqsCv1zXq/XQxAECIKAnJwc+PiYa9IYDAasXr0aERER1d5JqjtuaR9htx4TERGRq6hQoBQcHAyNRgONRoM2bdpYXddoNHjllVeqrXPkGopK1UeIwgN0uJpTJDsXGai+Ce2/OkfjzbUnq61vRERENalCgdLmzZshCAJuueUW/PrrrwgJCRGveXt7o1mzZoiOjq72TpJzLdt7QfVagM7TKlCytX+brzfLARARkfuoUKA0cOBAAGWr3po2bcr8knoiK79E8byftwcGtg3H2Wt5svO2/lyEB6iPNhEREbmaSiVzN2vWDDt27MD999+Pvn374tKlSwCA7777Djt27KjWDpLzGQRB8fzcke3w5C3Wm8wqbX4r5eNV9scu0Icr3oiIyLVVKlD69ddfMXz4cPj6+mL//v0oKiqbesnOzsYbb7xRrR0k57t4I9/q3M2twzAxPhYNG3ija5Mg2TU7cRLWzxqIB+Kb4Y8Z/auzm0RERNWuUoHSa6+9hk8//RT/+9//4OXlJZ7v168f9u/fX22dI9ewfP8lq3PfPRQnvm7YQL7kX2nzW6mYED/MH9sJsWENqqeDRERENaRSgdLJkycxYMAAq/NBQUHIysqqap/IBSxYcxzTvktUvPbmnV1kx6UG+dScrWRuIiIid1KpJJGoqCgkJycjNjZWdn7Hjh1o0aJFdfSLnEgQBHy29SwAYM/Z61bXC0vk5QKu5cpXvdmqzE1EROROKjWiNHXqVDz11FPYs2cPNBoNLl++jCVLluDpp5/GY489Vt19pFpWbDCKr5USsz218j82kYE+suOTV6y3tyEiInJHlRpReu6552A0GjFkyBDk5+djwIAB0Ol0mDNnDh5++OHq7iPVsgLJFiRKdY9Mq9ZMJsQ1xdZTV2u8X0RERLWtUiNKGo0Gzz//PDIzM3HkyBHs3r0bV69eRVBQEJo3b16tHYyNjRWrgUu/pk+fDgAYNGiQ1bVp06ZVax/qG2ldJMv8I8B6am1oh0gMbhte4/0iIiKqbRUaUSoqKsLLL7+M9evXiyNIt912GxYvXozbb78dHh4emDVrVrV28J9//oHBYB7hOHLkCIYOHYq77rpLPDd16lTMnz9fPPbz86vWPtQn/6Rk4q5Pd4nHShvcdo0Jlh1rNBq0iQrA5pMcVSIiorqlQoHSvHnz8NlnnyEhIQE7d+7EXXfdhQcffBC7d+/GO++8g7vuugseHtW7RUV4uHykYuHChWjZsqVYJRwoC4yioqKq9XPrE0EQxGravyZelF17b8Mp2fHKJ/qjucKy/lPpzEsiIqK6p0JTbz///DO+/fZb/PLLL/jrr79gMBhQWlqKgwcPYvz48dUeJFkqLi7G999/jylTpsi2yViyZAnCwsLQqVMnzJ07F/n51gUSpYqKiqDX62Vf9dWnW88gfsEmXMgs+555esin1S5myr+XnRrLi0uacKUbERHVRRUaUbp48SJ69uwJAOjUqRN0Oh1mzZpVa3u+rVixAllZWZg8ebJ47r777hM34z106BCeffZZnDx5EsuXL1e9z4IFC/DKK6/UQo9d38I1JwAAjy1JxP+NbG+1os3Hyxz8PnFLK9X7XM4uFF9PvKlZNfeSiIjIOSoUKBkMBnh7m6swe3p6wt/fv9o7pebLL7/EyJEjER0dLZ575JFHxNedO3dGo0aNMGTIEJw5cwYtW7ZUvM/cuXMxe/Zs8Viv1yMmJqbmOu4GjlzS474v9mBUZ/kU5tQBLbB0TyoOX8pG96bBqu/PLy4VXz8Qz0CJiIjqhgoFSoIgYPLkydDpynaALywsxLRp09CggTxnxdZoTmWdP38eGzZssHvvuLiyrTWSk5NVAyWdTic+A8ldvFEgO/bQaGAs3xTX1vRax+hAnL9eNk1XWyOMRERENa1CgdKkSZNkx/fff3+1dsaWxYsXIyIiAqNHj7bZLikpCQDQqFGjWuhV3XPoYrbs+MKNfBiM9gMlfYF5RCnQp1LluYiIiFxOhX6jLV68uKb6YZPRaMTixYsxadIkeHqau3zmzBksXboUo0aNQmhoKA4dOoRZs2ZhwIAB6NKli407kqP8dZ4oH1BSrNJt0qd5CHYkXwMARFhU6iYiInJXbvFP/w0bNiA1NRVTpkyRnff29saGDRvw/vvvIy8vDzExMRg3bhxeeOEFJ/W07lmw5gRaR5TlodmaUXuwXyzWHEnH8I6RtdQzIiKimucWgdKwYcMgCNYVomNiYrB161Yn9Kh+MRWd9LARKQX4eGHNUzfXVpeIiIhqRaW2MKG64cONpx1qdymrLMHb1tQbERFRXcRAqR57d/0p+40kuJqNiIjqGwZK5LBSg9HZXSAiIqpVDJTIYen6QvuNiIiI6hAGSvXU1ZyiCr8nyNerBnpCRETkuhgo1VMTv9xj87rSMv+bWoTWVHeIiIhcEgOleupEeo7N68M7Rlmds1WZm4iIqC5ioESKShQSt708GCgREVH9wkCJrDzYLxZtowKtzrM8ABER1TcMlAijO8s3EO4UHYSuTYKc1BsiIiLXwUCJ8PF93REZqBOPr+cVcfSIiIgIDJTqpR2nr4mvOzQKhEajwQfju4vnSo1l++qN6mxO6E5+fWTtdZCIiMhFMFCqh+6XlAaY3C8WAODj5SGeS0y5AQBo0tBPPOfpwT8qRERU//C3Xz3nXR4AhTbwFs/1aR4CADCWjywRERHVVwyU6jmv8kApJsQP3WKCAQAT45sBABgnERFRfefp7A6Qc+kLS8TXK6b3k10zCoyUiIiofuOIUj2n8+QfASIiIjX8LVnPxYY1UL3GESUiIqrvGCjVcz6eHqrX7ujRBAAwqG14bXWHiIjIpTBHqZ4L9vNSvdYtJhhb/j0IUUE+tdgjIiIi18FAqZ7JKyqVHdsKlADbU3NERER1Hafe6plfEi/KjrXcqoSIiEgVA6V6prjU6OwuEBERuQ0GSvXM32euyY45okRERKSOgVI9s+XkVdmxN+soERERqeJvSSIiIiIVDJTqsZ7NGjq7C0RERC6NgVI99n+j2ju7C0RERC6NgVI9YTAKKCo1yM4dvJDlnM4QERG5CRacrAcEQcCw97ai1Cjfu41Tb0RERLYxUKoH9AWlOHM1z+p8A536Pm9ERETEqbd6oaDEoHjewNqTRERENjFQqgdu5BcrnvfyYLFJIiIiWxgo1QNFCtuWhDTwRotwfyf0hoiIyH0wUKrjjEYBBcXWU29PDWnthN4QERG5FyZz13Et/m+14nmtltNuRERE9nBEqZ5inERERGQfA6U6zGhRN0nKQ8NIiYiIyB6XDpRefvllaDQa2Ve7du3E64WFhZg+fTpCQ0Ph7++PcePG4cqVK07ssWsxCOqBkpaBEhERkV0uHSgBQMeOHZGWliZ+7dixQ7w2a9Ys/Pnnn/j555+xdetWXL58GXfccYcTe+taDDZGlMA4iYiIyC6XT+b29PREVFSU1fns7Gx8+eWXWLp0KW655RYAwOLFi9G+fXvs3r0bN910U2131eXYDJSIiIjILpcfUTp9+jSio6PRokULTJgwAampqQCAxMRElJSUICEhQWzbrl07NG3aFLt27bJ5z6KiIuj1etlXXWS5t5uUUm0lIiIiknPpQCkuLg5ff/011q5di08++QTnzp3DzTffjJycHKSnp8Pb2xvBwcGy90RGRiI9Pd3mfRcsWICgoCDxKyYmpgafwnlsjSgF+3rVYk+IiIjck0tPvY0cOVJ83aVLF8TFxaFZs2b46aef4OvrW+n7zp07F7NnzxaP9Xp9nQyWSo3qo0bJGbm12BMiIiL35NIjSpaCg4PRpk0bJCcnIyoqCsXFxcjKypK1uXLlimJOk5ROp0NgYKDsqy6yESdhRCfb3yMiIiJys0ApNzcXZ86cQaNGjdCzZ094eXlh48aN4vWTJ08iNTUV8fHxTuyl68jMU94MFwDaN6qbwSEREVF1cumpt3//+98YM2YMmjVrhsuXL+Oll16Ch4cH7r33XgQFBeGhhx7C7NmzERISgsDAQDzxxBOIj4/nirdyOi/lOLhfq9Ba7gkREZF7culA6eLFi7j33ntx/fp1hIeHo3///ti9ezfCw8MBAO+99x60Wi3GjRuHoqIiDB8+HP/973+d3GvXkXItT3b8wfhuWHM4HYsm9HBSj4iIiNyLRhBslG+uJ/R6PYKCgpCdnV2n8pU+2HAa7204JR7veyEBYf46J/aIiIio+tTG72+3ylGiitl55prsmMW4iYiIKoaBUh2251ym7FjD/d2IiIgqhIFSPeKhZaBERERUEQyU6rB7esmLaAboXDp3n4iIyOUwUKrDfCzKA2g5okRERFQhDJTqMAMXNBIREVUJA6U6zFC+hUmL8Ab4YSqLcBIREVUUA6U6zGgsG1G6o3tjxLdkNW4iIqKKYqBUh5mm3pibREREVDlcBlUHXc0pwol0PdKzCwEAHqyfREREVCkMlOoYg1FA79c3yM6VGpnUTUREVBmceqtjikoNVudYaJKIiKhyGCjVMRqFHd2iAn2c0BMiIiL3x0CpHjh8KdvZXSAiInJLDJTqGKUik6czcp3QEyIiIvfHQKkOMRoFXMspsjrfvlGAE3pDRETk/rjqrY5YtDkZn209g1YR/lbXHurX3Ak9IiIicn8MlOqIt9adBADsT82yuhbBZG4iIqJK4dQbERERkQoGSnXcsyPaObsLREREbouBUh12W7doPDaopbO7QURE5LYYKNVhb97Z1dldICIicmsMlOoAQaF2EgB4e/J/LxERUVXwN2kd0Hzuamd3gYiIqE5ioERERESkgoGSmyssMSieT2gfWcs9ISIiqnsYKLm5YoNR8fxH93av5Z4QERHVPQyU3FypQTmR29fbo5Z7QkREVPcwUHIDgiDg/i/24Ou/z1ldK1EZUSIiIqKqY6DkBpbuTcWO5Gt4+c9jKLUIjJQCpTnD29ZW14iIiOo0Bkpu4ExGnvj6twOXZNeUpt5SruVZnSMiIqKKY6DkBvq2DBVfv7DiiOzaxRsFVu2D/bxqvE9ERET1AQMlNxDg4ym+LiqVT7UdS8u2ah/s513jfSIiIqoPGCi5AYPFFiXP/nJIzFVqFxVo1d5oVF4JR0RERBXDQMkNFJXIR5F+3HcBW09dBQB8sPG0eH5gm3AAwO09Gtde54iIiOowT/tNyNke/Pofq3M5haUAgMTzN8RzXz/YG/nFBjTQ8X8rERFRdeCIkotTm0bLKSxB7HOrZOc0Gg2DJCIiomrE36ourKDYgP+sPaF47cXfj9Zyb4iIiOoflx5RWrBgAXr37o2AgABERETgtttuw8mTJ2VtBg0aBI1GI/uaNm2ak3pcvbrN/wtf70xxdjeIiIjqLZcOlLZu3Yrp06dj9+7dWL9+PUpKSjBs2DDk5ckLKk6dOhVpaWni15tvvumkHlcvy1IAREREVLtceupt7dq1suOvv/4aERERSExMxIABA8Tzfn5+iIqKqu3uERERUR3n0iNKlrKzy4orhoSEyM4vWbIEYWFh6NSpE+bOnYv8/Hyb9ykqKoJer5d9uZo9Z687uwtERET1nkuPKEkZjUbMnDkT/fr1Q6dOncTz9913H5o1a4bo6GgcOnQIzz77LE6ePInly5er3mvBggV45ZVXaqPblXbP57sr1P6lMR1qqCdERET1l0YQBLco4/zYY49hzZo12LFjB5o0aaLabtOmTRgyZAiSk5PRsmVLxTZFRUUoKioSj/V6PWJiYpCdnY3AQOtK185gufT/zp5N8EviRdX22+YMRtNQv5ruFhERkcvQ6/UICgqq0d/fbjH1NmPGDKxcuRKbN2+2GSQBQFxcHAAgOTlZtY1Op0NgYKDsy9W9cXtnvHlnF9XrJUYmfhMREVU3lw6UBEHAjBkz8Ntvv2HTpk1o3ry53fckJSUBABo1alTDvasZgiBYjSa1iwqAl4cGd/eKUX1fVKBPTXeNiIio3nHpHKXp06dj6dKl+P333xEQEID09HQAQFBQEHx9fXHmzBksXboUo0aNQmhoKA4dOoRZs2ZhwIAB6NJFffTFlf2w94LsePszg9GkoS80Go3N93l62L5OREREFefSgdInn3wCoKyopNTixYsxefJkeHt7Y8OGDXj//feRl5eHmJgYjBs3Di+88IITels9/u+3w7LjmBDH8o60dgIpIiIiqjiXDpTs5ZnHxMRg69attdSbmvdPSqbdNtMHt8SizWcwslMUfL09sHz/JQAAwyQiIqLq59KBUn0yefFebDl5VXbu+VHtrdrNGd4OTw9tC61WgxKDUQyUPD1cOt2MiIjILTFQchGWQVKYvzemDmih2FarLRs/8vLQImXh6BrvGxERUX3FYQgXsOZwmtW5H6be5ISeEBERkRQDJRfw2JL9VudaRwY4oSdEREQkxUDJBR15Zbizu0BERERgoOR0Ry5ly477twqDv46pY0RERK6AgZKT/eujHbLj7x+Oc1JPiIiIyBIDJRcypZ/9LVqIiIio9jBQciHTBimXAyAiIiLnYKDkRGeu5sqOIwK4sS0REZErYaDkREPeMW+/cvaNUU7sCRERESlhoOQkiefl+7qZqm0TERGR62Cg5CTjPtnl7C4QERGRHQyUnMBoFJzdBSIiInIAAyUnWLI31dldICIiIgcwUHKCF1cckR2/dWcXJ/WEiIiIbOFeGU4Q4OOJnMJSAMCqJ/ujQ6NAJ/eIiIiIlDBQqmWxz60SX9/cOgwdo4Oc2BsiIiKyhVNvtUgQ5Enc209fc1JPiIiIyBEMlGrRV3+nOLsLREREVAEMlGrJhcx8vLrymLO7QURERBXAQKmWHLyYZXXuxX91qP2OEBERkcMYKNWSGUsPWJ2b0i+29jtCREREDmOg5CRn3hgFjYb7uxEREbkyBkpOcOjlYfDgJrhEREQuj4FSLcjKL5YdB/p4OaknREREVBEMlGpBt/nrxdedG7PAJBERkbtgoFTLlj1yk7O7QERERA5ioFTDCksMsuMGOu4aQ0RE5C4YKNWw3KJSZ3eBiIiIKomBUg0yGAX0em2DeJw0b6gTe0NEREQVxUCpBi37J1V2HOzn7aSeEBERUWUwUKpB7/x1ytldICIioipgoFSDSg1GZ3eBiIiIqoCBUg0a3SVafJ2ycLQTe0JERESVwUCpBp29mgsAuKlFiJN7QkRERJXBQKkGxYT4AQCaNPRzck+IiIioMhgo1SDTiFKrCH8n94SIiIgqo84ESosWLUJsbCx8fHwQFxeHvXv3OrtLYjmAfBadJCIickt1IlD68ccfMXv2bLz00kvYv38/unbtiuHDhyMjI8Op/TIYBQBA44a+Tu0HERERVU6dCJTeffddTJ06FQ8++CA6dOiATz/9FH5+fvjqq6+c2q/z1/MAcH83IiIid+X2gVJxcTESExORkJAgntNqtUhISMCuXbsU31NUVAS9Xi/7qgkp1/MBAD6eHjVyfyIiIqpZbh8oXbt2DQaDAZGRkbLzkZGRSE9PV3zPggULEBQUJH7FxMTUSN/aRQWgRVgD9GjWsEbuT0RERDWrXs4JzZ07F7NnzxaP9Xp9jQRLa2cOqPZ7EhERUe1x+0ApLCwMHh4euHLliuz8lStXEBUVpfgenU4HnU5XG90jIiIiN+b2U2/e3t7o2bMnNm7cKJ4zGo3YuHEj4uPjndgzIiIicnduP6IEALNnz8akSZPQq1cv9OnTB++//z7y8vLw4IMPOrtrRERE5MbqRKB0zz334OrVq5g3bx7S09PRrVs3rF271irBm4iIiKgiNIIgCM7uhLPp9XoEBQUhOzsbgYGBzu4OEREROaA2fn+7fY4SERERUU1hoERERESkgoESERERkQoGSkREREQqGCgRERERqWCgRERERKSCgRIRERGRCgZKRERERCoYKBERERGpqBNbmFSVqTi5Xq93ck+IiIjIUabf2zW5yQgDJQA5OTkAgJiYGCf3hIiIiCoqJycHQUFBNXJv7vUGwGg04vLlywgICIBGo6m2++r1esTExODChQt1eg85PmfdUR+eEeBz1jX14TnrwzMCFX9OQRCQk5OD6OhoaLU1k03EESUAWq0WTZo0qbH7BwYG1uk/2CZ8zrqjPjwjwOesa+rDc9aHZwQq9pw1NZJkwmRuIiIiIhUMlIiIiIhUMFCqQTqdDi+99BJ0Op2zu1Kj+Jx1R314RoDPWdfUh+esD88IuOZzMpmbiIiISAVHlIiIiIhUMFAiIiIiUsFAiYiIiEgFAyUiIiIiFQyUatCiRYsQGxsLHx8fxMXFYe/evc7uEgBgwYIF6N27NwICAhAREYHbbrsNJ0+elLUpLCzE9OnTERoaCn9/f4wbNw5XrlyRtUlNTcXo0aPh5+eHiIgIzJkzB6WlpbI2W7ZsQY8ePaDT6dCqVSt8/fXXVv2pre/TwoULodFoMHPmTPFcXXnOS5cu4f7770doaCh8fX3RuXNn7Nu3T7wuCALmzZuHRo0awdfXFwkJCTh9+rTsHpmZmZgwYQICAwMRHByMhx56CLm5ubI2hw4dws033wwfHx/ExMTgzTfftOrLzz//jHbt2sHHxwedO3fG6tWrq/x8BoMBL774Ipo3bw5fX1+0bNkSr776qmx/J3d8xm3btmHMmDGIjo6GRqPBihUrZNdd6Zkc6UtlnrOkpATPPvssOnfujAYNGiA6OhoPPPAALl++XKee09K0adOg0Wjw/vvvu9VzOvKMx48fx6233oqgoCA0aNAAvXv3Rmpqqnjd7X7uClQjli1bJnh7ewtfffWVcPToUWHq1KlCcHCwcOXKFWd3TRg+fLiwePFi4ciRI0JSUpIwatQooWnTpkJubq7YZtq0aUJMTIywceNGYd++fcJNN90k9O3bV7xeWloqdOrUSUhISBAOHDggrF69WggLCxPmzp0rtjl79qzg5+cnzJ49Wzh27Jjw0UcfCR4eHsLatWvFNrX1fdq7d68QGxsrdOnSRXjqqafq1HNmZmYKzZo1EyZPnizs2bNHOHv2rLBu3TohOTlZbLNw4UIhKChIWLFihXDw4EHh1ltvFZo3by4UFBSIbUaMGCF07dpV2L17t7B9+3ahVatWwr333itez87OFiIjI4UJEyYIR44cEX744QfB19dX+Oyzz8Q2f//9t+Dh4SG8+eabwrFjx4QXXnhB8PLyEg4fPlylZ3z99deF0NBQYeXKlcK5c+eEn3/+WfD39xc++OADt37G1atXC88//7ywfPlyAYDw22+/ya670jM50pfKPGdWVpaQkJAg/Pjjj8KJEyeEXbt2CX369BF69uwpu4e7P6fU8uXLha5duwrR0dHCe++951bPae8Zk5OThZCQEGHOnDnC/v37heTkZOH333+X/axzt5+7DJRqSJ8+fYTp06eLxwaDQYiOjhYWLFjgxF4py8jIEAAIW7duFQSh7AeXl5eX8PPPP4ttjh8/LgAQdu3aJQhC2V8WrVYrpKeni20++eQTITAwUCgqKhIEQRCeeeYZoWPHjrLPuueee4Thw4eLx7XxfcrJyRFat24trF+/Xhg4cKAYKNWV53z22WeF/v37q143Go1CVFSU8NZbb4nnsrKyBJ1OJ/zwww+CIAjCsWPHBADCP//8I7ZZs2aNoNFohEuXLgmCIAj//e9/hYYNG4rPbfrstm3bisd33323MHr0aNnnx8XFCY8++miVnnH06NHClClTZOfuuOMOYcKECXXmGS1/6bjSMznSl8o+p5K9e/cKAITz58/Xuee8ePGi0LhxY+HIkSNCs2bNZIGSuz2n0jPec889wv3336/6Hnf8ucuptxpQXFyMxMREJCQkiOe0Wi0SEhKwa9cuJ/ZMWXZ2NgAgJCQEAJCYmIiSkhJZ/9u1a4emTZuK/d+1axc6d+6MyMhIsc3w4cOh1+tx9OhRsY30HqY2pnvU1vdp+vTpGD16tFVf6spz/vHHH+jVqxfuuusuREREoHv37vjf//4nXj937hzS09Nlnx8UFIS4uDjZcwYHB6NXr15im4SEBGi1WuzZs0dsM2DAAHh7e8ue8+TJk7hx44ZD34vK6tu3LzZu3IhTp04BAA4ePIgdO3Zg5MiRdeYZLbnSMznSl+qUnZ0NjUaD4ODgOvWcRqMREydOxJw5c9CxY0er6+7+nEajEatWrUKbNm0wfPhwREREIC4uTjY9544/dxko1YBr167BYDDI/icDQGRkJNLT053UK2VGoxEzZ85Ev3790KlTJwBAeno6vL29xR9SJtL+p6enKz6f6ZqtNnq9HgUFBbXyfVq2bBn279+PBQsWWF2rK8959uxZfPLJJ2jdujXWrVuHxx57DE8++SS++eYbWT9tfX56ejoiIiJk1z09PRESElIt34uqPudzzz2H8ePHo127dvDy8kL37t0xc+ZMTJgwoc48oyVXeiZH+lJdCgsL8eyzz+Lee+8VN0WtK8/5n//8B56ennjyyScVr7v7c2ZkZCA3NxcLFy7EiBEj8Ndff+H222/HHXfcga1bt4qf7W4/dz0r1JrqnOnTp+PIkSPYsWOHs7tS7S5cuICnnnoK69evh4+Pj7O7U2OMRiN69eqFN954AwDQvXt3HDlyBJ9++ikmTZrk5N5Vj59++glLlizB0qVL0bFjRyQlJWHmzJmIjo6uM89IZYndd999NwRBwCeffOLs7lSrxMREfPDBB9i/fz80Go2zu1MjjEYjAGDs2LGYNWsWAKBbt27YuXMnPv30UwwcONCZ3as0jijVgLCwMHh4eFhl8V+5cgVRUVFO6pW1GTNmYOXKldi8eTOaNGkino+KikJxcTGysrJk7aX9j4qKUnw+0zVbbQIDA+Hr61vj36fExERkZGSgR48e8PT0hKenJ7Zu3YoPP/wQnp6eiIyMrBPP2ahRI3To0EF2rn379uIqE9Nn2Pr8qKgoZGRkyK6XlpYiMzOzWr4XVX3OOXPmiKNKnTt3xsSJEzFr1ixxpLAuPKMlV3omR/pSVaYg6fz581i/fr04mmT6fHd/zu3btyMjIwNNmzYVfx6dP38eTz/9NGJjY+vEc4aFhcHT09PuzyN3+7nLQKkGeHt7o2fPnti4caN4zmg0YuPGjYiPj3diz8oIgoAZM2bgt99+w6ZNm9C8eXPZ9Z49e8LLy0vW/5MnTyI1NVXsf3x8PA4fPiz7S2364Wb6SxIfHy+7h6mN6R41/X0aMmQIDh8+jKSkJPGrV69emDBhgvi6Ljxnv379rMo7nDp1Cs2aNQMANG/eHFFRUbLP1+v12LNnj+w5s7KykJiYKLbZtGkTjEYj4uLixDbbtm1DSUmJ7Dnbtm2Lhg0bOvS9qKz8/HxotfIfVx4eHuK/YOvCM1pypWdypC9VYQqSTp8+jQ0bNiA0NFR2vS4858SJE3Ho0CHZz6Po6GjMmTMH69atqxPP6e3tjd69e9v8eeSWv18qlPpNDlu2bJmg0+mEr7/+Wjh27JjwyCOPCMHBwbIsfmd57LHHhKCgIGHLli1CWlqa+JWfny+2mTZtmtC0aVNh06ZNwr59+4T4+HghPj5evG5avjls2DAhKSlJWLt2rRAeHq64fHPOnDnC8ePHhUWLFiku36zN75N01Vtdec69e/cKnp6ewuuvvy6cPn1aWLJkieDn5yd8//33YpuFCxcKwcHBwu+//y4cOnRIGDt2rOIy8+7duwt79uwRduzYIbRu3Vq2LDkrK0uIjIwUJk6cKBw5ckRYtmyZ4OfnZ7Us2dPTU3j77beF48ePCy+99FK1lAeYNGmS0LhxY7E8wPLly4WwsDDhmWeecetnzMnJEQ4cOCAcOHBAACC8++67woEDB8TVXq70TI70pTLPWVxcLNx6661CkyZNhKSkJNnPJOnKLnd/TiWWq97c4TntPePy5csFLy8v4fPPPxdOnz4tLtvfvn27eA93+7nLQKkGffTRR0LTpk0Fb29voU+fPsLu3bud3SVBEMqWdCp9LV68WGxTUFAgPP7440LDhg0FPz8/4fbbbxfS0tJk90lJSRFGjhwp+Pr6CmFhYcLTTz8tlJSUyNps3rxZ6Natm+Dt7S20aNFC9hkmtfl9sgyU6spz/vnnn0KnTp0EnU4ntGvXTvj8889l141Go/Diiy8KkZGRgk6nE4YMGSKcPHlS1ub69evCvffeK/j7+wuBgYHCgw8+KOTk5MjaHDx4UOjfv7+g0+mExo0bCwsXLrTqy08//SS0adNG8Pb2Fjp27CisWrWqys+n1+uFp556SmjatKng4+MjtGjRQnj++edlv0jd8Rk3b96s+Hdx0qRJLvdMjvSlMs957tw51Z9JmzdvrjPPqUQpUHL153TkGb/88kuhVatWgo+Pj9C1a1dhxYoVsnu4289djSBIStsSERERkYg5SkREREQqGCgRERERqWCgRERERKSCgRIRERGRCgZKRERERCoYKBERERGpYKBEREREpIKBEhEREZEKBkpEVKcMGjQIM2fOdHY3iKiOYKBERLVOLZj5+uuvERwcXKt92bJlCzQajdVu5kREAAMlIiIiIlUMlIjIJU2ePBm33XYbXnnlFYSHhyMwMBDTpk1DcXGx2CYvLw8PPPAA/P390ahRI7zzzjtW9/nuu+/Qq1cvBAQEICoqCvfddx8yMjIAACkpKRg8eDAAoGHDhtBoNJg8eTIAwGg0YsGCBWjevDl8fX3RtWtX/PLLL+J9b9y4gQkTJiA8PBy+vr5o3bo1Fi9eXIPfESJyBk9nd4CISM3GjRvh4+ODLVu2ICUlBQ8++CBCQ0Px+uuvAwDmzJmDrVu34vfff0dERAT+7//+D/v370e3bt3Ee5SUlODVV19F27ZtkZGRgdmzZ2Py5MlYvXo1YmJi8Ouvv2LcuHE4efIkAgMD4evrCwBYsGABvv/+e3z66ado3bo1tm3bhvvvvx/h4eEYOHAgXnzxRRw7dgxr1qxBWFgYkpOTUVBQ4IxvExHVIAZKROSyvL298dVXX8HPzw8dO3bE/PnzMWfOHLz66qvIz8/Hl19+ie+//x5DhgwBAHzzzTdo0qSJ7B5TpkwRX7do0QIffvghevfujdzcXPj7+yMkJAQAEBERIeZHFRUV4Y033sCGDRsQHx8vvnfHjh347LPPMHDgQKSmpqJ79+7o1asXACA2NraGvxtE5AwMlIjIZXXt2hV+fn7icXx8PHJzc3HhwgVkZWWhuLgYcXFx4vWQkBC0bdtWdo/ExES8/PLLOHjwIG7cuAGj0QgASE1NRYcOHRQ/Nzk5Gfn5+Rg6dKjsfHFxMbp37w4AeOyxxzBu3Djs378fw4YNw2233Ya+fftWy3MTketgoEREtS4wMBDZ2dlW57OyshAUFFRtn5OXl4fhw4dj+PDhWLJkCcLDw5Gamorhw4fLcp0s5ebmAgBWrVqFxo0by67pdDoAwMiRI3H+/HmsXr0a69evx5AhQzB9+nS8/fbb1dZ/InI+JnMTUa1r27Yt9u/fb3V+//79aNOmjXh88OBBWd7P7t274e/vj5iYGLRs2RJeXl7Ys2ePeP3GjRs4deqUeHzixAlcv34dCxcuxM0334x27dqJidwm3t7eAACDwSCe69ChA3Q6HVJTU9GqVSvZV0xMjNguPDwckyZNwvfff4/3338fn3/+eRW+K0TkijiiRES17rHHHsPHH3+MJ598Eg8//DB0Oh1WrVqFH374AX/++afYrri4GA899BBeeOEFpKSk4KWXXsKMGTOg1Wrh7++Phx56CHPmzEFoaCgiIiLw/PPPQ6s1//uvadOm8Pb2xkcffYRp06bhyJEjePXVV2V9adasGTQaDVauXIlRo0bB19cXAQEB+Pe//41Zs2bBaDSif//+yM7Oxt9//43AwEBMmjQJ8+bNQ8+ePdGxY0cUFRVh5cqVaN++fa19D4molghERE6wd+9eYejQoUJ4eLgQFBQkxMXFCb/99pt4fdKkScLYsWOFefPmCaGhoYK/v78wdepUobCwUGyTk5Mj3H///YKfn58QGRkpvPnmm8LAgQOFp556SmyzdOlSITY2VtDpdEJ8fLzwxx9/CACEAwcOiG3mz58vREVFCRqNRpg0aZIgCIJgNBqF999/X2jbtq3g5eUlhIeHC8OHDxe2bt0qCIIgvPrqq0L79u0FX19fISQkRBg7dqxw9uzZmvyWEZETaARBEJwdrBERWZo8eTKysrKwYsUKZ3eFiOox5igRERERqWCgRERERKSCU29EREREKjiiRERERKSCgRIRERGRCgZKRERERCoYKBERERGpYKBEREREpIKBEhEREZEKBkpEREREKhgoEREREan4fysOWoOd+YbyAAAAAElFTkSuQmCC", + "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkoAAAGwCAYAAABWwkp7AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/OQEPoAAAACXBIWXMAAA9hAAAPYQGoP6dpAAByq0lEQVR4nO3dd3gU1foH8O9uNrvpCekEEkLvJfTQETSAioWfFRQE8aLY4IqKCiqocK1Y4drAAnpFERUQpRfpJXRCC4QWWkgndef3x2ZnZ3Zndjd1d5Pv53nyOH3PBEleznnPezSCIAggIiIiIhtaVzeAiIiIyF0xUCIiIiJSwUCJiIiISAUDJSIiIiIVDJSIiIiIVDBQIiIiIlLBQImIiIhIhc7VDXAHRqMRFy5cQGBgIDQajaubQ0RERE4QBAE5OTmIiYmBVls9fT8MlABcuHABsbGxrm4GERERVcDZs2fRsGHDank2AyUAgYGBAEzf6KCgIBe3hoiIiJyRnZ2N2NhY8fd4dWCgBIjDbUFBQQyUiIiIPEx1ps0wmZuIiIhIhUsDpY0bN+L2229HTEwMNBoNli5dKjuv0WgUv9555x3xmvj4eJvzs2fPruE3ISIiotrIpYFSXl4eOnbsiE8//VTx/MWLF2VfX3/9NTQaDUaMGCG7bsaMGbLrnnrqqZpoPhEREdVyLs1RGjp0KIYOHap6Pjo6Wrb/22+/YeDAgWjSpInseGBgoM219hQWFqKwsFDcz87OdvpeIiIiqjs8Jkfp0qVLWL58OcaNG2dzbvbs2QgLC0NCQgLeeecdlJSU2H3WrFmzEBwcLH6xNAAREREp8ZhZb9988w0CAwNx9913y44//fTT6Ny5M0JDQ7FlyxZMnToVFy9exPvvv6/6rKlTp2Ly5Mnivnl6IREREZGUxwRKX3/9NUaOHAkfHx/ZcWnA06FDB+j1evzrX//CrFmzYDAYFJ9lMBhUzxERERGZecTQ26ZNm5CSkoJHH33U4bU9evRASUkJTp8+Xf0NIyIiolrNIwKlr776Cl26dEHHjh0dXpucnAytVovIyMgaaBkRERHVZi4desvNzcWJEyfE/dTUVCQnJyM0NBRxcXEATPlDixcvxnvvvWdz/9atW7F9+3YMHDgQgYGB2Lp1KyZNmoRRo0ahXr16NfYeREREVDu5NFDatWsXBg4cKO6b841Gjx6NBQsWAAB+/PFHCIKABx54wOZ+g8GAH3/8Ea+99hoKCwvRuHFjTJo0SZa3RERERFRRGkEQBFc3wtWys7MRHByMrKwsrvVGRETkIWri97dH5CgRERHVJXmF9usBUs1hoERERORG3vs7BW1f/QtzVh+ze91vyeex/dS1GmpV+QiCgGOXclBcanR1UyqNgRIREZEb+XitaZLTnNXHVa85eD4Lz/yYjPs+3wbrDJqD57Pw2u+HcDW3UOVuIP7F5bj9481V02CJ/KISPLFwN9q/9jdu+WAjmr/8Z5V/Rk1joERERFSDBEGwCW7U5CoMweUWluA2SZDzxaZT4vb8f1Jx28ebsWDLaXyoEmg9+s0uAMCB81n4btsZ8fiVnEK77corLMGCf1JxIfOG4nlBENBm+l9YcSBdsd2eioESERFRDREEAS1fWYnhn/wDo1E5KGkS4S9uf7TGNtgZ/fUO2f5bK46K26//cVjc/m7bGcXA52i6ZSH4a2W9TvEvLke3N1fj34v3qbb9zRVH8Nofh9Fr9loUlZiG1A6ez0Lq1TyUlBrReOoK1Xs9GQMlIiKiavLPias4cTlH3F9xIB1FpUYcOJ+FKypDY14ajbjt4+1lc373meuqn9exYbBsf8WBdJtr8otKxW3rHKIle87ju62nFZ+9aHuauP32yqNIPpuJ2z7ejIHvrsfERXtU2+TpGCgRERFVgxOXczHyy+0Y/P5GpGcVAIAsoDh3PV/xviJJ8NI5LsTh50QHmdZALSguxb5zWbJzSgFMRl6R5bNKbJOtp/12SLaflV9sc82Xm1PxsaS3669Dl1TbF//icnR8/W+PncnHQImIiDzWc4v3If7F5RgyZ6Orm2Jj3Dc7xe2es9bghx1paBJuGVYbMXerrJfG7Mw1SwBVWjY89+OONPx54KLsuoEtIwAAfnpTr1PH1/8udxuPpucoDs+ZhwXf/SsFHWf8jff/TrG5pl2DYJtjarJuFOPcdeXcJnfHQImIiDzG1dxC9Jq1BvEvLsflnAL8vPscANMv/BOXc7HzdAZu/3iz3eGpypL2yNgjDXgAYOqSAzh1NU927KVfD8j2L2bJg4lx3+xC0gcb8eKSA3h84R5kF1h6d0b1bAQAKCzrFSqU9A4Nbh2l2KaTV3Jl+2kZ+Yrfq8ISI05czsEn60wz8D5ae0J2Xq/T4kOF/KknBzZT/FwAqB/io3rOnTFQIiKiGlFYUoqF28/YzJradzYTl7ILFO8pNQqYuewwVpT1pnR7czUulA1j9Xhrjezawe9vwD3ztuLA+Szc99+t1fAGwHdbT6PzzFV4c/lhxxdXQOKstTbHUi5Zcpykw2C+ZT1J5zNvYPeZDNk9Q9pFAwAahPjKjlsnkJ+5lo95G07B2p606xj8vnovndKQHQA8Pag5js4cgsMzktAozE88vnXqTQjy8VZ9njtjoERERDXivxtO4eVfD6LX7LXicM/R9Gzc8ek/NkGP2c+7z+Krzal4YuEeGI0CpKNE1iNGvpLE5xKVGWWVIQgCpv9uyt/5YlNqlT/fGX3fXidu++kty7WOmGsJDGfc0RY6rSkhPDpY3ouj1WpgbfUR2/yikV9ur1D7vL008PH2gp9eB28vS4hRP9jXzl3ujYESERHViEMXLInGxaWmQGba0oN278mU9KBsOH7F7rWjesZVonX2Xc0tROeZq2yCMzUlkoTs7o1DHT4bsOQjOatZZIDi8fu6xSLQxxRESQPGnacz8K/vdpfrM6zFhtoPeDSSGXt3JTQAAPRpFl6pz3Q1BkpERFQjOsfVE7fPZ95AQXEpdp62zY+RJheHBxjE7Tmr7C/pYb1axrYqXN5j8a5zuK4w+0vNkr3nxe337umIcX0aAwBm3d0e793TUXbtQ1+Z6iJtkgSCb93VHvNGdbb7Gd5eGrw4tJXsWI/GoTDovGCOj/adzRTP3TNvK05clucoSb1ya2u7nwcAz93SUvF4VJABg1tHyo6N69MYb93VHv/5vw4On+vOGCgREVGN+GXPOXF74Lvr8ebyI7LzxaVGzPjjMBpPXYHTZUnP0j4W66nv1kqMRkQGWgKr+z/fVvlGm5+tsGbZJoUert1nMpCSnoP//GkpAtkgxBfTbmuD07NvxQPd4zCiS0Ocnn2reP7IRVMByCs5lrpKZ6/n45Y20XbbpNNq8VjfJrJjep3p1/oxSV7T2Yx81eKWUhuOXcH793ZUPPfGne1wdOYQtI0Jsjk3/bY22PzCTfji4a6y4z7eXniwR5xNnpSnYaBEREQ14tgleW+GdPkMwDT09PU/ptyft1aYgihnl/oAgG+3nsHlHHkRR6UaQBVxXmHZjie+N9UoEgQBmflFiH9xOUbM3YqkORtxTTIzTikvSMmUn/eL263rBzm8T6uxffam41cBAP56S77W99vPyGozqWkeGYhh7esrnmvXIBg+3l5oFhloc25Mr3h4e2llw261CQMlIiJyC9Icnb8PmxKM1eKkhxMbidutom1/eZtlFxTjbIZyYUd77cgvkhdH/HHnWZvrcgpL8PXmVDSeugKdZqwq12cAwK2SoGRHqnzW2m0qAYtZoEEnBibj+za2OT9Ucn+HBiGy0gEAsP+1WzCkraXHKj7MD2N6xcOgsw0LWkQFoIOkZtKpt4aJ23um3ex0IOipdI4vISIid7Tt1DVcyi7AHZ0auLopVaLUKioSBAHP/7Lf5rp/XrwJDUJ88dKw1igoLsW03w7haHqOzXWAZZbYiM4N8erwNgCAh7/agXu7xuLBHnEwGgXZL/qiEiNavGJa8f7IjCHiFHw1M5ZVvEzAo30bY3lZ2YN7JeUMXhjSSmzTymf74p65W5EjqWp9dOYQWUCjl2ybA8ioIB90bBiMfeeyYBQE2XT+wzOS4KfX4eMHE/DjzrMY3DpSdVbaiM4N8Z7VcJxWq8Gyp/qgxCgg1F9f0df3GAyUiIg8UNaNYjEH5/DFbEwd6jgR15XU6iRJlZbKA6WzGcqVnEN8TfV4fLy94OPthVA/x/V5ftlzDutSLmNou2gkn81E8tlM5BeV4KM1x7FgbHcs3XseA1tGygKSlEs56BQbIntOq+hA1aBMiVIPjVleYani8cbhlvpDraKDcOD1JMS/uBwA0DTC32b9t+OSIU1pcnewnymIKS414lqeZUjSXFbA20uLh3paeubMEuJCsDctEwDQroFtTpLpuPNVuT0dh96IiDzQB5IZYP9VKBhYE1YdvoTpvx10Ko9Imqj82Ujl2VzWtY+KSm0DiSYR/vA3yP+N/9Sg5vi/Lg0dtiEjrwjbJUNcbyw/guyCEtz92RZ8u/UMHlmwUwzCAGDZvgu4lF2AwhJLO/73WCLuTnC+B+9RhWExM+seNLN4yTInZmv+3R8PJzbCymf72ZyTpgZJayvpvUwnikqM+Hqz83Wf/juqC25uE4WJA5tiTK94p++rrRgoERF5IOlSFje1irRzZfkZjQJ2n7mOgmLlHg/ANCw2/ttd+HbrGfy+74LDZ77zl2WtMOuEYfMveqMgIDzAMpRjHTjNua8TFozpbvPs8AAD3r2nI5xJlbE3PR4AnlhoWUT2y82puOvTf5BbYOllCvDR2QxF2fP4APUlPdopzCADgJZRtjlXTSMCMOOOdrIijmbv3dsJvt5eeO32NlZnTN+QMxn5+GnXOZv71EQG+eCLh7tiSlKrWpugXR4MlIiIPFDPxmHidm4Vr8r+9T+pGDF3C8Z/u0v1mt+SLcFRToHjz99wTL1YpLlj5UZRKaSxUYlkKO6R3vG4M6EB4iTLYlg7PGMIbm4ThScHNsOyp/o4bJMS6+/lhawCTFxkCZ68tBqng4eEuBAEGNQzXMICDHjrrvY2x8sbnAQYdDgycwjG9Jb3Xp27bkpil9aiovJjoEREVA0y851bOLWibkh6e+LtBA8V8X3ZtH3zVHMlz/4vWdzWe2mRX1SC3WeuO1WvBwDCFJKAz12/IZv5Jg3Anh3UwuEzfby98MXDXfFcUku0tDMTrry2ncooe77lV+Z/RtgGONZmDG/n8JrmUcrVtauCeQHc/+1ME491aFh3couqCgMlIqIq9vPuc+g0YxWmLN5XbZ/xkWTl9kMXsmXnusxcZbc3yBGtpEfjRpH68JtIA7zy60GMmLvFqWE4ANg97Wa8f29HLHmil3jMS6uRBVrS4cUg3/LNPfL20uL5IcpVpCuqoNgyc+y+bo6XS2ld33Gw1iyi+gIl8zIxxy7lwrssX4k5R+XHQImIqIo9VxYgLd7tfF5IeUkLGkoDpe+3ncG1vCKsOnzJbo6RPafKqmIDwLt/pzhM1n7+5/3ikh3SniYlb9xp6WW5u3NDdI6rJ+bkFJUaZbPOzEGaXlexYoZPDGiGzx/qUu77KmPZU33QrkEQ5o/pBp1CPpG1etU4vf5f/S1Vu81BUznqd1IZBkpERG4o9WoeVh5Md/p68xIbm+0Ml1XEV2UFFSf/lCwec5QTZW/4rUujejbHzDHQSatE64yyYLCoxHFVaTWO6iBVRtMIy+y01ZP7I+WNIWjXIBjLnuqLgRVMsL+5TVRVNU9xCZS6UPeoqjFQIiJyQwPfXY8J3+/GupTLNueUAoddZ0yLy/ZpblmpPaUc9X4cWbLnPEpKjfhs/Ql8s+W03WvNy2WsT7mM35LPy9prXQMIMA25Aaa12qQqU8xRfLZKT9TzQ1riw/s7VerZ5tl78WF+aBYZAIOu8kHZzDsc5zU5q55CfakbFexlrMtYcJKIqApZL5ex8mA6hrSzv7ipPS8tOYAtL94kG3o6cD7T5rrFu86hZ5Mw+Bssv6w3HLuCjlYFEyvjz4PpeHtlisPrzNP6x8zfCQAwjLK0SSnx3BworTliGxRWlnVNogYhvvh2XHc0LcsNuq1DDLy0Grz86wEs3J6GSYNbINhXh9f+cBykPXVTc7SMDkTPJmEOr7Vn3qjOeHHJAXz8QAKig30q9SwpvUKxyx2pGarruZEyBkpEVKeUGgXxF7MzrucVIcjX2+l7vtwkL/444fvdspXiy+tiVgGOpuegdX1LzR2l9U33njX1KEkXgV20PQ1PD2pe4c+2Zr0emZqSUqMsr2nC97sByNcnkzInj2938vnlERPiix8f64kgH2+0UahbZP5zffOu9nizbKr+v75TToRvb1WNWq/T4rYOMZVu45B29ZHUNrrKaxbpFXKkEuJCqvQz6gIOvRFRnfHm8sPo+sYqXMxSXhrD2pGL2UiYuQoPfbXd6c/4ZusZ1XNXcwvxzZbTuJZbqHoNYMk3MrPOO0ovWw5EWpjw1JU8pKTnyHpC7u3quFq1tVNX1AsyfrdN/d2kdp+5jvUKdZNyVHKbHAWhT92kXrTRGT2bhCkGSWraxihPof/PiA6Vaoc91VHYUSmZXFq5m5zDQImIaiWjUUD8i8txz7wt4rEvNqXien4x3lpx1Kln/LjDVH9my8lrTn+uUlVls0n/S8arvx9C0pyNqtcIgoDhn/wjO/bmiiOy/byygONqbqGsHpH1c9VWdf+/uVvQ9KUVirPZHlmwU9we1dPxFHgl477ZhUfm73R8YZlipS4yiUZhtkt6VKfxfZvgpWGtZMe2TR1UrmDLHQT72uYoOVOygOQYKBFRrWROgt55+jqu5hbKemn+2HcBRy5mq90qyrpR7PAaqSs5hXYL+pkLOF7NVS9GKQimRW7tMc8Ga98wWFaHyNqc1cfFooNmFzJvYNeZ6yg1CmIOkVSXOMustP4t7M/c6tkkFHPu62T3GmfsP5dl93xXhZly1clX74XH+jXFy8MsCw0rBR3uzjpMTmwShob1qrY4aV3AQImIaiXpDPWsG8U2K7Wbe4vsWZrsXPFEAJi7/iS6vbnabu2kIB/LsIejXhQp62UwzIGSv16HRmH+aFNfvadj0HsbZPvL9lveSWlZkfBA03IXvt5eDteQ+25cDzSLdL5gornoYXkpLRJbE6TvpraArScpdbJqOskxUCKiWuPYpRz8lnwegiBAmp6x+fhVLN59VnZteX/xXcy6gS83ncKFTNv8puyCYvxnpXw4z7dsGnygJDjKlizJofQcAMgrss3jyS0skdUmMs9mEmA61sjJJUwKiksdDjv+WlY4sl2DIIe5Q95eWsVFWtV8/lBXxeObnh8o27+tg3vMymolGaYyemCgZJ32VJU1muoSZnURUa1xywemHJ1AH51sQdXvtp2xmRKt9HvPnLOj0WiQbxWwJM5aCwB4Y/kRnJ59KwpLSnH3Z1tslg8xa1U/EHvTMlX/Fa82rKdWzPFSTgHqB/sCMPVeAUCQj2k4yFGwkldYgrnrT+KTdSfsXgeYhg+l7WsVHYijduoxWdc+sket+GNsqB9Oz74Vu05nYN+5LLSuH4hl+y8CAB7oXrE8qapQP9gXo3rGQavRiN9rT6LRaBDs642sG8Xo2DAYj/Zt7PgmssEeJSKqdfafyxJr+QDAicu5aGeViGsdvxiNAu76bAvu/3wbBEGQLchqTRAEfLkpVTVIAixreJWoBEprjyrXDDp9NV/x+IJ/TtscW59iGjrTORjSavvqX6pBUkFxKSb/lIzlZYHJ3QkNAAAjOptmzL1yaxu7z44P83c6f8d6er21rvGhGNensex7//Ktre3cUf3euLM9ZlRhEciatu/VW3DyrWH47ck+1TKzri5goERELiMIAt79KwXbTzk/q8wZl7ILbAIU656a1UcuyfbPZ95A8tlMbE/NwPIDF6GzM+xUYhSQKlkPTclj/UzrbKn1KLVQmR2nlDcEWHp6pMIC9KrnnNEqOhDfbzuDJXvOY+KiPQAsQ0zm2kbX8uw/29+gw4YpA3Do9SSHn+dvcG4Qo1/zCPRoHIph7aNt8rOo/MpTN4xsMVAiIpdZsuc8Pll3Avd9vq1cyc2O/LDjrE0OUEaefKbZlZxCfLruBC6X1SSS/mP7ucX77P5yKSguxc8OFrw1L3ZaahQUp+Ev3K5ck2jehpPitnRB13PXTe8jfVZ82bR56bBQy6hApwtcHk3PEZ9rZh6xNJcWGOBg5hsAhPjp4W/Q4dnBtsUt372nIwCgbTmm1vvqvfC/fyXis5E1u6AtkRIGSkTkMlslPUkV7RUxs84pyrbKAdqm0Gv1zl8pGF02Rf7gecswWkGx/aDNUW8SAFmPVGGJ0aZ9/5xw3It2S1vL0ic7TmdgXcplZN+wPOetu02VpJPPZlo+t2wYbvLNLRw+HwAWWK3bZk4aN4/mBft54/ibQ5161jNWVcCjg3zwf10aYv1zA/DL4+plDIjcmUsDpY0bN+L2229HTEwMNBoNli5dKjs/ZswYaDQa2deQIUNk12RkZGDkyJEICgpCSEgIxo0bh9xc9cqyROQ+8iTDYZfKenYqatrSQ7J9P6vE4YtZys8311MyL7MBAL2b2V+7y7ogpLWOsSGyqshJczZi0XbH5QgAiAUk/60Q6Hyy9gRyJQGXOTdI2pNjrjlU0aVLzEOF0h41pYVl37jTNm9Ho9HIVqf31pnuiw/3V1wMl8gTuHTwNy8vDx07dsTYsWNx9913K14zZMgQzJ8/X9w3GAyy8yNHjsTFixexatUqFBcX45FHHsFjjz2GRYsWVWvbiajyYkJ8xe27PttSqTXRftkjHwq7bNVDZS8Qsx4a++fENcVZcc5IeWMIDDov2TPPXMvHG8uP2FxrNAo21bOvlQ0RRgWZFkcN9deLw4a7z1wXlxgJkawMHyRJpi7PdH0l5rIJ0nZZt9Hen5N0iNNby0EL8nwuDZSGDh2KoUPtd+kaDAZERyuvvH3kyBGsXLkSO3fuRNeupvocH3/8MYYNG4Z3330XMTGVX6yQiKrPV5tTq+3Z31qtuWavGvZPu+Q1lpqE+9sMSTlj8s0tYNCZek6cmWF0Pb8IYQGWf/zdKLIUxWxYzxREjuvTGO/8lSIef+irHQCATMnit+EBll6cylb7sQy9VT4BmJOsqDZw+3B//fr1iIyMRMuWLfH444/j2jXLuP7WrVsREhIiBkkAMHjwYGi1Wmzfrr6IZWFhIbKzs2VfRFR1jEZBTJJ2N/d1jbU5NnOZvLfn1NU8fLjmuFPPu7+b5XldrJba6GhnORMAGP/tLvR8aw1mLjMtZHvLHEsV7UZl1ajVhqyGtrP8A7K4VF4KwZG+zcMVj6ek54g1k9TWiSuPk1cc53IRuTu3DpSGDBmCb7/9FmvWrMF//vMfbNiwAUOHDkVpqelfXenp6YiMlM/I0Ol0CA0NRXp6uupzZ82aheDgYPErNtb2BycRVdzkn5LR/a01WHXYMgXfaBTw+74LKCwpFferkrQCtj1xYX5oFS2fmm9dOsCgk/9onDiwqc0xs/FlZQAA21IAt3Ww36u9Jy0T6dkF+GpzKmb/eRRnMywz0IpLTAnlSjPmAHkOUceGIeK2WnkBs2NvDMV343oonhu7YCfOl80W3Jt2XfGa1naWSwGA78Z1t3ueyNO4daB0//33Y/jw4Wjfvj3uvPNOLFu2DDt37sT69esr9dypU6ciKytL/Dp79qzjm4jIaeY10t5fdUw8NvLL7Xj6h70Y/L6p1+RanvpQWEVIK3Hb4+PtZbfSNGA7fPXcLS1x6PUkxSrRDSR5VtbB2u0dbQOlqCCDzTFAXhYAsAxbNY1QXkvNXLkaUK94rcS8/Im03WbnJSUVujQKlZ07PCMJ34ztjhVP97H7/G7xlvs8cSFZImtuHShZa9KkCcLDw3HihKnCbHR0NC5flle3LSkpQUZGhmpeE2DKewoKCpJ9EVHVM88oAyylAMy9JkpLX6itf2Zt95nr+HLTKbG3Ja+wBDeKSx3cZeLMwqxFJfK2aTQa6Ly0eGlYK9nxVtGB8PH2wsCWEWhdPwhtY+RDbdKK2e0amH7OTBrs3LR9c6J772bKw2RdrYb5zGaVlQwAgGm3qVfVPu/ge93YaiFaP70O/VtEOMy9kva83dmJeaLk+Tyq5Om5c+dw7do11K9vWrMpMTERmZmZ2L17N7p0MRUmW7t2LYxGI3r0UO5aJiL38ItCwcZ3/07B+/d2cnjviLlbAJhmht3eMUZ13TQl567fwBMDmuKz9ScdXwzgw/st7bEuQmme4TX/ke4QBMEmiJAmROvKZoCF+Omh02pUlzYxM89e0+u0OPnWMDR9aYXs/AtD5UHbodeTcPZ6PlpFW/7h93BiI0QH+aBzoxCMW7ALEYGW3qwAg051XTkAyMyvWI+f9HuQW+hc8Erkzlzao5Sbm4vk5GQkJycDAFJTU5GcnIy0tDTk5uZiypQp2LZtG06fPo01a9bgjjvuQLNmzZCUZCqV37p1awwZMgTjx4/Hjh078M8//+DJJ5/E/fffzxlvRG5CLcfm3b+P2Rxbsue8uP3r3nP4da/96tdP/bAXgKVYZZCPzmYl+p/+lSjbzy8qwYM9nF9odbhk+ExrFQj1bR4hbiv1tEgTorMLTMGct5cGyxwMX1nz0mrw8jD5mmfSIS7AtDyINEgyfZYWt3aoj/rBvlj+dB8seKSbeE7tz8VMOquuvMwz9sb34yKs5PlcGijt2rULCQkJSEhIAABMnjwZCQkJmD59Ory8vLB//34MHz4cLVq0wLhx49ClSxds2rRJVktp4cKFaNWqFQYNGoRhw4ahT58++Pzzz131SkRk5Q9JLo0jd3c2LchaUFyKSf/bh0n/24erufYrdhuNAq6X9X5kF5QgNtRPdr5741BZT9CkwS3QsJ4ftk0dhFWT+smuXT25n5jDA5iCGo2sV0geDJ25Zn9Wl/T6K9mW93C0ftlUq94iQD7V/v17O9q9X4m5aK/Zv29pafd6tSE/Z2x6fiD2v3aLTeBG5IlcOvQ2YMAAu/+q+euvvxw+IzQ0lMUlidzY8v0XZL0yZj7eWhQUG6H30mJElwb4YcdZxJUFOaclAcixSzkID1BOgAZMuU9jypYhMScPhwcYcDW3EL88bupNks5GM9ctig72sclXahYpnw3XT9JjBNgOvTkK4mTVrcs+K9DHGw3r+andAgBoGW27YG6In6VW0rD29e3e74yxfRrj5jZR6Pv2OptzHWNDEB3sU+FnazQa2fpzRJ7Mo5K5icjzqM1G61o2q+qB7rFikUZz8veHqy01jBzV4hn5paVmmjlXaftLg7D7lcHizK3mkcozx3QKlaOlidwGb/l56+E1R/PspIFSToEpH8jH2/GPXWlQZCa9r6qWA5HmLMmO2wlMieoaBkpEVK2KVZKWzUtwxIb64Y99pnICfx26hKISI/48aKmDllugnnCsxkurkVW8/mp0Nzx1UzMkT79Zdp2/wRJwrH9ugM1zlAKpLx62FLjVO1guRLqciLlXy5znNFNhrTQzaaVtszYO6hdVhI+3Fz56IMHmuPUQI1FdxkCJiCpErWCk9fGNKgUQzXWAdp2+LquptMRqzbb/rDxamWYCMBWZ/PctLW16anReWux+ZTB2vjwY8WXT4aUxwrU826G1m9tEidulTiwIJ10kFrD0Mj3UsxEGtIxQukVxqLFJRAB+fKwnVjzd1+FnlofSsOjKQ+oFe4nqGgZKRFRuP+xIQ5OXVuC35PM254pKbesj2bPyUDoGt7YEH4EOclsKnKyX5KywAINsCEoa57VvEGL33lNOLNFhPVNOOhz31ehuGNfH+ZlhPZuEoU0ME6SJahIDJSIqt6lLDgAAnvkx2eacUiBjr87RsPbRsjXRDl/MsvvZxeUMxCojwFD5XCDrYSxp4OSl1WDq0FZIbBKmeg0RuRYDJSKqlOtWS5HsOm27Rpi53pGS+7rF4abWljUbP11nvxCk9XpqUtYBR2WpTeP/anRXhPh5Y9vUQQ6fYT1Tznpf56W1WR9Nr7KuXE15qGcjl34+kTthoERElZIwcxUuZReI+3/svyA7r9XY5illSIIrby+Nw6RowLRw7ZOL9sjWOLO28NGqrcgfGaQ8RX5Q6ygkT7/FqSn01kuFKOVJ65x4/5qUlpHv6iYQuQ33+ttJRG5PKYl74sI94naYvzwRWakDKL/IMpMtPszfqUDh8w0nsWz/Rbyy9KDqNdoqnq2V1FZ9zciKUhtWOzwjCZNvboH9r91S5Z9ZXvd3i3V1E4jchket9UZErvP15lT8lnwe+87Z5hDtOmMZbusYG2xz3k/vhfwiS+6S0Wgagio1CvDSapyajn7OyQVzq5L1MFl1PtNPr8PTg5pX+edVhK++auo0EdUGDJSIyCkzlh126rrisgKT4QF6XM01DbFJgyQAMAqCWJVfA0Dn5TggKSypmSTuQ68n4ZWlB3Fbh8pXv1bi5wFBiFL9KKK6ioESETnkaAFVKfOyIKZlRJRXoDcKgmVITgOE+dmvBJ1XWKI6ZHV7xxg0rOeLDg1se7Iqwt+gwwf3daqSZylRqrrtag1CfGW5VNXRk0bkqfjPBiJyyN70fmvmHqWoIB9xFXlrRkngpYEGep0WH9wnX+i1QYjl3pJSAf1b2BZnnDuyMz5+IAEvDGmFoVWw/ll1++XxXq5ugqKVz8qLWFqvgUdUlzFQIiJF05YeFJcW+Xn3OQdXW5SU1Tny9rLNPTJPe5eWQjJfcldCQ3FZEwB4pHe85ZlGI0qNtkNvnhAcSXVpVM/VTVAU6OONXk0tpRXKWzSUqDZjoERENlYcuIjvtp3BUz/sRWFJKVLSc5y+17y2m06rtZnNZg6bpLWQpAvNZuZbeq7u7RYrDgH9vPscXvjlQHlfw624+/ppW05eE7eDfe1XRyeqSxgoEZFMcakRT0im+5eUCujTPNzp+0vLeiO8FHqUzAnZB89bZs7ZCx/MgdKsPyu/3puruXux7daSRXfbxlRNvhdRbcBAiYhkpMUjAdOSJEaVZG5pDtK566YihYvLhulSr+TBW9KjFClZT23+ltPitloAEWjQuX0vTHlo7IaEriddRoaILBgoEdVCO09nYP4/qeWarWZmPeOp1ChALWVl2VN9xO17520FABy6kA2gLEdJkhQsDZqOXMwWt9UCCI1GY1NWQOqeLg1Vz7mTqCBTgJgQF+LahjhQVEPlF4g8DcsDENUyl7ILcE9Z0BIf7o+BLSMd3CF35pp8+QqjAMVEagAw6Cw1gS5kyXui6gf74mi6JSBSq5XkTA0lawse6YYB5XwvV/nw/gR8tOY4Xhve1tVNsauBygxForqOgRJRLTP66x3i9qHzWeUOlLacuCrbNwoCShTWIfnjyT7w8VbvlI4J8cXKQ+nivrSnqm1MkNjzJC3AGBvqi7MZ9itwt6kf5DFBEgD0bBKGnlW8WG91eKR3Y5y6mofbPGwmIVF149AbUS2TU2BZR816QVZnFJXKgyIBpoRuqf4tItC+YbBsxhoATFxkSQIf3DoS8WF+4r5Oq8HdnRsAAJpGBAAwBU/SZ5jrDL00rJVq+zLzlYtYUuWE+uvx6YOdPa7kAlF1Y48SUS3y/t8psuAoyKf807yth9mMRgHfbj3t1L3L918Utw3eWpyWDOMdu5SLW9qYFpm9UWzKPbLOh4oM9MHp2bfa/YxmUYFOtYWIqCqwR4moFvlo7Qn5gQpMtIoJkeeq5BeV4uSVPHE/zF+P6be3cfgcg84LA1paqmknxIWI+UgFZYFSRRKI3XvuGBHVNuxRIqrF9F7l/7dQgEH+Y+G13w8hMtCAyzmFGNI2GnNHdbYZclP8bJ0WcaGWobfiUiPyCk3DgpuOX1W7TUajAawn7j09qLlT9xIRVQX2KBHVYqUKSdiOXM4plO1vPXUNTSL8AQBD2kU7FSQBgI/OC77elkTt/MJSbDuVUa62jOhsWwLAXZcBIaLaiYESUS2WW1ji+CIrvyWftzlmHiLzkQQ+ZtI1wqRC/L1lgdr1/CIckFTkdsapK7nlup6IqKoxUCKqxS5UYNZbuwa2FZrNi6QaFMoBfP5wV8Xn6L20srICRSVG2aK3ANAk3N9uW4ZxBhYRuRgDJaJaTKeV/xXPyCtymEAdGehjc+zgeVPNI4NCzpN1TpOZ3kuLOzrFiPt5RaXoajVspnWwREmgj/zZX49RDsqIiKoLAyWiWqxIsvZI2rV8dJ65CkM/3Gj3nmKF9UrM67SVJ+NJq9UgIU4eGL1xZ3v5NQ7SnXz18kDJR2c79EdEVJ0YKBHVQuaeG2nv0V9lVbKlU/2VfLU51eaYOcE72Lf8dZnMfLy1iA6W91ZpHSSGD20XjX4tIuxeQ0RUnRgoEVXA8Us5eOqHvdjs5DT3mta7WTgAYN/ZTPGYUTLPPvWq/WBJTUXWZTML8dXbHCt0MAzo7aXFt2O74+HERripVSS6xodW+POJiCqCgRJRBdz8wUb8se8CRn21HWuOXBJ7bnakZuDLTacgWBf/qQHmIo4AxHpFQZIeIOnSJo6GvMx0Vhda75u1jQlSfcZrt7eBl1aDabfZFqm8mOVcsvmMO9rh6zHdoNfxRxYR1Sz+1CGqpHHf7ML4b3cBAO7971a8sfwIGk9dIQtcpK7lFlZLICX9vOFlSdTSfKP8Isv5f323GwfO2Z+q/0D3WJvFZ62Tw83m3NdJtv/4gKbi9pjejXHwtSTc2sE0g01aG0mpl4mIyJ0wUCKqAhuOXcFpq+Gs7am2xRU3HruCLm+sxpvLjzh8ZurVPDyxcDcOOll7yNxjpNNq4Kc3JT1LAyVpZ9DR9BxM/XW/3ef1bxEJb6uhNuu12czqWy178kjveNm+r96ShN0yOkDc7tGEQ2lE5N4YKBFVkRnLDsv2jQpVsZ9ctAcA8KVCwrS1sQt2YsWBdAz/ZLNTn38puwAAUGIUxJ6f4lJLGzLyimTXm6f8q/l03Ql4W5UDUMtRsi4RYLAzO01arbsiS6wQEdUk/pQiqiJrj152eE12gW2l7J93n8Og99bbJFib951dhcQcFIUHGOBdlsuTW1giDvMln8t07kFl/PReNoGSs4FNoEptJQC4mFVgeR5zjojIzfGnFFE1EZysOvTc4n04eSUPr/5+qFKfV1hiykGKCjIgzN+S+5N1oxgAcMpBWQBAPlT3xp3tcKNYHtgZFJYwUWKvkKS0t+nMtXynnkdE5CoMlIiqiXWNoBOXc2T71gndG49dwafrTlT488wz7/Q6LQySnhrzMiL2ennMpDPjYkP9cDVHPlynNuutPKSdUmo5T0RE7oKBElE10VgFSl9ukucl/bTrrM097/yV4vC5adfycfxSjs3xK7mmopAGnRYajUYMaswL0z7cq5HNPdbB2vV8S2Bk0GlRanXeUYFIZ/hLAraKrEVHRFSTXBoobdy4EbfffjtiYmKg0WiwdOlS8VxxcTFeeOEFtG/fHv7+/oiJicHDDz+MCxcuyJ4RHx8PjUYj+5o9e3YNvwm5K0EQ0GXmKtzhZEJ0VbpWFriYWSc8f7EpFeeul2/o6XpeEfq9sw43f7AR209dk50zBx0XMi1J3YCllyjQx7aq9nmrQMUcOIX4eUOj0eDUlVzZ+aroUbqlbbS4/e49HSv9PCKi6uTSQCkvLw8dO3bEp59+anMuPz8fe/bswbRp07Bnzx4sWbIEKSkpGD58uM21M2bMwMWLF8Wvp556qiaaTx7g930XcC2vCPvOZeGk1S/9ilKrj2TNTy/P57FOXD5xOReLd50r12cfumCZqXbf59tk5z5ddxIAkJYhD74+WnMcALDr9HWb5y3Zcx5P/7AXv+8z/QNkwzFTpXGvsp6jJElQAzhexNYZDUJ8sXfazTj+5lB0jA2p9POIiKqT46SFajR06FAMHTpU8VxwcDBWrVolO/bJJ5+ge/fuSEtLQ1xcnHg8MDAQ0dHR1o8gwjM/Jovbr/1+CN+N6+HUfZ+uO4Gle8/jp38lop6/vCiidNaWPTOXHcGrvx/Cj48lonG4v7hemlR2QbFTzzJzNkFcylyHqb7VOmsA8P6qYwBMAWWXRvUws6zEwbWyUgI3t4nCjztthwgry/p7SkTkrjwqRykrKwsajQYhISGy47Nnz0ZYWBgSEhLwzjvvoKTEdgq2VGFhIbKzs2VfVPvZK9z45KI9eOzbXeLQ0zt/peD45VzM23jS5tpSJ+frn8+8gUvZhRj99Q4ApjIA1ub/c1rxXrVeq2X7Ljr12VKnysoMWOcbWfvPn0dtjlVmEVwiotrApT1K5VFQUIAXXngBDzzwAIKCLOtKPf300+jcuTNCQ0OxZcsWTJ06FRcvXsT777+v+qxZs2bh9ddfr4lmkxsJCzAoHs8pKMay/aYA5GJWAWIkVaYLimwDlvLO1LIeCpMKD9Djam6RzfF8hc8FgP8pJICbNYnwx6krebg7oYHi+dJS+4GSefhNqkujenbvkToyYwg+WnscN7eJcvoeIiJ35xE9SsXFxbj33nshCALmzp0rOzd58mQMGDAAHTp0wIQJE/Dee+/h448/RmGh7TCH2dSpU5GVlSV+nT1b9UML5H7U1le7lG35f8Vodc2Ri7azy6TX/DwhUXZuWHv1IeCoINtALTLQdjgMgE0StRpzSQAAiAv1AwAkNg1TvNZRj5IS65l79vjqvfDCkFboHOd8cEVE5O7cPlAyB0lnzpzBqlWrZL1JSnr06IGSkhKcPn1a9RqDwYCgoCDZF9V+amHCkYuWodc0qwKIO07brtdWIlbA1qNrvHytsjs6KffmAFDsaVFaEuRyToEst8pstsLQ2PIDll6g9SlXAJiqcStJPpsJALi/W6xqG5WYk9KVAj0iotrOrQMlc5B0/PhxrF69GmFhyv9SlkpOToZWq0VkZKTDa6luURpGA+QB1H8U6hhZ90SZq1eb11OTumFnqC7U3zbQ2H/ONm8q+0axbNp+/WAf5BWWYN4G23ypHQoL7y7anmZzDDDNsgNMlbof6mlbU0nN/x5LxODWkVj4qHOJ8EREtYlLA6Xc3FwkJycjOTkZAJCamork5GSkpaWhuLgY//d//4ddu3Zh4cKFKC0tRXp6OtLT01FUZMrp2Lp1K+bMmYN9+/bh1KlTWLhwISZNmoRRo0ahXj12/5N8Sv4Fldlqx9Itw2v7ynpdpFYfka/hVlQWKHnrTAFQdJBl+CxFoRCkuc/o9+Tzdtsa6GNKGbyQWYDbOtQXjzePChRrIln7YYftsLH18KG1o+k5KE+aVfuGwfhydDc0iwx0/iYiolrCpYHSrl27kJCQgISEBACmfKOEhARMnz4d58+fx++//45z586hU6dOqF+/vvi1ZcsWAKYhtB9//BH9+/dH27Zt8eabb2LSpEn4/PPPXfla5EakOTxqPrFaNmT14Uuy/fGS2XCAqccHAM5mmHp9pENS1/NsE7PNaT6nHaxrZi4M+fDXO2S5QYIgwKgSKHW3GvoD1IcYpc+rinpIRER1gUtnvQ0YMEA1wRZQT74169y5M7Zt22b3Gqq7jin07jjj0W932Rz7z8oUvDi0FQDgk7XywEr6f2lsWUK1I6H+emQoBFVmf0hmoAmCeiL28E4xtgcdREoCHC9FMu22NvYfQkRUR7h1jhJRZTz4RdUF0dL8oN1p8grXRyVDd3GhfrhVMmwGAMVW0/INOi18rKp0T7cTmAiw7VEK8TPVN/L1NiVap0jaYI6BZt7ZDoBtLaRmEQF2Sxw0CPHFuD6NVc8TEdUlDJSo1rKuT+StMMOsIqw7d0L9LFWmb2oViReSWtm9X6OxnXb/SO941euNRsB65K1NfdNMzRNXclFSakTSnI3iOXPtI3MwlnWjGGcltZwmDGgKex1K1uu/ERHVZQyUqM6w7tkBqmb1+jn3dwIAPNqnMfwNOsSF2R9+e7B7I5tgxDpwkiaICxBsht62nDQtiDt3/UksTZYXihzdKx6ApVwAAEz6X7K4HRFgwG97bYtLEhGRLQZKVKfstRo2W3kwvdLP7NkkDMfeGIpXVIbPrIe5JvRv4vCZ6dmWGXpGAarJ3ICp7pKU3sv013rbqWvisV1nLO/tpdXInk9EROoYKFGdYl2LqFX9qpnyrtep/1UqNQqyiQnlnnEm2F9f7u2V8tpP5t6pXs3CxWPmopHm9hARkXMYKFGdMqJzQ9m+0XH1AABA2xhL9fYejU1T8u/t2lDtcnS1WiNNOnLmaMaZNaNgO/RmnyDeZyZdO85eUEdERHL8iUluSxAEFJYoV9N2dN9rvx9SPLdVMhwFACV2IqW7JIvLxof7iz0x28uqYbeur770zTdju8tmv0mDFi+NRnEZkV+f6KX4LAGWauAAcIdSSQAJg87Ue9Q4zF/xfD1J8rmSVtEsLElEZMZAidzWtN8OotPrq8SlN5x1+GI2Fmw5rXhuUCv5emv2qli/cmtrcXv5/oto+tIKq3vV2+Bv0OH5pJaK12q0wFODmtvck6CymKxREDB/82lx/8P7E9Q/GKbyAwDwaF/LFP/2DYLFbb1Oi27xyp+VPP1m/PlMX7vPJyKqSxgoUY1bsucc4l9cjoPnbdc5k/p+WxpuFJfi47XHy/X8QxeyVc8VW/UgldoZegsLMODZwfKARhAENI8MAAC0dpDfpPOy/PWS9oxpNRo0CPG1e69U1o1i+Hg7/1fVnDwe4qdH0whTr5K5N6xX0zB4aTWYPaIDYoJ9bO4N8dPbzMAjIqrLGChRjZv80z4AwG0fb3bqerV1ztQ8//N+2f6793QUtz+zWq7kam6huP1YP9vZaNaLzpYaBRwv6+EqUSg3IBXmbxniki6WqytnMvepK3nYk5YJAEiIC7F7rZ/eCyGSoTVzPtThi6bg0Txs2DQiAFumDsLp2bfivw91Qbf4ejj4elK52kVEVBcwUCK3V2Kv28cJnSXBxc7T8vIAuWXrqwHAlZxCWNtbFqCYSRfIPeCgR0yatF0keYfyJnNLPysm2NQT9cmDtsNv8WF+2DPtZlk5AuvSBEoz3pLaRmPxhF4IMLh0RSMiIrfEQIncnnnx2Yqyt1yHNGYZ2CrS5nz3xvJFZyd8v1vc7qySU6T0udJil+bj5mExKWmhSSXm0gK3dbBN6H52cAv4eHvJjnEYjYiochgokdszDxsBplyfn3adRXqW8wUT7QVK0mE9pZyd54e0tDlmVlBsf0ae9GOLZT1Kpv9+PaYbhrSNxtKJvcVzV3Jte7XUnmm9cO3i3Wdtrvfi33Aiokrhj1Fye9LE5w9XH8fzP+/H7Z8o5zfd9vEmm2N2AyVJAKM03T/Ix9vmmFlvSUFHJRqNRgxsikpMn6OVrPPWKMwf8x7qgk6xIeI9b5QtZKvGS9JDNLJHnOzctlMZ1pdXaJiPiIgsGCiRS01dst/hNWEBluTk+f+cBqCcTwQAB8/bznizDpSybhTjYpZpOM88JHZXQgP4K+ToGOwUZ3SmcKO5w8rco2QvaAOAbvGhds9Lh9Ksh9mUhu0YKBERVQ4DJXKpH3acRerVPLvXmH/ZFxSX4oaD4S4lEQEG2X7H1/9G4qy1uJpbiGt5poAr2Fe55yjU335xRmddyDQNFTrKGXIUSNkbSnvypmYOn/f1mK52n09ERHKc5kIul5lfBMCU2Gw0CjZrodXzMwUxWTeK7T5HUCkeqRacHLqQjTPX8gEAhWVDYyffGoYvNp3C7R1NydK6KkryWbTjDADLEJwaR5UD7JUkGNAywuaY9Sy3iAD7yeJERCTHHiVyuWOXcgAAR9Oz0eSlFbj/862y3CFzsOIoUFqXctnueSURgabeJr2XKULx0mowoX9ThwUhh7SNLtfn/HPimuOL4HiobMne87L9uFA/cbt+sG2bk89myvYd9VgREZEcAyVyuRd+OQAAGDLHlIi97VSGbDjOnI/09A97ZfeZ84wAYPupaxi7YJfqZ8wb1UXxuLkTqmE9P8Xzaj4d2blc1zvLujfNkbSM/HJdr/NioEREVB4MlMgtTVy0R9z2LUtaPpqeI7smcdZacYr+/V9ss/u8wa1tayQVlRjFtd7sdeQ8OdBx7k9VkT724wfsr+lWEexRIiIqHwZKVKOcrbKdV2hJ2g7wUU+l+99OU+0gO2vbAlAOELQay332hryeS1KvpVTVpNP/pQvZVpXyLp9CRFTXMVCiGrX5xFXF4/lFJbL985mWYbVsO7lJWTeKcTnbcfFJjUZj02tUahTExWrdZRa9QTLl38/ghXmj5EN8XRvZrwbuCMsFEBGVDwMlqlFqs7YW7zqnes/21AxczytSPPf+qmPo/tYapz7byypIKCwx4q9DlwAAa4/aTwQf0bmhuO0o0bsygn29Mevu9phxR1tEBvqgSUSA7Px343qU63m9mobJ9u3VhSIiIlv8qUmVdu56PvakXXd8IYDQAOW6RI6mzW84dqXc7bJm3ZsSLqmvtOm4ck+X2dv/10Hc7lKJXh1pFW41D3SPw8OJ8QAAb0l5AoNOC1+9l8pdyh5ObCTbr6pyB0REdQV/alKl9fnPOtz92RYcTc9GVr79KfxqK9QLEBTXWjPzroJf8NpKPEKa41SZ0SulpHJ7pDlFK57pW+7PM+jkgRVnvRERlQ8DJaoyQ+ZsQscZf2PLSfXeGbWk6w3HrqCXnbXTKhonTRzY1PIMqwhHmhelr6aelr7N5e9kveyII9JyAeH+Bpvzjnq3rJPYvSsTLRIR1UH8qUlV7sEvtpf7nn9OXEOGSh4SAJy4nFvuZx56PQlTklqJ+9ZBw7hvLHWX2jawXRBXjVJhRzU9m8hzhMobKEl7lEoVoszXbm+LBiG+ePeejor3W78ze5SIiMqHS5hQpVgvkeGIAPXrr+erB0rfb0sr1+cAsFnk1l5+zrTb2jh83rv3dMTiXWcxvm9jp9tgnXt1WWUxXzVh/npoNKaAKUihTEL7hsH458WbVO+3CZRYHoCIqFwYKFGlmKfXO8toJ2fb3q9wewGWs+wFCSEqi+JK/V+Xhvi/Lg0dXidVZFU3ql9z9eFFJTovLQ6/PkTcLi/pO3eMDXG4KC8REclx6I0qpbxDYgV2AivryttS1knJt7SJsvs5SgGNvUCpuuoLdbAqGtk1PrTcz/DVe5V7tptZeZdEISIiOQZKVCkfrj5erut/2W2plySdng8ATa1qBkmN6RUvbuu0GsSH+6teu+n5gYo5O/Z6ZKpraY+h7etXy3OddfySJfjcZ7VALhEROcZAiSrl9LU8xeNGldylhdstuUa7XhksmxVWrLC8Sc8mph4Y6TImgT46u8N0aiUI7C0gW50jUh/e3wlA9RaqVFOexHMiIrLFHCWqlOyCEsXj+cWlqgGLlLQnRykxfNupDADyAOuzkV1UC1AunpCIev7KRS2dbUdVu7V9fZQaBXRoWPVrtzkSGWRbUoCIiJzHHiWqFF+V6e7FDiptKymxM4Nu39lMeJdNbY8P94NaXNOtAjlAQPWugabz0uLuzg3RLDKw2j5DTWM7Q5REROQYAyWqFOkaaFJKNX+USMMTpaE3yM6bnuntpa3yobLaOhnMoPMSg9kHuse6uDVERJ6HQ29UKT7eyrF2bkGJTbK2kkvZlrpC2TfsL39i5u2lrfIeoECD4/IAnurvSf3w16F03N89ztVNISLyOOxRokpRGy4b/+0um2M3imxLAxy+mC1uq+U7WfPx1lZ5PSC9rvb+VYgN9cOjfZs4lTNGRERytfe3A9WIklLlQOm4Qn2lJXvPKVyp7qmbmikeN+i87M56U9MkwpKvE2WV5FydydxEROS5GChRpZTYK7VtpaDY+Wu9tBr8+5aWNseHd4wBAOQWOtf7JCUtWvnHk33KfT8REdU9Lg2UNm7ciNtvvx0xMTHQaDRYunSp7LwgCJg+fTrq168PX19fDB48GMePywscZmRkYOTIkQgKCkJISAjGjRuH3NzyL6BKFWO9lpk9M5cdFre7xZtWvfdTqTg9575OisfNi7p+tTnV5txj/ZrY/fzH+lnWaAtQWDeNiIjImksDpby8PHTs2BGffvqp4vm3334bH330EebNm4ft27fD398fSUlJKCgoEK8ZOXIkDh06hFWrVmHZsmXYuHEjHnvssZp6hVpv5+kMjF2wE2dUCksWVqAMAACM7W0KWvoqrH3284RE3F7Wc2TNW2v6X/amVpE25xwt0Cut/C0ta2A9DEdERGTm0n9WDx06FEOHDlU8JwgC5syZg1deeQV33HEHAODbb79FVFQUli5divvvvx9HjhzBypUrsXPnTnTt2hUA8PHHH2PYsGF49913EROj/Mu2sLAQhYWS2VbZ2YrXEXDPvK0AgPSsAqx4pq/N+b1p1yv0XHNI0y4mGH8duiQ7J11qZGi7aPx5MF3cP3nF1FvYq2kY1h69LLsvM9/+rLkwlVl4FVl/jYiI6ga3zVFKTU1Feno6Bg8eLB4LDg5Gjx49sHWr6Zf31q1bERISIgZJADB48GBotVps375d9dmzZs1CcHCw+BUby/oyjhy+mI1nf9xrc3zfuawKPc+/bAaWl5dtErVRUoPJuoBky2hT0UalGXS/7LGfLN4gxBdTklpixh1tZbPmIpwoY0BERHWT2wZK6emmXoSoKPkq8VFRUeK59PR0REbKh2B0Oh1CQ0PFa5RMnToVWVlZ4tfZs2eruPW109LkCygotg1QnCFYFaDs28w05GYeSpMKkuQPWVcBMO9/s/V0hdoxcWAzPJwYLzumlidFRETktoFSdTIYDAgKCpJ9kXOKSo3IKSi2CXzs+etQOhpPXSE7pi2bjn+fQrVonSR4yrGqraQpKwxwNbfI6c9XoytrQ9/mEZV+FhER1U5uGyhFR0cDAC5dkuevXLp0STwXHR2Ny5fleSolJSXIyMgQr6Gqtfv0dXSeuQov/XrA6Xv+9d1u1XNBPt54tE9j2TGdZDguLtTP6c8Z3No2wduebS8Nwi+PJyKxaVi57iMiorrDbQOlxo0bIzo6GmvWrBGPZWdnY/v27UhMTAQAJCYmIjMzE7t3W34Rr127FkajET169KjxNtcFn288heJSAT/sMA1XRgf5ADDNQls6sXeFnmm9wr20R8nHatFd89DbxIFNbZ6z+shlm2P2hAcY0KURE7mJiEidS2e95ebm4sSJE+J+amoqkpOTERoairi4ODz77LN444030Lx5czRu3BjTpk1DTEwM7rzzTgBA69atMWTIEIwfPx7z5s1DcXExnnzySdx///2qM96ocoqsFq5NzzaVaph8cwu0axAsOycIglNLjViv2yZNW7IumG3eTWwSjk/XnXSu0URERBXk0kBp165dGDhwoLg/efJkAMDo0aOxYMECPP/888jLy8Njjz2GzMxM9OnTBytXroSPj494z8KFC/Hkk09i0KBB0Gq1GDFiBD766KMaf5faSClx26iSm7T7zHWbQMkoAAqT2vD4AHlvkHUtJo1kgRK1xW8VcsDRNoa5ZkREVLVcGigNGDDAblKwRqPBjBkzMGPGDNVrQkNDsWjRoupoXp125loebvlgo81xo6Soo/TPzrw94462mP7bIQCmApDWa6gFGnR4Pkm+NMm56/my/fAAvbhtHSeZP9E6uKrn540vHu4KIiKiquS2OUrkWlMW71esui0tfr09NUPc7lNWYfvuzg0l19oGwU0jA2yG4x7tK196RHreeokUc5HJdZJikxP6N8XuV25GTIiv6vsQERFVBBe8IkVX8woVjxdLcpRyJVP3g3y8AQDekrG2/KJSfP2PfE02pWVGpEuLtLcavosM8pHtn7t+AwDgK6l9FOavF8sNEBERVSX2KJEitdygo+k54rb0EnOgIi0gqQHw9soU2f0XMm/Y/VzrXqiSUuW15IJ9vRW3iYiIqhIDJVJ04nKuw2suZVt6nbzKoiZp8FSqMPTWRiXh2rw47sgejWTHi0vlzzAngof5W/KYYstRa4mIiKg8KjT0lpeXh9mzZ2PNmjW4fPkyjEb5v/pPnTpVJY0j9yYtOmnuUdJoNNBqTLlMRoVhNrWeqi8e7opjl3Jsht6Krf7fahzmDwAY1DoKgOnzu8bXq/A7EBER2VOhQOnRRx/Fhg0b8NBDD6F+/fpO1cqh2k06u81Lq4GxVFDsUVIrL+Dj7YUODUNsjreMCpTtF5aYShaEBxhw6PUkGHRa6LzYMUpERNWjQoHSn3/+ieXLl6N374pVYqbaRxoqm3qNBCh0KGHT8avleq71TDZpMri/gXMRiIioelXon+L16tVDaCiXfiALadBiHl5TGnqrLM5uIyKimlShQGnmzJmYPn068vPzHV9MHsmgs/yvMbBlBKbd1sbpe83DcEqlACpi/phu8NJqkBAXgv/r0tDxDURERFWkQmMX7733Hk6ePImoqCjEx8fD21s+PXvPnj1V0jhyHWku0dD29cu1PIi500ctH6m8BraKxMm3hlXJs4iIiMqjQoGSeVFaqr2k0/LPZuQjITbE6XvNw2NVFSgRERG5SrkDpZKSEmg0GowdOxYNG3IYpLaqH+yDi1kFAICfdp2VLU3iiLmmUkGxbbHIV293fgiPiIjI1cqdo6TT6fDOO++gpKTE8cXksVpIpuU/ObAZdOVIor6WVwTAduHa54e0xOjE+CppHxERUU2o0NDbTTfdhA0bNiA+Pr6Km0PuQjps1jDUr1yzzYJ9vZF1o1j2jK1Tb0L9YC5aS0REnqVCgdLQoUPx4osv4sCBA+jSpQv8/f1l54cPH14ljSPXKZHkKOm9tHan+j99UzPZftaNYgDAuqOXxWOBPlyPjYiIPE+FAqUnnngCAPD+++/bnNNoNCgtLa1cq8jljl+2LH6r1WjsTvUvUTn32fqTkmdUXduIiIhqSoUCJeu13aj2Cfb1xtVcU66RVgPU89OrXptf5DgwVlvjjYiIyJ1xkSxS5Ke3xNCd4kIQ7OeN/i0iFK8tLnUcODNOIiIiT1ShHqUZM2bYPT99+vQKNYbchzkR++sxXWHQeQEAvhnbHQAQ/+Jy2bVh/uq9TWZejJSIiMgDVShQ+vXXX2X7xcXFSE1NhU6nQ9OmTRko1QLmnCSd1nGnY8tox1W7OfRGRESeqEKB0t69e22OZWdnY8yYMbjrrrsq3ShyPfPMfi8nsrD7NAuX7T8+oCnmrj+Joe2i8efBdAAceiMiIs9UZTlKQUFBeP311zFt2rSqeiS5UGlZpORMT5DG6v+igmJTcrc0SNIwUiIiIg9UpcncWVlZyMrKqspHkosYxUDJiWutygNcL6vM3SDEVGCSS74REZGnqtDQ20cffSTbFwQBFy9exHfffYehQ4dWScPItczBjzNDb9a9RQlx9bA0+QJyC7nMDRERebYKBUoffPCBbF+r1SIiIgKjR4/G1KlTq6RhVLPeXnkUn60/ibkjO2No+/o4fS0fAFDkxNR/61jKvNyJuUI3ERGRp6pQoJSamlrV7SAXM1fRfnzhHpyefat4fH3KFfRqGq52G5LaRtksT3I2I796GklERFTDKpSjNHbsWOTk5Ngcz8vLw9ixYyvdKHIfjobe/vtQV5tjX246VV3NISIiqlEVCpS++eYb3Lhxw+b4jRs38O2331a6UeRaB89bEvK9FQKllc/2hZdWgzn3dVK8386ycERERB6lXENv2dnZEAQBgiAgJycHPj4+4rnS0lKsWLECkZGRVd5IqlnX84vE7ZvbRNucbxUdhJNvDVO9//aOMfhj34VqaRsREVFNKlegFBISAo1GA41GgxYtWtic12g0eP3116usceQafx+6JG7X8/e2c6WyB7rHMlAiIqJaoVyB0rp16yAIAm666Sb88ssvCA0NFc/p9Xo0atQIMTExVd5IqlnfbTsjbjtTHsCa3otrLRMRUe1QrkCpf//+AEyz3uLi4lhtuQ6oyGK2FQmuiIiI3FGF/unfqFEjbN68GaNGjUKvXr1w/vx5AMB3332HzZs3V2kDqfpZV9aW0lYg6DGyFDcREdUSFQqUfvnlFyQlJcHX1xd79uxBYWEhANMSJm+99VaVNpCqX2GJelHJivQoZd+QV+Tu3Sys3M8gIiJyBxUKlN544w3MmzcPX3zxBby9Lcm+vXv3xp49e6qscVQzBKj3AOm8yh8oBfnKE8B9vb3K/QwiIiJ3UKFAKSUlBf369bM5HhwcjMzMzMq2iWpYqZ2hN58KBDnNIgNk+zotk7uJiMgzVeg3WHR0NE6cOGFzfPPmzWjSpEmlG0U1y16gVJGhN3+9PLiqSK8UERGRO6hQoDR+/Hg888wz2L59OzQaDS5cuICFCxfi3//+Nx5//PGqbiNVM7VAKTrIp0LJ3Dqr8gDL9l+sULuIiIhcrUKB0osvvogHH3wQgwYNQm5uLvr164dHH30Ujz/+OB599NEqbWB8fLxY5FL6NXHiRADAgAEDbM5NmDChSttQ25WqzFJ78qZmVfL8NvWDquQ5RERENa1CgZJGo8HLL7+MjIwMHDx4ENu2bcOVK1cQHByMxo0bV2kDd+7ciYsXL4pfq1atAgDcc8894jXjx4+XXfP2229XaRtqO6PKpDeDrmpyi8b1qdr/J4iIiGpKuX4TFhYWYurUqejatSt69+6NFStWoE2bNjh06BBatmyJDz/8EJMmTarSBkZERCA6Olr8WrZsGZo2bSoWvwQAPz8/2TVBQezBKI8SlUhp8e5zFX5mvxYR4vblnMIKP4eIiMiVyhUoTZ8+HXPnzkV8fDxSU1Nxzz334LHHHsMHH3yA9957D6mpqXjhhReqq60oKirC999/j7Fjx8qqgi9cuBDh4eFo164dpk6divz8fLvPKSwsRHZ2tuyrrhEEASnpOSguNar2KFVmKZLW9QPF7RC/8q8XR0RE5A7KtYTJ4sWL8e2332L48OE4ePAgOnTogJKSEuzbt69GljNZunQpMjMzMWbMGPHYgw8+KK4xt3//frzwwgtISUnBkiVLVJ8za9asOr9478LtaXhl6UHc0iYKk262XeAYAGJDfSv8/Fvb18d/N5wCAPRqyoKTRETkmTSC4Px6E3q9HqmpqWjQoAEAwNfXFzt27ED79u2rrYFSSUlJ0Ov1+OOPP1SvWbt2LQYNGoQTJ06gadOmitcUFhaK1cQBIDs7G7GxscjKyqozw3b931mHM9dMPW9/PdsPSXM22lzzxp3tMKpnowp/xsgvt8FPr8MXD3et8DOIiIjUZGdnIzg4uFp/f5erR6m0tBR6vd5ys06HgIAAO3dUnTNnzmD16tV2e4oAoEePHgBgN1AyGAwwGAxV3kZPkldoWWYkI69I8ZomEf6V+oyFj/as1P1ERESuVq5ASRAEjBkzRgwyCgoKMGHCBPj7y3+hOgpmKmL+/PmIjIzErbfeave65ORkAED9+vWrvA21ydVcS3D0wBfbFK/p0ZhDZkREVLeVK1AaPXq0bH/UqFFV2hg1RqMR8+fPx+jRo6HTWZp88uRJLFq0CMOGDUNYWBj279+PSZMmoV+/fujQoUONtK220moArwoUmyQiIqpNyhUozZ8/v7raYdfq1auRlpaGsWPHyo7r9XqsXr0ac+bMQV5eHmJjYzFixAi88sorLmlnbWJnVRMiIqI6o1yBkqvccsstUMo5j42NxYYNG1zQIiIiIqoLuKw7ERERkQoGSnWQkeNqRERETmGgVAf9uve8q5tARETkERgo1UEbjl1RPP4lC0MSERHJMFCqg37fd0HxeMNKLFlCRERUGzFQIlFxCXOXiIiIpBgokehqbqHji4iIiOoQBkp10KBWkYrHO8WGYO+0m/FA9zj8+kSvGm4VERGR+/GIgpNUtYpVygPU8zcteDzr7vY12RwiIiK3xR6lOmijyqw3IiIikmOgRERERKSCgRIBACbf3MLVTSAiInI7DJQIADChf1NXN4GIiMjtMFCqg27rUN/mmLeXxgUtISIicm8MlOqgZfsv2hzTaBgoERERWWOgRERERKSCgRIRERGRCgZKRERERCoYKNVBPt6mP/Y+zcJd3BIiIiL3xiVM6iCj0fTfGXe0xZaT13BLmyjXNoiIiMhNMVCqg4yCaa03f4MOo3o2cnFriIiI3BeH3uqg0rJAiRUBiIiI7GOgVMcIgoCyOAlejJSIiIjsYqBUx2TdKBa3tQyUiIiI7GKgVMd8vTlV3NZqGSgRERHZw0CpjiksMYrbjJOIiIjsY6BUxwiSbS9GSkRERHYxUKrDmKNERERkHwOlOkbai8RAiYiIyD4GSnVMeIBB3ObQGxERkX0MlOoYP72XuM1AiYiIyD4GSnWMv8G0ao15YVwiIiJSx9+Wdczpq3kAgK6NQl3cEiIiIvfHQKkOEAQBBcWlAID3Vx0DAGw+cdWVTSIiIvIIDJTqgKd+2ItW01bibEa+q5tCRETkURgo1QHL9l8EACzcnubilhAREXkWBkp1SHZBseOLiIiISMRAqQ5ZxB4lIiKictG5ugFUPV7/4xD+OpiOiCAfVzeFiIjIY7l1j9Jrr70GjUYj+2rVqpV4vqCgABMnTkRYWBgCAgIwYsQIXLp0yYUtdg/nM29g/j+ncSGrAPvOZrq6OURERB7LrQMlAGjbti0uXrwofm3evFk8N2nSJPzxxx9YvHgxNmzYgAsXLuDuu+92YWvdQ3pWgaubQEREVCu4/dCbTqdDdHS0zfGsrCx89dVXWLRoEW666SYAwPz589G6dWts27YNPXv2VH1mYWEhCgsLxf3s7Oyqb7gLXclxHCjpvdw+RiYiInI5t/9tefz4ccTExKBJkyYYOXIk0tJMCcm7d+9GcXExBg8eLF7bqlUrxMXFYevWrXafOWvWLAQHB4tfsbGx1foONS27oMThNcue7lMDLSEiIvJsbh0o9ejRAwsWLMDKlSsxd+5cpKamom/fvsjJyUF6ejr0ej1CQkJk90RFRSE9Pd3uc6dOnYqsrCzx6+zZs9X4FjXvu61nHF4TFcgkbyIiIkfceuht6NCh4naHDh3Qo0cPNGrUCD/99BN8fX0r/FyDwQCDwVAVTXRLeYWOe5SMglADLSEiIvJsbt2jZC0kJAQtWrTAiRMnEB0djaKiImRmZsquuXTpkmJOU11yqmzhW3uKS4010BIiIiLP5lGBUm5uLk6ePIn69eujS5cu8Pb2xpo1a8TzKSkpSEtLQ2Jiogtb6XoxwU4Mq2mqvx1ERESezq2H3p577jncfvvtaNSoES5cuIBXX30VXl5eeOCBBxAcHIxx48Zh8uTJCA0NRVBQEJ566ikkJibanfFW23231VQ/yZF6fvoaaA0REZFnc+tA6dy5c3jggQdw7do1REREoE+fPti2bRsiIiIAAB988AG0Wi1GjBiBwsJCJCUl4bPPPnNxq11r2m+HnLrOm+UBiIiIHNIIArN6s7OzERwcjKysLAQFBbm6OZUS/+Jyp647PfvWam4JERFR9aqJ39/sViAiIiJSwUCpFnll6QFXN4GIiKhWYaBUS5QaBXy/Lc3VzSAiIqpVGCjVEqVG21SzhxMbKV7bONy/uptDRERUKzBQqiWUAqWMvCLFa5dznTciIiKnMFCqJUoVJi8u239R8Vo/vVtXhSAiInIbDJRqCaUeJSIiIqocBkq1wNXcQuQX2S6E2zTCNhfJ24trlxARETmLYzAebvPxqxj11XbFcxqNbVC0deqg6m4SERFRrcFAyUNdySlE1o0i1SAJAE5czhW3Z97RFiN7NIJWyx4lIiIiZzFQ8kBZ+cXo9uZqh9d1bVQPk29ugU0nruL+7nEMkoiIiMqJgZIHOnQhy6nrhrSLRq9m4ejVLLyaW0RERFQ7MZnbAz34pfpwm1Q9P301t4SIiKh2Y6BUS93UKhLDO8W4uhlEREQejYFSLfXBfZ3g7cU/XiIiosrgb9JaKtjX29VNICIi8ngMlIiIiIhUMFAiIiIiUsFAycMICovfEhERUfVgoORhnFn89rXb29RAS4iIiGo/BkoeptSJHqUxvRvXQEuIiIhqPwZKHsZotGw3CPF1XUOIiIjqAAZKHib1ap64fT7zhgtbQkREVPsxUPIwZ6/n2z0/uHVUDbWEiIio9mOg5GEuZxfYPd+7WVgNtYSIiKj2Y6DkYW4Ul4rbO14ahO7xoVg9uZ94zN+gc0WziIiIaiX+VvUwzaMCxe3IIB/8NCERADDzznb45/hV3NmpgauaRkREVOswUPIgxaVGPDJ/JwCgU2yI7NxDPRvhoZ6NXNAqIiKi2otDbx6k+ct/itvJZzNd1xAiIqI6goGShzA6UZGbiIiIqhYDJQ9gNAq4e+4WVzeDiIiozmGg5AGybhTbDLV5aTWuaQwREVEdwkDJA2w+cdXm2M6XB7ugJURERHULAyU3V1Bcinf/TpEdW//cAIT6613UIiIiorqDgZKbG//tLpy5Jl+2pB6DJCIiohrBQMnNbTpuO+xm0PGPjYiIqCbwN64H8vH2cnUTiIiI6gQGSm7s4PksVzeBiIioTnPrQGnWrFno1q0bAgMDERkZiTvvvBMpKfLE5gEDBkCj0ci+JkyY4KIWV63nFu9zdROIiIjqNLde623Dhg2YOHEiunXrhpKSErz00ku45ZZbcPjwYfj7+4vXjR8/HjNmzBD3/fz8XNHcKnc0PUfcfn5IS1zJKeR6bkRERDXIrQOllStXyvYXLFiAyMhI7N69G/369ROP+/n5ITo6uqabVy12n8nAiLlbbY6P7d2YuUlEREQ1zK2H3qxlZZlydkJDQ2XHFy5ciPDwcLRr1w5Tp05Ffn6+0u2iwsJCZGdny77chVKQBDCBm4iIyBXcukdJymg04tlnn0Xv3r3Rrl078fiDDz6IRo0aISYmBvv378cLL7yAlJQULFmyRPVZs2bNwuuvv14Tza4S/VtEuLoJREREdZJGEASPWJb+8ccfx59//onNmzejYcOGqtetXbsWgwYNwokTJ9C0aVPFawoLC1FYWCjuZ2dnIzY2FllZWQgKCqrytpdH/IvLbY4teaIXOsfVc0FriIiI3Fd2djaCg4Or9fe3R/QoPfnkk1i2bBk2btxoN0gCgB49egCA3UDJYDDAYDBUeTurS2Z+kaubQEREVCe5daAkCAKeeuop/Prrr1i/fj0aN27s8J7k5GQAQP369au5dVVvi8LitwBQUGys4ZYQERER4OaB0sSJE7Fo0SL89ttvCAwMRHp6OgAgODgYvr6+OHnyJBYtWoRhw4YhLCwM+/fvx6RJk9CvXz906NDBxa0vvwe/3K54vG/z8BpuCREREQFuHijNnTsXgKmopNT8+fMxZswY6PV6rF69GnPmzEFeXh5iY2MxYsQIvPLKKy5obeUUlpSqngswuPUfExERUa3l1r+BHeWZx8bGYsOGDTXUmupTahTw/M/7Vc9rNJoabA0RERGZeVQdpdpq4fYz+C35grjfpr5rZ94RERGRCQMlNzD9t0Oy/eVP93FRS4iIiEiKgZIb4lAbERGRe2Cg5AaaRwa4uglERESkgIGSGzh+OdfVTSAiIiIFDJTczE//SnR1E4iIiKgMAyUX6zJzlbj975tboHvjUBe2hoiIiKQYKLnYtTzLOm53d7G/jh0RERHVLAZKbiRA79b1P4mIiOocBkoudOZanmzfW8eyAERERO6EgZILzVx2RLbvxx4lIiIit8JAyUVKSo1YfeSSuN+zCZO4iYiI3A0DJRfJLiiR7U9JaumilhAREZEaBkoucjW3ULbfpn6wi1pCREREahgoucj03w6K2ze3iYKv3kt2vlNsCADg5WGta7JZREREJMHsYRcQBAHbTmWI+1883NXmmp8nJCItIx+Nw/1rsmlEREQkwUDJBT5dd8LhNTovLZpEcLFcIiIiV+LQWw0rNQp49+9jrm4GEREROYGBUg1r+tIK2X58mJ+LWkJERESOMFBysfVTBrq6CURERKSCgVIN2n0mQ7Z/R6cYF7WEiIiInMFAqQatPXpZtv/h/QkuagkRERE5g4FSDVq4PU3cHtou2oUtISIiImcwUKohpUYBmfnF4v6793R0YWuIiIjIGQyUasjwTzbL9v0NLGFFRETk7hgo1ZBDF7Jd3QQiIiIqJwZKNWDxrrOy/e/GdXdRS4iIiKg8GCjVgCk/75ft920e4aKWEBERUXkwUKpmBcWlrm4CERERVRADpWrW7Y3Vrm4CERERVRADpWp05loecgpLZMdGJzZyUWuIiIiovBgoVSNpgUmz6be3dUFLiIiIqCIYKFWjC5k3ZPs7Xh4EL63GRa0hIiKi8mKgVI2klbg3PT8QkYE+LmwNERERlRcDpWoU4uctbseG+rmwJURERFQRDJSq0bXcIgBAYpMwF7eEiIiIKoKBUjVqUM8XABAb6uvilhAREVFFMFCqRicu5wIAmkQEuLglREREVBG1JlD69NNPER8fDx8fH/To0QM7duxwdZMQ5q8HAORb1VIiIiIiz1ArAqX//e9/mDx5Ml599VXs2bMHHTt2RFJSEi5fvuzSdpUYBQBAQyZyExEReaRaESi9//77GD9+PB555BG0adMG8+bNg5+fH77++muXtuvMtTwAgJ/ey6XtICIioorx+ECpqKgIu3fvxuDBg8VjWq0WgwcPxtatWxXvKSwsRHZ2tuyrOpy+lg8A8NExUCIiIvJEHh8oXb16FaWlpYiKipIdj4qKQnp6uuI9s2bNQnBwsPgVGxtbLW1rFR2IJuH+6NyoXrU8n4iIiKqXztUNcIWpU6di8uTJ4n52dna1BEsrn+1X5c8kIiKimuPxgVJ4eDi8vLxw6dIl2fFLly4hOjpa8R6DwQCDwVATzSMiIiIP5vFDb3q9Hl26dMGaNWvEY0ajEWvWrEFiYqILW0ZERESezuN7lABg8uTJGD16NLp27Yru3btjzpw5yMvLwyOPPOLqphEREZEHqxWB0n333YcrV65g+vTpSE9PR6dOnbBy5UqbBG8iIiKi8tAIgiC4uhGulp2djeDgYGRlZSEoKMjVzSEiIiIn1MTvb4/PUSIiIiKqLgyUiIiIiFQwUCIiIiJSwUCJiIiISAUDJSIiIiIVDJSIiIiIVDBQIiIiIlLBQImIiIhIBQMlIiIiIhW1YgmTyjIXJ8/OznZxS4iIiMhZ5t/b1bnICAMlADk5OQCA2NhYF7eEiIiIyisnJwfBwcHV8myu9QbAaDTiwoULCAwMhEajqbLnZmdnIzY2FmfPnq3Va8jxPWuPuvCOAN+ztqkL71kX3hEo/3sKgoCcnBzExMRAq62ebCL2KAHQarVo2LBhtT0/KCioVv+Pbcb3rD3qwjsCfM/api68Z114R6B871ldPUlmTOYmIiIiUsFAiYiIiEgFA6VqZDAY8Oqrr8JgMLi6KdWK71l71IV3BPietU1deM+68I6Ae74nk7mJiIiIVLBHiYiIiEgFAyUiIiIiFQyUiIiIiFQwUCIiIiJSwUCpGn366aeIj4+Hj48PevTogR07dri6SQCAWbNmoVu3bggMDERkZCTuvPNOpKSkyK4pKCjAxIkTERYWhoCAAIwYMQKXLl2SXZOWloZbb70Vfn5+iIyMxJQpU1BSUiK7Zv369ejcuTMMBgOaNWuGBQsW2LSnpr5Ps2fPhkajwbPPPiseqy3vef78eYwaNQphYWHw9fVF+/btsWvXLvG8IAiYPn066tevD19fXwwePBjHjx+XPSMjIwMjR45EUFAQQkJCMG7cOOTm5squ2b9/P/r27QsfHx/Exsbi7bfftmnL4sWL0apVK/j4+KB9+/ZYsWJFpd+vtLQU06ZNQ+PGjeHr64umTZti5syZsvWdPPEdN27ciNtvvx0xMTHQaDRYunSp7Lw7vZMzbanIexYXF+OFF15A+/bt4e/vj5iYGDz88MO4cOFCrXpPaxMmTIBGo8GcOXM86j2deccjR45g+PDhCA4Ohr+/P7p164a0tDTxvMf93BWoWvz444+CXq8Xvv76a+HQoUPC+PHjhZCQEOHSpUuubpqQlJQkzJ8/Xzh48KCQnJwsDBs2TIiLixNyc3PFayZMmCDExsYKa9asEXbt2iX07NlT6NWrl3i+pKREaNeunTB48GBh7969wooVK4Tw8HBh6tSp4jWnTp0S/Pz8hMmTJwuHDx8WPv74Y8HLy0tYuXKleE1NfZ927NghxMfHCx06dBCeeeaZWvWeGRkZQqNGjYQxY8YI27dvF06dOiX89ddfwokTJ8RrZs+eLQQHBwtLly4V9u3bJwwfPlxo3LixcOPGDfGaIUOGCB07dhS2bdsmbNq0SWjWrJnwwAMPiOezsrKEqKgoYeTIkcLBgweFH374QfD19RX++9//itf8888/gpeXl/D2228Lhw8fFl555RXB29tbOHDgQKXe8c033xTCwsKEZcuWCampqcLixYuFgIAA4cMPP/Tod1yxYoXw8ssvC0uWLBEACL/++qvsvDu9kzNtqch7ZmZmCoMHDxb+97//CUePHhW2bt0qdO/eXejSpYvsGZ7+nlJLliwROnbsKMTExAgffPCBR72no3c8ceKEEBoaKkyZMkXYs2ePcOLECeG3336T/azztJ+7DJSqSffu3YWJEyeK+6WlpUJMTIwwa9YsF7ZK2eXLlwUAwoYNGwRBMP3g8vb2FhYvXixec+TIEQGAsHXrVkEQTH9ZtFqtkJ6eLl4zd+5cISgoSCgsLBQEQRCef/55oW3btrLPuu+++4SkpCRxvya+Tzk5OULz5s2FVatWCf379xcDpdryni+88ILQp08f1fNGo1GIjo4W3nnnHfFYZmamYDAYhB9++EEQBEE4fPiwAEDYuXOneM2ff/4paDQa4fz584IgCMJnn30m1KtXT3xv82e3bNlS3L/33nuFW2+9Vfb5PXr0EP71r39V6h1vvfVWYezYsbJjd999tzBy5Mha847Wv3Tc6Z2caUtF31PJjh07BADCmTNnat17njt3TmjQoIFw8OBBoVGjRrJAydPeU+kd77vvPmHUqFGq93jiz10OvVWDoqIi7N69G4MHDxaPabVaDB48GFu3bnVhy5RlZWUBAEJDQwEAu3fvRnFxsaz9rVq1QlxcnNj+rVu3on379oiKihKvSUpKQnZ2Ng4dOiReI32G+RrzM2rq+zRx4kTceuutNm2pLe/5+++/o2vXrrjnnnsQGRmJhIQEfPHFF+L51NRUpKenyz4/ODgYPXr0kL1nSEgIunbtKl4zePBgaLVabN++XbymX79+0Ov1svdMSUnB9evXnfpeVFSvXr2wZs0aHDt2DACwb98+bN68GUOHDq0172jNnd7JmbZUpaysLGg0GoSEhNSq9zQajXjooYcwZcoUtG3b1ua8p7+n0WjE8uXL0aJFCyQlJSEyMhI9evSQDc954s9dBkrV4OrVqygtLZX9IQNAVFQU0tPTXdQqZUajEc8++yx69+6Ndu3aAQDS09Oh1+vFH1Jm0vanp6crvp/5nL1rsrOzcePGjRr5Pv3444/Ys2cPZs2aZXOutrznqVOnMHfuXDRv3hx//fUXHn/8cTz99NP45ptvZO209/np6emIjIyUndfpdAgNDa2S70Vl3/PFF1/E/fffj1atWsHb2xsJCQl49tlnMXLkyFrzjtbc6Z2caUtVKSgowAsvvIAHHnhAXBS1trznf/7zH+h0Ojz99NOK5z39PS9fvozc3FzMnj0bQ4YMwd9//4277roLd999NzZs2CB+tqf93NWV62qqdSZOnIiDBw9i8+bNrm5KlTt79iyeeeYZrFq1Cj4+Pq5uTrUxGo3o2rUr3nrrLQBAQkICDh48iHnz5mH06NEubl3V+Omnn7Bw4UIsWrQIbdu2RXJyMp599lnExMTUmnckU2L3vffeC0EQMHfuXFc3p0rt3r0bH374Ifbs2QONRuPq5lQLo9EIALjjjjswadIkAECnTp2wZcsWzJs3D/3793dl8yqMPUrVIDw8HF5eXjZZ/JcuXUJ0dLSLWmXrySefxLJly7Bu3To0bNhQPB4dHY2ioiJkZmbKrpe2Pzo6WvH9zOfsXRMUFARfX99q/z7t3r0bly9fRufOnaHT6aDT6bBhwwZ89NFH0Ol0iIqKqhXvWb9+fbRp00Z2rHXr1uIsE/Nn2Pv86OhoXL58WXa+pKQEGRkZVfK9qOx7TpkyRexVat++PR566CFMmjRJ7CmsDe9ozZ3eyZm2VJY5SDpz5gxWrVol9iaZP9/T33PTpk24fPky4uLixJ9HZ86cwb///W/Ex8fXivcMDw+HTqdz+PPI037uMlCqBnq9Hl26dMGaNWvEY0ajEWvWrEFiYqILW2YiCAKefPJJ/Prrr1i7di0aN24sO9+lSxd4e3vL2p+SkoK0tDSx/YmJiThw4IDsL7X5h5v5L0liYqLsGeZrzM+o7u/ToEGDcODAASQnJ4tfXbt2xciRI8Xt2vCevXv3tinvcOzYMTRq1AgA0LhxY0RHR8s+Pzs7G9u3b5e9Z2ZmJnbv3i1es3btWhiNRvTo0UO8ZuPGjSguLpa9Z8uWLVGvXj2nvhcVlZ+fD61W/uPKy8tL/BdsbXhHa+70Ts60pTLMQdLx48exevVqhIWFyc7Xhvd86KGHsH//ftnPo5iYGEyZMgV//fVXrXhPvV6Pbt262f155JG/X8qV+k1O+/HHHwWDwSAsWLBAOHz4sPDYY48JISEhsix+V3n88ceF4OBgYf369cLFixfFr/z8fPGaCRMmCHFxccLatWuFXbt2CYmJiUJiYqJ43jx985ZbbhGSk5OFlStXChEREYrTN6dMmSIcOXJE+PTTTxWnb9bk90k66622vOeOHTsEnU4nvPnmm8Lx48eFhQsXCn5+fsL3338vXjN79mwhJCRE+O2334T9+/cLd9xxh+I084SEBGH79u3C5s2bhebNm8umJWdmZgpRUVHCQw89JBw8eFD48ccfBT8/P5tpyTqdTnj33XeFI0eOCK+++mqVlAcYPXq00KBBA7E8wJIlS4Tw8HDh+eef9+h3zMnJEfbu3Svs3btXACC8//77wt69e8XZXu70Ts60pSLvWVRUJAwfPlxo2LChkJycLPuZJJ3Z5envqcR61psnvKejd1yyZIng7e0tfP7558Lx48fFafubNm0Sn+FpP3cZKFWjjz/+WIiLixP0er3QvXt3Ydu2ba5ukiAIpimdSl/z588Xr7lx44bwxBNPCPXq1RP8/PyEu+66S7h48aLsOadPnxaGDh0q+Pr6CuHh4cK///1vobi4WHbNunXrhE6dOgl6vV5o0qSJ7DPMavL7ZB0o1Zb3/OOPP4R27doJBoNBaNWqlfD555/LzhuNRmHatGlCVFSUYDAYhEGDBgkpKSmya65duyY88MADQkBAgBAUFCQ88sgjQk5Ojuyaffv2CX369BEMBoPQoEEDYfbs2TZt+emnn4QWLVoIer1eaNu2rbB8+fJKv192drbwzDPPCHFxcYKPj4/QpEkT4eWXX5b9IvXEd1y3bp3i38XRo0e73Ts505aKvGdqaqrqz6R169bVmvdUohQouft7OvOOX331ldCsWTPBx8dH6Nixo7B06VLZMzzt565GECSlbYmIiIhIxBwlIiIiIhUMlIiIiIhUMFAiIiIiUsFAiYiIiEgFAyUiIiIiFQyUiIiIiFQwUCIiIiJSwUCJiIiISAUDJSKqVQYMGIBnn33W1c0golqCgRIR1Ti1YGbBggUICQmp0basX78eGo3GZjVzIiKAgRIRERGRKgZKROSWxowZgzvvvBOvv/46IiIiEBQUhAkTJqCoqEi8Ji8vDw8//DACAgJQv359vPfeezbP+e6779C1a1cEBgYiOjoaDz74IC5fvgwAOH36NAYOHAgAqFevHjQaDcaMGQMAMBqNmDVrFho3bgxfX1907NgRP//8s/jc69evY+TIkYiIiICvry+aN2+O+fPnV+N3hIhcQefqBhARqVmzZg18fHywfv16nD59Go888gjCwsLw5ptvAgCmTJmCDRs24LfffkNkZCReeukl7NmzB506dRKfUVxcjJkzZ6Jly5a4fPkyJk+ejDFjxmDFihWIjY3FL7/8ghEjRiAlJQVBQUHw9fUFAMyaNQvff/895s2bh+bNm2Pjxo0YNWoUIiIi0L9/f0ybNg2HDx/Gn3/+ifDwcJw4cQI3btxwxbeJiKoRAyUiclt6vR5ff/01/Pz80LZtW8yYMQNTpkzBzJkzkZ+fj6+++grff/89Bg0aBAD45ptv0LBhQ9kzxo4dK243adIEH330Ebp164bc3FwEBAQgNDQUABAZGSnmRxUWFuKtt97C6tWrkZiYKN67efNm/Pe//0X//v2RlpaGhIQEdO3aFQAQHx9fzd8NInIFBkpE5LY6duwIPz8/cT8xMRG5ubk4e/YsMjMzUVRUhB49eojnQ0ND0bJlS9kzdu/ejddeew379u3D9evXYTQaAQBpaWlo06aN4ueeOHEC+fn5uPnmm2XHi4qKkJCQAAB4/PHHMWLECOzZswe33HIL7rzzTvTq1atK3puI3AcDJSKqcUFBQcjKyrI5npmZieDg4Cr7nLy8PCQlJSEpKQkLFy5EREQE0tLSkJSUJMt1spabmwsAWL58ORo0aCA7ZzAYAABDhw7FmTNnsGLFCqxatQqDBg3CxIkT8e6771ZZ+4nI9ZjMTUQ1rmXLltizZ4/N8T179qBFixbi/r59+2R5P9u2bUNAQABiY2PRtGlTeHt7Y/v27eL569ev49ixY+L+0aNHce3aNcyePRt9+/ZFq1atxERuM71eDwAoLS0Vj7Vp0wYGgwFpaWlo1qyZ7Cs2Nla8LiIiAqNHj8b333+POXPm4PPPP6/Ed4WI3BF7lIioxj3++OP45JNP8PTTT+PRRx+FwWDA8uXL8cMPP+CPP/4QrysqKsK4cePwyiuv4PTp03j11Vfx5JNPQqvVIiAgAOPGjcOUKVMQFhaGyMhIvPzyy9BqLf/+i4uLg16vx8cff4wJEybg4MGDmDlzpqwtjRo1gkajwbJlyzBs2DD4+voiMDAQzz33HCZNmgSj0Yg+ffogKysL//zzD4KCgjB69GhMnz4dXbp0Qdu2bVFYWIhly5ahdevWNfY9JKIaIhARucCOHTuEm2++WYiIiBCCg4OFHj16CL/++qt4fvTo0cIdd9whTJ8+XQgLCxMCAgKE8ePHCwUFBeI1OTk5wqhRowQ/Pz8hKipKePvtt4X+/fsLzzzzjHjNokWLhPj4eMFgMAiJiYnC77//LgAQ9u7dK14zY8YMITo6WtBoNMLo0aMFQRAEo9EozJkzR2jZsqXg7e0tRERECElJScKGDRsEQRCEmTNnCq1btxZ8fX2F0NBQ4Y477hBOnTpVnd8yInIBjSAIgquDNSIia2PGjEFmZiaWLl3q6qYQUR3GHCUiIiIiFQyUiIiIiFRw6I2IiIhIBXuUiIiIiFQwUCIiIiJSwUCJiIiISAUDJSIiIiIVDJSIiIiIVDBQIiIiIlLBQImIiIhIBQMlIiIiIhX/Dxr2R3nxB1CbAAAAAElFTkSuQmCC", "text/plain": [ "
" ] @@ -413,7 +472,7 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 4, "metadata": {}, "outputs": [], "source": [ @@ -612,7 +671,7 @@ }, { "cell_type": "code", - "execution_count": 4, + "execution_count": 5, "metadata": {}, "outputs": [], "source": [ @@ -887,9 +946,59286 @@ }, { "cell_type": "code", - "execution_count": 5, + "execution_count": 6, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "global step=20480, episodic return=10.685626029968262\n", + "global step=20480, episodic return=10.193774223327637\n", + "global step=22528, episodic return=13.866467475891113\n", + "global step=22528, episodic return=13.208685874938965\n", + "global step=24576, episodic return=12.736746788024902\n", + "global step=24576, episodic return=14.778286933898926\n", + "global step=24576, episodic return=12.179922103881836\n", + "global step=24576, episodic return=12.075841903686523\n", + "global step=24576, episodic return=16.3866024017334\n", + "global step=24576, episodic return=13.5042085647583\n", + "global step=24576, episodic return=14.985676765441895\n", + "global step=26624, episodic return=14.530230522155762\n", + "global step=26624, episodic return=16.713375091552734\n", + "global step=26624, episodic return=13.284113883972168\n", + "global step=28672, episodic return=9.30801010131836\n", + "global step=28672, episodic return=16.11908721923828\n", + "global step=28672, episodic return=15.56856918334961\n", + "global step=28672, episodic return=14.099843978881836\n", + "global step=28672, episodic return=18.16644287109375\n", + "global step=28672, episodic return=15.477532386779785\n", + "global step=28672, episodic return=10.57027816772461\n", + "global step=28672, episodic return=16.03056526184082\n", + "global step=28672, episodic return=15.547176361083984\n", + "global step=28672, episodic return=15.329119682312012\n", + "global step=28672, episodic return=16.76287269592285\n", + "global step=30720, episodic return=18.816837310791016\n", + "global step=30720, episodic return=15.401768684387207\n", + "global step=30720, episodic return=16.281564712524414\n", + "global step=30720, episodic return=16.00524139404297\n", + "global step=30720, episodic return=15.779232025146484\n", + "global step=30720, episodic return=19.402694702148438\n", + "global step=30720, episodic return=17.656436920166016\n", + "global step=30720, episodic return=16.010910034179688\n", + "global step=30720, episodic return=18.49315643310547\n", + "global step=30720, episodic return=16.300029754638672\n", + "global step=30720, episodic return=20.44448471069336\n", + "global step=30720, episodic return=14.993339538574219\n", + "global step=30720, episodic return=18.888565063476562\n", + "global step=30720, episodic return=21.123136520385742\n", + "global step=30720, episodic return=16.94852066040039\n", + "global step=30720, episodic return=13.461140632629395\n", + "global step=30720, episodic return=19.560949325561523\n", + "global step=30720, episodic return=12.293463706970215\n", + "global step=32768, episodic return=16.44217872619629\n", + "global step=32768, episodic return=15.9562349319458\n", + "global step=32768, episodic return=21.14809799194336\n", + "global step=32768, episodic return=21.143991470336914\n", + "global step=32768, episodic return=15.550134658813477\n", + "global step=32768, episodic return=15.57624626159668\n", + "global step=32768, episodic return=16.120214462280273\n", + "global step=32768, episodic return=19.904380798339844\n", + "global step=32768, episodic return=22.65985870361328\n", + "global step=32768, episodic return=17.18733787536621\n", + "global step=32768, episodic return=21.15697479248047\n", + "global step=32768, episodic return=21.46736717224121\n", + "global step=32768, episodic return=22.092945098876953\n", + "global step=32768, episodic return=12.640914916992188\n", + "global step=32768, episodic return=15.7507905960083\n", + "global step=32768, episodic return=18.654582977294922\n", + "global step=32768, episodic return=19.335742950439453\n", + "global step=32768, episodic return=16.53666877746582\n", + "global step=32768, episodic return=16.717809677124023\n", + "global step=32768, episodic return=16.82164192199707\n", + "global step=32768, episodic return=18.547582626342773\n", + "global step=32768, episodic return=14.475619316101074\n", + "global step=32768, episodic return=17.469364166259766\n", + "global step=32768, episodic return=19.118762969970703\n", + "global step=32768, episodic return=18.3889102935791\n", + "global step=32768, episodic return=20.202167510986328\n", + "global step=34816, episodic return=25.85698127746582\n", + "global step=34816, episodic return=19.02189826965332\n", + "global step=34816, episodic return=21.614931106567383\n", + "global step=34816, episodic return=13.9091157913208\n", + "global step=34816, episodic return=12.416849136352539\n", + "global step=34816, episodic return=13.238960266113281\n", + "global step=34816, episodic return=19.321218490600586\n", + "global step=34816, episodic return=22.328731536865234\n", + "global step=34816, episodic return=24.251501083374023\n", + "global step=34816, episodic return=23.28351593017578\n", + "global step=34816, episodic return=26.276714324951172\n", + "global step=34816, episodic return=20.067108154296875\n", + "global step=34816, episodic return=20.4211368560791\n", + "global step=34816, episodic return=19.553956985473633\n", + "global step=34816, episodic return=18.106462478637695\n", + "global step=34816, episodic return=21.9893741607666\n", + "global step=34816, episodic return=23.65250015258789\n", + "global step=34816, episodic return=18.402467727661133\n", + "global step=36864, episodic return=23.9881649017334\n", + "global step=36864, episodic return=26.093538284301758\n", + "global step=36864, episodic return=14.014013290405273\n", + "global step=36864, episodic return=22.28743553161621\n", + "global step=36864, episodic return=20.87680435180664\n", + "global step=36864, episodic return=20.674694061279297\n", + "global step=36864, episodic return=24.651611328125\n", + "global step=36864, episodic return=18.545276641845703\n", + "global step=36864, episodic return=21.356882095336914\n", + "global step=36864, episodic return=23.884899139404297\n", + "global step=36864, episodic return=23.98526954650879\n", + "global step=36864, episodic return=20.02973175048828\n", + "global step=36864, episodic return=21.908401489257812\n", + "global step=36864, episodic return=25.680328369140625\n", + "global step=36864, episodic return=25.944368362426758\n", + "global step=36864, episodic return=22.015501022338867\n", + "global step=36864, episodic return=26.254470825195312\n", + "global step=36864, episodic return=24.81345558166504\n", + "global step=36864, episodic return=28.744138717651367\n", + "global step=36864, episodic return=17.911205291748047\n", + "global step=36864, episodic return=21.223058700561523\n", + "global step=36864, episodic return=21.954944610595703\n", + "global step=36864, episodic return=21.404146194458008\n", + "global step=36864, episodic return=17.71924591064453\n", + "global step=36864, episodic return=20.99502944946289\n", + "global step=36864, episodic return=20.537914276123047\n", + "global step=36864, episodic return=22.975740432739258\n", + "global step=38912, episodic return=16.86736297607422\n", + "global step=38912, episodic return=18.012357711791992\n", + "global step=38912, episodic return=22.432119369506836\n", + "global step=38912, episodic return=17.525779724121094\n", + "global step=38912, episodic return=18.811914443969727\n", + "global step=38912, episodic return=17.063879013061523\n", + "global step=38912, episodic return=16.600723266601562\n", + "global step=38912, episodic return=18.85554313659668\n", + "global step=38912, episodic return=26.140625\n", + "global step=38912, episodic return=20.162887573242188\n", + "global step=38912, episodic return=27.64971923828125\n", + "global step=38912, episodic return=21.896825790405273\n", + "global step=38912, episodic return=24.34758186340332\n", + "global step=38912, episodic return=16.836366653442383\n", + "global step=38912, episodic return=27.295021057128906\n", + "global step=38912, episodic return=24.116168975830078\n", + "global step=38912, episodic return=24.876537322998047\n", + "global step=38912, episodic return=22.732542037963867\n", + "global step=38912, episodic return=22.729766845703125\n", + "global step=38912, episodic return=23.101470947265625\n", + "global step=38912, episodic return=22.808311462402344\n", + "global step=38912, episodic return=18.84089469909668\n", + "global step=38912, episodic return=23.935075759887695\n", + "global step=38912, episodic return=18.84080696105957\n", + "global step=38912, episodic return=18.55533790588379\n", + "global step=38912, episodic return=16.832521438598633\n", + "global step=38912, episodic return=24.12142562866211\n", + "global step=38912, episodic return=20.287158966064453\n", + "global step=38912, episodic return=19.11998176574707\n", + "global step=38912, episodic return=31.49519157409668\n", + "global step=38912, episodic return=18.142385482788086\n", + "global step=38912, episodic return=20.138397216796875\n", + "global step=38912, episodic return=25.053380966186523\n", + "global step=40960, episodic return=29.410560607910156\n", + "global step=40960, episodic return=22.251737594604492\n", + "global step=40960, episodic return=21.273529052734375\n", + "global step=40960, episodic return=26.84581184387207\n", + "global step=40960, episodic return=15.369863510131836\n", + "global step=40960, episodic return=18.17668914794922\n", + "global step=40960, episodic return=22.66484260559082\n", + "global step=40960, episodic return=17.1986083984375\n", + "global step=40960, episodic return=16.0018310546875\n", + "global step=40960, episodic return=23.71390724182129\n", + "global step=40960, episodic return=18.189651489257812\n", + "global step=40960, episodic return=20.482879638671875\n", + "global step=40960, episodic return=19.674545288085938\n", + "global step=40960, episodic return=16.126686096191406\n", + "global step=40960, episodic return=18.72821807861328\n", + "global step=40960, episodic return=20.826801300048828\n", + "global step=40960, episodic return=27.38307762145996\n", + "global step=40960, episodic return=17.809431076049805\n", + "global step=40960, episodic return=24.241737365722656\n", + "global step=40960, episodic return=23.357276916503906\n", + "global step=40960, episodic return=28.559083938598633\n", + "global step=40960, episodic return=21.51696014404297\n", + "global step=40960, episodic return=19.55539321899414\n", + "global step=40960, episodic return=27.355501174926758\n", + "global step=40960, episodic return=21.749391555786133\n", + "global step=40960, episodic return=16.45144271850586\n", + "global step=40960, episodic return=26.579866409301758\n", + "global step=40960, episodic return=24.11313819885254\n", + "global step=43008, episodic return=24.27071189880371\n", + "global step=43008, episodic return=23.50435447692871\n", + "global step=43008, episodic return=14.506471633911133\n", + "global step=43008, episodic return=16.045564651489258\n", + "global step=43008, episodic return=19.95921516418457\n", + "global step=43008, episodic return=28.057899475097656\n", + "global step=43008, episodic return=28.653982162475586\n", + "global step=43008, episodic return=26.391681671142578\n", + "global step=43008, episodic return=23.621164321899414\n", + "global step=43008, episodic return=29.24273109436035\n", + "global step=43008, episodic return=27.057968139648438\n", + "global step=43008, episodic return=27.14358139038086\n", + "global step=43008, episodic return=22.281396865844727\n", + "global step=43008, episodic return=31.013090133666992\n", + "global step=43008, episodic return=25.143497467041016\n", + "global step=43008, episodic return=29.454694747924805\n", + "global step=43008, episodic return=19.643964767456055\n", + "global step=43008, episodic return=23.860164642333984\n", + "global step=43008, episodic return=21.630657196044922\n", + "global step=43008, episodic return=25.098417282104492\n", + "global step=43008, episodic return=27.066360473632812\n", + "global step=43008, episodic return=32.02656555175781\n", + "global step=43008, episodic return=18.380598068237305\n", + "global step=43008, episodic return=26.402090072631836\n", + "global step=43008, episodic return=25.072980880737305\n", + "global step=43008, episodic return=26.115890502929688\n", + "global step=43008, episodic return=24.414306640625\n", + "global step=43008, episodic return=19.78564453125\n", + "global step=43008, episodic return=31.524545669555664\n", + "global step=43008, episodic return=27.975135803222656\n", + "global step=43008, episodic return=26.794586181640625\n", + "global step=43008, episodic return=20.83680534362793\n", + "global step=43008, episodic return=16.1021671295166\n", + "global step=43008, episodic return=19.191587448120117\n", + "global step=43008, episodic return=29.545841217041016\n", + "global step=43008, episodic return=26.61775779724121\n", + "global step=43008, episodic return=18.677034378051758\n", + "global step=43008, episodic return=23.13496208190918\n", + "global step=43008, episodic return=23.175804138183594\n", + "global step=43008, episodic return=24.324251174926758\n", + "global step=45056, episodic return=21.350830078125\n", + "global step=45056, episodic return=19.328027725219727\n", + "global step=45056, episodic return=19.177932739257812\n", + "global step=45056, episodic return=22.083574295043945\n", + "global step=45056, episodic return=27.96086883544922\n", + "global step=45056, episodic return=23.64976692199707\n", + "global step=45056, episodic return=30.74164390563965\n", + "global step=45056, episodic return=20.543149948120117\n", + "global step=45056, episodic return=23.563732147216797\n", + "global step=45056, episodic return=30.179269790649414\n", + "global step=45056, episodic return=28.67739486694336\n", + "global step=45056, episodic return=28.606769561767578\n", + "global step=45056, episodic return=22.851633071899414\n", + "global step=45056, episodic return=20.363691329956055\n", + "global step=45056, episodic return=19.298280715942383\n", + "global step=45056, episodic return=29.632585525512695\n", + "global step=45056, episodic return=21.035417556762695\n", + "global step=45056, episodic return=24.775096893310547\n", + "global step=45056, episodic return=19.176326751708984\n", + "global step=45056, episodic return=28.608516693115234\n", + "global step=45056, episodic return=19.81938934326172\n", + "global step=45056, episodic return=21.149065017700195\n", + "global step=45056, episodic return=23.54576301574707\n", + "global step=45056, episodic return=21.730487823486328\n", + "global step=47104, episodic return=35.35502624511719\n", + "global step=47104, episodic return=29.567197799682617\n", + "global step=47104, episodic return=25.621374130249023\n", + "global step=47104, episodic return=18.564842224121094\n", + "global step=47104, episodic return=23.4582462310791\n", + "global step=47104, episodic return=19.484153747558594\n", + "global step=47104, episodic return=24.028564453125\n", + "global step=47104, episodic return=38.213966369628906\n", + "global step=47104, episodic return=20.591676712036133\n", + "global step=47104, episodic return=24.193180084228516\n", + "global step=47104, episodic return=32.19940948486328\n", + "global step=47104, episodic return=17.637149810791016\n", + "global step=47104, episodic return=26.530033111572266\n", + "global step=47104, episodic return=13.723858833312988\n", + "global step=47104, episodic return=38.27696228027344\n", + "global step=47104, episodic return=30.732656478881836\n", + "global step=47104, episodic return=26.686872482299805\n", + "global step=47104, episodic return=29.453542709350586\n", + "global step=47104, episodic return=28.087846755981445\n", + "global step=47104, episodic return=22.291698455810547\n", + "global step=47104, episodic return=19.591522216796875\n", + "global step=47104, episodic return=36.98142623901367\n", + "global step=47104, episodic return=22.47638511657715\n", + "global step=49152, episodic return=32.201202392578125\n", + "global step=49152, episodic return=32.87653350830078\n", + "global step=49152, episodic return=24.736799240112305\n", + "global step=49152, episodic return=21.576318740844727\n", + "global step=49152, episodic return=21.37555503845215\n", + "global step=49152, episodic return=21.403667449951172\n", + "global step=49152, episodic return=28.453327178955078\n", + "global step=49152, episodic return=34.86096954345703\n", + "global step=49152, episodic return=32.752227783203125\n", + "global step=49152, episodic return=25.21310806274414\n", + "global step=49152, episodic return=38.943145751953125\n", + "global step=49152, episodic return=26.088077545166016\n", + "global step=49152, episodic return=23.8724308013916\n", + "global step=49152, episodic return=30.007240295410156\n", + "global step=49152, episodic return=20.78955841064453\n", + "global step=49152, episodic return=28.079540252685547\n", + "global step=49152, episodic return=25.379514694213867\n", + "global step=49152, episodic return=17.5393123626709\n", + "global step=49152, episodic return=18.196941375732422\n", + "global step=49152, episodic return=37.443965911865234\n", + "global step=49152, episodic return=37.313453674316406\n", + "global step=49152, episodic return=31.1363582611084\n", + "global step=49152, episodic return=24.54279327392578\n", + "global step=49152, episodic return=25.868715286254883\n", + "global step=49152, episodic return=26.442352294921875\n", + "global step=49152, episodic return=37.238914489746094\n", + "global step=49152, episodic return=28.70675277709961\n", + "global step=49152, episodic return=30.80995750427246\n", + "global step=49152, episodic return=19.688112258911133\n", + "global step=49152, episodic return=32.962745666503906\n", + "global step=51200, episodic return=34.18986892700195\n", + "global step=51200, episodic return=34.26770782470703\n", + "global step=51200, episodic return=22.159488677978516\n", + "global step=51200, episodic return=20.323055267333984\n", + "global step=51200, episodic return=29.632381439208984\n", + "global step=51200, episodic return=26.9005126953125\n", + "global step=51200, episodic return=24.908517837524414\n", + "global step=51200, episodic return=28.713125228881836\n", + "global step=51200, episodic return=25.914791107177734\n", + "global step=51200, episodic return=22.35415267944336\n", + "global step=51200, episodic return=23.50891876220703\n", + "global step=51200, episodic return=22.72854232788086\n", + "global step=51200, episodic return=40.365867614746094\n", + "global step=51200, episodic return=23.191505432128906\n", + "global step=51200, episodic return=19.396142959594727\n", + "global step=51200, episodic return=34.64030838012695\n", + "global step=51200, episodic return=28.137296676635742\n", + "global step=51200, episodic return=17.68060874938965\n", + "global step=51200, episodic return=17.75832176208496\n", + "global step=51200, episodic return=35.455169677734375\n", + "global step=51200, episodic return=34.8765983581543\n", + "global step=51200, episodic return=31.454322814941406\n", + "global step=51200, episodic return=25.494741439819336\n", + "global step=51200, episodic return=29.535192489624023\n", + "global step=51200, episodic return=14.988285064697266\n", + "global step=51200, episodic return=28.809696197509766\n", + "global step=51200, episodic return=20.244709014892578\n", + "global step=51200, episodic return=31.112842559814453\n", + "global step=51200, episodic return=22.041576385498047\n", + "global step=51200, episodic return=19.378175735473633\n", + "global step=51200, episodic return=31.47867774963379\n", + "global step=51200, episodic return=26.015474319458008\n", + "global step=51200, episodic return=36.452083587646484\n", + "global step=53248, episodic return=22.866870880126953\n", + "global step=53248, episodic return=30.56027603149414\n", + "global step=53248, episodic return=29.009214401245117\n", + "global step=53248, episodic return=35.8615608215332\n", + "global step=53248, episodic return=21.85114288330078\n", + "global step=53248, episodic return=26.417749404907227\n", + "global step=53248, episodic return=37.85337448120117\n", + "global step=53248, episodic return=35.02203369140625\n", + "global step=53248, episodic return=28.600337982177734\n", + "global step=53248, episodic return=36.11280059814453\n", + "global step=53248, episodic return=27.3872127532959\n", + "global step=53248, episodic return=25.28733253479004\n", + "global step=53248, episodic return=26.930551528930664\n", + "global step=53248, episodic return=28.0101318359375\n", + "global step=53248, episodic return=38.09600830078125\n", + "global step=53248, episodic return=32.95296859741211\n", + "global step=53248, episodic return=30.567899703979492\n", + "global step=53248, episodic return=39.93086624145508\n", + "global step=53248, episodic return=31.64044761657715\n", + "global step=53248, episodic return=13.96001148223877\n", + "global step=53248, episodic return=22.163013458251953\n", + "global step=53248, episodic return=30.627939224243164\n", + "global step=53248, episodic return=26.730669021606445\n", + "global step=53248, episodic return=34.165306091308594\n", + "global step=53248, episodic return=40.6929931640625\n", + "global step=53248, episodic return=29.74459457397461\n", + "global step=53248, episodic return=28.601030349731445\n", + "global step=53248, episodic return=28.35570526123047\n", + "global step=53248, episodic return=34.817100524902344\n", + "global step=53248, episodic return=22.524646759033203\n", + "global step=53248, episodic return=27.74226951599121\n", + "global step=53248, episodic return=27.358257293701172\n", + "global step=53248, episodic return=45.21916198730469\n", + "global step=53248, episodic return=27.665748596191406\n", + "global step=53248, episodic return=32.43602752685547\n", + "global step=55296, episodic return=23.79889678955078\n", + "global step=55296, episodic return=33.14724349975586\n", + "global step=55296, episodic return=31.433246612548828\n", + "global step=55296, episodic return=27.029373168945312\n", + "global step=55296, episodic return=39.101776123046875\n", + "global step=55296, episodic return=27.931673049926758\n", + "global step=55296, episodic return=24.505338668823242\n", + "global step=55296, episodic return=35.00993728637695\n", + "global step=55296, episodic return=31.12887191772461\n", + "global step=55296, episodic return=28.690208435058594\n", + "global step=55296, episodic return=49.501651763916016\n", + "global step=55296, episodic return=26.63145637512207\n", + "global step=55296, episodic return=22.219839096069336\n", + "global step=55296, episodic return=29.574081420898438\n", + "global step=55296, episodic return=33.73249816894531\n", + "global step=55296, episodic return=23.015329360961914\n", + "global step=55296, episodic return=27.8436222076416\n", + "global step=55296, episodic return=25.47960662841797\n", + "global step=55296, episodic return=30.836929321289062\n", + "global step=55296, episodic return=23.566007614135742\n", + "global step=55296, episodic return=40.7652473449707\n", + "global step=55296, episodic return=32.56216812133789\n", + "global step=55296, episodic return=34.707542419433594\n", + "global step=55296, episodic return=35.707950592041016\n", + "global step=57344, episodic return=45.20525360107422\n", + "global step=57344, episodic return=26.642290115356445\n", + "global step=57344, episodic return=40.234710693359375\n", + "global step=57344, episodic return=26.923362731933594\n", + "global step=57344, episodic return=25.684316635131836\n", + "global step=57344, episodic return=24.15471839904785\n", + "global step=57344, episodic return=29.030500411987305\n", + "global step=57344, episodic return=52.31832504272461\n", + "global step=57344, episodic return=25.10679817199707\n", + "global step=57344, episodic return=26.360380172729492\n", + "global step=57344, episodic return=23.488065719604492\n", + "global step=57344, episodic return=30.53964614868164\n", + "global step=57344, episodic return=23.98128318786621\n", + "global step=57344, episodic return=41.33881378173828\n", + "global step=57344, episodic return=34.149871826171875\n", + "global step=57344, episodic return=31.475671768188477\n", + "global step=57344, episodic return=35.683799743652344\n", + "global step=57344, episodic return=40.93706512451172\n", + "global step=57344, episodic return=43.594425201416016\n", + "global step=57344, episodic return=23.036205291748047\n", + "global step=57344, episodic return=33.6077880859375\n", + "global step=57344, episodic return=28.120582580566406\n", + "global step=57344, episodic return=33.79548263549805\n", + "global step=57344, episodic return=26.435752868652344\n", + "global step=57344, episodic return=42.82918930053711\n", + "global step=57344, episodic return=35.21340560913086\n", + "global step=57344, episodic return=22.794702529907227\n", + "global step=57344, episodic return=28.783817291259766\n", + "global step=57344, episodic return=23.064294815063477\n", + "global step=59392, episodic return=29.292722702026367\n", + "global step=59392, episodic return=24.79970932006836\n", + "global step=59392, episodic return=19.15877342224121\n", + "global step=59392, episodic return=38.22271728515625\n", + "global step=59392, episodic return=34.83495330810547\n", + "global step=59392, episodic return=36.03849792480469\n", + "global step=59392, episodic return=21.96494483947754\n", + "global step=59392, episodic return=41.805084228515625\n", + "global step=59392, episodic return=27.067899703979492\n", + "global step=59392, episodic return=36.74311828613281\n", + "global step=59392, episodic return=30.488618850708008\n", + "global step=59392, episodic return=28.666662216186523\n", + "global step=59392, episodic return=39.69975280761719\n", + "global step=59392, episodic return=37.55267333984375\n", + "global step=59392, episodic return=29.514720916748047\n", + "global step=59392, episodic return=21.907039642333984\n", + "global step=59392, episodic return=17.506622314453125\n", + "global step=59392, episodic return=30.00345802307129\n", + "global step=59392, episodic return=34.55451202392578\n", + "global step=59392, episodic return=34.270179748535156\n", + "global step=59392, episodic return=35.4159049987793\n", + "global step=59392, episodic return=19.973140716552734\n", + "global step=59392, episodic return=21.839088439941406\n", + "global step=59392, episodic return=40.337642669677734\n", + "global step=59392, episodic return=45.39661407470703\n", + "global step=59392, episodic return=35.20431900024414\n", + "global step=59392, episodic return=35.70238494873047\n", + "global step=59392, episodic return=27.582847595214844\n", + "global step=61440, episodic return=32.4031867980957\n", + "global step=61440, episodic return=17.637535095214844\n", + "global step=61440, episodic return=36.13538360595703\n", + "global step=61440, episodic return=23.61310386657715\n", + "global step=61440, episodic return=35.972652435302734\n", + "global step=61440, episodic return=27.01544761657715\n", + "global step=61440, episodic return=41.58857345581055\n", + "global step=61440, episodic return=10.548240661621094\n", + "global step=61440, episodic return=30.733409881591797\n", + "global step=61440, episodic return=50.123836517333984\n", + "global step=61440, episodic return=32.58314514160156\n", + "global step=61440, episodic return=33.40083694458008\n", + "global step=61440, episodic return=36.62458038330078\n", + "global step=61440, episodic return=30.957273483276367\n", + "global step=61440, episodic return=42.718021392822266\n", + "global step=61440, episodic return=29.200153350830078\n", + "global step=61440, episodic return=44.47749328613281\n", + "global step=61440, episodic return=30.117080688476562\n", + "global step=61440, episodic return=25.20096206665039\n", + "global step=61440, episodic return=43.99668884277344\n", + "global step=61440, episodic return=30.6857967376709\n", + "global step=61440, episodic return=20.77638053894043\n", + "global step=61440, episodic return=34.80244445800781\n", + "global step=61440, episodic return=24.388376235961914\n", + "global step=63488, episodic return=23.71112823486328\n", + "global step=63488, episodic return=26.590049743652344\n", + "global step=63488, episodic return=27.074129104614258\n", + "global step=63488, episodic return=49.390281677246094\n", + "global step=63488, episodic return=40.115753173828125\n", + "global step=63488, episodic return=42.016056060791016\n", + "global step=63488, episodic return=28.4375057220459\n", + "global step=63488, episodic return=41.2374267578125\n", + "global step=63488, episodic return=40.01641845703125\n", + "global step=63488, episodic return=37.1060791015625\n", + "global step=63488, episodic return=28.66524887084961\n", + "global step=63488, episodic return=48.29545211791992\n", + "global step=63488, episodic return=21.128620147705078\n", + "global step=63488, episodic return=31.708742141723633\n", + "global step=63488, episodic return=37.29692840576172\n", + "global step=63488, episodic return=34.999385833740234\n", + "global step=63488, episodic return=32.50394821166992\n", + "global step=63488, episodic return=30.25581932067871\n", + "global step=63488, episodic return=21.66512107849121\n", + "global step=63488, episodic return=44.973323822021484\n", + "global step=63488, episodic return=32.43065643310547\n", + "global step=63488, episodic return=32.842750549316406\n", + "global step=63488, episodic return=26.113676071166992\n", + "global step=63488, episodic return=26.300643920898438\n", + "global step=63488, episodic return=31.56206703186035\n", + "global step=63488, episodic return=31.360652923583984\n", + "global step=63488, episodic return=34.17666244506836\n", + "global step=63488, episodic return=29.356407165527344\n", + "global step=63488, episodic return=45.6850471496582\n", + "global step=63488, episodic return=32.57366180419922\n", + "global step=63488, episodic return=41.02909851074219\n", + "global step=63488, episodic return=40.3307991027832\n", + "global step=63488, episodic return=30.883377075195312\n", + "global step=63488, episodic return=24.3015079498291\n", + "global step=63488, episodic return=43.14167022705078\n", + "global step=63488, episodic return=28.784543991088867\n", + "global step=65536, episodic return=50.87989807128906\n", + "global step=65536, episodic return=34.184814453125\n", + "global step=65536, episodic return=49.224910736083984\n", + "global step=65536, episodic return=34.449424743652344\n", + "global step=65536, episodic return=31.657785415649414\n", + "global step=65536, episodic return=26.650714874267578\n", + "global step=65536, episodic return=32.509281158447266\n", + "global step=65536, episodic return=40.081092834472656\n", + "global step=65536, episodic return=41.2675666809082\n", + "global step=65536, episodic return=29.73455047607422\n", + "global step=65536, episodic return=34.35535430908203\n", + "global step=65536, episodic return=26.342863082885742\n", + "global step=65536, episodic return=34.167667388916016\n", + "global step=65536, episodic return=40.89290237426758\n", + "global step=65536, episodic return=36.017601013183594\n", + "global step=65536, episodic return=27.165563583374023\n", + "global step=65536, episodic return=42.040618896484375\n", + "global step=65536, episodic return=38.75519561767578\n", + "global step=65536, episodic return=18.35320472717285\n", + "global step=65536, episodic return=39.533241271972656\n", + "global step=65536, episodic return=46.66775894165039\n", + "global step=65536, episodic return=34.401153564453125\n", + "global step=65536, episodic return=29.07854652404785\n", + "global step=65536, episodic return=25.982595443725586\n", + "global step=65536, episodic return=19.762432098388672\n", + "global step=65536, episodic return=42.38284683227539\n", + "global step=65536, episodic return=40.77457809448242\n", + "global step=65536, episodic return=32.569705963134766\n", + "global step=65536, episodic return=32.77878952026367\n", + "global step=65536, episodic return=43.00199890136719\n", + "global step=65536, episodic return=47.66764450073242\n", + "global step=67584, episodic return=39.123985290527344\n", + "global step=67584, episodic return=14.121993064880371\n", + "global step=67584, episodic return=26.777820587158203\n", + "global step=67584, episodic return=34.15589904785156\n", + "global step=67584, episodic return=34.03762435913086\n", + "global step=67584, episodic return=40.873470306396484\n", + "global step=67584, episodic return=24.792875289916992\n", + "global step=67584, episodic return=38.26256561279297\n", + "global step=67584, episodic return=43.25133514404297\n", + "global step=67584, episodic return=32.37638854980469\n", + "global step=67584, episodic return=28.344696044921875\n", + "global step=67584, episodic return=41.33466339111328\n", + "global step=67584, episodic return=45.57468795776367\n", + "global step=67584, episodic return=43.915897369384766\n", + "global step=67584, episodic return=25.565448760986328\n", + "global step=67584, episodic return=48.60511779785156\n", + "global step=67584, episodic return=28.9780330657959\n", + "global step=67584, episodic return=24.433835983276367\n", + "global step=67584, episodic return=49.88461685180664\n", + "global step=67584, episodic return=42.29810333251953\n", + "global step=67584, episodic return=22.60163688659668\n", + "global step=69632, episodic return=44.06061553955078\n", + "global step=69632, episodic return=33.29172134399414\n", + "global step=69632, episodic return=36.967185974121094\n", + "global step=69632, episodic return=23.949188232421875\n", + "global step=69632, episodic return=37.40000534057617\n", + "global step=69632, episodic return=30.971147537231445\n", + "global step=69632, episodic return=30.538793563842773\n", + "global step=69632, episodic return=33.512420654296875\n", + "global step=69632, episodic return=34.470123291015625\n", + "global step=69632, episodic return=34.84324264526367\n", + "global step=69632, episodic return=45.2299919128418\n", + "global step=69632, episodic return=31.715818405151367\n", + "global step=69632, episodic return=53.586021423339844\n", + "global step=69632, episodic return=33.920162200927734\n", + "global step=69632, episodic return=25.973562240600586\n", + "global step=69632, episodic return=39.90643310546875\n", + "global step=69632, episodic return=48.66753005981445\n", + "global step=69632, episodic return=41.01619338989258\n", + "global step=69632, episodic return=38.39729309082031\n", + "global step=69632, episodic return=45.42882537841797\n", + "global step=69632, episodic return=46.97549819946289\n", + "global step=69632, episodic return=30.960655212402344\n", + "global step=71680, episodic return=41.197967529296875\n", + "global step=71680, episodic return=31.49803924560547\n", + "global step=71680, episodic return=40.22499465942383\n", + "global step=71680, episodic return=26.854074478149414\n", + "global step=71680, episodic return=51.455650329589844\n", + "global step=71680, episodic return=28.395687103271484\n", + "global step=71680, episodic return=40.05596923828125\n", + "global step=71680, episodic return=36.79146194458008\n", + "global step=71680, episodic return=50.91718673706055\n", + "global step=71680, episodic return=42.02537536621094\n", + "global step=71680, episodic return=46.87764358520508\n", + "global step=71680, episodic return=40.127750396728516\n", + "global step=71680, episodic return=39.374114990234375\n", + "global step=71680, episodic return=25.437992095947266\n", + "global step=71680, episodic return=41.24299240112305\n", + "global step=71680, episodic return=55.03419494628906\n", + "global step=71680, episodic return=43.814903259277344\n", + "global step=71680, episodic return=48.658660888671875\n", + "global step=71680, episodic return=31.49222755432129\n", + "global step=71680, episodic return=44.90946578979492\n", + "global step=71680, episodic return=27.903213500976562\n", + "global step=71680, episodic return=29.942724227905273\n", + "global step=71680, episodic return=50.39130783081055\n", + "global step=71680, episodic return=22.94587516784668\n", + "global step=71680, episodic return=35.750972747802734\n", + "global step=71680, episodic return=39.32014846801758\n", + "global step=71680, episodic return=34.396461486816406\n", + "global step=71680, episodic return=30.936859130859375\n", + "global step=71680, episodic return=49.171321868896484\n", + "global step=71680, episodic return=39.61960983276367\n", + "global step=71680, episodic return=42.49284362792969\n", + "global step=73728, episodic return=35.45338821411133\n", + "global step=73728, episodic return=21.7115478515625\n", + "global step=73728, episodic return=40.9853515625\n", + "global step=73728, episodic return=24.086071014404297\n", + "global step=73728, episodic return=36.929500579833984\n", + "global step=73728, episodic return=42.339508056640625\n", + "global step=73728, episodic return=36.04460525512695\n", + "global step=73728, episodic return=29.54698371887207\n", + "global step=73728, episodic return=44.03341293334961\n", + "global step=73728, episodic return=30.86375617980957\n", + "global step=73728, episodic return=30.6159725189209\n", + "global step=73728, episodic return=32.38589859008789\n", + "global step=73728, episodic return=28.05980682373047\n", + "global step=73728, episodic return=45.758060455322266\n", + "global step=73728, episodic return=40.64139938354492\n", + "global step=73728, episodic return=37.80237579345703\n", + "global step=73728, episodic return=33.931297302246094\n", + "global step=73728, episodic return=28.117788314819336\n", + "global step=73728, episodic return=30.272663116455078\n", + "global step=73728, episodic return=38.17854309082031\n", + "global step=73728, episodic return=27.474992752075195\n", + "global step=73728, episodic return=52.32270812988281\n", + "global step=73728, episodic return=36.044532775878906\n", + "global step=73728, episodic return=25.568405151367188\n", + "global step=75776, episodic return=42.90223693847656\n", + "global step=75776, episodic return=49.020442962646484\n", + "global step=75776, episodic return=16.545974731445312\n", + "global step=75776, episodic return=14.727326393127441\n", + "global step=75776, episodic return=45.612159729003906\n", + "global step=75776, episodic return=33.432193756103516\n", + "global step=75776, episodic return=31.272571563720703\n", + "global step=75776, episodic return=27.03500747680664\n", + "global step=75776, episodic return=38.35013961791992\n", + "global step=75776, episodic return=38.83088302612305\n", + "global step=75776, episodic return=24.656850814819336\n", + "global step=75776, episodic return=30.67169189453125\n", + "global step=75776, episodic return=52.739158630371094\n", + "global step=75776, episodic return=38.19723892211914\n", + "global step=75776, episodic return=41.23384094238281\n", + "global step=75776, episodic return=33.830589294433594\n", + "global step=75776, episodic return=43.8043327331543\n", + "global step=75776, episodic return=45.00935745239258\n", + "global step=75776, episodic return=54.83125305175781\n", + "global step=75776, episodic return=59.50933837890625\n", + "global step=75776, episodic return=45.556392669677734\n", + "global step=75776, episodic return=25.150346755981445\n", + "global step=75776, episodic return=34.46184539794922\n", + "global step=75776, episodic return=27.549829483032227\n", + "global step=75776, episodic return=27.814916610717773\n", + "global step=75776, episodic return=31.46286964416504\n", + "global step=75776, episodic return=56.448333740234375\n", + "global step=77824, episodic return=38.08489227294922\n", + "global step=77824, episodic return=34.460567474365234\n", + "global step=77824, episodic return=39.25486373901367\n", + "global step=77824, episodic return=39.33702087402344\n", + "global step=77824, episodic return=46.64677429199219\n", + "global step=77824, episodic return=36.379981994628906\n", + "global step=77824, episodic return=33.680091857910156\n", + "global step=77824, episodic return=48.362335205078125\n", + "global step=77824, episodic return=33.14381408691406\n", + "global step=77824, episodic return=28.531190872192383\n", + "global step=77824, episodic return=44.2987174987793\n", + "global step=77824, episodic return=40.80706787109375\n", + "global step=77824, episodic return=52.9673957824707\n", + "global step=77824, episodic return=41.821739196777344\n", + "global step=77824, episodic return=20.52494239807129\n", + "global step=77824, episodic return=36.0120735168457\n", + "global step=77824, episodic return=26.03547477722168\n", + "global step=79872, episodic return=55.45180130004883\n", + "global step=79872, episodic return=43.38978576660156\n", + "global step=79872, episodic return=26.878461837768555\n", + "global step=79872, episodic return=31.034452438354492\n", + "global step=79872, episodic return=30.29378890991211\n", + "global step=79872, episodic return=26.094532012939453\n", + "global step=79872, episodic return=57.251953125\n", + "global step=79872, episodic return=42.25953674316406\n", + "global step=79872, episodic return=39.89374542236328\n", + "global step=79872, episodic return=31.577543258666992\n", + "global step=79872, episodic return=42.722145080566406\n", + "global step=79872, episodic return=52.82623291015625\n", + "global step=79872, episodic return=48.928306579589844\n", + "global step=79872, episodic return=47.036376953125\n", + "global step=79872, episodic return=41.05091094970703\n", + "global step=79872, episodic return=57.204254150390625\n", + "global step=79872, episodic return=39.25074768066406\n", + "global step=79872, episodic return=19.944419860839844\n", + "global step=79872, episodic return=35.66388702392578\n", + "global step=79872, episodic return=47.42369079589844\n", + "global step=79872, episodic return=58.447113037109375\n", + "global step=79872, episodic return=41.66813659667969\n", + "global step=81920, episodic return=36.808082580566406\n", + "global step=81920, episodic return=33.51477813720703\n", + "global step=81920, episodic return=33.37875747680664\n", + "global step=81920, episodic return=48.09340286254883\n", + "global step=81920, episodic return=45.89289093017578\n", + "global step=81920, episodic return=37.15440368652344\n", + "global step=81920, episodic return=38.513763427734375\n", + "global step=81920, episodic return=56.1839599609375\n", + "global step=81920, episodic return=29.44141960144043\n", + "global step=81920, episodic return=37.64485549926758\n", + "global step=81920, episodic return=43.973876953125\n", + "global step=81920, episodic return=50.87968826293945\n", + "global step=81920, episodic return=37.224483489990234\n", + "global step=81920, episodic return=42.392032623291016\n", + "global step=81920, episodic return=38.59356689453125\n", + "global step=81920, episodic return=34.31602096557617\n", + "global step=81920, episodic return=32.57232666015625\n", + "global step=83968, episodic return=47.138858795166016\n", + "global step=83968, episodic return=63.495208740234375\n", + "global step=83968, episodic return=34.987056732177734\n", + "global step=83968, episodic return=62.54896926879883\n", + "global step=83968, episodic return=52.52639389038086\n", + "global step=83968, episodic return=26.868202209472656\n", + "global step=83968, episodic return=49.906272888183594\n", + "global step=83968, episodic return=25.195629119873047\n", + "global step=83968, episodic return=45.662757873535156\n", + "global step=83968, episodic return=67.23941040039062\n", + "global step=83968, episodic return=32.06332778930664\n", + "global step=83968, episodic return=31.542219161987305\n", + "global step=86016, episodic return=41.824668884277344\n", + "global step=86016, episodic return=41.6653938293457\n", + "global step=86016, episodic return=45.453392028808594\n", + "global step=86016, episodic return=46.502593994140625\n", + "global step=86016, episodic return=36.066375732421875\n", + "global step=86016, episodic return=40.75156021118164\n", + "global step=86016, episodic return=47.536415100097656\n", + "global step=86016, episodic return=26.642274856567383\n", + "global step=86016, episodic return=38.59514236450195\n", + "global step=86016, episodic return=50.076961517333984\n", + "global step=86016, episodic return=33.877197265625\n", + "global step=86016, episodic return=37.94966125488281\n", + "global step=86016, episodic return=33.302555084228516\n", + "global step=86016, episodic return=54.810546875\n", + "global step=86016, episodic return=35.89710235595703\n", + "global step=86016, episodic return=32.93570327758789\n", + "global step=86016, episodic return=60.04729080200195\n", + "global step=86016, episodic return=28.208219528198242\n", + "global step=86016, episodic return=20.046306610107422\n", + "global step=86016, episodic return=36.603302001953125\n", + "global step=86016, episodic return=40.71005630493164\n", + "global step=88064, episodic return=41.84568405151367\n", + "global step=88064, episodic return=36.93589782714844\n", + "global step=88064, episodic return=31.141469955444336\n", + "global step=88064, episodic return=35.796878814697266\n", + "global step=88064, episodic return=66.29399871826172\n", + "global step=88064, episodic return=42.568363189697266\n", + "global step=88064, episodic return=19.586986541748047\n", + "global step=88064, episodic return=53.85157012939453\n", + "global step=88064, episodic return=30.22525978088379\n", + "global step=88064, episodic return=38.272544860839844\n", + "global step=88064, episodic return=50.306396484375\n", + "global step=88064, episodic return=64.85469055175781\n", + "global step=90112, episodic return=35.451473236083984\n", + "global step=90112, episodic return=35.16415023803711\n", + "global step=90112, episodic return=50.69038772583008\n", + "global step=90112, episodic return=34.450904846191406\n", + "global step=90112, episodic return=37.77220916748047\n", + "global step=90112, episodic return=47.77442169189453\n", + "global step=92160, episodic return=57.5356559753418\n", + "global step=92160, episodic return=55.96635055541992\n", + "global step=92160, episodic return=54.57907485961914\n", + "global step=92160, episodic return=47.063392639160156\n", + "global step=92160, episodic return=45.352333068847656\n", + "global step=92160, episodic return=44.74853515625\n", + "global step=92160, episodic return=53.197689056396484\n", + "global step=92160, episodic return=31.859981536865234\n", + "global step=92160, episodic return=26.416833877563477\n", + "global step=94208, episodic return=48.44981384277344\n", + "global step=94208, episodic return=49.318294525146484\n", + "global step=94208, episodic return=17.085289001464844\n", + "global step=94208, episodic return=39.76241683959961\n", + "global step=94208, episodic return=34.99045944213867\n", + "global step=94208, episodic return=59.17814254760742\n", + "global step=94208, episodic return=27.46067237854004\n", + "global step=94208, episodic return=56.686126708984375\n", + "global step=94208, episodic return=39.44243621826172\n", + "global step=96256, episodic return=33.12191390991211\n", + "global step=96256, episodic return=45.743568420410156\n", + "global step=96256, episodic return=54.45427322387695\n", + "global step=96256, episodic return=31.091901779174805\n", + "global step=96256, episodic return=22.974746704101562\n", + "global step=96256, episodic return=74.27529907226562\n", + "global step=96256, episodic return=57.274600982666016\n", + "global step=96256, episodic return=46.50457763671875\n", + "global step=96256, episodic return=41.650047302246094\n", + "global step=96256, episodic return=53.95241928100586\n", + "global step=98304, episodic return=78.8581771850586\n", + "global step=98304, episodic return=21.608306884765625\n", + "global step=98304, episodic return=34.29783630371094\n", + "global step=98304, episodic return=37.8559684753418\n", + "global step=98304, episodic return=45.91440200805664\n", + "global step=98304, episodic return=18.79911994934082\n", + "global step=98304, episodic return=66.15312194824219\n", + "global step=98304, episodic return=25.74772071838379\n", + "global step=98304, episodic return=27.800779342651367\n", + "global step=98304, episodic return=22.500476837158203\n", + "global step=98304, episodic return=28.827259063720703\n", + "global step=98304, episodic return=43.117469787597656\n", + "global step=98304, episodic return=51.68791961669922\n", + "global step=100352, episodic return=78.08504486083984\n", + "global step=100352, episodic return=22.714881896972656\n", + "global step=100352, episodic return=58.24167251586914\n", + "global step=100352, episodic return=24.373043060302734\n", + "global step=100352, episodic return=43.29502487182617\n", + "global step=100352, episodic return=27.0018253326416\n", + "global step=100352, episodic return=53.02998352050781\n", + "global step=100352, episodic return=54.52574920654297\n", + "global step=100352, episodic return=44.30992889404297\n", + "global step=100352, episodic return=34.393672943115234\n", + "global step=100352, episodic return=59.3302116394043\n", + "global step=100352, episodic return=37.37709426879883\n", + "global step=100352, episodic return=42.52693557739258\n", + "global step=100352, episodic return=16.578105926513672\n", + "global step=100352, episodic return=61.45000076293945\n", + "global step=100352, episodic return=60.13113784790039\n", + "global step=102400, episodic return=57.53450012207031\n", + "global step=102400, episodic return=33.60717010498047\n", + "global step=102400, episodic return=36.91923141479492\n", + "global step=102400, episodic return=42.929847717285156\n", + "global step=102400, episodic return=53.58795166015625\n", + "global step=102400, episodic return=39.10939025878906\n", + "global step=102400, episodic return=45.09205627441406\n", + "global step=102400, episodic return=33.33305740356445\n", + "global step=102400, episodic return=61.40824890136719\n", + "global step=102400, episodic return=79.21632385253906\n", + "global step=102400, episodic return=29.555774688720703\n", + "global step=102400, episodic return=41.35786819458008\n", + "global step=102400, episodic return=43.79402160644531\n", + "global step=102400, episodic return=45.2047004699707\n", + "global step=102400, episodic return=73.21574401855469\n", + "global step=102400, episodic return=57.17533874511719\n", + "global step=102400, episodic return=43.30965805053711\n", + "global step=102400, episodic return=31.422212600708008\n", + "global step=102400, episodic return=35.657440185546875\n", + "global step=102400, episodic return=40.85807800292969\n", + "global step=104448, episodic return=39.48662567138672\n", + "global step=104448, episodic return=61.262569427490234\n", + "global step=104448, episodic return=35.72974395751953\n", + "global step=104448, episodic return=52.15687561035156\n", + "global step=104448, episodic return=64.25735473632812\n", + "global step=104448, episodic return=29.573497772216797\n", + "global step=104448, episodic return=57.76443099975586\n", + "global step=104448, episodic return=33.99964141845703\n", + "global step=104448, episodic return=30.3027400970459\n", + "global step=104448, episodic return=32.228851318359375\n", + "global step=104448, episodic return=31.324382781982422\n", + "global step=104448, episodic return=72.98380279541016\n", + "global step=104448, episodic return=35.28705978393555\n", + "global step=104448, episodic return=32.465492248535156\n", + "global step=104448, episodic return=31.671682357788086\n", + "global step=104448, episodic return=47.14138412475586\n", + "global step=104448, episodic return=32.34933853149414\n", + "global step=106496, episodic return=15.8252534866333\n", + "global step=106496, episodic return=45.319217681884766\n", + "global step=106496, episodic return=28.632570266723633\n", + "global step=106496, episodic return=48.408443450927734\n", + "global step=106496, episodic return=42.024688720703125\n", + "global step=106496, episodic return=85.86692810058594\n", + "global step=106496, episodic return=59.752098083496094\n", + "global step=106496, episodic return=49.122806549072266\n", + "global step=106496, episodic return=23.062891006469727\n", + "global step=106496, episodic return=59.0473518371582\n", + "global step=108544, episodic return=53.47970962524414\n", + "global step=108544, episodic return=61.784671783447266\n", + "global step=108544, episodic return=65.02471160888672\n", + "global step=108544, episodic return=42.723548889160156\n", + "global step=108544, episodic return=85.59538269042969\n", + "global step=108544, episodic return=49.23630142211914\n", + "global step=110592, episodic return=63.91282272338867\n", + "global step=110592, episodic return=43.382503509521484\n", + "global step=110592, episodic return=46.59754943847656\n", + "global step=110592, episodic return=53.48139572143555\n", + "global step=110592, episodic return=44.6120491027832\n", + "global step=110592, episodic return=57.607540130615234\n", + "global step=110592, episodic return=53.10881042480469\n", + "global step=110592, episodic return=62.430450439453125\n", + "global step=110592, episodic return=53.92483901977539\n", + "global step=110592, episodic return=48.62409591674805\n", + "global step=110592, episodic return=65.85723876953125\n", + "global step=110592, episodic return=45.91368865966797\n", + "global step=110592, episodic return=80.13301086425781\n", + "global step=110592, episodic return=51.5361213684082\n", + "global step=110592, episodic return=48.223148345947266\n", + "global step=112640, episodic return=59.1077995300293\n", + "global step=112640, episodic return=49.744144439697266\n", + "global step=112640, episodic return=61.694114685058594\n", + "global step=112640, episodic return=56.3614387512207\n", + "global step=112640, episodic return=63.63729476928711\n", + "global step=112640, episodic return=42.156951904296875\n", + "global step=112640, episodic return=36.699462890625\n", + "global step=112640, episodic return=55.142147064208984\n", + "global step=112640, episodic return=54.00550842285156\n", + "global step=114688, episodic return=29.03226089477539\n", + "global step=114688, episodic return=30.837385177612305\n", + "global step=114688, episodic return=68.49307250976562\n", + "global step=114688, episodic return=39.41117858886719\n", + "global step=114688, episodic return=68.53172302246094\n", + "global step=114688, episodic return=58.753597259521484\n", + "global step=114688, episodic return=43.93293762207031\n", + "global step=114688, episodic return=34.45741271972656\n", + "global step=114688, episodic return=46.27619934082031\n", + "global step=114688, episodic return=42.00800704956055\n", + "global step=116736, episodic return=32.00994110107422\n", + "global step=116736, episodic return=40.240055084228516\n", + "global step=116736, episodic return=45.58740997314453\n", + "global step=116736, episodic return=33.54922866821289\n", + "global step=116736, episodic return=83.31576538085938\n", + "global step=116736, episodic return=57.57670974731445\n", + "global step=116736, episodic return=33.65271759033203\n", + "global step=116736, episodic return=33.6740837097168\n", + "global step=116736, episodic return=49.795841217041016\n", + "global step=116736, episodic return=46.732078552246094\n", + "global step=116736, episodic return=67.81048583984375\n", + "global step=118784, episodic return=47.76256561279297\n", + "global step=118784, episodic return=63.74201965332031\n", + "global step=118784, episodic return=11.822257995605469\n", + "global step=118784, episodic return=34.76305389404297\n", + "global step=118784, episodic return=42.37055206298828\n", + "global step=118784, episodic return=22.344331741333008\n", + "global step=118784, episodic return=65.19795227050781\n", + "global step=118784, episodic return=40.031612396240234\n", + "global step=120832, episodic return=43.584930419921875\n", + "global step=120832, episodic return=81.70000457763672\n", + "global step=120832, episodic return=66.14688110351562\n", + "global step=120832, episodic return=73.22431182861328\n", + "global step=120832, episodic return=24.55923843383789\n", + "global step=120832, episodic return=50.327213287353516\n", + "global step=120832, episodic return=67.95405578613281\n", + "global step=120832, episodic return=69.0134506225586\n", + "global step=120832, episodic return=88.2112045288086\n", + "global step=120832, episodic return=41.17057800292969\n", + "global step=120832, episodic return=22.994125366210938\n", + "global step=122880, episodic return=37.77284622192383\n", + "global step=122880, episodic return=42.41229248046875\n", + "global step=122880, episodic return=97.30204772949219\n", + "global step=122880, episodic return=32.60862731933594\n", + "global step=122880, episodic return=22.84117889404297\n", + "global step=122880, episodic return=35.46470260620117\n", + "global step=122880, episodic return=85.18408966064453\n", + "global step=122880, episodic return=56.42527770996094\n", + "global step=124928, episodic return=69.7750015258789\n", + "global step=124928, episodic return=33.57719421386719\n", + "global step=124928, episodic return=70.70390319824219\n", + "global step=124928, episodic return=77.33229064941406\n", + "global step=124928, episodic return=45.99007034301758\n", + "global step=124928, episodic return=24.541961669921875\n", + "global step=124928, episodic return=18.18243408203125\n", + "global step=124928, episodic return=46.622867584228516\n", + "global step=124928, episodic return=41.2124137878418\n", + "global step=126976, episodic return=52.685874938964844\n", + "global step=126976, episodic return=29.266143798828125\n", + "global step=126976, episodic return=53.482276916503906\n", + "global step=126976, episodic return=40.51517105102539\n", + "global step=126976, episodic return=52.34860610961914\n", + "global step=126976, episodic return=51.34981155395508\n", + "global step=129024, episodic return=39.23265838623047\n", + "global step=129024, episodic return=42.76579284667969\n", + "global step=129024, episodic return=92.2398910522461\n", + "global step=129024, episodic return=49.47657775878906\n", + "global step=129024, episodic return=108.1342544555664\n", + "global step=129024, episodic return=40.3635368347168\n", + "global step=131072, episodic return=100.74710083007812\n", + "global step=131072, episodic return=76.43263244628906\n", + "global step=131072, episodic return=91.10005950927734\n", + "global step=131072, episodic return=72.0169448852539\n", + "global step=131072, episodic return=31.564735412597656\n", + "global step=131072, episodic return=30.311159133911133\n", + "global step=133120, episodic return=57.18444061279297\n", + "global step=133120, episodic return=68.96729278564453\n", + "global step=135168, episodic return=23.646297454833984\n", + "global step=135168, episodic return=48.807518005371094\n", + "global step=137216, episodic return=54.3231086730957\n", + "global step=137216, episodic return=72.46788787841797\n", + "global step=137216, episodic return=33.968475341796875\n", + "global step=137216, episodic return=75.90525817871094\n", + "global step=137216, episodic return=104.87328338623047\n", + "global step=137216, episodic return=55.98581314086914\n", + "global step=137216, episodic return=48.56475067138672\n", + "global step=137216, episodic return=44.96312713623047\n", + "global step=139264, episodic return=25.544885635375977\n", + "global step=139264, episodic return=39.93952941894531\n", + "global step=139264, episodic return=77.95931243896484\n", + "global step=139264, episodic return=85.67868041992188\n", + "global step=139264, episodic return=35.844112396240234\n", + "global step=139264, episodic return=48.4216194152832\n", + "global step=139264, episodic return=96.97599029541016\n", + "global step=139264, episodic return=74.68572998046875\n", + "global step=141312, episodic return=61.70135498046875\n", + "global step=141312, episodic return=55.84429168701172\n", + "global step=141312, episodic return=36.11338806152344\n", + "global step=141312, episodic return=51.602745056152344\n", + "global step=141312, episodic return=52.18952560424805\n", + "global step=141312, episodic return=23.208629608154297\n", + "global step=143360, episodic return=58.03841781616211\n", + "global step=143360, episodic return=102.19190216064453\n", + "global step=143360, episodic return=105.69440460205078\n", + "global step=143360, episodic return=55.10729217529297\n", + "global step=143360, episodic return=50.78155517578125\n", + "global step=145408, episodic return=30.052915573120117\n", + "global step=145408, episodic return=55.22925567626953\n", + "global step=145408, episodic return=106.69902801513672\n", + "global step=145408, episodic return=39.9952278137207\n", + "global step=145408, episodic return=63.36185836791992\n", + "global step=145408, episodic return=50.07207107543945\n", + "global step=145408, episodic return=49.75349426269531\n", + "global step=147456, episodic return=50.17721176147461\n", + "global step=147456, episodic return=103.11005401611328\n", + "global step=147456, episodic return=50.1934814453125\n", + "global step=149504, episodic return=77.8724594116211\n", + "global step=149504, episodic return=117.00592041015625\n", + "global step=149504, episodic return=94.5931167602539\n", + "global step=149504, episodic return=53.14528274536133\n", + "global step=149504, episodic return=65.5083236694336\n", + "global step=149504, episodic return=113.62958526611328\n", + "global step=151552, episodic return=81.73602294921875\n", + "global step=153600, episodic return=60.03295135498047\n", + "global step=155648, episodic return=43.090179443359375\n", + "global step=155648, episodic return=46.49094772338867\n", + "global step=157696, episodic return=61.91194534301758\n", + "global step=157696, episodic return=49.53141403198242\n", + "global step=157696, episodic return=48.914432525634766\n", + "global step=157696, episodic return=82.21231842041016\n", + "global step=159744, episodic return=76.226806640625\n", + "global step=159744, episodic return=36.34507369995117\n", + "global step=161792, episodic return=49.856727600097656\n", + "global step=161792, episodic return=63.75761795043945\n", + "global step=161792, episodic return=40.819725036621094\n", + "global step=161792, episodic return=59.923187255859375\n", + "global step=161792, episodic return=100.64063262939453\n", + "global step=163840, episodic return=62.643882751464844\n", + "global step=163840, episodic return=109.04163360595703\n", + "global step=165888, episodic return=48.41067886352539\n", + "global step=165888, episodic return=129.74774169921875\n", + "global step=165888, episodic return=72.76773834228516\n", + "global step=165888, episodic return=58.60438919067383\n", + "global step=165888, episodic return=122.1241226196289\n", + "global step=165888, episodic return=95.8488998413086\n", + "global step=167936, episodic return=81.41398620605469\n", + "global step=169984, episodic return=41.53074264526367\n", + "global step=169984, episodic return=30.625896453857422\n", + "global step=172032, episodic return=54.633052825927734\n", + "global step=172032, episodic return=50.1061897277832\n", + "global step=176128, episodic return=133.62322998046875\n", + "global step=176128, episodic return=57.50234603881836\n", + "global step=178176, episodic return=62.29035186767578\n", + "global step=178176, episodic return=120.0083999633789\n", + "global step=182272, episodic return=137.3609619140625\n", + "global step=182272, episodic return=42.67277145385742\n", + "global step=184320, episodic return=47.685916900634766\n", + "global step=186368, episodic return=70.20374298095703\n", + "global step=188416, episodic return=132.9588623046875\n", + "global step=188416, episodic return=110.16962432861328\n", + "global step=190464, episodic return=110.62151336669922\n", + "global step=196608, episodic return=149.66656494140625\n", + "global step=196608, episodic return=150.4456329345703\n", + "global step=198656, episodic return=45.81249237060547\n", + "global step=204800, episodic return=76.47374725341797\n", + "global step=206848, episodic return=99.59259033203125\n", + "global step=212992, episodic return=85.25588989257812\n", + "global step=221184, episodic return=101.9795150756836\n", + "global step=245760, episodic return=170.70120239257812\n", + "global step=442368, episodic return=284.05865478515625\n", + "global step=567296, episodic return=360.8595886230469\n", + "global step=567296, episodic return=349.5059814453125\n", + "global step=567296, episodic return=363.08184814453125\n", + "global step=571392, episodic return=342.4588928222656\n", + "global step=587776, episodic return=358.7274475097656\n", + "global step=634880, episodic return=390.40313720703125\n", + "global step=653312, episodic return=406.3382873535156\n", + "global step=655360, episodic return=391.8938293457031\n", + "global step=675840, episodic return=423.22442626953125\n", + "global step=677888, episodic return=421.284912109375\n", + "global step=681984, episodic return=404.8571472167969\n", + "global step=688128, episodic return=409.94500732421875\n", + "global step=690176, episodic return=383.8683166503906\n", + "global step=712704, episodic return=400.49310302734375\n", + "global step=714752, episodic return=430.7845458984375\n", + "global step=731136, episodic return=450.97296142578125\n", + "global step=739328, episodic return=457.8208312988281\n", + "global step=745472, episodic return=448.9295654296875\n", + "global step=751616, episodic return=438.1218566894531\n", + "global step=753664, episodic return=400.92047119140625\n", + "global step=757760, episodic return=442.097412109375\n", + "global step=765952, episodic return=450.0422668457031\n", + "global step=784384, episodic return=481.3985900878906\n", + "global step=784384, episodic return=474.3499755859375\n", + "global step=788480, episodic return=474.9585266113281\n", + "global step=804864, episodic return=472.0062255859375\n", + "global step=815104, episodic return=489.0469665527344\n", + "global step=819200, episodic return=460.8735046386719\n", + "global step=1030144, episodic return=654.28759765625\n", + "global step=1036288, episodic return=651.5833740234375\n", + "global step=1050624, episodic return=658.4482421875\n", + "global step=1052672, episodic return=671.3621215820312\n", + "global step=1054720, episodic return=674.8812255859375\n", + "global step=1058816, episodic return=615.5588989257812\n", + "global step=1060864, episodic return=663.49951171875\n", + "global step=1073152, episodic return=683.2388916015625\n", + "global step=1083392, episodic return=617.7675170898438\n", + "global step=1085440, episodic return=648.6724853515625\n", + "global step=1091584, episodic return=646.4419555664062\n", + "global step=1095680, episodic return=694.542236328125\n", + "global step=1095680, episodic return=683.0819091796875\n", + "global step=1097728, episodic return=639.7767333984375\n", + "global step=1101824, episodic return=673.8580932617188\n", + "global step=1105920, episodic return=651.10302734375\n", + "global step=1110016, episodic return=687.0906372070312\n", + "global step=1112064, episodic return=667.2893676757812\n", + "global step=1114112, episodic return=665.6697387695312\n", + "global step=1114112, episodic return=649.84228515625\n", + "global step=1118208, episodic return=709.7069091796875\n", + "global step=1122304, episodic return=684.5636596679688\n", + "global step=1126400, episodic return=709.6192016601562\n", + "global step=1128448, episodic return=658.88427734375\n", + "global step=1128448, episodic return=684.8248291015625\n", + "global step=1128448, episodic return=693.6890258789062\n", + "global step=1128448, episodic return=653.490234375\n", + "global step=1128448, episodic return=708.9274291992188\n", + "global step=1130496, episodic return=696.3941650390625\n", + "global step=1132544, episodic return=667.9498901367188\n", + "global step=1134592, episodic return=703.5564575195312\n", + "global step=1142784, episodic return=704.5636596679688\n", + "global step=1142784, episodic return=717.0480346679688\n", + "global step=1146880, episodic return=650.3927612304688\n", + "global step=1146880, episodic return=666.9637451171875\n", + "global step=1146880, episodic return=660.1982421875\n", + "global step=1150976, episodic return=710.0939331054688\n", + "global step=1155072, episodic return=657.4981689453125\n", + "global step=1155072, episodic return=721.7193603515625\n", + "global step=1155072, episodic return=710.1895751953125\n", + "global step=1155072, episodic return=709.9636840820312\n", + "global step=1157120, episodic return=725.9102172851562\n", + "global step=1161216, episodic return=727.6504516601562\n", + "global step=1161216, episodic return=682.13330078125\n", + "global step=1163264, episodic return=715.6412353515625\n", + "global step=1163264, episodic return=719.8525390625\n", + "global step=1165312, episodic return=725.0892333984375\n", + "global step=1167360, episodic return=696.23876953125\n", + "global step=1171456, episodic return=704.27734375\n", + "global step=1171456, episodic return=701.3362426757812\n", + "global step=1175552, episodic return=723.9468994140625\n", + "global step=1175552, episodic return=705.3298950195312\n", + "global step=1175552, episodic return=739.4959716796875\n", + "global step=1175552, episodic return=711.58984375\n", + "global step=1175552, episodic return=701.66455078125\n", + "global step=1177600, episodic return=727.7490844726562\n", + "global step=1179648, episodic return=721.1730346679688\n", + "global step=1181696, episodic return=743.2805786132812\n", + "global step=1183744, episodic return=689.7217407226562\n", + "global step=1189888, episodic return=732.3304443359375\n", + "global step=1191936, episodic return=710.0370483398438\n", + "global step=1193984, episodic return=732.8621826171875\n", + "global step=1193984, episodic return=737.4025268554688\n", + "global step=1193984, episodic return=670.5252685546875\n", + "global step=1196032, episodic return=752.5122680664062\n", + "global step=1200128, episodic return=737.59619140625\n", + "global step=1200128, episodic return=755.8361206054688\n", + "global step=1200128, episodic return=692.6270751953125\n", + "global step=1204224, episodic return=714.8311767578125\n", + "global step=1206272, episodic return=750.2566528320312\n", + "global step=1208320, episodic return=736.1778564453125\n", + "global step=1210368, episodic return=681.2550659179688\n", + "global step=1210368, episodic return=695.023193359375\n", + "global step=1212416, episodic return=752.4083862304688\n", + "global step=1212416, episodic return=723.0896606445312\n", + "global step=1214464, episodic return=739.4287109375\n", + "global step=1214464, episodic return=702.8462524414062\n", + "global step=1214464, episodic return=714.9266357421875\n", + "global step=1218560, episodic return=743.2271728515625\n", + "global step=1218560, episodic return=756.2022705078125\n", + "global step=1220608, episodic return=750.6370239257812\n", + "global step=1222656, episodic return=739.589111328125\n", + "global step=1224704, episodic return=733.5255126953125\n", + "global step=1226752, episodic return=672.0538330078125\n", + "global step=1226752, episodic return=720.8111572265625\n", + "global step=1228800, episodic return=751.470947265625\n", + "global step=1228800, episodic return=747.9618530273438\n", + "global step=1230848, episodic return=682.6823120117188\n", + "global step=1230848, episodic return=763.3013916015625\n", + "global step=1230848, episodic return=747.9388427734375\n", + "global step=1230848, episodic return=736.8955688476562\n", + "global step=1232896, episodic return=755.1636962890625\n", + "global step=1232896, episodic return=768.6065063476562\n", + "global step=1234944, episodic return=697.4666748046875\n", + "global step=1239040, episodic return=715.0733032226562\n", + "global step=1241088, episodic return=707.478271484375\n", + "global step=1241088, episodic return=744.374267578125\n", + "global step=1243136, episodic return=738.0263671875\n", + "global step=1243136, episodic return=754.4124755859375\n", + "global step=1247232, episodic return=730.7625122070312\n", + "global step=1251328, episodic return=754.7445678710938\n", + "global step=1253376, episodic return=712.3828735351562\n", + "global step=1253376, episodic return=770.457275390625\n", + "global step=1253376, episodic return=749.3538818359375\n", + "global step=1255424, episodic return=755.7276000976562\n", + "global step=1255424, episodic return=697.6866455078125\n", + "global step=1257472, episodic return=697.1693725585938\n", + "global step=1259520, episodic return=754.9298095703125\n", + "global step=1259520, episodic return=719.6572265625\n", + "global step=1265664, episodic return=772.5011596679688\n", + "global step=1265664, episodic return=727.5620727539062\n", + "global step=1265664, episodic return=736.517822265625\n", + "global step=1265664, episodic return=732.9019165039062\n", + "global step=1267712, episodic return=684.34765625\n", + "global step=1267712, episodic return=778.9996337890625\n", + "global step=1269760, episodic return=748.194580078125\n", + "global step=1269760, episodic return=707.578369140625\n", + "global step=1271808, episodic return=714.2410888671875\n", + "global step=1273856, episodic return=774.1092529296875\n", + "global step=1275904, episodic return=778.1585693359375\n", + "global step=1275904, episodic return=747.7988891601562\n", + "global step=1277952, episodic return=764.2139892578125\n", + "global step=1277952, episodic return=774.6409912109375\n", + "global step=1282048, episodic return=790.1255493164062\n", + "global step=1282048, episodic return=775.7290649414062\n", + "global step=1282048, episodic return=769.1771850585938\n", + "global step=1286144, episodic return=773.154541015625\n", + "global step=1288192, episodic return=748.8262329101562\n", + "global step=1290240, episodic return=755.92236328125\n", + "global step=1294336, episodic return=767.8507690429688\n", + "global step=1296384, episodic return=771.9158935546875\n", + "global step=1296384, episodic return=737.8666381835938\n", + "global step=1298432, episodic return=771.546142578125\n", + "global step=1298432, episodic return=757.1235961914062\n", + "global step=1298432, episodic return=778.019287109375\n", + "global step=1300480, episodic return=731.67724609375\n", + "global step=1300480, episodic return=783.5841064453125\n", + "global step=1302528, episodic return=779.7943725585938\n", + "global step=1302528, episodic return=744.82958984375\n", + "global step=1304576, episodic return=787.2574462890625\n", + "global step=1308672, episodic return=767.8026123046875\n", + "global step=1308672, episodic return=758.00927734375\n", + "global step=1308672, episodic return=791.3243408203125\n", + "global step=1308672, episodic return=738.7242431640625\n", + "global step=1310720, episodic return=792.3364868164062\n", + "global step=1310720, episodic return=748.2337036132812\n", + "global step=1310720, episodic return=711.8904418945312\n", + "global step=1310720, episodic return=756.8291625976562\n", + "global step=1310720, episodic return=799.6384887695312\n", + "global step=1312768, episodic return=793.2708740234375\n", + "global step=1316864, episodic return=777.4429931640625\n", + "global step=1316864, episodic return=780.9691772460938\n", + "global step=1320960, episodic return=744.205810546875\n", + "global step=1323008, episodic return=764.3458251953125\n", + "global step=1323008, episodic return=745.7603149414062\n", + "global step=1327104, episodic return=785.1025390625\n", + "global step=1327104, episodic return=762.9024047851562\n", + "global step=1329152, episodic return=729.04541015625\n", + "global step=1335296, episodic return=810.9464721679688\n", + "global step=1337344, episodic return=799.186767578125\n", + "global step=1337344, episodic return=749.2539672851562\n", + "global step=1339392, episodic return=776.5238037109375\n", + "global step=1339392, episodic return=815.2003784179688\n", + "global step=1341440, episodic return=779.4354858398438\n", + "global step=1341440, episodic return=766.899658203125\n", + "global step=1341440, episodic return=744.3309936523438\n", + "global step=1341440, episodic return=803.71826171875\n", + "global step=1343488, episodic return=755.1408081054688\n", + "global step=1343488, episodic return=762.1124877929688\n", + "global step=1349632, episodic return=823.0326538085938\n", + "global step=1351680, episodic return=805.2825927734375\n", + "global step=1353728, episodic return=775.0782470703125\n", + "global step=1355776, episodic return=822.0682983398438\n", + "global step=1355776, episodic return=812.475341796875\n", + "global step=1355776, episodic return=827.52783203125\n", + "global step=1357824, episodic return=790.85302734375\n", + "global step=1359872, episodic return=780.2137451171875\n", + "global step=1359872, episodic return=828.5044555664062\n", + "global step=1359872, episodic return=758.4063110351562\n", + "global step=1361920, episodic return=764.9168701171875\n", + "global step=1363968, episodic return=760.1954345703125\n", + "global step=1363968, episodic return=801.3233642578125\n", + "global step=1366016, episodic return=794.5152587890625\n", + "global step=1368064, episodic return=798.293701171875\n", + "global step=1370112, episodic return=761.3844604492188\n", + "global step=1374208, episodic return=815.6203002929688\n", + "global step=1374208, episodic return=830.666259765625\n", + "global step=1374208, episodic return=808.908447265625\n", + "global step=1376256, episodic return=819.9826049804688\n", + "global step=1376256, episodic return=798.2973022460938\n", + "global step=1380352, episodic return=824.6591796875\n", + "global step=1380352, episodic return=788.8480224609375\n", + "global step=1384448, episodic return=828.737548828125\n", + "global step=1384448, episodic return=833.695556640625\n", + "global step=1386496, episodic return=777.9736938476562\n", + "global step=1390592, episodic return=783.676025390625\n", + "global step=1390592, episodic return=792.7113037109375\n", + "global step=1390592, episodic return=804.9015502929688\n", + "global step=1392640, episodic return=838.8585815429688\n", + "global step=1392640, episodic return=816.3924560546875\n", + "global step=1392640, episodic return=739.3005981445312\n", + "global step=1394688, episodic return=817.2315063476562\n", + "global step=1394688, episodic return=806.7412719726562\n", + "global step=1394688, episodic return=801.572265625\n", + "global step=1394688, episodic return=764.5806884765625\n", + "global step=1396736, episodic return=792.308349609375\n", + "global step=1396736, episodic return=783.6896362304688\n", + "global step=1398784, episodic return=747.0762939453125\n", + "global step=1398784, episodic return=836.2034912109375\n", + "global step=1400832, episodic return=835.5810546875\n", + "global step=1400832, episodic return=794.4189453125\n", + "global step=1400832, episodic return=823.696044921875\n", + "global step=1404928, episodic return=810.6853637695312\n", + "global step=1406976, episodic return=812.56494140625\n", + "global step=1406976, episodic return=832.8712768554688\n", + "global step=1406976, episodic return=793.68408203125\n", + "global step=1406976, episodic return=796.897705078125\n", + "global step=1411072, episodic return=838.7591552734375\n", + "global step=1413120, episodic return=832.267822265625\n", + "global step=1417216, episodic return=779.043701171875\n", + "global step=1419264, episodic return=803.0516357421875\n", + "global step=1421312, episodic return=849.0260009765625\n", + "global step=1423360, episodic return=840.007080078125\n", + "global step=1425408, episodic return=816.9299926757812\n", + "global step=1425408, episodic return=845.00244140625\n", + "global step=1427456, episodic return=840.2735595703125\n", + "global step=1427456, episodic return=831.0485229492188\n", + "global step=1429504, episodic return=826.263671875\n", + "global step=1433600, episodic return=803.807373046875\n", + "global step=1435648, episodic return=823.2892456054688\n", + "global step=1435648, episodic return=850.160888671875\n", + "global step=1435648, episodic return=826.2122802734375\n", + "global step=1437696, episodic return=866.2579345703125\n", + "global step=1439744, episodic return=813.8173217773438\n", + "global step=1441792, episodic return=804.1781616210938\n", + "global step=1445888, episodic return=866.5877075195312\n", + "global step=1445888, episodic return=843.4146728515625\n", + "global step=1447936, episodic return=819.3163452148438\n", + "global step=1447936, episodic return=859.0278930664062\n", + "global step=1447936, episodic return=815.0436401367188\n", + "global step=1447936, episodic return=864.3126831054688\n", + "global step=1449984, episodic return=826.2156982421875\n", + "global step=1458176, episodic return=861.582275390625\n", + "global step=1458176, episodic return=785.980224609375\n", + "global step=1462272, episodic return=859.36962890625\n", + "global step=1462272, episodic return=876.6383056640625\n", + "global step=1466368, episodic return=843.1498413085938\n", + "global step=1466368, episodic return=800.0033569335938\n", + "global step=1468416, episodic return=872.6134033203125\n", + "global step=1468416, episodic return=864.5662231445312\n", + "global step=1468416, episodic return=876.6998291015625\n", + "global step=1468416, episodic return=856.505126953125\n", + "global step=1472512, episodic return=844.9158935546875\n", + "global step=1476608, episodic return=878.2277221679688\n", + "global step=1482752, episodic return=865.7383422851562\n", + "global step=1482752, episodic return=868.4904174804688\n", + "global step=1488896, episodic return=867.7190551757812\n", + "global step=1488896, episodic return=838.1908569335938\n", + "global step=1490944, episodic return=850.491455078125\n", + "global step=1492992, episodic return=849.1469116210938\n", + "global step=1499136, episodic return=878.1104125976562\n", + "global step=1499136, episodic return=864.3242797851562\n", + "global step=1501184, episodic return=805.1702880859375\n", + "global step=1503232, episodic return=838.12353515625\n", + "global step=1505280, episodic return=887.4376831054688\n", + "global step=1505280, episodic return=873.241455078125\n", + "global step=1505280, episodic return=886.8012084960938\n", + "global step=1507328, episodic return=880.29833984375\n", + "global step=1507328, episodic return=844.2428588867188\n", + "global step=1511424, episodic return=856.7734985351562\n", + "global step=1513472, episodic return=882.2823486328125\n", + "global step=1513472, episodic return=880.9417114257812\n", + "global step=1517568, episodic return=873.971923828125\n", + "global step=1517568, episodic return=901.422119140625\n", + "global step=1517568, episodic return=869.0628662109375\n", + "global step=1519616, episodic return=881.6264038085938\n", + "global step=1521664, episodic return=884.8504638671875\n", + "global step=1521664, episodic return=883.106201171875\n", + "global step=1523712, episodic return=855.3096313476562\n", + "global step=1529856, episodic return=890.3233642578125\n", + "global step=1529856, episodic return=863.00244140625\n", + "global step=1536000, episodic return=884.7120971679688\n", + "global step=1538048, episodic return=841.8770141601562\n", + "global step=1542144, episodic return=900.5556030273438\n", + "global step=1544192, episodic return=903.9258422851562\n", + "global step=1544192, episodic return=862.89404296875\n", + "global step=1544192, episodic return=901.3156127929688\n", + "global step=1548288, episodic return=868.9970092773438\n", + "global step=1548288, episodic return=906.5115966796875\n", + "global step=1548288, episodic return=899.664794921875\n", + "global step=1548288, episodic return=863.798095703125\n", + "global step=1548288, episodic return=866.5341186523438\n", + "global step=1552384, episodic return=877.7501220703125\n", + "global step=1554432, episodic return=910.0786743164062\n", + "global step=1554432, episodic return=881.25\n", + "global step=1556480, episodic return=914.0264892578125\n", + "global step=1558528, episodic return=906.7185668945312\n", + "global step=1560576, episodic return=877.192138671875\n", + "global step=1566720, episodic return=872.05419921875\n", + "global step=1566720, episodic return=849.6301879882812\n", + "global step=1572864, episodic return=901.4287719726562\n", + "global step=1574912, episodic return=868.002197265625\n", + "global step=1579008, episodic return=866.0191650390625\n", + "global step=1579008, episodic return=902.4104614257812\n", + "global step=1585152, episodic return=898.0783081054688\n", + "global step=1589248, episodic return=914.6981811523438\n", + "global step=1591296, episodic return=929.386962890625\n", + "global step=1591296, episodic return=866.360107421875\n", + "global step=1595392, episodic return=858.7822265625\n", + "global step=1597440, episodic return=920.2529907226562\n", + "global step=1597440, episodic return=556.1168823242188\n", + "global step=1599488, episodic return=884.2434692382812\n", + "global step=1599488, episodic return=874.7283325195312\n", + "global step=1601536, episodic return=924.663818359375\n", + "global step=1601536, episodic return=891.304931640625\n", + "global step=1607680, episodic return=915.974609375\n", + "global step=1613824, episodic return=879.1797485351562\n", + "global step=1619968, episodic return=938.6748046875\n", + "global step=1619968, episodic return=945.3126220703125\n", + "global step=1628160, episodic return=944.218994140625\n", + "global step=1630208, episodic return=936.9232177734375\n", + "global step=1632256, episodic return=916.612548828125\n", + "global step=1634304, episodic return=939.4517822265625\n", + "global step=1636352, episodic return=908.1375732421875\n", + "global step=1640448, episodic return=937.64013671875\n", + "global step=1642496, episodic return=906.2078247070312\n", + "global step=1642496, episodic return=947.96826171875\n", + "global step=1642496, episodic return=930.8006591796875\n", + "global step=1646592, episodic return=953.6156616210938\n", + "global step=1650688, episodic return=948.737548828125\n", + "global step=1652736, episodic return=949.97607421875\n", + "global step=1656832, episodic return=962.2283935546875\n", + "global step=1660928, episodic return=888.4378662109375\n", + "global step=1662976, episodic return=913.7482299804688\n", + "global step=1662976, episodic return=951.9607543945312\n", + "global step=1662976, episodic return=948.9555053710938\n", + "global step=1667072, episodic return=942.1376342773438\n", + "global step=1667072, episodic return=944.72412109375\n", + "global step=1667072, episodic return=948.2603149414062\n", + "global step=1667072, episodic return=959.4896240234375\n", + "global step=1669120, episodic return=571.129638671875\n", + "global step=1671168, episodic return=926.5421142578125\n", + "global step=1675264, episodic return=940.62158203125\n", + "global step=1675264, episodic return=927.2540893554688\n", + "global step=1681408, episodic return=589.720458984375\n", + "global step=1683456, episodic return=969.4834594726562\n", + "global step=1687552, episodic return=964.0219116210938\n", + "global step=1687552, episodic return=964.8719482421875\n", + "global step=1691648, episodic return=937.6321411132812\n", + "global step=1695744, episodic return=952.2488403320312\n", + "global step=1695744, episodic return=926.5471801757812\n", + "global step=1695744, episodic return=964.2371826171875\n", + "global step=1708032, episodic return=984.797607421875\n", + "global step=1710080, episodic return=912.4574584960938\n", + "global step=1716224, episodic return=953.6130981445312\n", + "global step=1722368, episodic return=605.0525512695312\n", + "global step=1736704, episodic return=629.0521240234375\n", + "global step=1736704, episodic return=593.81591796875\n", + "global step=1736704, episodic return=982.592041015625\n", + "global step=1738752, episodic return=989.394775390625\n", + "global step=1753088, episodic return=999.2340698242188\n", + "global step=1753088, episodic return=1014.0590209960938\n", + "global step=1753088, episodic return=996.5980224609375\n", + "global step=1753088, episodic return=980.029296875\n", + "global step=1755136, episodic return=1003.6024169921875\n", + "global step=1761280, episodic return=995.8783569335938\n", + "global step=1761280, episodic return=1012.146728515625\n", + "global step=1761280, episodic return=498.23638916015625\n", + "global step=1763328, episodic return=998.0308837890625\n", + "global step=1767424, episodic return=1029.462158203125\n", + "global step=1773568, episodic return=986.2137451171875\n", + "global step=1775616, episodic return=984.9586791992188\n", + "global step=1781760, episodic return=1013.0767211914062\n", + "global step=1785856, episodic return=1030.8565673828125\n", + "global step=1804288, episodic return=519.3399047851562\n", + "global step=1806336, episodic return=529.556884765625\n", + "global step=1808384, episodic return=537.8121337890625\n", + "global step=1810432, episodic return=1044.1536865234375\n", + "global step=1818624, episodic return=978.4389038085938\n", + "global step=1818624, episodic return=693.6268920898438\n", + "global step=1820672, episodic return=492.7785949707031\n", + "global step=1824768, episodic return=507.9977111816406\n", + "global step=1824768, episodic return=517.848388671875\n", + "global step=1826816, episodic return=521.7951049804688\n", + "global step=1832960, episodic return=959.77197265625\n", + "global step=1832960, episodic return=515.9669799804688\n", + "global step=1839104, episodic return=548.633056640625\n", + "global step=1841152, episodic return=518.3900756835938\n", + "global step=1843200, episodic return=536.8502197265625\n", + "global step=1845248, episodic return=513.6200561523438\n", + "global step=1845248, episodic return=1017.4645385742188\n", + "global step=1847296, episodic return=541.6395874023438\n", + "global step=1847296, episodic return=523.8631591796875\n", + "global step=1851392, episodic return=1043.913330078125\n", + "global step=1851392, episodic return=524.1665649414062\n", + "global step=1855488, episodic return=489.82684326171875\n", + "global step=1857536, episodic return=995.9378051757812\n", + "global step=1859584, episodic return=494.34405517578125\n", + "global step=1861632, episodic return=533.4948120117188\n", + "global step=1865728, episodic return=527.63818359375\n", + "global step=1867776, episodic return=520.1036987304688\n", + "global step=1869824, episodic return=518.4349975585938\n", + "global step=1871872, episodic return=508.01513671875\n", + "global step=1871872, episodic return=511.0390930175781\n", + "global step=1873920, episodic return=523.8580932617188\n", + "global step=1873920, episodic return=498.0532531738281\n", + "global step=1873920, episodic return=516.2403564453125\n", + "global step=1878016, episodic return=519.5396118164062\n", + "global step=1878016, episodic return=539.9842529296875\n", + "global step=1880064, episodic return=529.8626098632812\n", + "global step=1886208, episodic return=523.3014526367188\n", + "global step=1886208, episodic return=520.4789428710938\n", + "global step=1886208, episodic return=515.9639892578125\n", + "global step=1886208, episodic return=482.2608337402344\n", + "global step=1888256, episodic return=510.4028015136719\n", + "global step=1890304, episodic return=495.58404541015625\n", + "global step=1890304, episodic return=538.372314453125\n", + "global step=1892352, episodic return=520.1599731445312\n", + "global step=1892352, episodic return=503.8837890625\n", + "global step=1894400, episodic return=522.6663818359375\n", + "global step=1896448, episodic return=503.9638671875\n", + "global step=1896448, episodic return=516.0971069335938\n", + "global step=1898496, episodic return=507.80133056640625\n", + "global step=1898496, episodic return=522.980224609375\n", + "global step=1898496, episodic return=502.7774963378906\n", + "global step=1900544, episodic return=554.75\n", + "global step=1902592, episodic return=502.0497741699219\n", + "global step=1902592, episodic return=503.13470458984375\n", + "global step=1904640, episodic return=519.8425903320312\n", + "global step=1906688, episodic return=542.4400024414062\n", + "global step=1906688, episodic return=539.948486328125\n", + "global step=1910784, episodic return=516.4020385742188\n", + "global step=1910784, episodic return=520.892822265625\n", + "global step=1910784, episodic return=1061.0660400390625\n", + "global step=1910784, episodic return=539.4508666992188\n", + "global step=1912832, episodic return=522.2990112304688\n", + "global step=1914880, episodic return=522.5892944335938\n", + "global step=1914880, episodic return=1084.5074462890625\n", + "global step=1925120, episodic return=1078.6451416015625\n", + "global step=1925120, episodic return=1092.6219482421875\n", + "global step=1925120, episodic return=516.6830444335938\n", + "global step=1927168, episodic return=525.29345703125\n", + "global step=1927168, episodic return=538.95458984375\n", + "global step=1927168, episodic return=530.016845703125\n", + "global step=1927168, episodic return=523.2575073242188\n", + "global step=1933312, episodic return=512.1806030273438\n", + "global step=1935360, episodic return=497.1797790527344\n", + "global step=1935360, episodic return=514.4463500976562\n", + "global step=1941504, episodic return=512.6466674804688\n", + "global step=1941504, episodic return=526.9160766601562\n", + "global step=1941504, episodic return=529.7970581054688\n", + "global step=1941504, episodic return=1062.591552734375\n", + "global step=1943552, episodic return=506.3343811035156\n", + "global step=1943552, episodic return=532.8035888671875\n", + "global step=1947648, episodic return=506.1524658203125\n", + "global step=1947648, episodic return=522.5111694335938\n", + "global step=1949696, episodic return=1063.3385009765625\n", + "global step=1949696, episodic return=505.42962646484375\n", + "global step=1953792, episodic return=515.7327880859375\n", + "global step=1953792, episodic return=522.4266357421875\n", + "global step=1953792, episodic return=1076.4034423828125\n", + "global step=1955840, episodic return=1093.3131103515625\n", + "global step=1955840, episodic return=539.7423095703125\n", + "global step=1957888, episodic return=522.9882202148438\n", + "global step=1957888, episodic return=520.7366333007812\n", + "global step=1957888, episodic return=1082.8226318359375\n", + "global step=1961984, episodic return=1082.0582275390625\n", + "global step=1961984, episodic return=498.671875\n", + "global step=1961984, episodic return=503.01727294921875\n", + "global step=1961984, episodic return=520.6494140625\n", + "global step=1964032, episodic return=516.3699340820312\n", + "global step=1966080, episodic return=523.620849609375\n", + "global step=1968128, episodic return=500.96221923828125\n", + "global step=1968128, episodic return=526.4913940429688\n", + "global step=1972224, episodic return=523.8187866210938\n", + "global step=1972224, episodic return=507.88348388671875\n", + "global step=1972224, episodic return=528.2606201171875\n", + "global step=1974272, episodic return=522.5901489257812\n", + "global step=1974272, episodic return=516.002197265625\n", + "global step=1974272, episodic return=524.5697021484375\n", + "global step=1978368, episodic return=1111.354248046875\n", + "global step=1978368, episodic return=483.0055847167969\n", + "global step=1980416, episodic return=1079.689208984375\n", + "global step=1980416, episodic return=522.6527099609375\n", + "global step=1982464, episodic return=517.2416381835938\n", + "global step=1982464, episodic return=524.4188842773438\n", + "global step=1984512, episodic return=538.7090454101562\n", + "global step=1990656, episodic return=1058.177734375\n", + "global step=1990656, episodic return=521.7841796875\n", + "global step=1990656, episodic return=571.7022705078125\n", + "global step=1992704, episodic return=541.1448364257812\n", + "global step=1994752, episodic return=791.3074340820312\n", + "global step=1996800, episodic return=1113.2635498046875\n", + "global step=1996800, episodic return=526.649658203125\n", + "global step=1998848, episodic return=1078.939697265625\n", + "global step=2000896, episodic return=509.3641662597656\n", + "global step=2000896, episodic return=520.630859375\n", + "global step=2002944, episodic return=533.2713012695312\n", + "global step=2004992, episodic return=512.57568359375\n", + "global step=2007040, episodic return=1114.287109375\n", + "global step=2007040, episodic return=522.3729858398438\n", + "global step=2011136, episodic return=508.803955078125\n", + "global step=2011136, episodic return=512.811279296875\n", + "global step=2013184, episodic return=532.244873046875\n", + "global step=2013184, episodic return=1031.8245849609375\n", + "global step=2013184, episodic return=518.2561645507812\n", + "global step=2013184, episodic return=1113.026123046875\n", + "global step=2013184, episodic return=520.9976806640625\n", + "global step=2013184, episodic return=536.5266723632812\n", + "global step=2013184, episodic return=527.1762084960938\n", + "global step=2015232, episodic return=1116.6136474609375\n", + "global step=2015232, episodic return=521.1112060546875\n", + "global step=2015232, episodic return=524.973876953125\n", + "global step=2017280, episodic return=520.4725952148438\n", + "global step=2017280, episodic return=1118.0316162109375\n", + "global step=2017280, episodic return=520.137939453125\n", + "global step=2017280, episodic return=1116.8575439453125\n", + "global step=2019328, episodic return=517.8231811523438\n", + "global step=2019328, episodic return=1114.4571533203125\n", + "global step=2021376, episodic return=498.0511779785156\n", + "global step=2021376, episodic return=1116.994140625\n", + "global step=2021376, episodic return=532.9656372070312\n", + "global step=2021376, episodic return=523.3761596679688\n", + "global step=2021376, episodic return=1118.6943359375\n", + "global step=2021376, episodic return=1097.11474609375\n", + "global step=2025472, episodic return=1055.271728515625\n", + "global step=2029568, episodic return=527.7608642578125\n", + "global step=2029568, episodic return=1119.25244140625\n", + "global step=2029568, episodic return=534.8319702148438\n", + "global step=2029568, episodic return=557.6665649414062\n", + "global step=2031616, episodic return=543.9009399414062\n", + "global step=2033664, episodic return=555.0786743164062\n", + "global step=2033664, episodic return=1079.094970703125\n", + "global step=2033664, episodic return=1089.9591064453125\n", + "global step=2033664, episodic return=493.2400817871094\n", + "global step=2035712, episodic return=1115.801513671875\n", + "global step=2035712, episodic return=1110.6156005859375\n", + "global step=2035712, episodic return=1092.676025390625\n", + "global step=2035712, episodic return=1115.3599853515625\n", + "global step=2037760, episodic return=795.544677734375\n", + "global step=2037760, episodic return=514.6246337890625\n", + "global step=2037760, episodic return=546.0906982421875\n", + "global step=2037760, episodic return=1113.6458740234375\n", + "global step=2039808, episodic return=1123.7772216796875\n", + "global step=2039808, episodic return=1092.3739013671875\n", + "global step=2039808, episodic return=1074.9925537109375\n", + "global step=2041856, episodic return=512.15966796875\n", + "global step=2041856, episodic return=1097.2633056640625\n", + "global step=2041856, episodic return=531.706298828125\n", + "global step=2043904, episodic return=1116.136962890625\n", + "global step=2043904, episodic return=519.91845703125\n", + "global step=2045952, episodic return=1113.9912109375\n", + "global step=2048000, episodic return=1065.4576416015625\n", + "global step=2048000, episodic return=1045.671630859375\n", + "global step=2048000, episodic return=1008.9591064453125\n", + "global step=2048000, episodic return=1034.8543701171875\n", + "global step=2048000, episodic return=1028.536865234375\n", + "global step=2048000, episodic return=1063.8187255859375\n", + "global step=2048000, episodic return=1018.72705078125\n", + "global step=2048000, episodic return=1036.0540771484375\n", + "global step=2048000, episodic return=1025.24853515625\n", + "global step=2048000, episodic return=1036.750244140625\n", + "global step=2048000, episodic return=1045.2587890625\n", + "global step=2048000, episodic return=1016.6221923828125\n", + "global step=2048000, episodic return=1099.9046630859375\n", + "global step=2048000, episodic return=1014.0969848632812\n", + "global step=2048000, episodic return=1084.869384765625\n", + "global step=2048000, episodic return=1040.4599609375\n", + "global step=2048000, episodic return=1034.955078125\n", + "global step=2048000, episodic return=1041.831298828125\n", + "global step=2048000, episodic return=1023.990966796875\n", + "global step=2048000, episodic return=1033.6373291015625\n", + "global step=2048000, episodic return=1025.3619384765625\n", + "global step=2048000, episodic return=1048.305908203125\n", + "global step=2048000, episodic return=1025.4765625\n", + "global step=2048000, episodic return=1096.6390380859375\n", + "global step=2048000, episodic return=1022.4111938476562\n", + "global step=2048000, episodic return=1024.97607421875\n", + "global step=2048000, episodic return=1034.9825439453125\n", + "global step=2048000, episodic return=1049.1397705078125\n", + "global step=2048000, episodic return=1036.427734375\n", + "global step=2048000, episodic return=1019.9991455078125\n", + "global step=2048000, episodic return=1079.1024169921875\n", + "global step=2048000, episodic return=1096.7711181640625\n", + "global step=2048000, episodic return=1046.642822265625\n", + "global step=2048000, episodic return=1023.301025390625\n", + "global step=2048000, episodic return=1051.557861328125\n", + "global step=2048000, episodic return=1035.7718505859375\n", + "global step=2048000, episodic return=1131.779541015625\n", + "global step=2048000, episodic return=1038.119384765625\n", + "global step=2048000, episodic return=1080.5042724609375\n", + "global step=2048000, episodic return=1040.092041015625\n", + "global step=2048000, episodic return=1030.9132080078125\n", + "global step=2048000, episodic return=1027.9522705078125\n", + "global step=2048000, episodic return=1081.2691650390625\n", + "global step=2048000, episodic return=1039.2498779296875\n", + "global step=2048000, episodic return=1082.5697021484375\n", + "global step=2048000, episodic return=1079.0458984375\n", + "global step=2048000, episodic return=1057.443603515625\n", + "global step=2048000, episodic return=1036.439208984375\n", + "global step=2048000, episodic return=1005.3502807617188\n", + "global step=2048000, episodic return=1072.415283203125\n", + "global step=2048000, episodic return=1045.9544677734375\n", + "global step=2048000, episodic return=1049.7869873046875\n", + "global step=2048000, episodic return=1040.194091796875\n", + "global step=2048000, episodic return=1046.038330078125\n", + "global step=2048000, episodic return=1039.1976318359375\n", + "global step=2048000, episodic return=1045.232666015625\n", + "global step=2048000, episodic return=1022.9705200195312\n", + "global step=2048000, episodic return=1009.2136840820312\n", + "global step=2048000, episodic return=1045.351806640625\n", + "global step=2048000, episodic return=1119.6551513671875\n", + "global step=2048000, episodic return=1027.8006591796875\n", + "global step=2048000, episodic return=1091.7393798828125\n", + "global step=2048000, episodic return=1027.2236328125\n", + "global step=2048000, episodic return=1027.0079345703125\n", + "global step=2048000, episodic return=1033.770263671875\n", + "global step=2048000, episodic return=1060.04736328125\n", + "global step=2048000, episodic return=1025.86376953125\n", + "global step=2048000, episodic return=1024.921875\n", + "global step=2048000, episodic return=1077.37109375\n", + "global step=2048000, episodic return=1090.8677978515625\n", + "global step=2048000, episodic return=1034.598388671875\n", + "global step=2048000, episodic return=1050.584228515625\n", + "global step=2048000, episodic return=1021.8511352539062\n", + "global step=2048000, episodic return=1042.973388671875\n", + "global step=2048000, episodic return=1027.2962646484375\n", + "global step=2048000, episodic return=1029.5218505859375\n", + "global step=2048000, episodic return=1031.572509765625\n", + "global step=2048000, episodic return=1030.50390625\n", + "global step=2048000, episodic return=1107.5478515625\n", + "global step=2048000, episodic return=1049.089599609375\n", + "global step=2048000, episodic return=1026.6646728515625\n", + "global step=2048000, episodic return=1070.2347412109375\n", + "global step=2048000, episodic return=1022.7984619140625\n", + "global step=2048000, episodic return=1068.7130126953125\n", + "global step=2048000, episodic return=1017.2216796875\n", + "global step=2048000, episodic return=1021.5787353515625\n", + "global step=2048000, episodic return=1090.7164306640625\n", + "global step=2048000, episodic return=1016.9277954101562\n", + "global step=2048000, episodic return=1031.626953125\n", + "global step=2048000, episodic return=1045.335693359375\n", + "global step=2048000, episodic return=1022.814697265625\n", + "global step=2048000, episodic return=1118.1754150390625\n", + "global step=2048000, episodic return=1051.5589599609375\n", + "global step=2048000, episodic return=1029.629150390625\n", + "global step=2048000, episodic return=1019.2717895507812\n", + "global step=2048000, episodic return=1045.7845458984375\n", + "global step=2048000, episodic return=1092.4573974609375\n", + "global step=2048000, episodic return=1054.416015625\n", + "global step=2048000, episodic return=1032.72802734375\n", + "global step=2048000, episodic return=1016.3080444335938\n", + "global step=2048000, episodic return=1030.49072265625\n", + "global step=2048000, episodic return=1030.671630859375\n", + "global step=2048000, episodic return=1051.19580078125\n", + "global step=2048000, episodic return=1073.0577392578125\n", + "global step=2048000, episodic return=1103.3984375\n", + "global step=2048000, episodic return=1044.683837890625\n", + "global step=2048000, episodic return=1041.8763427734375\n", + "global step=2048000, episodic return=1022.3956298828125\n", + "global step=2048000, episodic return=1092.558349609375\n", + "global step=2048000, episodic return=1028.3665771484375\n", + "global step=2048000, episodic return=1025.9791259765625\n", + "global step=2048000, episodic return=1038.61328125\n", + "global step=2048000, episodic return=1046.4835205078125\n", + "global step=2048000, episodic return=1033.1934814453125\n", + "global step=2048000, episodic return=1067.052490234375\n", + "global step=2048000, episodic return=1012.63916015625\n", + "global step=2048000, episodic return=1006.6343383789062\n", + "global step=2048000, episodic return=1051.7056884765625\n", + "global step=2048000, episodic return=1064.8968505859375\n", + "global step=2048000, episodic return=1033.3994140625\n", + "global step=2048000, episodic return=1067.0687255859375\n", + "global step=2048000, episodic return=1098.7490234375\n", + "global step=2048000, episodic return=1053.120849609375\n", + "global step=2048000, episodic return=1090.84130859375\n", + "global step=2048000, episodic return=1044.1483154296875\n", + "global step=2048000, episodic return=1103.9927978515625\n", + "global step=2048000, episodic return=1099.7509765625\n", + "global step=2048000, episodic return=1033.8580322265625\n", + "global step=2048000, episodic return=1042.4483642578125\n", + "global step=2048000, episodic return=1022.2501831054688\n", + "global step=2048000, episodic return=1023.6976928710938\n", + "global step=2048000, episodic return=1019.0249633789062\n", + "global step=2048000, episodic return=1039.7017822265625\n", + "global step=2048000, episodic return=1036.591796875\n", + "global step=2048000, episodic return=1031.70849609375\n", + "global step=2048000, episodic return=1045.90380859375\n", + "global step=2048000, episodic return=1062.0740966796875\n", + "global step=2048000, episodic return=1036.0599365234375\n", + "global step=2048000, episodic return=1045.9227294921875\n", + "global step=2048000, episodic return=1009.1763916015625\n", + "global step=2048000, episodic return=1023.9527587890625\n", + "global step=2048000, episodic return=998.544921875\n", + "global step=2048000, episodic return=1028.4783935546875\n", + "global step=2048000, episodic return=1018.8405151367188\n", + "global step=2048000, episodic return=1063.833740234375\n", + "global step=2048000, episodic return=1026.997802734375\n", + "global step=2048000, episodic return=1054.5350341796875\n", + "global step=2048000, episodic return=1018.0061645507812\n", + "global step=2048000, episodic return=1035.5684814453125\n", + "global step=2048000, episodic return=1067.42431640625\n", + "global step=2048000, episodic return=1021.18115234375\n", + "global step=2048000, episodic return=1026.327392578125\n", + "global step=2048000, episodic return=1024.74072265625\n", + "global step=2048000, episodic return=1101.700439453125\n", + "global step=2048000, episodic return=1049.4903564453125\n", + "global step=2048000, episodic return=1052.091064453125\n", + "global step=2048000, episodic return=1025.60986328125\n", + "global step=2048000, episodic return=1060.6156005859375\n", + "global step=2048000, episodic return=1030.4036865234375\n", + "global step=2048000, episodic return=1087.9429931640625\n", + "global step=2048000, episodic return=1011.9650268554688\n", + "global step=2048000, episodic return=1021.3714599609375\n", + "global step=2048000, episodic return=1029.879638671875\n", + "global step=2048000, episodic return=1055.16845703125\n", + "global step=2048000, episodic return=1064.3138427734375\n", + "global step=2048000, episodic return=1027.9693603515625\n", + "global step=2048000, episodic return=1028.1002197265625\n", + "global step=2048000, episodic return=1108.8248291015625\n", + "global step=2048000, episodic return=1064.61328125\n", + "global step=2048000, episodic return=1027.132568359375\n", + "global step=2048000, episodic return=1034.614990234375\n", + "global step=2048000, episodic return=1016.1577758789062\n", + "global step=2048000, episodic return=1053.103271484375\n", + "global step=2048000, episodic return=1041.6357421875\n", + "global step=2048000, episodic return=1037.3006591796875\n", + "global step=2048000, episodic return=1029.628662109375\n", + "global step=2048000, episodic return=1034.177001953125\n", + "global step=2048000, episodic return=1107.515869140625\n", + "global step=2048000, episodic return=1034.665771484375\n", + "global step=2048000, episodic return=1065.2857666015625\n", + "global step=2048000, episodic return=1035.6357421875\n", + "global step=2048000, episodic return=1059.014404296875\n", + "global step=2048000, episodic return=1032.7608642578125\n", + "global step=2048000, episodic return=1066.93798828125\n", + "global step=2048000, episodic return=1057.9334716796875\n", + "global step=2048000, episodic return=1097.81396484375\n", + "global step=2048000, episodic return=1024.3670654296875\n", + "global step=2048000, episodic return=1034.6949462890625\n", + "global step=2048000, episodic return=1022.7695922851562\n", + "global step=2048000, episodic return=1041.9481201171875\n", + "global step=2048000, episodic return=1011.1243286132812\n", + "global step=2048000, episodic return=1031.9248046875\n", + "global step=2048000, episodic return=1032.6016845703125\n", + "global step=2048000, episodic return=1036.5067138671875\n", + "global step=2048000, episodic return=1039.521484375\n", + "global step=2048000, episodic return=1025.370361328125\n", + "global step=2048000, episodic return=1114.244140625\n", + "global step=2048000, episodic return=1029.978759765625\n", + "global step=2048000, episodic return=1041.048828125\n", + "global step=2048000, episodic return=994.6211547851562\n", + "global step=2048000, episodic return=1011.5198974609375\n", + "global step=2048000, episodic return=1054.9498291015625\n", + "global step=2048000, episodic return=1021.1489868164062\n", + "global step=2048000, episodic return=1037.91357421875\n", + "global step=2048000, episodic return=1023.7906494140625\n", + "global step=2048000, episodic return=1064.2833251953125\n", + "global step=2048000, episodic return=1035.828857421875\n", + "global step=2048000, episodic return=1091.12109375\n", + "global step=2048000, episodic return=1094.3858642578125\n", + "global step=2048000, episodic return=1092.9964599609375\n", + "global step=2048000, episodic return=1052.1644287109375\n", + "global step=2048000, episodic return=1035.7979736328125\n", + "global step=2048000, episodic return=1025.0653076171875\n", + "global step=2048000, episodic return=1098.95751953125\n", + "global step=2048000, episodic return=1113.8785400390625\n", + "global step=2048000, episodic return=1072.986328125\n", + "global step=2048000, episodic return=1029.0325927734375\n", + "global step=2048000, episodic return=1039.17578125\n", + "global step=2048000, episodic return=1085.209228515625\n", + "global step=2048000, episodic return=1019.2783813476562\n", + "global step=2048000, episodic return=1120.483642578125\n", + "global step=2048000, episodic return=1040.953857421875\n", + "global step=2048000, episodic return=1037.079345703125\n", + "global step=2048000, episodic return=1037.5101318359375\n", + "global step=2048000, episodic return=1117.5247802734375\n", + "global step=2048000, episodic return=1078.6492919921875\n", + "global step=2048000, episodic return=1034.3037109375\n", + "global step=2048000, episodic return=1037.854248046875\n", + "global step=2048000, episodic return=1041.357421875\n", + "global step=2048000, episodic return=1081.6292724609375\n", + "global step=2048000, episodic return=1045.5889892578125\n", + "global step=2048000, episodic return=1022.3067016601562\n", + "global step=2048000, episodic return=1032.8060302734375\n", + "global step=2048000, episodic return=1035.808837890625\n", + "global step=2048000, episodic return=1051.344482421875\n", + "global step=2048000, episodic return=1043.8695068359375\n", + "global step=2048000, episodic return=1040.7342529296875\n", + "global step=2048000, episodic return=1020.4052734375\n", + "global step=2048000, episodic return=1111.8304443359375\n", + "global step=2048000, episodic return=1103.8192138671875\n", + "global step=2048000, episodic return=1128.17822265625\n", + "global step=2048000, episodic return=1040.6810302734375\n", + "global step=2048000, episodic return=1043.262939453125\n", + "global step=2048000, episodic return=1020.7748413085938\n", + "global step=2048000, episodic return=1032.0614013671875\n", + "global step=2048000, episodic return=1037.7904052734375\n", + "global step=2048000, episodic return=1140.4337158203125\n", + "global step=2048000, episodic return=1034.245361328125\n", + "global step=2048000, episodic return=1027.828125\n", + "global step=2048000, episodic return=1064.046142578125\n", + "global step=2048000, episodic return=1110.42626953125\n", + "global step=2048000, episodic return=1022.2116088867188\n", + "global step=2048000, episodic return=1058.24658203125\n", + "global step=2048000, episodic return=1121.21240234375\n", + "global step=2048000, episodic return=1033.0179443359375\n", + "global step=2048000, episodic return=1065.8260498046875\n", + "global step=2048000, episodic return=1059.05615234375\n", + "global step=2048000, episodic return=1040.7578125\n", + "global step=2048000, episodic return=1054.460693359375\n", + "global step=2048000, episodic return=1031.469970703125\n", + "global step=2048000, episodic return=1008.936279296875\n", + "global step=2048000, episodic return=1033.49560546875\n", + "global step=2048000, episodic return=1041.887939453125\n", + "global step=2048000, episodic return=1028.2852783203125\n", + "global step=2048000, episodic return=1022.4296875\n", + "global step=2048000, episodic return=1041.465576171875\n", + "global step=2048000, episodic return=1018.1796264648438\n", + "global step=2048000, episodic return=1038.5594482421875\n", + "global step=2048000, episodic return=1040.4674072265625\n", + "global step=2048000, episodic return=1014.8636474609375\n", + "global step=2048000, episodic return=1011.7695922851562\n", + "global step=2048000, episodic return=1013.3001098632812\n", + "global step=2048000, episodic return=1036.54296875\n", + "global step=2048000, episodic return=1015.2178955078125\n", + "global step=2048000, episodic return=1041.766357421875\n", + "global step=2048000, episodic return=1032.27197265625\n", + "global step=2048000, episodic return=1025.3629150390625\n", + "global step=2048000, episodic return=1033.3692626953125\n", + "global step=2048000, episodic return=1028.859375\n", + "global step=2048000, episodic return=1019.6266479492188\n", + "global step=2048000, episodic return=1042.392333984375\n", + "global step=2048000, episodic return=1103.2152099609375\n", + "global step=2048000, episodic return=1072.274658203125\n", + "global step=2048000, episodic return=1017.918212890625\n", + "global step=2048000, episodic return=1036.212646484375\n", + "global step=2048000, episodic return=1071.557861328125\n", + "global step=2048000, episodic return=1030.68896484375\n", + "global step=2048000, episodic return=1042.275390625\n", + "global step=2048000, episodic return=1028.2413330078125\n", + "global step=2048000, episodic return=1039.27099609375\n", + "global step=2048000, episodic return=1012.90966796875\n", + "global step=2048000, episodic return=1033.1065673828125\n", + "global step=2048000, episodic return=1048.2547607421875\n", + "global step=2048000, episodic return=1033.771728515625\n", + "global step=2048000, episodic return=1036.6851806640625\n", + "global step=2048000, episodic return=1034.8031005859375\n", + "global step=2048000, episodic return=1032.859130859375\n", + "global step=2048000, episodic return=1022.7508544921875\n", + "global step=2048000, episodic return=1036.033203125\n", + "global step=2048000, episodic return=1069.26953125\n", + "global step=2048000, episodic return=1042.13623046875\n", + "global step=2048000, episodic return=1048.1561279296875\n", + "global step=2048000, episodic return=1043.2559814453125\n", + "global step=2048000, episodic return=1030.88720703125\n", + "global step=2048000, episodic return=1055.330322265625\n", + "global step=2048000, episodic return=1034.8336181640625\n", + "global step=2048000, episodic return=1021.447265625\n", + "global step=2048000, episodic return=1032.009765625\n", + "global step=2048000, episodic return=1036.5250244140625\n", + "global step=2048000, episodic return=1023.8275756835938\n", + "global step=2048000, episodic return=1106.705078125\n", + "global step=2048000, episodic return=1027.6212158203125\n", + "global step=2048000, episodic return=1096.8609619140625\n", + "global step=2048000, episodic return=1040.609375\n", + "global step=2048000, episodic return=1038.5662841796875\n", + "global step=2048000, episodic return=1048.5670166015625\n", + "global step=2048000, episodic return=1014.8679809570312\n", + "global step=2048000, episodic return=1064.71728515625\n", + "global step=2048000, episodic return=1088.359130859375\n", + "global step=2048000, episodic return=1025.137451171875\n", + "global step=2048000, episodic return=1117.4293212890625\n", + "global step=2048000, episodic return=1037.1502685546875\n", + "global step=2048000, episodic return=1020.9223022460938\n", + "global step=2048000, episodic return=1054.9417724609375\n", + "global step=2048000, episodic return=1025.008056640625\n", + "global step=2048000, episodic return=1031.5301513671875\n", + "global step=2048000, episodic return=1047.97509765625\n", + "global step=2048000, episodic return=1094.2293701171875\n", + "global step=2048000, episodic return=1107.8272705078125\n", + "global step=2048000, episodic return=1109.868408203125\n", + "global step=2048000, episodic return=1033.32177734375\n", + "global step=2048000, episodic return=1027.7821044921875\n", + "global step=2048000, episodic return=1036.826904296875\n", + "global step=2048000, episodic return=1095.932373046875\n", + "global step=2048000, episodic return=1035.5267333984375\n", + "global step=2048000, episodic return=1027.18408203125\n", + "global step=2048000, episodic return=1040.374755859375\n", + "global step=2048000, episodic return=1035.547119140625\n", + "global step=2048000, episodic return=1065.5384521484375\n", + "global step=2048000, episodic return=1016.4563598632812\n", + "global step=2048000, episodic return=1089.0576171875\n", + "global step=2048000, episodic return=1005.6820678710938\n", + "global step=2048000, episodic return=1049.254638671875\n", + "global step=2048000, episodic return=1027.3798828125\n", + "global step=2048000, episodic return=1028.7684326171875\n", + "global step=2048000, episodic return=1025.538330078125\n", + "global step=2048000, episodic return=989.1431274414062\n", + "global step=2048000, episodic return=1046.650390625\n", + "global step=2048000, episodic return=1039.66552734375\n", + "global step=2048000, episodic return=1066.705078125\n", + "global step=2048000, episodic return=1030.8824462890625\n", + "global step=2048000, episodic return=1081.3475341796875\n", + "global step=2048000, episodic return=1027.4671630859375\n", + "global step=2048000, episodic return=1039.104736328125\n", + "global step=2048000, episodic return=1031.906494140625\n", + "global step=2048000, episodic return=1015.346923828125\n", + "global step=2048000, episodic return=1019.5020751953125\n", + "global step=2048000, episodic return=1023.5737915039062\n", + "global step=2048000, episodic return=1083.9739990234375\n", + "global step=2048000, episodic return=1058.7188720703125\n", + "global step=2048000, episodic return=1031.8251953125\n", + "global step=2048000, episodic return=1097.6802978515625\n", + "global step=2048000, episodic return=1067.52392578125\n", + "global step=2048000, episodic return=1086.7108154296875\n", + "global step=2048000, episodic return=1082.880859375\n", + "global step=2048000, episodic return=1063.4906005859375\n", + "global step=2048000, episodic return=1061.02099609375\n", + "global step=2048000, episodic return=1049.6759033203125\n", + "global step=2048000, episodic return=1026.6910400390625\n", + "global step=2048000, episodic return=1054.47314453125\n", + "global step=2048000, episodic return=1098.222900390625\n", + "global step=2048000, episodic return=1021.2081298828125\n", + "global step=2048000, episodic return=1037.8095703125\n", + "global step=2048000, episodic return=1064.1756591796875\n", + "global step=2048000, episodic return=1071.0382080078125\n", + "global step=2048000, episodic return=1055.030517578125\n", + "global step=2048000, episodic return=1031.3289794921875\n", + "global step=2048000, episodic return=1068.2996826171875\n", + "global step=2048000, episodic return=1064.9920654296875\n", + "global step=2048000, episodic return=1039.1197509765625\n", + "global step=2048000, episodic return=1023.5946044921875\n", + "global step=2048000, episodic return=1040.257080078125\n", + "global step=2048000, episodic return=1027.2457275390625\n", + "global step=2048000, episodic return=1027.9857177734375\n", + "global step=2048000, episodic return=1120.00830078125\n", + "global step=2048000, episodic return=1042.7886962890625\n", + "global step=2048000, episodic return=1125.3428955078125\n", + "global step=2048000, episodic return=1072.2509765625\n", + "global step=2048000, episodic return=1019.755126953125\n", + "global step=2048000, episodic return=1033.6820068359375\n", + "global step=2048000, episodic return=1028.737060546875\n", + "global step=2048000, episodic return=1035.156494140625\n", + "global step=2048000, episodic return=1019.9603271484375\n", + "global step=2048000, episodic return=1033.673583984375\n", + "global step=2048000, episodic return=1031.8934326171875\n", + "global step=2048000, episodic return=1008.811279296875\n", + "global step=2048000, episodic return=1025.0037841796875\n", + "global step=2048000, episodic return=1017.51318359375\n", + "global step=2048000, episodic return=1030.3179931640625\n", + "global step=2048000, episodic return=1135.9072265625\n", + "global step=2048000, episodic return=1097.4168701171875\n", + "global step=2048000, episodic return=1051.52783203125\n", + "global step=2048000, episodic return=1052.5391845703125\n", + "global step=2048000, episodic return=1057.069580078125\n", + "global step=2048000, episodic return=1060.7518310546875\n", + "global step=2048000, episodic return=1126.7445068359375\n", + "global step=2048000, episodic return=1084.94482421875\n", + "global step=2048000, episodic return=1027.563720703125\n", + "global step=2048000, episodic return=1079.7672119140625\n", + "global step=2048000, episodic return=1033.2613525390625\n", + "global step=2048000, episodic return=1053.4403076171875\n", + "global step=2048000, episodic return=1065.96630859375\n", + "global step=2048000, episodic return=1016.8988647460938\n", + "global step=2048000, episodic return=1028.154296875\n", + "global step=2048000, episodic return=1053.57373046875\n", + "global step=2048000, episodic return=1070.319580078125\n", + "global step=2048000, episodic return=1047.017333984375\n", + "global step=2048000, episodic return=1033.871826171875\n", + "global step=2048000, episodic return=1025.4012451171875\n", + "global step=2048000, episodic return=1063.816650390625\n", + "global step=2048000, episodic return=1040.44287109375\n", + "global step=2048000, episodic return=1044.53515625\n", + "global step=2048000, episodic return=1026.02001953125\n", + "global step=2048000, episodic return=1125.556884765625\n", + "global step=2048000, episodic return=1030.2998046875\n", + "global step=2048000, episodic return=1039.2947998046875\n", + "global step=2048000, episodic return=1040.291748046875\n", + "global step=2048000, episodic return=1111.8729248046875\n", + "global step=2048000, episodic return=1041.439453125\n", + "global step=2048000, episodic return=1053.5748291015625\n", + "global step=2048000, episodic return=1018.606201171875\n", + "global step=2048000, episodic return=1048.8299560546875\n", + "global step=2048000, episodic return=1030.55126953125\n", + "global step=2048000, episodic return=1048.1458740234375\n", + "global step=2048000, episodic return=1065.027587890625\n", + "global step=2048000, episodic return=1030.9088134765625\n", + "global step=2048000, episodic return=1067.7657470703125\n", + "global step=2048000, episodic return=1059.3629150390625\n", + "global step=2048000, episodic return=1043.5748291015625\n", + "global step=2048000, episodic return=1083.280029296875\n", + "global step=2048000, episodic return=1114.6217041015625\n", + "global step=2048000, episodic return=1081.0908203125\n", + "global step=2048000, episodic return=1104.0614013671875\n", + "global step=2048000, episodic return=1016.3160400390625\n", + "global step=2048000, episodic return=1019.6531372070312\n", + "global step=2048000, episodic return=1050.240966796875\n", + "global step=2048000, episodic return=1097.4459228515625\n", + "global step=2048000, episodic return=1020.0469970703125\n", + "global step=2048000, episodic return=1045.560546875\n", + "global step=2048000, episodic return=1044.9306640625\n", + "global step=2048000, episodic return=1031.7349853515625\n", + "global step=2048000, episodic return=1033.5279541015625\n", + "global step=2048000, episodic return=1030.676513671875\n", + "global step=2048000, episodic return=1125.427490234375\n", + "global step=2048000, episodic return=1121.982666015625\n", + "global step=2048000, episodic return=1045.2559814453125\n", + "global step=2048000, episodic return=1043.2520751953125\n", + "global step=2048000, episodic return=1100.4931640625\n", + "global step=2048000, episodic return=1136.376953125\n", + "global step=2048000, episodic return=1030.7669677734375\n", + "global step=2048000, episodic return=1069.101806640625\n", + "global step=2048000, episodic return=1094.0743408203125\n", + "global step=2048000, episodic return=1072.088134765625\n", + "global step=2048000, episodic return=1078.30810546875\n", + "global step=2048000, episodic return=1031.9263916015625\n", + "global step=2048000, episodic return=1023.8009643554688\n", + "global step=2048000, episodic return=1060.6883544921875\n", + "global step=2048000, episodic return=1038.06787109375\n", + "global step=2048000, episodic return=1074.76123046875\n", + "global step=2048000, episodic return=1027.8665771484375\n", + "global step=2048000, episodic return=1030.176513671875\n", + "global step=2048000, episodic return=1069.991455078125\n", + "global step=2048000, episodic return=1040.42138671875\n", + "global step=2048000, episodic return=1025.5443115234375\n", + "global step=2048000, episodic return=1038.607421875\n", + "global step=2048000, episodic return=1059.642822265625\n", + "global step=2048000, episodic return=1010.5285034179688\n", + "global step=2048000, episodic return=1064.7978515625\n", + "global step=2048000, episodic return=1039.437255859375\n", + "global step=2048000, episodic return=1036.1844482421875\n", + "global step=2048000, episodic return=1128.825439453125\n", + "global step=2048000, episodic return=1100.7794189453125\n", + "global step=2048000, episodic return=1037.6878662109375\n", + "global step=2048000, episodic return=1080.150146484375\n", + "global step=2048000, episodic return=1017.6785278320312\n", + "global step=2048000, episodic return=1041.0772705078125\n", + "global step=2048000, episodic return=1097.3140869140625\n", + "global step=2048000, episodic return=1035.52197265625\n", + "global step=2048000, episodic return=1028.0914306640625\n", + "global step=2048000, episodic return=1087.381591796875\n", + "global step=2048000, episodic return=1083.8392333984375\n", + "global step=2048000, episodic return=1106.6527099609375\n", + "global step=2048000, episodic return=1042.47607421875\n", + "global step=2048000, episodic return=1051.4022216796875\n", + "global step=2048000, episodic return=1055.7735595703125\n", + "global step=2048000, episodic return=1035.1729736328125\n", + "global step=2048000, episodic return=1066.238037109375\n", + "global step=2048000, episodic return=1036.24462890625\n", + "global step=2048000, episodic return=1035.095947265625\n", + "global step=2048000, episodic return=1028.37158203125\n", + "global step=2048000, episodic return=1037.18994140625\n", + "global step=2048000, episodic return=1023.1881713867188\n", + "global step=2048000, episodic return=1035.152587890625\n", + "global step=2048000, episodic return=1039.3494873046875\n", + "global step=2048000, episodic return=1023.8299560546875\n", + "global step=2048000, episodic return=1130.440673828125\n", + "global step=2048000, episodic return=1015.33984375\n", + "global step=2048000, episodic return=1017.701904296875\n", + "global step=2048000, episodic return=1023.0020751953125\n", + "global step=2048000, episodic return=1017.6099243164062\n", + "global step=2048000, episodic return=1045.0657958984375\n", + "global step=2048000, episodic return=1052.6259765625\n", + "global step=2048000, episodic return=1043.0125732421875\n", + "global step=2048000, episodic return=1050.6798095703125\n", + "global step=2048000, episodic return=1109.81201171875\n", + "global step=2048000, episodic return=1033.111572265625\n", + "global step=2048000, episodic return=1057.177490234375\n", + "global step=2048000, episodic return=1016.6961059570312\n", + "global step=2048000, episodic return=1040.4600830078125\n", + "global step=2048000, episodic return=1016.3460083007812\n", + "global step=2048000, episodic return=1032.2913818359375\n", + "global step=2048000, episodic return=1034.0472412109375\n", + "global step=2048000, episodic return=1015.32421875\n", + "global step=2048000, episodic return=1033.8759765625\n", + "global step=2048000, episodic return=1028.57421875\n", + "global step=2048000, episodic return=1056.578125\n", + "global step=2048000, episodic return=1032.76318359375\n", + "global step=2048000, episodic return=1018.9542846679688\n", + "global step=2048000, episodic return=1027.4932861328125\n", + "global step=2048000, episodic return=1029.8997802734375\n", + "global step=2048000, episodic return=1071.4500732421875\n", + "global step=2048000, episodic return=1021.4837646484375\n", + "global step=2048000, episodic return=1016.5292358398438\n", + "global step=2048000, episodic return=1025.624267578125\n", + "global step=2048000, episodic return=1013.408935546875\n", + "global step=2048000, episodic return=1058.0919189453125\n", + "global step=2048000, episodic return=1014.6800537109375\n", + "global step=2048000, episodic return=1132.6337890625\n", + "global step=2048000, episodic return=1021.0933837890625\n", + "global step=2048000, episodic return=1020.0339965820312\n", + "global step=2048000, episodic return=1061.6756591796875\n", + "global step=2048000, episodic return=1033.7757568359375\n", + "global step=2048000, episodic return=1034.403564453125\n", + "global step=2048000, episodic return=1040.7373046875\n", + "global step=2048000, episodic return=1059.175048828125\n", + "global step=2048000, episodic return=1041.3328857421875\n", + "global step=2048000, episodic return=1031.159423828125\n", + "global step=2048000, episodic return=1037.26513671875\n", + "global step=2048000, episodic return=1018.4393310546875\n", + "global step=2048000, episodic return=1019.4823608398438\n", + "global step=2048000, episodic return=1035.887451171875\n", + "global step=2048000, episodic return=1031.7406005859375\n", + "global step=2048000, episodic return=1075.307373046875\n", + "global step=2048000, episodic return=1120.1634521484375\n", + "global step=2048000, episodic return=1079.04248046875\n", + "global step=2048000, episodic return=1101.67236328125\n", + "global step=2048000, episodic return=1058.2254638671875\n", + "global step=2048000, episodic return=1044.309814453125\n", + "global step=2048000, episodic return=1016.572998046875\n", + "global step=2048000, episodic return=1117.21533203125\n", + "global step=2048000, episodic return=1057.837158203125\n", + "global step=2048000, episodic return=1092.9420166015625\n", + "global step=2048000, episodic return=1070.7794189453125\n", + "global step=2048000, episodic return=1016.6380004882812\n", + "global step=2048000, episodic return=1023.7509155273438\n", + "global step=2048000, episodic return=1086.672607421875\n", + "global step=2048000, episodic return=1042.07763671875\n", + "global step=2048000, episodic return=1022.9869384765625\n", + "global step=2048000, episodic return=1054.025146484375\n", + "global step=2048000, episodic return=1042.0909423828125\n", + "global step=2048000, episodic return=1102.3118896484375\n", + "global step=2048000, episodic return=1039.2939453125\n", + "global step=2048000, episodic return=1127.95556640625\n", + "global step=2048000, episodic return=1042.399658203125\n", + "global step=2048000, episodic return=1040.848876953125\n", + "global step=2048000, episodic return=1130.6800537109375\n", + "global step=2048000, episodic return=1058.0986328125\n", + "global step=2048000, episodic return=1044.2613525390625\n", + "global step=2048000, episodic return=1023.1511840820312\n", + "global step=2048000, episodic return=1116.1756591796875\n", + "global step=2048000, episodic return=1030.290283203125\n", + "global step=2048000, episodic return=1056.82080078125\n", + "global step=2048000, episodic return=1052.1990966796875\n", + "global step=2048000, episodic return=1032.2481689453125\n", + "global step=2048000, episodic return=1021.3173828125\n", + "global step=2048000, episodic return=1024.9947509765625\n", + "global step=2048000, episodic return=1053.9598388671875\n", + "global step=2048000, episodic return=1033.7030029296875\n", + "global step=2048000, episodic return=1044.0164794921875\n", + "global step=2048000, episodic return=1021.7997436523438\n", + "global step=2048000, episodic return=1028.66357421875\n", + "global step=2048000, episodic return=1045.884765625\n", + "global step=2048000, episodic return=1040.7291259765625\n", + "global step=2048000, episodic return=1025.0113525390625\n", + "global step=2048000, episodic return=1022.9986572265625\n", + "global step=2048000, episodic return=1053.5286865234375\n", + "global step=2048000, episodic return=1046.912353515625\n", + "global step=2048000, episodic return=1024.9000244140625\n", + "global step=2048000, episodic return=1037.697509765625\n", + "global step=2048000, episodic return=1098.744140625\n", + "global step=2048000, episodic return=1033.347900390625\n", + "global step=2048000, episodic return=1061.0914306640625\n", + "global step=2048000, episodic return=1102.70361328125\n", + "global step=2048000, episodic return=1014.071044921875\n", + "global step=2048000, episodic return=1054.0970458984375\n", + "global step=2048000, episodic return=1027.827392578125\n", + "global step=2048000, episodic return=1058.181396484375\n", + "global step=2048000, episodic return=1108.1224365234375\n", + "global step=2048000, episodic return=1051.017822265625\n", + "global step=2048000, episodic return=1026.816162109375\n", + "global step=2048000, episodic return=1014.561279296875\n", + "global step=2048000, episodic return=1037.5296630859375\n", + "global step=2048000, episodic return=1032.0892333984375\n", + "global step=2048000, episodic return=1037.713623046875\n", + "global step=2048000, episodic return=1057.978271484375\n", + "global step=2048000, episodic return=1025.316650390625\n", + "global step=2048000, episodic return=1082.536376953125\n", + "global step=2048000, episodic return=1042.9840087890625\n", + "global step=2048000, episodic return=1018.8540649414062\n", + "global step=2048000, episodic return=1025.7947998046875\n", + "global step=2048000, episodic return=1122.87841796875\n", + "global step=2048000, episodic return=1112.6689453125\n", + "global step=2048000, episodic return=1034.3070068359375\n", + "global step=2048000, episodic return=1020.7850952148438\n", + "global step=2048000, episodic return=1122.3076171875\n", + "global step=2048000, episodic return=1055.7391357421875\n", + "global step=2048000, episodic return=1111.0654296875\n", + "global step=2048000, episodic return=1026.98828125\n", + "global step=2048000, episodic return=1033.237548828125\n", + "global step=2048000, episodic return=1050.339111328125\n", + "global step=2048000, episodic return=1026.4051513671875\n", + "global step=2048000, episodic return=1064.82470703125\n", + "global step=2048000, episodic return=1094.3363037109375\n", + "global step=2048000, episodic return=1050.5098876953125\n", + "global step=2048000, episodic return=1031.7833251953125\n", + "global step=2048000, episodic return=1029.2071533203125\n", + "global step=2048000, episodic return=1027.6796875\n", + "global step=2048000, episodic return=1026.8551025390625\n", + "global step=2048000, episodic return=1042.0648193359375\n", + "global step=2048000, episodic return=1100.9974365234375\n", + "global step=2048000, episodic return=1051.2745361328125\n", + "global step=2048000, episodic return=1084.5330810546875\n", + "global step=2048000, episodic return=1049.8636474609375\n", + "global step=2048000, episodic return=1119.0447998046875\n", + "global step=2048000, episodic return=1106.9971923828125\n", + "global step=2048000, episodic return=1028.119384765625\n", + "global step=2048000, episodic return=1124.641845703125\n", + "global step=2048000, episodic return=1061.6961669921875\n", + "global step=2048000, episodic return=1085.9967041015625\n", + "global step=2048000, episodic return=1074.083251953125\n", + "global step=2048000, episodic return=1037.9530029296875\n", + "global step=2048000, episodic return=1042.91357421875\n", + "global step=2048000, episodic return=1018.8309326171875\n", + "global step=2048000, episodic return=1033.259765625\n", + "global step=2048000, episodic return=1029.2391357421875\n", + "global step=2048000, episodic return=1097.3953857421875\n", + "global step=2048000, episodic return=1064.6065673828125\n", + "global step=2048000, episodic return=1043.54541015625\n", + "global step=2048000, episodic return=1096.1351318359375\n", + "global step=2048000, episodic return=1034.43310546875\n", + "global step=2048000, episodic return=1031.4111328125\n", + "global step=2048000, episodic return=1030.08447265625\n", + "global step=2048000, episodic return=1025.2437744140625\n", + "global step=2048000, episodic return=1035.2371826171875\n", + "global step=2048000, episodic return=1053.67529296875\n", + "global step=2048000, episodic return=1129.209228515625\n", + "global step=2048000, episodic return=1037.847900390625\n", + "global step=2048000, episodic return=1028.5992431640625\n", + "global step=2048000, episodic return=1022.108642578125\n", + "global step=2048000, episodic return=1028.390380859375\n", + "global step=2048000, episodic return=1089.555419921875\n", + "global step=2048000, episodic return=1034.2320556640625\n", + "global step=2048000, episodic return=1070.0887451171875\n", + "global step=2048000, episodic return=1090.4796142578125\n", + "global step=2048000, episodic return=1024.4891357421875\n", + "global step=2048000, episodic return=1022.213134765625\n", + "global step=2048000, episodic return=1024.77685546875\n", + "global step=2048000, episodic return=1020.5349731445312\n", + "global step=2048000, episodic return=1072.426513671875\n", + "global step=2048000, episodic return=1091.8917236328125\n", + "global step=2048000, episodic return=1018.6084594726562\n", + "global step=2048000, episodic return=1046.5853271484375\n", + "global step=2048000, episodic return=1060.242431640625\n", + "global step=2048000, episodic return=1051.30126953125\n", + "global step=2048000, episodic return=1035.83837890625\n", + "global step=2048000, episodic return=1028.6778564453125\n", + "global step=2048000, episodic return=1061.053955078125\n", + "global step=2048000, episodic return=1109.050048828125\n", + "global step=2048000, episodic return=1027.718017578125\n", + "global step=2048000, episodic return=1083.5816650390625\n", + "global step=2048000, episodic return=1048.557373046875\n", + "global step=2048000, episodic return=1037.611083984375\n", + "global step=2048000, episodic return=1099.4488525390625\n", + "global step=2048000, episodic return=1036.86669921875\n", + "global step=2048000, episodic return=1026.2425537109375\n", + "global step=2048000, episodic return=1041.6761474609375\n", + "global step=2048000, episodic return=1034.64501953125\n", + "global step=2048000, episodic return=1028.7933349609375\n", + "global step=2048000, episodic return=1041.9669189453125\n", + "global step=2048000, episodic return=1124.1812744140625\n", + "global step=2048000, episodic return=1034.54638671875\n", + "global step=2048000, episodic return=1064.1884765625\n", + "global step=2048000, episodic return=1022.8514404296875\n", + "global step=2048000, episodic return=1021.61767578125\n", + "global step=2048000, episodic return=1116.23779296875\n", + "global step=2048000, episodic return=1022.1226196289062\n", + "global step=2048000, episodic return=1100.972900390625\n", + "global step=2048000, episodic return=1091.755615234375\n", + "global step=2048000, episodic return=1025.0286865234375\n", + "global step=2048000, episodic return=1027.23046875\n", + "global step=2048000, episodic return=1026.618896484375\n", + "global step=2048000, episodic return=1011.2760620117188\n", + "global step=2048000, episodic return=1058.587158203125\n", + "global step=2048000, episodic return=1103.7957763671875\n", + "global step=2048000, episodic return=1032.98486328125\n", + "global step=2048000, episodic return=1026.039306640625\n", + "global step=2048000, episodic return=1029.6287841796875\n", + "global step=2048000, episodic return=1050.9107666015625\n", + "global step=2048000, episodic return=1041.21728515625\n", + "global step=2048000, episodic return=1049.9862060546875\n", + "global step=2048000, episodic return=1028.8826904296875\n", + "global step=2048000, episodic return=1014.8504028320312\n", + "global step=2048000, episodic return=1104.3455810546875\n", + "global step=2048000, episodic return=1105.7144775390625\n", + "global step=2048000, episodic return=1027.486083984375\n", + "global step=2048000, episodic return=1051.4632568359375\n", + "global step=2048000, episodic return=1012.8040161132812\n", + "global step=2048000, episodic return=1040.57763671875\n", + "global step=2048000, episodic return=1032.2344970703125\n", + "global step=2048000, episodic return=1019.0255126953125\n", + "global step=2048000, episodic return=1043.769287109375\n", + "global step=2048000, episodic return=1028.0380859375\n", + "global step=2048000, episodic return=1038.711181640625\n", + "global step=2048000, episodic return=1025.757080078125\n", + "global step=2048000, episodic return=1013.4188842773438\n", + "global step=2048000, episodic return=1034.41357421875\n", + "global step=2048000, episodic return=1025.3143310546875\n", + "global step=2048000, episodic return=1112.8822021484375\n", + "global step=2048000, episodic return=1125.8653564453125\n", + "global step=2048000, episodic return=1127.2398681640625\n", + "global step=2048000, episodic return=1050.2080078125\n", + "global step=2048000, episodic return=1018.408935546875\n", + "global step=2048000, episodic return=1087.09423828125\n", + "global step=2048000, episodic return=1041.608642578125\n", + "global step=2048000, episodic return=1050.5087890625\n", + "global step=2048000, episodic return=1050.04541015625\n", + "global step=2048000, episodic return=1056.0980224609375\n", + "global step=2048000, episodic return=1037.0567626953125\n", + "global step=2048000, episodic return=1030.3001708984375\n", + "global step=2048000, episodic return=1031.9698486328125\n", + "global step=2048000, episodic return=1032.842529296875\n", + "global step=2048000, episodic return=1089.256591796875\n", + "global step=2048000, episodic return=1012.134765625\n", + "global step=2048000, episodic return=1023.37646484375\n", + "global step=2048000, episodic return=1026.75146484375\n", + "global step=2048000, episodic return=1095.176025390625\n", + "global step=2048000, episodic return=1035.9478759765625\n", + "global step=2048000, episodic return=1027.211181640625\n", + "global step=2048000, episodic return=1019.995849609375\n", + "global step=2048000, episodic return=1036.911376953125\n", + "global step=2048000, episodic return=1028.2200927734375\n", + "global step=2048000, episodic return=1098.46337890625\n", + "global step=2048000, episodic return=1133.162841796875\n", + "global step=2048000, episodic return=1054.4364013671875\n", + "global step=2048000, episodic return=1081.4654541015625\n", + "global step=2048000, episodic return=1029.6981201171875\n", + "global step=2048000, episodic return=1029.089111328125\n", + "global step=2048000, episodic return=1042.906005859375\n", + "global step=2048000, episodic return=1089.8411865234375\n", + "global step=2048000, episodic return=1114.8079833984375\n", + "global step=2048000, episodic return=1040.083984375\n", + "global step=2048000, episodic return=1058.5367431640625\n", + "global step=2048000, episodic return=1068.30126953125\n", + "global step=2048000, episodic return=1002.2107543945312\n", + "global step=2048000, episodic return=1036.2034912109375\n", + "global step=2048000, episodic return=1046.7628173828125\n", + "global step=2048000, episodic return=1060.41259765625\n", + "global step=2048000, episodic return=1034.3543701171875\n", + "global step=2048000, episodic return=1016.3988037109375\n", + "global step=2048000, episodic return=1027.39208984375\n", + "global step=2048000, episodic return=1034.94580078125\n", + "global step=2048000, episodic return=1125.806884765625\n", + "global step=2048000, episodic return=1110.0823974609375\n", + "global step=2048000, episodic return=1011.5963134765625\n", + "global step=2048000, episodic return=1095.3179931640625\n", + "global step=2048000, episodic return=1030.5374755859375\n", + "global step=2048000, episodic return=1060.2784423828125\n", + "global step=2048000, episodic return=1063.37060546875\n", + "global step=2048000, episodic return=1112.343994140625\n", + "global step=2048000, episodic return=1020.8311157226562\n", + "global step=2048000, episodic return=1028.93408203125\n", + "global step=2048000, episodic return=1030.34423828125\n", + "global step=2048000, episodic return=1086.305419921875\n", + "global step=2048000, episodic return=1018.8591918945312\n", + "global step=2048000, episodic return=1047.3348388671875\n", + "global step=2048000, episodic return=1075.3619384765625\n", + "global step=2048000, episodic return=1027.0518798828125\n", + "global step=2048000, episodic return=1102.517822265625\n", + "global step=2048000, episodic return=1016.4556274414062\n", + "global step=2048000, episodic return=1010.8011474609375\n", + "global step=2048000, episodic return=1030.8065185546875\n", + "global step=2048000, episodic return=1085.9522705078125\n", + "global step=2048000, episodic return=1034.22412109375\n", + "global step=2048000, episodic return=1019.4653930664062\n", + "global step=2048000, episodic return=1044.7943115234375\n", + "global step=2048000, episodic return=1041.3685302734375\n", + "global step=2048000, episodic return=1015.5964965820312\n", + "global step=2048000, episodic return=1015.8811645507812\n", + "global step=2048000, episodic return=1030.9107666015625\n", + "global step=2048000, episodic return=1057.860595703125\n", + "global step=2048000, episodic return=1040.56103515625\n", + "global step=2048000, episodic return=1065.5513916015625\n", + "global step=2048000, episodic return=1040.1422119140625\n", + "global step=2048000, episodic return=1039.4208984375\n", + "global step=2048000, episodic return=1106.3038330078125\n", + "global step=2048000, episodic return=1030.4462890625\n", + "global step=2048000, episodic return=1043.53125\n", + "global step=2048000, episodic return=1019.9418334960938\n", + "global step=2048000, episodic return=1068.65576171875\n", + "global step=2048000, episodic return=1034.275390625\n", + "global step=2048000, episodic return=1037.2003173828125\n", + "global step=2048000, episodic return=1018.4837646484375\n", + "global step=2048000, episodic return=1025.906982421875\n", + "global step=2048000, episodic return=1044.1624755859375\n", + "global step=2048000, episodic return=1034.431884765625\n", + "global step=2048000, episodic return=1048.638916015625\n", + "global step=2048000, episodic return=1036.844970703125\n", + "global step=2048000, episodic return=1045.951171875\n", + "global step=2048000, episodic return=1096.50537109375\n", + "global step=2048000, episodic return=1045.424072265625\n", + "global step=2048000, episodic return=1030.893798828125\n", + "global step=2048000, episodic return=1030.15673828125\n", + "global step=2048000, episodic return=1042.7698974609375\n", + "global step=2048000, episodic return=1050.473876953125\n", + "global step=2048000, episodic return=1049.6131591796875\n", + "global step=2048000, episodic return=1032.70849609375\n", + "global step=2048000, episodic return=1056.004150390625\n", + "global step=2048000, episodic return=1038.688720703125\n", + "global step=2048000, episodic return=1036.7889404296875\n", + "global step=2048000, episodic return=1118.0020751953125\n", + "global step=2048000, episodic return=1030.8367919921875\n", + "global step=2048000, episodic return=1032.951171875\n", + "global step=2048000, episodic return=1045.3021240234375\n", + "global step=2048000, episodic return=1068.8511962890625\n", + "global step=2048000, episodic return=1047.266357421875\n", + "global step=2048000, episodic return=1027.0565185546875\n", + "global step=2048000, episodic return=1031.677734375\n", + "global step=2048000, episodic return=1078.5150146484375\n", + "global step=2048000, episodic return=1056.5985107421875\n", + "global step=2048000, episodic return=1049.29931640625\n", + "global step=2050048, episodic return=517.2200317382812\n", + "global step=2050048, episodic return=515.1310424804688\n", + "global step=2052096, episodic return=516.7877807617188\n", + "global step=2052096, episodic return=1097.67724609375\n", + "global step=2054144, episodic return=1090.8035888671875\n", + "global step=2054144, episodic return=540.5021362304688\n", + "global step=2054144, episodic return=1087.605224609375\n", + "global step=2054144, episodic return=1077.151123046875\n", + "global step=2054144, episodic return=504.9796447753906\n", + "global step=2056192, episodic return=1091.633544921875\n", + "global step=2056192, episodic return=528.1942749023438\n", + "global step=2056192, episodic return=525.09521484375\n", + "global step=2058240, episodic return=1038.9146728515625\n", + "global step=2060288, episodic return=1095.777099609375\n", + "global step=2060288, episodic return=525.2828369140625\n", + "global step=2060288, episodic return=517.0479736328125\n", + "global step=2060288, episodic return=1116.3779296875\n", + "global step=2060288, episodic return=520.7037353515625\n", + "global step=2062336, episodic return=1117.69140625\n", + "global step=2064384, episodic return=1086.2696533203125\n", + "global step=2064384, episodic return=528.2113037109375\n", + "global step=2064384, episodic return=541.827880859375\n", + "global step=2066432, episodic return=1112.4881591796875\n", + "global step=2068480, episodic return=1083.7615966796875\n", + "global step=2070528, episodic return=528.03173828125\n", + "global step=2070528, episodic return=1132.0640869140625\n", + "global step=2072576, episodic return=1113.4967041015625\n", + "global step=2072576, episodic return=1033.907958984375\n", + "global step=2072576, episodic return=1126.9124755859375\n", + "global step=2072576, episodic return=1032.20947265625\n", + "global step=2072576, episodic return=1130.39453125\n", + "global step=2072576, episodic return=1036.369873046875\n", + "global step=2072576, episodic return=1032.93212890625\n", + "global step=2074624, episodic return=1082.8126220703125\n", + "global step=2074624, episodic return=1039.802490234375\n", + "global step=2074624, episodic return=548.6734008789062\n", + "global step=2076672, episodic return=1079.014892578125\n", + "global step=2076672, episodic return=1030.5234375\n", + "global step=2076672, episodic return=1117.421875\n", + "global step=2076672, episodic return=1122.863525390625\n", + "global step=2076672, episodic return=1059.0604248046875\n", + "global step=2076672, episodic return=1041.5849609375\n", + "global step=2076672, episodic return=1032.809814453125\n", + "global step=2076672, episodic return=1025.61279296875\n", + "global step=2076672, episodic return=1034.8302001953125\n", + "global step=2076672, episodic return=1039.7425537109375\n", + "global step=2076672, episodic return=525.8948364257812\n", + "global step=2078720, episodic return=1041.2022705078125\n", + "global step=2078720, episodic return=1041.607177734375\n", + "global step=2078720, episodic return=1048.6536865234375\n", + "global step=2078720, episodic return=1050.562255859375\n", + "global step=2078720, episodic return=1113.070068359375\n", + "global step=2078720, episodic return=1024.2259521484375\n", + "global step=2078720, episodic return=1106.4075927734375\n", + "global step=2078720, episodic return=1036.88623046875\n", + "global step=2078720, episodic return=1017.9312744140625\n", + "global step=2080768, episodic return=1034.97314453125\n", + "global step=2080768, episodic return=1073.243408203125\n", + "global step=2080768, episodic return=1117.27001953125\n", + "global step=2080768, episodic return=1064.9580078125\n", + "global step=2080768, episodic return=1108.2752685546875\n", + "global step=2080768, episodic return=1021.162109375\n", + "global step=2080768, episodic return=530.2525634765625\n", + "global step=2080768, episodic return=1091.7508544921875\n", + "global step=2080768, episodic return=1051.439208984375\n", + "global step=2080768, episodic return=1041.299072265625\n", + "global step=2080768, episodic return=1050.5113525390625\n", + "global step=2080768, episodic return=1029.7259521484375\n", + "global step=2080768, episodic return=517.5339965820312\n", + "global step=2080768, episodic return=1048.911376953125\n", + "global step=2080768, episodic return=1036.795654296875\n", + "global step=2080768, episodic return=1033.248046875\n", + "global step=2080768, episodic return=1035.097900390625\n", + "global step=2080768, episodic return=1061.218994140625\n", + "global step=2080768, episodic return=1023.9290161132812\n", + "global step=2080768, episodic return=545.8116455078125\n", + "global step=2080768, episodic return=520.9171142578125\n", + "global step=2082816, episodic return=1110.7376708984375\n", + "global step=2082816, episodic return=1040.3067626953125\n", + "global step=2082816, episodic return=1009.8419189453125\n", + "global step=2082816, episodic return=1107.64111328125\n", + "global step=2082816, episodic return=1043.4388427734375\n", + "global step=2082816, episodic return=538.9116821289062\n", + "global step=2082816, episodic return=1113.187744140625\n", + "global step=2082816, episodic return=1021.2380981445312\n", + "global step=2082816, episodic return=1028.2393798828125\n", + "global step=2082816, episodic return=797.0667724609375\n", + "global step=2082816, episodic return=1023.0007934570312\n", + "global step=2082816, episodic return=1021.6683959960938\n", + "global step=2082816, episodic return=1031.5460205078125\n", + "global step=2084864, episodic return=1042.8179931640625\n", + "global step=2084864, episodic return=1026.241455078125\n", + "global step=2084864, episodic return=807.985107421875\n", + "global step=2084864, episodic return=1022.0416259765625\n", + "global step=2084864, episodic return=1028.13623046875\n", + "global step=2084864, episodic return=1033.9715576171875\n", + "global step=2084864, episodic return=1058.9290771484375\n", + "global step=2084864, episodic return=1054.0185546875\n", + "global step=2084864, episodic return=1033.01611328125\n", + "global step=2084864, episodic return=1040.9432373046875\n", + "global step=2084864, episodic return=1013.2138671875\n", + "global step=2084864, episodic return=1084.2620849609375\n", + "global step=2084864, episodic return=1039.7786865234375\n", + "global step=2084864, episodic return=1124.309814453125\n", + "global step=2084864, episodic return=1105.701904296875\n", + "global step=2084864, episodic return=1043.687744140625\n", + "global step=2084864, episodic return=1083.9947509765625\n", + "global step=2084864, episodic return=1028.9620361328125\n", + "global step=2084864, episodic return=1040.58251953125\n", + "global step=2084864, episodic return=1101.0836181640625\n", + "global step=2084864, episodic return=540.6340942382812\n", + "global step=2084864, episodic return=1022.0433959960938\n", + "global step=2086912, episodic return=1118.0390625\n", + "global step=2086912, episodic return=1029.554443359375\n", + "global step=2086912, episodic return=1029.67724609375\n", + "global step=2086912, episodic return=1028.4442138671875\n", + "global step=2086912, episodic return=1028.44873046875\n", + "global step=2086912, episodic return=1047.111328125\n", + "global step=2086912, episodic return=1035.3656005859375\n", + "global step=2086912, episodic return=1012.2295532226562\n", + "global step=2086912, episodic return=1150.6201171875\n", + "global step=2086912, episodic return=1026.0020751953125\n", + "global step=2086912, episodic return=1048.7257080078125\n", + "global step=2086912, episodic return=1126.71630859375\n", + "global step=2086912, episodic return=1024.185302734375\n", + "global step=2086912, episodic return=1033.28125\n", + "global step=2086912, episodic return=1056.2724609375\n", + "global step=2086912, episodic return=516.7264404296875\n", + "global step=2086912, episodic return=1035.1322021484375\n", + "global step=2086912, episodic return=1038.313720703125\n", + "global step=2086912, episodic return=1031.340576171875\n", + "global step=2086912, episodic return=1103.2567138671875\n", + "global step=2086912, episodic return=1122.16796875\n", + "global step=2086912, episodic return=1102.359130859375\n", + "global step=2086912, episodic return=1056.4736328125\n", + "global step=2088960, episodic return=1082.275634765625\n", + "global step=2088960, episodic return=1051.7674560546875\n", + "global step=2088960, episodic return=1089.005615234375\n", + "global step=2088960, episodic return=1095.986083984375\n", + "global step=2088960, episodic return=1035.36669921875\n", + "global step=2088960, episodic return=1040.04541015625\n", + "global step=2088960, episodic return=1035.130859375\n", + "global step=2088960, episodic return=1090.959716796875\n", + "global step=2088960, episodic return=1070.1439208984375\n", + "global step=2088960, episodic return=1058.330322265625\n", + "global step=2088960, episodic return=540.7557983398438\n", + "global step=2088960, episodic return=1076.549072265625\n", + "global step=2088960, episodic return=1033.48046875\n", + "global step=2088960, episodic return=1072.216064453125\n", + "global step=2088960, episodic return=1023.5697631835938\n", + "global step=2091008, episodic return=1046.910888671875\n", + "global step=2091008, episodic return=525.3394165039062\n", + "global step=2091008, episodic return=1034.33056640625\n", + "global step=2091008, episodic return=1030.33349609375\n", + "global step=2091008, episodic return=1051.07421875\n", + "global step=2091008, episodic return=1040.2498779296875\n", + "global step=2091008, episodic return=1115.4302978515625\n", + "global step=2091008, episodic return=1101.7303466796875\n", + "global step=2091008, episodic return=1021.0404663085938\n", + "global step=2091008, episodic return=1080.078125\n", + "global step=2091008, episodic return=1061.489013671875\n", + "global step=2091008, episodic return=1025.34130859375\n", + "global step=2091008, episodic return=1047.516845703125\n", + "global step=2091008, episodic return=1114.135009765625\n", + "global step=2091008, episodic return=1029.755859375\n", + "global step=2091008, episodic return=1024.83740234375\n", + "global step=2091008, episodic return=1078.2392578125\n", + "global step=2091008, episodic return=1021.6431274414062\n", + "global step=2091008, episodic return=1040.86669921875\n", + "global step=2091008, episodic return=1116.72998046875\n", + "global step=2091008, episodic return=1084.86181640625\n", + "global step=2091008, episodic return=1108.220947265625\n", + "global step=2091008, episodic return=1116.8232421875\n", + "global step=2093056, episodic return=1022.0928344726562\n", + "global step=2093056, episodic return=1046.76611328125\n", + "global step=2093056, episodic return=1042.0269775390625\n", + "global step=2093056, episodic return=1043.732421875\n", + "global step=2093056, episodic return=1114.109619140625\n", + "global step=2093056, episodic return=1116.5137939453125\n", + "global step=2093056, episodic return=1045.4588623046875\n", + "global step=2093056, episodic return=1032.9847412109375\n", + "global step=2093056, episodic return=1030.4501953125\n", + "global step=2093056, episodic return=1024.1920166015625\n", + "global step=2093056, episodic return=1017.6806030273438\n", + "global step=2095104, episodic return=540.6315307617188\n", + "global step=2095104, episodic return=1110.654541015625\n", + "global step=2095104, episodic return=1055.104736328125\n", + "global step=2095104, episodic return=1075.766845703125\n", + "global step=2095104, episodic return=1045.7900390625\n", + "global step=2095104, episodic return=1036.98291015625\n", + "global step=2095104, episodic return=1115.009765625\n", + "global step=2095104, episodic return=1129.212890625\n", + "global step=2095104, episodic return=1049.8963623046875\n", + "global step=2095104, episodic return=1025.963134765625\n", + "global step=2095104, episodic return=1073.252197265625\n", + "global step=2095104, episodic return=1043.6304931640625\n", + "global step=2095104, episodic return=1038.482177734375\n", + "global step=2095104, episodic return=1041.05810546875\n", + "global step=2095104, episodic return=1053.8961181640625\n", + "global step=2095104, episodic return=1076.6776123046875\n", + "global step=2095104, episodic return=1031.6448974609375\n", + "global step=2095104, episodic return=1071.0477294921875\n", + "global step=2095104, episodic return=1050.4195556640625\n", + "global step=2097152, episodic return=1061.1654052734375\n", + "global step=2097152, episodic return=1024.464599609375\n", + "global step=2097152, episodic return=1056.44189453125\n", + "global step=2097152, episodic return=1130.023193359375\n", + "global step=2097152, episodic return=1101.780029296875\n", + "global step=2097152, episodic return=1029.6119384765625\n", + "global step=2097152, episodic return=1026.75732421875\n", + "global step=2097152, episodic return=1039.449951171875\n", + "global step=2097152, episodic return=1100.3685302734375\n", + "global step=2097152, episodic return=1142.924072265625\n", + "global step=2097152, episodic return=1031.1065673828125\n", + "global step=2097152, episodic return=1044.99755859375\n", + "global step=2097152, episodic return=1044.08251953125\n", + "global step=2097152, episodic return=1033.1226806640625\n", + "global step=2097152, episodic return=1044.582763671875\n", + "global step=2097152, episodic return=1096.1826171875\n", + "global step=2097152, episodic return=1120.0955810546875\n", + "global step=2099200, episodic return=545.8342895507812\n", + "global step=2099200, episodic return=1066.990478515625\n", + "global step=2099200, episodic return=1021.4268798828125\n", + "global step=2099200, episodic return=1028.6275634765625\n", + "global step=2099200, episodic return=1114.1256103515625\n", + "global step=2099200, episodic return=1084.04052734375\n", + "global step=2099200, episodic return=1082.0025634765625\n", + "global step=2099200, episodic return=1122.2801513671875\n", + "global step=2099200, episodic return=1027.837890625\n", + "global step=2099200, episodic return=1026.73291015625\n", + "global step=2099200, episodic return=1106.8568115234375\n", + "global step=2099200, episodic return=1057.99560546875\n", + "global step=2099200, episodic return=1031.30078125\n", + "global step=2099200, episodic return=1130.6903076171875\n", + "global step=2099200, episodic return=1001.1210327148438\n", + "global step=2099200, episodic return=1036.6175537109375\n", + "global step=2099200, episodic return=1031.0115966796875\n", + "global step=2099200, episodic return=1126.5531005859375\n", + "global step=2099200, episodic return=1102.5335693359375\n", + "global step=2099200, episodic return=1048.9239501953125\n", + "global step=2099200, episodic return=1099.73974609375\n", + "global step=2099200, episodic return=1022.5682983398438\n", + "global step=2099200, episodic return=1071.94921875\n", + "global step=2099200, episodic return=530.1691284179688\n", + "global step=2101248, episodic return=1034.2408447265625\n", + "global step=2101248, episodic return=492.8544006347656\n", + "global step=2101248, episodic return=1034.291259765625\n", + "global step=2101248, episodic return=1043.4248046875\n", + "global step=2101248, episodic return=1030.191650390625\n", + "global step=2101248, episodic return=1125.8775634765625\n", + "global step=2101248, episodic return=511.35516357421875\n", + "global step=2101248, episodic return=1047.310302734375\n", + "global step=2101248, episodic return=1115.17431640625\n", + "global step=2101248, episodic return=1027.233154296875\n", + "global step=2101248, episodic return=1059.719970703125\n", + "global step=2101248, episodic return=1047.41796875\n", + "global step=2101248, episodic return=1111.9461669921875\n", + "global step=2101248, episodic return=1034.77392578125\n", + "global step=2101248, episodic return=1027.9234619140625\n", + "global step=2101248, episodic return=1067.3238525390625\n", + "global step=2101248, episodic return=1018.3821411132812\n", + "global step=2101248, episodic return=1084.1280517578125\n", + "global step=2101248, episodic return=1026.87744140625\n", + "global step=2101248, episodic return=1079.2451171875\n", + "global step=2101248, episodic return=1020.0067138671875\n", + "global step=2101248, episodic return=1097.2877197265625\n", + "global step=2101248, episodic return=1073.4609375\n", + "global step=2101248, episodic return=520.24609375\n", + "global step=2103296, episodic return=1112.965087890625\n", + "global step=2103296, episodic return=1027.812255859375\n", + "global step=2103296, episodic return=1111.615234375\n", + "global step=2103296, episodic return=1030.98828125\n", + "global step=2103296, episodic return=1029.0006103515625\n", + "global step=2103296, episodic return=1043.873291015625\n", + "global step=2103296, episodic return=1083.2279052734375\n", + "global step=2103296, episodic return=1113.7545166015625\n", + "global step=2103296, episodic return=1028.124267578125\n", + "global step=2103296, episodic return=525.0612182617188\n", + "global step=2103296, episodic return=1045.653076171875\n", + "global step=2103296, episodic return=1042.8536376953125\n", + "global step=2103296, episodic return=1128.6474609375\n", + "global step=2103296, episodic return=1055.0234375\n", + "global step=2103296, episodic return=1057.73193359375\n", + "global step=2103296, episodic return=1017.36181640625\n", + "global step=2103296, episodic return=1122.08544921875\n", + "global step=2105344, episodic return=1049.921630859375\n", + "global step=2105344, episodic return=1054.6802978515625\n", + "global step=2105344, episodic return=1044.25634765625\n", + "global step=2105344, episodic return=1027.791748046875\n", + "global step=2105344, episodic return=537.6936645507812\n", + "global step=2105344, episodic return=1046.791748046875\n", + "global step=2105344, episodic return=1053.4815673828125\n", + "global step=2105344, episodic return=1036.0423583984375\n", + "global step=2105344, episodic return=1043.38525390625\n", + "global step=2105344, episodic return=1025.58984375\n", + "global step=2105344, episodic return=1032.7608642578125\n", + "global step=2105344, episodic return=1039.0040283203125\n", + "global step=2105344, episodic return=1076.565673828125\n", + "global step=2105344, episodic return=1053.9205322265625\n", + "global step=2105344, episodic return=1058.4385986328125\n", + "global step=2105344, episodic return=523.4996948242188\n", + "global step=2105344, episodic return=1035.7391357421875\n", + "global step=2105344, episodic return=1029.2841796875\n", + "global step=2105344, episodic return=515.0467529296875\n", + "global step=2105344, episodic return=1068.6253662109375\n", + "global step=2105344, episodic return=1035.718017578125\n", + "global step=2105344, episodic return=1023.2499389648438\n", + "global step=2105344, episodic return=1046.49609375\n", + "global step=2105344, episodic return=1030.8800048828125\n", + "global step=2107392, episodic return=1048.1995849609375\n", + "global step=2107392, episodic return=1037.0931396484375\n", + "global step=2107392, episodic return=1032.8243408203125\n", + "global step=2107392, episodic return=1087.6865234375\n", + "global step=2107392, episodic return=1021.210693359375\n", + "global step=2107392, episodic return=1038.5213623046875\n", + "global step=2107392, episodic return=1025.5087890625\n", + "global step=2107392, episodic return=1050.543701171875\n", + "global step=2107392, episodic return=1071.15673828125\n", + "global step=2107392, episodic return=1018.862060546875\n", + "global step=2107392, episodic return=1044.489013671875\n", + "global step=2107392, episodic return=1073.2823486328125\n", + "global step=2107392, episodic return=1038.2457275390625\n", + "global step=2107392, episodic return=1040.4598388671875\n", + "global step=2107392, episodic return=1060.9527587890625\n", + "global step=2107392, episodic return=1032.6658935546875\n", + "global step=2107392, episodic return=1025.7691650390625\n", + "global step=2107392, episodic return=532.5646362304688\n", + "global step=2107392, episodic return=1043.8525390625\n", + "global step=2109440, episodic return=1040.12890625\n", + "global step=2109440, episodic return=1028.394287109375\n", + "global step=2109440, episodic return=1034.4354248046875\n", + "global step=2109440, episodic return=503.4740905761719\n", + "global step=2109440, episodic return=1026.9921875\n", + "global step=2109440, episodic return=1022.6365356445312\n", + "global step=2109440, episodic return=1079.5758056640625\n", + "global step=2109440, episodic return=1054.61181640625\n", + "global step=2109440, episodic return=1101.0478515625\n", + "global step=2109440, episodic return=500.1626892089844\n", + "global step=2109440, episodic return=1029.2869873046875\n", + "global step=2109440, episodic return=1026.1114501953125\n", + "global step=2109440, episodic return=1024.20947265625\n", + "global step=2109440, episodic return=523.2493286132812\n", + "global step=2109440, episodic return=1036.5028076171875\n", + "global step=2109440, episodic return=1022.9977416992188\n", + "global step=2109440, episodic return=1025.583984375\n", + "global step=2109440, episodic return=1115.9212646484375\n", + "global step=2109440, episodic return=1042.602294921875\n", + "global step=2109440, episodic return=1046.20166015625\n", + "global step=2109440, episodic return=1029.09423828125\n", + "global step=2109440, episodic return=1070.4002685546875\n", + "global step=2111488, episodic return=1103.651611328125\n", + "global step=2111488, episodic return=1106.61376953125\n", + "global step=2111488, episodic return=1117.4102783203125\n", + "global step=2111488, episodic return=1115.6044921875\n", + "global step=2111488, episodic return=1040.0101318359375\n", + "global step=2111488, episodic return=1128.541015625\n", + "global step=2111488, episodic return=1046.7135009765625\n", + "global step=2111488, episodic return=1117.8123779296875\n", + "global step=2111488, episodic return=1034.1324462890625\n", + "global step=2111488, episodic return=1082.0400390625\n", + "global step=2111488, episodic return=1040.9337158203125\n", + "global step=2111488, episodic return=1033.3773193359375\n", + "global step=2111488, episodic return=1039.404296875\n", + "global step=2111488, episodic return=1088.6444091796875\n", + "global step=2111488, episodic return=1076.8822021484375\n", + "global step=2111488, episodic return=1033.1865234375\n", + "global step=2111488, episodic return=1026.4400634765625\n", + "global step=2111488, episodic return=1103.8470458984375\n", + "global step=2111488, episodic return=1024.884033203125\n", + "global step=2111488, episodic return=1042.996337890625\n", + "global step=2111488, episodic return=1020.6615600585938\n", + "global step=2111488, episodic return=1088.3359375\n", + "global step=2111488, episodic return=1038.175537109375\n", + "global step=2111488, episodic return=1034.5223388671875\n", + "global step=2111488, episodic return=1128.47265625\n", + "global step=2111488, episodic return=1043.84521484375\n", + "global step=2113536, episodic return=1037.40087890625\n", + "global step=2113536, episodic return=1139.5040283203125\n", + "global step=2113536, episodic return=563.9579467773438\n", + "global step=2113536, episodic return=1135.8414306640625\n", + "global step=2113536, episodic return=1030.6104736328125\n", + "global step=2113536, episodic return=1141.15869140625\n", + "global step=2113536, episodic return=844.6240234375\n", + "global step=2113536, episodic return=1030.075927734375\n", + "global step=2113536, episodic return=1099.373779296875\n", + "global step=2113536, episodic return=1039.0316162109375\n", + "global step=2113536, episodic return=1044.6209716796875\n", + "global step=2113536, episodic return=1036.21630859375\n", + "global step=2113536, episodic return=1052.386474609375\n", + "global step=2113536, episodic return=1014.58203125\n", + "global step=2113536, episodic return=1024.1182861328125\n", + "global step=2113536, episodic return=1141.4908447265625\n", + "global step=2113536, episodic return=1099.79248046875\n", + "global step=2113536, episodic return=1035.5350341796875\n", + "global step=2113536, episodic return=1026.0889892578125\n", + "global step=2113536, episodic return=1072.30029296875\n", + "global step=2113536, episodic return=1036.590576171875\n", + "global step=2113536, episodic return=1055.91845703125\n", + "global step=2113536, episodic return=1046.3907470703125\n", + "global step=2113536, episodic return=1044.5479736328125\n", + "global step=2113536, episodic return=1033.648193359375\n", + "global step=2113536, episodic return=1089.530517578125\n", + "global step=2113536, episodic return=1124.5218505859375\n", + "global step=2113536, episodic return=1046.0367431640625\n", + "global step=2113536, episodic return=1040.5802001953125\n", + "global step=2115584, episodic return=498.8084411621094\n", + "global step=2115584, episodic return=1133.8038330078125\n", + "global step=2115584, episodic return=1020.8572387695312\n", + "global step=2115584, episodic return=1090.646484375\n", + "global step=2115584, episodic return=1034.990478515625\n", + "global step=2115584, episodic return=551.4681396484375\n", + "global step=2115584, episodic return=1026.0711669921875\n", + "global step=2115584, episodic return=1119.8189697265625\n", + "global step=2115584, episodic return=1030.20751953125\n", + "global step=2115584, episodic return=1049.282470703125\n", + "global step=2115584, episodic return=1103.6375732421875\n", + "global step=2115584, episodic return=1029.04443359375\n", + "global step=2115584, episodic return=1023.0980224609375\n", + "global step=2115584, episodic return=1125.306884765625\n", + "global step=2115584, episodic return=523.0470581054688\n", + "global step=2115584, episodic return=1036.4566650390625\n", + "global step=2115584, episodic return=1032.801025390625\n", + "global step=2115584, episodic return=1034.6669921875\n", + "global step=2115584, episodic return=1119.114013671875\n", + "global step=2115584, episodic return=511.4082946777344\n", + "global step=2115584, episodic return=1120.5103759765625\n", + "global step=2115584, episodic return=1084.5875244140625\n", + "global step=2117632, episodic return=1022.1303100585938\n", + "global step=2117632, episodic return=1028.2518310546875\n", + "global step=2117632, episodic return=539.9903564453125\n", + "global step=2117632, episodic return=1037.547119140625\n", + "global step=2117632, episodic return=1057.375732421875\n", + "global step=2117632, episodic return=517.0213012695312\n", + "global step=2117632, episodic return=1034.6650390625\n", + "global step=2117632, episodic return=1073.783203125\n", + "global step=2117632, episodic return=1024.5150146484375\n", + "global step=2117632, episodic return=1035.3902587890625\n", + "global step=2117632, episodic return=1059.1241455078125\n", + "global step=2117632, episodic return=1026.8857421875\n", + "global step=2117632, episodic return=1123.51708984375\n", + "global step=2117632, episodic return=1122.8115234375\n", + "global step=2117632, episodic return=1049.411865234375\n", + "global step=2117632, episodic return=1050.16259765625\n", + "global step=2117632, episodic return=1047.1907958984375\n", + "global step=2119680, episodic return=1031.5010986328125\n", + "global step=2119680, episodic return=1046.22412109375\n", + "global step=2119680, episodic return=1034.9610595703125\n", + "global step=2119680, episodic return=1028.661376953125\n", + "global step=2119680, episodic return=1027.331298828125\n", + "global step=2119680, episodic return=1047.8685302734375\n", + "global step=2119680, episodic return=1108.4974365234375\n", + "global step=2119680, episodic return=1020.19140625\n", + "global step=2119680, episodic return=1116.8582763671875\n", + "global step=2119680, episodic return=1045.2261962890625\n", + "global step=2119680, episodic return=1119.0260009765625\n", + "global step=2119680, episodic return=1058.9686279296875\n", + "global step=2119680, episodic return=1027.866455078125\n", + "global step=2119680, episodic return=1098.6121826171875\n", + "global step=2119680, episodic return=1021.7646484375\n", + "global step=2119680, episodic return=1031.700439453125\n", + "global step=2119680, episodic return=1066.6871337890625\n", + "global step=2119680, episodic return=1032.327880859375\n", + "global step=2119680, episodic return=1028.3548583984375\n", + "global step=2119680, episodic return=1042.23388671875\n", + "global step=2119680, episodic return=1127.190185546875\n", + "global step=2119680, episodic return=1129.9915771484375\n", + "global step=2121728, episodic return=1034.5882568359375\n", + "global step=2121728, episodic return=1030.40673828125\n", + "global step=2121728, episodic return=1102.506591796875\n", + "global step=2121728, episodic return=1107.602783203125\n", + "global step=2121728, episodic return=1028.152099609375\n", + "global step=2121728, episodic return=1048.31982421875\n", + "global step=2121728, episodic return=1036.697021484375\n", + "global step=2121728, episodic return=1023.44091796875\n", + "global step=2121728, episodic return=1101.4517822265625\n", + "global step=2121728, episodic return=1040.8111572265625\n", + "global step=2121728, episodic return=1033.801025390625\n", + "global step=2121728, episodic return=1044.706787109375\n", + "global step=2121728, episodic return=1101.7197265625\n", + "global step=2121728, episodic return=1027.355712890625\n", + "global step=2121728, episodic return=1037.1650390625\n", + "global step=2121728, episodic return=540.5723876953125\n", + "global step=2121728, episodic return=1129.43212890625\n", + "global step=2121728, episodic return=1028.18212890625\n", + "global step=2121728, episodic return=519.7833862304688\n", + "global step=2121728, episodic return=1020.3427734375\n", + "global step=2121728, episodic return=1060.7880859375\n", + "global step=2123776, episodic return=1044.16455078125\n", + "global step=2123776, episodic return=1044.892578125\n", + "global step=2123776, episodic return=515.7235107421875\n", + "global step=2123776, episodic return=1031.560302734375\n", + "global step=2123776, episodic return=1036.1617431640625\n", + "global step=2123776, episodic return=1037.3212890625\n", + "global step=2123776, episodic return=1069.5208740234375\n", + "global step=2123776, episodic return=1030.0218505859375\n", + "global step=2123776, episodic return=1033.934814453125\n", + "global step=2123776, episodic return=1036.3626708984375\n", + "global step=2123776, episodic return=521.6886596679688\n", + "global step=2123776, episodic return=1034.20361328125\n", + "global step=2123776, episodic return=1052.670654296875\n", + "global step=2123776, episodic return=1035.1734619140625\n", + "global step=2123776, episodic return=1025.890625\n", + "global step=2123776, episodic return=1028.46142578125\n", + "global step=2123776, episodic return=1029.3916015625\n", + "global step=2123776, episodic return=1034.9976806640625\n", + "global step=2123776, episodic return=560.4935302734375\n", + "global step=2123776, episodic return=1039.771484375\n", + "global step=2123776, episodic return=1044.03955078125\n", + "global step=2123776, episodic return=1022.2017211914062\n", + "global step=2123776, episodic return=1074.4033203125\n", + "global step=2125824, episodic return=1043.703857421875\n", + "global step=2125824, episodic return=545.3202514648438\n", + "global step=2125824, episodic return=1104.6783447265625\n", + "global step=2125824, episodic return=1036.072021484375\n", + "global step=2125824, episodic return=1035.5360107421875\n", + "global step=2125824, episodic return=1044.9493408203125\n", + "global step=2125824, episodic return=1045.88623046875\n", + "global step=2125824, episodic return=1111.0172119140625\n", + "global step=2125824, episodic return=1019.587158203125\n", + "global step=2125824, episodic return=1073.8388671875\n", + "global step=2125824, episodic return=1132.7000732421875\n", + "global step=2125824, episodic return=520.1912841796875\n", + "global step=2125824, episodic return=1036.819580078125\n", + "global step=2125824, episodic return=1037.93896484375\n", + "global step=2127872, episodic return=1035.5726318359375\n", + "global step=2127872, episodic return=1053.6903076171875\n", + "global step=2127872, episodic return=1065.187744140625\n", + "global step=2127872, episodic return=1060.994384765625\n", + "global step=2127872, episodic return=1090.156494140625\n", + "global step=2127872, episodic return=1118.211181640625\n", + "global step=2127872, episodic return=1025.039794921875\n", + "global step=2127872, episodic return=1044.4339599609375\n", + "global step=2127872, episodic return=1040.3736572265625\n", + "global step=2127872, episodic return=1051.7286376953125\n", + "global step=2127872, episodic return=1078.811279296875\n", + "global step=2127872, episodic return=1125.46826171875\n", + "global step=2127872, episodic return=1044.401123046875\n", + "global step=2127872, episodic return=1042.585693359375\n", + "global step=2127872, episodic return=1074.3685302734375\n", + "global step=2127872, episodic return=1057.876953125\n", + "global step=2127872, episodic return=527.1708984375\n", + "global step=2129920, episodic return=1048.0810546875\n", + "global step=2129920, episodic return=1041.630615234375\n", + "global step=2129920, episodic return=1039.2989501953125\n", + "global step=2129920, episodic return=1012.9065551757812\n", + "global step=2129920, episodic return=1117.7923583984375\n", + "global step=2129920, episodic return=1137.972900390625\n", + "global step=2129920, episodic return=1073.994873046875\n", + "global step=2129920, episodic return=1030.7205810546875\n", + "global step=2129920, episodic return=1047.62255859375\n", + "global step=2129920, episodic return=1028.6676025390625\n", + "global step=2129920, episodic return=511.0836181640625\n", + "global step=2129920, episodic return=1037.645751953125\n", + "global step=2129920, episodic return=1136.9515380859375\n", + "global step=2129920, episodic return=1036.380859375\n", + "global step=2131968, episodic return=1039.57275390625\n", + "global step=2131968, episodic return=1110.9423828125\n", + "global step=2131968, episodic return=1042.03857421875\n", + "global step=2131968, episodic return=1045.29248046875\n", + "global step=2131968, episodic return=1096.14599609375\n", + "global step=2131968, episodic return=1061.1151123046875\n", + "global step=2131968, episodic return=1119.59130859375\n", + "global step=2131968, episodic return=506.9582824707031\n", + "global step=2131968, episodic return=1130.5640869140625\n", + "global step=2134016, episodic return=1069.8023681640625\n", + "global step=2134016, episodic return=1081.9617919921875\n", + "global step=2134016, episodic return=1060.3828125\n", + "global step=2134016, episodic return=1092.433837890625\n", + "global step=2134016, episodic return=1083.7222900390625\n", + "global step=2134016, episodic return=1048.552978515625\n", + "global step=2134016, episodic return=1068.546142578125\n", + "global step=2134016, episodic return=1038.3758544921875\n", + "global step=2134016, episodic return=1067.9403076171875\n", + "global step=2134016, episodic return=1046.193115234375\n", + "global step=2134016, episodic return=1065.4825439453125\n", + "global step=2134016, episodic return=1038.0714111328125\n", + "global step=2136064, episodic return=1040.15966796875\n", + "global step=2136064, episodic return=1103.478515625\n", + "global step=2136064, episodic return=1014.4612426757812\n", + "global step=2136064, episodic return=1100.81201171875\n", + "global step=2136064, episodic return=1128.4678955078125\n", + "global step=2136064, episodic return=1021.2403564453125\n", + "global step=2136064, episodic return=1042.83642578125\n", + "global step=2136064, episodic return=556.5066528320312\n", + "global step=2136064, episodic return=1099.4071044921875\n", + "global step=2136064, episodic return=1039.9302978515625\n", + "global step=2136064, episodic return=1063.7957763671875\n", + "global step=2136064, episodic return=1046.2362060546875\n", + "global step=2138112, episodic return=1033.57470703125\n", + "global step=2138112, episodic return=1090.3232421875\n", + "global step=2138112, episodic return=518.4397583007812\n", + "global step=2138112, episodic return=1036.237548828125\n", + "global step=2140160, episodic return=527.6844482421875\n", + "global step=2140160, episodic return=1020.4175415039062\n", + "global step=2140160, episodic return=519.8147583007812\n", + "global step=2140160, episodic return=1063.124267578125\n", + "global step=2140160, episodic return=1098.640380859375\n", + "global step=2140160, episodic return=1041.3463134765625\n", + "global step=2140160, episodic return=1020.1723022460938\n", + "global step=2142208, episodic return=1027.705078125\n", + "global step=2142208, episodic return=1040.298583984375\n", + "global step=2142208, episodic return=1015.3624877929688\n", + "global step=2142208, episodic return=516.9496459960938\n", + "global step=2142208, episodic return=1107.7381591796875\n", + "global step=2142208, episodic return=1079.9244384765625\n", + "global step=2142208, episodic return=1047.09716796875\n", + "global step=2142208, episodic return=1029.403564453125\n", + "global step=2142208, episodic return=1047.504638671875\n", + "global step=2142208, episodic return=1064.7572021484375\n", + "global step=2144256, episodic return=1124.972412109375\n", + "global step=2144256, episodic return=1043.5047607421875\n", + "global step=2144256, episodic return=1048.2222900390625\n", + "global step=2144256, episodic return=1039.0986328125\n", + "global step=2144256, episodic return=1066.7821044921875\n", + "global step=2144256, episodic return=1055.7235107421875\n", + "global step=2144256, episodic return=1017.43994140625\n", + "global step=2144256, episodic return=1021.1004028320312\n", + "global step=2144256, episodic return=1083.346435546875\n", + "global step=2144256, episodic return=1056.2889404296875\n", + "global step=2144256, episodic return=542.3837280273438\n", + "global step=2146304, episodic return=1029.2059326171875\n", + "global step=2146304, episodic return=570.173828125\n", + "global step=2146304, episodic return=1060.3009033203125\n", + "global step=2146304, episodic return=544.2193603515625\n", + "global step=2146304, episodic return=1111.5635986328125\n", + "global step=2146304, episodic return=1030.29443359375\n", + "global step=2146304, episodic return=1035.8873291015625\n", + "global step=2146304, episodic return=1106.923095703125\n", + "global step=2146304, episodic return=1034.2572021484375\n", + "global step=2146304, episodic return=525.586181640625\n", + "global step=2146304, episodic return=1078.4005126953125\n", + "global step=2146304, episodic return=524.5234375\n", + "global step=2146304, episodic return=1048.439453125\n", + "global step=2148352, episodic return=1021.4524536132812\n", + "global step=2148352, episodic return=1060.11962890625\n", + "global step=2148352, episodic return=514.362548828125\n", + "global step=2148352, episodic return=1134.337890625\n", + "global step=2148352, episodic return=1048.3590087890625\n", + "global step=2148352, episodic return=1134.8731689453125\n", + "global step=2148352, episodic return=1046.31494140625\n", + "global step=2148352, episodic return=1030.959716796875\n", + "global step=2148352, episodic return=1034.8182373046875\n", + "global step=2148352, episodic return=1102.1546630859375\n", + "global step=2148352, episodic return=1041.5079345703125\n", + "global step=2148352, episodic return=1020.1627197265625\n", + "global step=2150400, episodic return=542.0817260742188\n", + "global step=2150400, episodic return=1024.465576171875\n", + "global step=2150400, episodic return=1061.796630859375\n", + "global step=2150400, episodic return=1131.4139404296875\n", + "global step=2150400, episodic return=1062.618896484375\n", + "global step=2150400, episodic return=1030.3431396484375\n", + "global step=2150400, episodic return=1036.965576171875\n", + "global step=2150400, episodic return=1066.765869140625\n", + "global step=2150400, episodic return=1063.693603515625\n", + "global step=2150400, episodic return=1036.691162109375\n", + "global step=2150400, episodic return=1043.54736328125\n", + "global step=2150400, episodic return=1039.5196533203125\n", + "global step=2150400, episodic return=1062.66455078125\n", + "global step=2150400, episodic return=1065.904541015625\n", + "global step=2152448, episodic return=526.4608154296875\n", + "global step=2152448, episodic return=1037.6314697265625\n", + "global step=2152448, episodic return=1065.2291259765625\n", + "global step=2152448, episodic return=1108.055908203125\n", + "global step=2152448, episodic return=1028.2061767578125\n", + "global step=2152448, episodic return=1028.8487548828125\n", + "global step=2152448, episodic return=506.3603515625\n", + "global step=2152448, episodic return=1031.9466552734375\n", + "global step=2152448, episodic return=1054.1220703125\n", + "global step=2152448, episodic return=534.5444946289062\n", + "global step=2152448, episodic return=1044.4803466796875\n", + "global step=2152448, episodic return=1068.2369384765625\n", + "global step=2152448, episodic return=1031.26025390625\n", + "global step=2152448, episodic return=1056.87548828125\n", + "global step=2152448, episodic return=1078.400390625\n", + "global step=2152448, episodic return=1022.4982299804688\n", + "global step=2154496, episodic return=552.5119018554688\n", + "global step=2154496, episodic return=1046.406005859375\n", + "global step=2154496, episodic return=541.7554321289062\n", + "global step=2154496, episodic return=1107.5780029296875\n", + "global step=2154496, episodic return=1044.591796875\n", + "global step=2154496, episodic return=1018.56591796875\n", + "global step=2154496, episodic return=1105.498046875\n", + "global step=2154496, episodic return=1031.1123046875\n", + "global step=2154496, episodic return=1045.0240478515625\n", + "global step=2156544, episodic return=1046.817626953125\n", + "global step=2156544, episodic return=1034.289794921875\n", + "global step=2156544, episodic return=518.4993896484375\n", + "global step=2156544, episodic return=1043.8486328125\n", + "global step=2156544, episodic return=1088.4820556640625\n", + "global step=2158592, episodic return=1026.4991455078125\n", + "global step=2158592, episodic return=1032.929931640625\n", + "global step=2158592, episodic return=1033.8648681640625\n", + "global step=2158592, episodic return=514.6583251953125\n", + "global step=2158592, episodic return=530.6919555664062\n", + "global step=2158592, episodic return=1017.500244140625\n", + "global step=2158592, episodic return=1028.2747802734375\n", + "global step=2158592, episodic return=1035.9881591796875\n", + "global step=2158592, episodic return=1137.4249267578125\n", + "global step=2158592, episodic return=1015.3532104492188\n", + "global step=2158592, episodic return=1142.1558837890625\n", + "global step=2158592, episodic return=1043.17529296875\n", + "global step=2160640, episodic return=1046.931396484375\n", + "global step=2160640, episodic return=1030.95458984375\n", + "global step=2160640, episodic return=1056.0648193359375\n", + "global step=2160640, episodic return=1015.1435546875\n", + "global step=2160640, episodic return=1131.23681640625\n", + "global step=2162688, episodic return=1027.316162109375\n", + "global step=2162688, episodic return=532.451416015625\n", + "global step=2162688, episodic return=1110.593017578125\n", + "global step=2162688, episodic return=1035.0078125\n", + "global step=2162688, episodic return=1020.4585571289062\n", + "global step=2162688, episodic return=1130.1004638671875\n", + "global step=2162688, episodic return=541.5426635742188\n", + "global step=2162688, episodic return=1032.7567138671875\n", + "global step=2162688, episodic return=536.0151977539062\n", + "global step=2164736, episodic return=1033.76953125\n", + "global step=2164736, episodic return=1035.417724609375\n", + "global step=2164736, episodic return=1038.3760986328125\n", + "global step=2164736, episodic return=1032.501708984375\n", + "global step=2164736, episodic return=561.0357055664062\n", + "global step=2164736, episodic return=512.9553833007812\n", + "global step=2164736, episodic return=557.849365234375\n", + "global step=2164736, episodic return=1030.4921875\n", + "global step=2164736, episodic return=1027.011962890625\n", + "global step=2164736, episodic return=1040.4102783203125\n", + "global step=2164736, episodic return=1033.584228515625\n", + "global step=2164736, episodic return=1041.5399169921875\n", + "global step=2166784, episodic return=504.1046447753906\n", + "global step=2166784, episodic return=1073.4769287109375\n", + "global step=2166784, episodic return=1032.1417236328125\n", + "global step=2166784, episodic return=1058.132080078125\n", + "global step=2166784, episodic return=1054.76904296875\n", + "global step=2166784, episodic return=1029.1138916015625\n", + "global step=2166784, episodic return=1028.3887939453125\n", + "global step=2166784, episodic return=1070.106201171875\n", + "global step=2166784, episodic return=1028.1788330078125\n", + "global step=2168832, episodic return=1028.6466064453125\n", + "global step=2168832, episodic return=1032.0706787109375\n", + "global step=2168832, episodic return=1047.5428466796875\n", + "global step=2168832, episodic return=1031.9991455078125\n", + "global step=2168832, episodic return=1027.98974609375\n", + "global step=2168832, episodic return=1126.2625732421875\n", + "global step=2168832, episodic return=1034.787353515625\n", + "global step=2168832, episodic return=536.9395141601562\n", + "global step=2168832, episodic return=1122.8133544921875\n", + "global step=2168832, episodic return=1022.9337768554688\n", + "global step=2168832, episodic return=1039.821044921875\n", + "global step=2170880, episodic return=1037.3890380859375\n", + "global step=2170880, episodic return=534.31103515625\n", + "global step=2170880, episodic return=1066.8375244140625\n", + "global step=2170880, episodic return=534.9226684570312\n", + "global step=2170880, episodic return=1117.1685791015625\n", + "global step=2170880, episodic return=1036.4141845703125\n", + "global step=2170880, episodic return=1119.9122314453125\n", + "global step=2170880, episodic return=1076.8330078125\n", + "global step=2170880, episodic return=1078.0760498046875\n", + "global step=2170880, episodic return=553.108154296875\n", + "global step=2170880, episodic return=916.2158203125\n", + "global step=2172928, episodic return=1084.1173095703125\n", + "global step=2172928, episodic return=1053.197265625\n", + "global step=2172928, episodic return=1081.2294921875\n", + "global step=2172928, episodic return=1113.861572265625\n", + "global step=2172928, episodic return=1070.810791015625\n", + "global step=2172928, episodic return=1042.2410888671875\n", + "global step=2172928, episodic return=1021.4274291992188\n", + "global step=2172928, episodic return=564.6600341796875\n", + "global step=2172928, episodic return=501.86785888671875\n", + "global step=2174976, episodic return=1032.829833984375\n", + "global step=2174976, episodic return=1047.6280517578125\n", + "global step=2174976, episodic return=511.399658203125\n", + "global step=2174976, episodic return=1068.4820556640625\n", + "global step=2174976, episodic return=1035.4246826171875\n", + "global step=2174976, episodic return=1022.7579345703125\n", + "global step=2177024, episodic return=1105.4146728515625\n", + "global step=2177024, episodic return=1054.5804443359375\n", + "global step=2177024, episodic return=1022.3901977539062\n", + "global step=2177024, episodic return=1025.9615478515625\n", + "global step=2177024, episodic return=535.5672607421875\n", + "global step=2179072, episodic return=1113.5467529296875\n", + "global step=2179072, episodic return=1025.9698486328125\n", + "global step=2179072, episodic return=555.4324340820312\n", + "global step=2179072, episodic return=1029.2593994140625\n", + "global step=2179072, episodic return=1024.5654296875\n", + "global step=2179072, episodic return=1033.25244140625\n", + "global step=2179072, episodic return=1073.3575439453125\n", + "global step=2181120, episodic return=1077.967529296875\n", + "global step=2181120, episodic return=540.3904418945312\n", + "global step=2181120, episodic return=555.8666381835938\n", + "global step=2183168, episodic return=529.4541015625\n", + "global step=2183168, episodic return=525.5072021484375\n", + "global step=2183168, episodic return=1059.697021484375\n", + "global step=2183168, episodic return=1022.939208984375\n", + "global step=2185216, episodic return=1069.1954345703125\n", + "global step=2185216, episodic return=1043.6978759765625\n", + "global step=2185216, episodic return=524.4427490234375\n", + "global step=2185216, episodic return=1025.4365234375\n", + "global step=2185216, episodic return=1036.1768798828125\n", + "global step=2187264, episodic return=1128.1790771484375\n", + "global step=2187264, episodic return=1113.87255859375\n", + "global step=2187264, episodic return=516.7752685546875\n", + "global step=2187264, episodic return=1030.972900390625\n", + "global step=2187264, episodic return=1037.53662109375\n", + "global step=2187264, episodic return=1046.662841796875\n", + "global step=2187264, episodic return=1034.059814453125\n", + "global step=2187264, episodic return=1112.7457275390625\n", + "global step=2187264, episodic return=1119.4114990234375\n", + "global step=2189312, episodic return=1026.3935546875\n", + "global step=2189312, episodic return=521.38818359375\n", + "global step=2189312, episodic return=1028.92578125\n", + "global step=2189312, episodic return=1142.95556640625\n", + "global step=2189312, episodic return=1030.7559814453125\n", + "global step=2189312, episodic return=539.7343139648438\n", + "global step=2191360, episodic return=1036.7259521484375\n", + "global step=2191360, episodic return=1039.4537353515625\n", + "global step=2191360, episodic return=511.1640930175781\n", + "global step=2191360, episodic return=1099.24072265625\n", + "global step=2191360, episodic return=1042.903076171875\n", + "global step=2191360, episodic return=1114.8177490234375\n", + "global step=2193408, episodic return=1040.07421875\n", + "global step=2193408, episodic return=1089.839111328125\n", + "global step=2193408, episodic return=1052.41650390625\n", + "global step=2193408, episodic return=530.6583251953125\n", + "global step=2195456, episodic return=1134.779296875\n", + "global step=2195456, episodic return=521.8574829101562\n", + "global step=2195456, episodic return=523.5006713867188\n", + "global step=2195456, episodic return=543.9596557617188\n", + "global step=2197504, episodic return=1115.0263671875\n", + "global step=2197504, episodic return=1119.350341796875\n", + "global step=2197504, episodic return=1135.7327880859375\n", + "global step=2197504, episodic return=554.3705444335938\n", + "global step=2197504, episodic return=1022.4059448242188\n", + "global step=2201600, episodic return=1116.2962646484375\n", + "global step=2201600, episodic return=509.88543701171875\n", + "global step=2203648, episodic return=577.5469970703125\n", + "global step=2203648, episodic return=1078.027587890625\n", + "global step=2205696, episodic return=1116.6763916015625\n", + "global step=2205696, episodic return=1120.6002197265625\n", + "global step=2205696, episodic return=1028.4443359375\n", + "global step=2207744, episodic return=1075.781494140625\n", + "global step=2207744, episodic return=520.6719970703125\n", + "global step=2207744, episodic return=523.33251953125\n", + "global step=2209792, episodic return=1084.3192138671875\n", + "global step=2209792, episodic return=1042.367919921875\n", + "global step=2209792, episodic return=1083.389404296875\n", + "global step=2209792, episodic return=1033.3204345703125\n", + "global step=2211840, episodic return=1032.7369384765625\n", + "global step=2211840, episodic return=506.9861145019531\n", + "global step=2211840, episodic return=1035.4124755859375\n", + "global step=2213888, episodic return=1035.90576171875\n", + "global step=2213888, episodic return=1039.787109375\n", + "global step=2213888, episodic return=1091.3291015625\n", + "global step=2213888, episodic return=1036.10009765625\n", + "global step=2213888, episodic return=533.1143188476562\n", + "global step=2217984, episodic return=511.1737365722656\n", + "global step=2217984, episodic return=511.9141845703125\n", + "global step=2217984, episodic return=1050.861572265625\n", + "global step=2217984, episodic return=524.196533203125\n", + "global step=2220032, episodic return=1030.2806396484375\n", + "global step=2220032, episodic return=521.7805786132812\n", + "global step=2220032, episodic return=1082.8770751953125\n", + "global step=2220032, episodic return=540.9417724609375\n", + "global step=2220032, episodic return=496.0337829589844\n", + "global step=2222080, episodic return=503.48126220703125\n", + "global step=2224128, episodic return=1028.1424560546875\n", + "global step=2224128, episodic return=554.7299194335938\n", + "global step=2224128, episodic return=542.9483032226562\n", + "global step=2226176, episodic return=511.645751953125\n", + "global step=2226176, episodic return=1071.78662109375\n", + "global step=2226176, episodic return=1059.4066162109375\n", + "global step=2228224, episodic return=519.7835083007812\n", + "global step=2228224, episodic return=552.3786010742188\n", + "global step=2228224, episodic return=509.0755615234375\n", + "global step=2230272, episodic return=1038.4478759765625\n", + "global step=2230272, episodic return=1107.542236328125\n", + "global step=2232320, episodic return=1122.217529296875\n", + "global step=2232320, episodic return=523.6571655273438\n", + "global step=2232320, episodic return=541.7594604492188\n", + "global step=2234368, episodic return=1041.76806640625\n", + "global step=2234368, episodic return=516.1646118164062\n", + "global step=2234368, episodic return=535.1911010742188\n", + "global step=2234368, episodic return=914.6142578125\n", + "global step=2234368, episodic return=542.7940063476562\n", + "global step=2236416, episodic return=1022.2494506835938\n", + "global step=2236416, episodic return=1120.8525390625\n", + "global step=2236416, episodic return=519.7185668945312\n", + "global step=2236416, episodic return=561.5459594726562\n", + "global step=2238464, episodic return=1022.8392333984375\n", + "global step=2240512, episodic return=498.44305419921875\n", + "global step=2240512, episodic return=528.9403076171875\n", + "global step=2240512, episodic return=522.262939453125\n", + "global step=2242560, episodic return=528.0835571289062\n", + "global step=2242560, episodic return=532.5245361328125\n", + "global step=2242560, episodic return=572.1434326171875\n", + "global step=2244608, episodic return=1033.7864990234375\n", + "global step=2244608, episodic return=514.654296875\n", + "global step=2244608, episodic return=504.74847412109375\n", + "global step=2246656, episodic return=1032.975341796875\n", + "global step=2246656, episodic return=518.7703857421875\n", + "global step=2248704, episodic return=533.6469116210938\n", + "global step=2250752, episodic return=550.2369384765625\n", + "global step=2250752, episodic return=524.5878295898438\n", + "global step=2250752, episodic return=560.9828491210938\n", + "global step=2252800, episodic return=517.6181030273438\n", + "global step=2252800, episodic return=504.1138916015625\n", + "global step=2254848, episodic return=1037.9276123046875\n", + "global step=2256896, episodic return=500.9876708984375\n", + "global step=2256896, episodic return=505.71575927734375\n", + "global step=2258944, episodic return=515.9911499023438\n", + "global step=2258944, episodic return=928.8372802734375\n", + "global step=2260992, episodic return=1050.2994384765625\n", + "global step=2260992, episodic return=521.15087890625\n", + "global step=2263040, episodic return=507.64154052734375\n", + "global step=2265088, episodic return=543.3163452148438\n", + "global step=2265088, episodic return=505.0041809082031\n", + "global step=2267136, episodic return=511.4657287597656\n", + "global step=2269184, episodic return=565.8604125976562\n", + "global step=2273280, episodic return=532.2548828125\n", + "global step=2273280, episodic return=501.6810607910156\n", + "global step=2275328, episodic return=531.4246826171875\n", + "global step=2277376, episodic return=521.319091796875\n", + "global step=2281472, episodic return=504.93511962890625\n", + "global step=2283520, episodic return=518.3528442382812\n", + "global step=2283520, episodic return=515.5957641601562\n", + "global step=2283520, episodic return=499.5770568847656\n", + "global step=2285568, episodic return=512.1288452148438\n", + "global step=2285568, episodic return=509.8534240722656\n", + "global step=2285568, episodic return=506.78436279296875\n", + "global step=2287616, episodic return=509.022216796875\n", + "global step=2287616, episodic return=469.701171875\n", + "global step=2287616, episodic return=497.4667053222656\n", + "global step=2287616, episodic return=520.4185180664062\n", + "global step=2289664, episodic return=521.6593627929688\n", + "global step=2293760, episodic return=1042.303955078125\n", + "global step=2293760, episodic return=534.17333984375\n", + "global step=2293760, episodic return=501.63055419921875\n", + "global step=2297856, episodic return=527.6182861328125\n", + "global step=2299904, episodic return=531.330322265625\n", + "global step=2304000, episodic return=526.2220458984375\n", + "global step=2306048, episodic return=515.263671875\n", + "global step=2306048, episodic return=494.9258728027344\n", + "global step=2308096, episodic return=512.528564453125\n", + "global step=2308096, episodic return=507.55487060546875\n", + "global step=2308096, episodic return=503.0743408203125\n", + "global step=2312192, episodic return=495.82012939453125\n", + "global step=2318336, episodic return=516.0512084960938\n", + "global step=2318336, episodic return=508.9012756347656\n", + "global step=2328576, episodic return=552.5623779296875\n", + "global step=2334720, episodic return=506.23321533203125\n", + "global step=2334720, episodic return=518.3451538085938\n", + "global step=2334720, episodic return=517.56298828125\n", + "global step=2336768, episodic return=518.4573364257812\n", + "global step=2338816, episodic return=514.857177734375\n", + "global step=2340864, episodic return=1074.8900146484375\n", + "global step=2340864, episodic return=526.3023681640625\n", + "global step=2351104, episodic return=515.8197631835938\n", + "global step=2351104, episodic return=931.3377685546875\n", + "global step=2353152, episodic return=514.2860717773438\n", + "global step=2357248, episodic return=510.40142822265625\n", + "global step=2361344, episodic return=514.21044921875\n", + "global step=2369536, episodic return=510.9073791503906\n", + "global step=2369536, episodic return=514.5919189453125\n", + "global step=2369536, episodic return=500.6557922363281\n", + "global step=2371584, episodic return=501.75189208984375\n", + "global step=2373632, episodic return=505.0896911621094\n", + "global step=2373632, episodic return=501.7582702636719\n", + "global step=2373632, episodic return=510.5121154785156\n", + "global step=2373632, episodic return=505.17401123046875\n", + "global step=2377728, episodic return=503.4926452636719\n", + "global step=2381824, episodic return=526.54150390625\n", + "global step=2383872, episodic return=507.0631408691406\n", + "global step=2385920, episodic return=525.2673950195312\n", + "global step=2394112, episodic return=529.164306640625\n", + "global step=2396160, episodic return=502.8778076171875\n", + "global step=2402304, episodic return=521.8079223632812\n", + "global step=2408448, episodic return=509.98211669921875\n", + "global step=2410496, episodic return=506.7369079589844\n", + "global step=2410496, episodic return=521.8502197265625\n", + "global step=2412544, episodic return=521.6980590820312\n", + "global step=2414592, episodic return=513.1170043945312\n", + "global step=2414592, episodic return=520.55615234375\n", + "global step=2414592, episodic return=528.322509765625\n", + "global step=2426880, episodic return=536.9008178710938\n", + "global step=2426880, episodic return=517.6227416992188\n", + "global step=2433024, episodic return=526.7887573242188\n", + "global step=2433024, episodic return=522.8142700195312\n", + "global step=2445312, episodic return=502.48907470703125\n", + "global step=2447360, episodic return=523.2665405273438\n", + "global step=2453504, episodic return=540.9402465820312\n", + "global step=2461696, episodic return=512.1341552734375\n", + "global step=2463744, episodic return=525.7957153320312\n", + "global step=2469888, episodic return=511.7326354980469\n", + "global step=2469888, episodic return=523.1160888671875\n", + "global step=2471936, episodic return=507.07659912109375\n", + "global step=2476032, episodic return=536.7886962890625\n", + "global step=2478080, episodic return=519.3690185546875\n", + "global step=2482176, episodic return=531.0738525390625\n", + "global step=2496512, episodic return=506.6872863769531\n", + "global step=2498560, episodic return=524.682373046875\n", + "global step=2500608, episodic return=524.0211791992188\n", + "global step=2502656, episodic return=523.6209106445312\n", + "global step=2502656, episodic return=1025.283447265625\n", + "global step=2502656, episodic return=529.7185668945312\n", + "global step=2508800, episodic return=521.1333618164062\n", + "global step=2519040, episodic return=530.7774047851562\n", + "global step=2529280, episodic return=537.9647216796875\n", + "global step=2531328, episodic return=540.2156982421875\n", + "global step=2535424, episodic return=530.0835571289062\n", + "global step=2541568, episodic return=530.6970825195312\n", + "global step=2543616, episodic return=508.43634033203125\n", + "global step=2545664, episodic return=547.9065551757812\n", + "global step=2547712, episodic return=521.0678100585938\n", + "global step=2547712, episodic return=516.3919067382812\n", + "global step=2549760, episodic return=526.3959350585938\n", + "global step=2551808, episodic return=519.9983520507812\n", + "global step=2551808, episodic return=525.9905395507812\n", + "global step=2553856, episodic return=511.8058166503906\n", + "global step=2557952, episodic return=513.8656616210938\n", + "global step=2560000, episodic return=528.960693359375\n", + "global step=2568192, episodic return=528.5455322265625\n", + "global step=2570240, episodic return=526.119384765625\n", + "global step=2576384, episodic return=526.5794067382812\n", + "global step=2584576, episodic return=526.5521850585938\n", + "global step=2584576, episodic return=527.165771484375\n", + "global step=2586624, episodic return=519.3571166992188\n", + "global step=2594816, episodic return=534.6122436523438\n", + "global step=2594816, episodic return=513.8221435546875\n", + "global step=2596864, episodic return=527.5531616210938\n", + "global step=2600960, episodic return=529.9443969726562\n", + "global step=2605056, episodic return=519.9359741210938\n", + "global step=2611200, episodic return=516.7269287109375\n", + "global step=2613248, episodic return=523.8812866210938\n", + "global step=2615296, episodic return=1041.84375\n", + "global step=2615296, episodic return=527.3110961914062\n", + "global step=2615296, episodic return=1062.6163330078125\n", + "global step=2615296, episodic return=1065.35986328125\n", + "global step=2619392, episodic return=1062.748291015625\n", + "global step=2619392, episodic return=533.405029296875\n", + "global step=2619392, episodic return=526.84716796875\n", + "global step=2621440, episodic return=540.2330322265625\n", + "global step=2621440, episodic return=525.0117797851562\n", + "global step=2621440, episodic return=530.5387573242188\n", + "global step=2627584, episodic return=524.5516967773438\n", + "global step=2627584, episodic return=548.7499389648438\n", + "global step=2629632, episodic return=533.2446899414062\n", + "global step=2629632, episodic return=541.5209350585938\n", + "global step=2633728, episodic return=545.7448120117188\n", + "global step=2633728, episodic return=529.2555541992188\n", + "global step=2639872, episodic return=530.8429565429688\n", + "global step=2641920, episodic return=530.7240600585938\n", + "global step=2641920, episodic return=529.3853149414062\n", + "global step=2641920, episodic return=520.9363403320312\n", + "global step=2643968, episodic return=541.3734130859375\n", + "global step=2648064, episodic return=536.8812255859375\n", + "global step=2652160, episodic return=541.37158203125\n", + "global step=2652160, episodic return=533.1170043945312\n", + "global step=2652160, episodic return=532.38818359375\n", + "global step=2656256, episodic return=529.7129516601562\n", + "global step=2658304, episodic return=560.4093627929688\n", + "global step=2660352, episodic return=531.0368041992188\n", + "global step=2660352, episodic return=545.616455078125\n", + "global step=2664448, episodic return=537.3750610351562\n", + "global step=2664448, episodic return=523.5548095703125\n", + "global step=2664448, episodic return=534.4846801757812\n", + "global step=2666496, episodic return=535.9686279296875\n", + "global step=2668544, episodic return=541.0579833984375\n", + "global step=2670592, episodic return=539.8729858398438\n", + "global step=2672640, episodic return=532.5717163085938\n", + "global step=2672640, episodic return=545.5985717773438\n", + "global step=2674688, episodic return=522.7979125976562\n", + "global step=2676736, episodic return=536.6044921875\n", + "global step=2676736, episodic return=558.158935546875\n", + "global step=2676736, episodic return=541.8975219726562\n", + "global step=2676736, episodic return=528.9580078125\n", + "global step=2676736, episodic return=545.7940063476562\n", + "global step=2682880, episodic return=517.8737182617188\n", + "global step=2682880, episodic return=1033.147216796875\n", + "global step=2682880, episodic return=510.3878173828125\n", + "global step=2684928, episodic return=529.4553833007812\n", + "global step=2686976, episodic return=546.1907958984375\n", + "global step=2689024, episodic return=510.0169677734375\n", + "global step=2689024, episodic return=531.5641479492188\n", + "global step=2689024, episodic return=549.4618530273438\n", + "global step=2691072, episodic return=537.1607055664062\n", + "global step=2691072, episodic return=547.7349243164062\n", + "global step=2695168, episodic return=555.01318359375\n", + "global step=2695168, episodic return=530.665283203125\n", + "global step=2695168, episodic return=562.7996826171875\n", + "global step=2695168, episodic return=533.57958984375\n", + "global step=2697216, episodic return=542.65087890625\n", + "global step=2701312, episodic return=531.1722412109375\n", + "global step=2701312, episodic return=541.448486328125\n", + "global step=2705408, episodic return=534.4884643554688\n", + "global step=2705408, episodic return=538.7474975585938\n", + "global step=2709504, episodic return=522.1619873046875\n", + "global step=2709504, episodic return=537.9153442382812\n", + "global step=2711552, episodic return=540.4531860351562\n", + "global step=2711552, episodic return=543.2289428710938\n", + "global step=2713600, episodic return=534.5884399414062\n", + "global step=2713600, episodic return=540.2717895507812\n", + "global step=2713600, episodic return=546.0681762695312\n", + "global step=2715648, episodic return=536.93408203125\n", + "global step=2715648, episodic return=531.4818725585938\n", + "global step=2717696, episodic return=535.4501342773438\n", + "global step=2719744, episodic return=529.7772216796875\n", + "global step=2719744, episodic return=525.4359130859375\n", + "global step=2719744, episodic return=534.0324096679688\n", + "global step=2723840, episodic return=1091.9267578125\n", + "global step=2727936, episodic return=527.64501953125\n", + "global step=2727936, episodic return=566.393310546875\n", + "global step=2729984, episodic return=541.3875732421875\n", + "global step=2732032, episodic return=508.0640563964844\n", + "global step=2732032, episodic return=528.5349731445312\n", + "global step=2732032, episodic return=553.0040283203125\n", + "global step=2734080, episodic return=542.44189453125\n", + "global step=2734080, episodic return=539.468994140625\n", + "global step=2734080, episodic return=544.7576293945312\n", + "global step=2734080, episodic return=525.73046875\n", + "global step=2736128, episodic return=547.4388427734375\n", + "global step=2738176, episodic return=547.60888671875\n", + "global step=2738176, episodic return=562.6419677734375\n", + "global step=2738176, episodic return=1044.5859375\n", + "global step=2740224, episodic return=546.6173095703125\n", + "global step=2740224, episodic return=516.6013793945312\n", + "global step=2742272, episodic return=537.0784912109375\n", + "global step=2744320, episodic return=537.3426513671875\n", + "global step=2748416, episodic return=541.8828125\n", + "global step=2750464, episodic return=525.2128295898438\n", + "global step=2752512, episodic return=527.8562622070312\n", + "global step=2752512, episodic return=509.5340270996094\n", + "global step=2752512, episodic return=536.346923828125\n", + "global step=2754560, episodic return=544.008056640625\n", + "global step=2754560, episodic return=531.7528686523438\n", + "global step=2756608, episodic return=552.8558349609375\n", + "global step=2756608, episodic return=509.0408935546875\n", + "global step=2756608, episodic return=511.5629577636719\n", + "global step=2756608, episodic return=537.4823608398438\n", + "global step=2758656, episodic return=525.6455078125\n", + "global step=2758656, episodic return=503.7457275390625\n", + "global step=2760704, episodic return=522.455322265625\n", + "global step=2760704, episodic return=511.56646728515625\n", + "global step=2760704, episodic return=514.2059326171875\n", + "global step=2760704, episodic return=508.32733154296875\n", + "global step=2762752, episodic return=510.4693298339844\n", + "global step=2762752, episodic return=536.2406616210938\n", + "global step=2762752, episodic return=511.4200134277344\n", + "global step=2762752, episodic return=522.8252563476562\n", + "global step=2762752, episodic return=526.044189453125\n", + "global step=2762752, episodic return=512.9047241210938\n", + "global step=2764800, episodic return=519.0321044921875\n", + "global step=2764800, episodic return=527.2865600585938\n", + "global step=2764800, episodic return=539.3148803710938\n", + "global step=2764800, episodic return=561.4102783203125\n", + "global step=2766848, episodic return=537.6677856445312\n", + "global step=2766848, episodic return=513.9551391601562\n", + "global step=2766848, episodic return=514.6007080078125\n", + "global step=2766848, episodic return=544.2448120117188\n", + "global step=2768896, episodic return=540.9900512695312\n", + "global step=2768896, episodic return=518.3526611328125\n", + "global step=2768896, episodic return=510.27203369140625\n", + "global step=2768896, episodic return=515.6454467773438\n", + "global step=2768896, episodic return=550.9405517578125\n", + "global step=2768896, episodic return=515.1315307617188\n", + "global step=2770944, episodic return=516.3987426757812\n", + "global step=2770944, episodic return=518.9171142578125\n", + "global step=2770944, episodic return=534.0220336914062\n", + "global step=2770944, episodic return=516.3917846679688\n", + "global step=2770944, episodic return=514.3265380859375\n", + "global step=2770944, episodic return=516.2006225585938\n", + "global step=2770944, episodic return=516.1199340820312\n", + "global step=2770944, episodic return=516.4442749023438\n", + "global step=2772992, episodic return=522.426025390625\n", + "global step=2772992, episodic return=518.98388671875\n", + "global step=2772992, episodic return=537.0281372070312\n", + "global step=2772992, episodic return=516.8848876953125\n", + "global step=2772992, episodic return=516.373779296875\n", + "global step=2775040, episodic return=513.5355224609375\n", + "global step=2775040, episodic return=527.6493530273438\n", + "global step=2775040, episodic return=521.2504272460938\n", + "global step=2775040, episodic return=518.6852416992188\n", + "global step=2775040, episodic return=519.656982421875\n", + "global step=2777088, episodic return=534.806640625\n", + "global step=2779136, episodic return=522.8084716796875\n", + "global step=2779136, episodic return=525.7389526367188\n", + "global step=2779136, episodic return=523.0194091796875\n", + "global step=2779136, episodic return=519.7892456054688\n", + "global step=2779136, episodic return=522.320068359375\n", + "global step=2779136, episodic return=522.0230712890625\n", + "global step=2779136, episodic return=519.9261474609375\n", + "global step=2779136, episodic return=531.32275390625\n", + "global step=2779136, episodic return=1087.606689453125\n", + "global step=2779136, episodic return=519.9375610351562\n", + "global step=2779136, episodic return=542.2706298828125\n", + "global step=2779136, episodic return=518.9395141601562\n", + "global step=2781184, episodic return=524.8936767578125\n", + "global step=2781184, episodic return=524.37939453125\n", + "global step=2781184, episodic return=518.7496948242188\n", + "global step=2781184, episodic return=538.8209838867188\n", + "global step=2781184, episodic return=520.8230590820312\n", + "global step=2781184, episodic return=527.5880737304688\n", + "global step=2781184, episodic return=523.5046997070312\n", + "global step=2781184, episodic return=522.9827880859375\n", + "global step=2781184, episodic return=555.111572265625\n", + "global step=2781184, episodic return=521.0579223632812\n", + "global step=2781184, episodic return=522.2293701171875\n", + "global step=2781184, episodic return=549.278564453125\n", + "global step=2781184, episodic return=538.3161010742188\n", + "global step=2783232, episodic return=540.7461547851562\n", + "global step=2783232, episodic return=522.6535034179688\n", + "global step=2783232, episodic return=531.1160278320312\n", + "global step=2783232, episodic return=538.2708740234375\n", + "global step=2783232, episodic return=523.3939819335938\n", + "global step=2783232, episodic return=522.2821044921875\n", + "global step=2783232, episodic return=519.7420654296875\n", + "global step=2783232, episodic return=522.322509765625\n", + "global step=2783232, episodic return=541.0531005859375\n", + "global step=2785280, episodic return=524.2369995117188\n", + "global step=2785280, episodic return=525.8325805664062\n", + "global step=2785280, episodic return=516.8095703125\n", + "global step=2785280, episodic return=524.99560546875\n", + "global step=2785280, episodic return=525.0554809570312\n", + "global step=2785280, episodic return=527.2615356445312\n", + "global step=2785280, episodic return=523.2760620117188\n", + "global step=2785280, episodic return=525.5366821289062\n", + "global step=2785280, episodic return=506.71612548828125\n", + "global step=2785280, episodic return=525.0023193359375\n", + "global step=2785280, episodic return=524.1198120117188\n", + "global step=2785280, episodic return=523.0347290039062\n", + "global step=2785280, episodic return=521.1460571289062\n", + "global step=2785280, episodic return=544.1652221679688\n", + "global step=2785280, episodic return=529.1304931640625\n", + "global step=2785280, episodic return=540.2015991210938\n", + "global step=2785280, episodic return=526.5775146484375\n", + "global step=2787328, episodic return=524.7130126953125\n", + "global step=2787328, episodic return=534.3848266601562\n", + "global step=2787328, episodic return=525.4407348632812\n", + "global step=2787328, episodic return=529.5936279296875\n", + "global step=2787328, episodic return=549.7714233398438\n", + "global step=2787328, episodic return=530.197509765625\n", + "global step=2787328, episodic return=524.788818359375\n", + "global step=2787328, episodic return=523.5272827148438\n", + "global step=2787328, episodic return=522.9261474609375\n", + "global step=2787328, episodic return=524.1476440429688\n", + "global step=2787328, episodic return=529.228515625\n", + "global step=2787328, episodic return=542.48291015625\n", + "global step=2787328, episodic return=522.555419921875\n", + "global step=2787328, episodic return=524.7520141601562\n", + "global step=2787328, episodic return=524.5371704101562\n", + "global step=2787328, episodic return=523.789794921875\n", + "global step=2787328, episodic return=524.3856811523438\n", + "global step=2787328, episodic return=521.8677368164062\n", + "global step=2787328, episodic return=522.4172973632812\n", + "global step=2789376, episodic return=526.0010986328125\n", + "global step=2789376, episodic return=526.9201049804688\n", + "global step=2789376, episodic return=527.090087890625\n", + "global step=2789376, episodic return=526.2147827148438\n", + "global step=2789376, episodic return=529.302978515625\n", + "global step=2789376, episodic return=526.7969360351562\n", + "global step=2789376, episodic return=527.344970703125\n", + "global step=2789376, episodic return=526.9237060546875\n", + "global step=2789376, episodic return=529.270751953125\n", + "global step=2789376, episodic return=522.861572265625\n", + "global step=2789376, episodic return=529.34423828125\n", + "global step=2789376, episodic return=527.5377807617188\n", + "global step=2791424, episodic return=527.0579223632812\n", + "global step=2791424, episodic return=524.7808837890625\n", + "global step=2791424, episodic return=558.3099365234375\n", + "global step=2791424, episodic return=529.9804077148438\n", + "global step=2791424, episodic return=527.0033569335938\n", + "global step=2791424, episodic return=524.7460327148438\n", + "global step=2791424, episodic return=530.50634765625\n", + "global step=2791424, episodic return=527.176513671875\n", + "global step=2791424, episodic return=527.9439697265625\n", + "global step=2791424, episodic return=528.3150024414062\n", + "global step=2791424, episodic return=533.7931518554688\n", + "global step=2791424, episodic return=527.7781372070312\n", + "global step=2791424, episodic return=528.2579345703125\n", + "global step=2791424, episodic return=525.6658935546875\n", + "global step=2791424, episodic return=528.852783203125\n", + "global step=2791424, episodic return=526.8056640625\n", + "global step=2791424, episodic return=527.0972290039062\n", + "global step=2791424, episodic return=532.7366333007812\n", + "global step=2791424, episodic return=525.2755737304688\n", + "global step=2791424, episodic return=523.135009765625\n", + "global step=2793472, episodic return=528.719970703125\n", + "global step=2793472, episodic return=528.6727905273438\n", + "global step=2793472, episodic return=524.5853271484375\n", + "global step=2793472, episodic return=530.459228515625\n", + "global step=2793472, episodic return=530.2520141601562\n", + "global step=2793472, episodic return=528.5136108398438\n", + "global step=2793472, episodic return=528.6905517578125\n", + "global step=2793472, episodic return=531.004638671875\n", + "global step=2793472, episodic return=532.9712524414062\n", + "global step=2793472, episodic return=528.9768676757812\n", + "global step=2793472, episodic return=528.8539428710938\n", + "global step=2793472, episodic return=527.6199951171875\n", + "global step=2793472, episodic return=532.1696166992188\n", + "global step=2793472, episodic return=533.3193359375\n", + "global step=2793472, episodic return=526.9942016601562\n", + "global step=2793472, episodic return=530.6024169921875\n", + "global step=2793472, episodic return=525.4473266601562\n", + "global step=2793472, episodic return=531.0482177734375\n", + "global step=2795520, episodic return=534.1549072265625\n", + "global step=2795520, episodic return=532.9340209960938\n", + "global step=2795520, episodic return=533.254638671875\n", + "global step=2795520, episodic return=527.3818359375\n", + "global step=2795520, episodic return=534.3758544921875\n", + "global step=2795520, episodic return=531.6986083984375\n", + "global step=2795520, episodic return=570.0484619140625\n", + "global step=2795520, episodic return=534.0846557617188\n", + "global step=2795520, episodic return=530.4498901367188\n", + "global step=2795520, episodic return=530.9449462890625\n", + "global step=2795520, episodic return=533.76904296875\n", + "global step=2795520, episodic return=530.7794189453125\n", + "global step=2795520, episodic return=531.273681640625\n", + "global step=2795520, episodic return=529.3223266601562\n", + "global step=2795520, episodic return=532.9846801757812\n", + "global step=2795520, episodic return=530.9507446289062\n", + "global step=2795520, episodic return=528.6969604492188\n", + "global step=2795520, episodic return=533.9370727539062\n", + "global step=2795520, episodic return=530.3956909179688\n", + "global step=2795520, episodic return=528.0310668945312\n", + "global step=2795520, episodic return=528.3853759765625\n", + "global step=2797568, episodic return=546.72216796875\n", + "global step=2797568, episodic return=529.8366088867188\n", + "global step=2797568, episodic return=530.8972778320312\n", + "global step=2797568, episodic return=533.108642578125\n", + "global step=2797568, episodic return=531.73583984375\n", + "global step=2797568, episodic return=527.935791015625\n", + "global step=2797568, episodic return=531.2860107421875\n", + "global step=2797568, episodic return=530.6785888671875\n", + "global step=2797568, episodic return=534.44384765625\n", + "global step=2797568, episodic return=531.6558837890625\n", + "global step=2797568, episodic return=534.2078247070312\n", + "global step=2797568, episodic return=533.6089477539062\n", + "global step=2797568, episodic return=531.8074340820312\n", + "global step=2797568, episodic return=531.4552612304688\n", + "global step=2797568, episodic return=530.2777709960938\n", + "global step=2797568, episodic return=533.4803466796875\n", + "global step=2797568, episodic return=533.6871948242188\n", + "global step=2797568, episodic return=532.7286987304688\n", + "global step=2797568, episodic return=529.5331420898438\n", + "global step=2797568, episodic return=528.7157592773438\n", + "global step=2797568, episodic return=534.7490234375\n", + "global step=2799616, episodic return=531.94140625\n", + "global step=2799616, episodic return=532.20458984375\n", + "global step=2799616, episodic return=535.7328491210938\n", + "global step=2799616, episodic return=531.1182861328125\n", + "global step=2799616, episodic return=535.2098388671875\n", + "global step=2799616, episodic return=531.843017578125\n", + "global step=2799616, episodic return=535.2355346679688\n", + "global step=2799616, episodic return=536.5953979492188\n", + "global step=2799616, episodic return=531.9935913085938\n", + "global step=2799616, episodic return=535.2999877929688\n", + "global step=2799616, episodic return=546.59423828125\n", + "global step=2799616, episodic return=533.7362060546875\n", + "global step=2799616, episodic return=531.5529174804688\n", + "global step=2799616, episodic return=531.516845703125\n", + "global step=2799616, episodic return=531.461669921875\n", + "global step=2799616, episodic return=530.942626953125\n", + "global step=2799616, episodic return=530.4134521484375\n", + "global step=2799616, episodic return=533.7689819335938\n", + "global step=2799616, episodic return=529.4732666015625\n", + "global step=2799616, episodic return=534.7761840820312\n", + "global step=2799616, episodic return=530.8849487304688\n", + "global step=2801664, episodic return=535.2698364257812\n", + "global step=2801664, episodic return=532.6943359375\n", + "global step=2801664, episodic return=529.2003173828125\n", + "global step=2801664, episodic return=533.2589111328125\n", + "global step=2801664, episodic return=537.7984619140625\n", + "global step=2801664, episodic return=532.2322387695312\n", + "global step=2801664, episodic return=531.27734375\n", + "global step=2801664, episodic return=535.4718017578125\n", + "global step=2801664, episodic return=530.9986572265625\n", + "global step=2801664, episodic return=535.0064086914062\n", + "global step=2801664, episodic return=533.3531494140625\n", + "global step=2801664, episodic return=529.9237670898438\n", + "global step=2801664, episodic return=532.4885864257812\n", + "global step=2801664, episodic return=536.0125732421875\n", + "global step=2801664, episodic return=530.5390625\n", + "global step=2801664, episodic return=525.3389282226562\n", + "global step=2801664, episodic return=529.122802734375\n", + "global step=2801664, episodic return=530.6749267578125\n", + "global step=2801664, episodic return=535.7197265625\n", + "global step=2801664, episodic return=534.3837280273438\n", + "global step=2801664, episodic return=535.72998046875\n", + "global step=2801664, episodic return=538.4556884765625\n", + "global step=2801664, episodic return=536.3985595703125\n", + "global step=2801664, episodic return=533.4736328125\n", + "global step=2803712, episodic return=537.21826171875\n", + "global step=2803712, episodic return=540.99658203125\n", + "global step=2803712, episodic return=536.0602416992188\n", + "global step=2803712, episodic return=539.1138305664062\n", + "global step=2803712, episodic return=532.5026245117188\n", + "global step=2803712, episodic return=537.0634155273438\n", + "global step=2803712, episodic return=553.4788208007812\n", + "global step=2803712, episodic return=539.2236938476562\n", + "global step=2803712, episodic return=532.86083984375\n", + "global step=2803712, episodic return=533.3465576171875\n", + "global step=2803712, episodic return=553.525390625\n", + "global step=2803712, episodic return=534.9523315429688\n", + "global step=2803712, episodic return=530.3626098632812\n", + "global step=2803712, episodic return=533.4569702148438\n", + "global step=2803712, episodic return=529.9866333007812\n", + "global step=2803712, episodic return=534.7473754882812\n", + "global step=2803712, episodic return=531.9791870117188\n", + "global step=2803712, episodic return=535.7371826171875\n", + "global step=2803712, episodic return=537.2557983398438\n", + "global step=2803712, episodic return=535.2047729492188\n", + "global step=2803712, episodic return=539.0143432617188\n", + "global step=2803712, episodic return=531.4205932617188\n", + "global step=2803712, episodic return=535.3781127929688\n", + "global step=2803712, episodic return=531.91552734375\n", + "global step=2805760, episodic return=540.1436157226562\n", + "global step=2805760, episodic return=534.782470703125\n", + "global step=2805760, episodic return=537.596923828125\n", + "global step=2805760, episodic return=528.8784790039062\n", + "global step=2805760, episodic return=540.7727661132812\n", + "global step=2805760, episodic return=536.2720336914062\n", + "global step=2805760, episodic return=538.24658203125\n", + "global step=2805760, episodic return=535.7182006835938\n", + "global step=2805760, episodic return=540.3329467773438\n", + "global step=2805760, episodic return=535.168212890625\n", + "global step=2805760, episodic return=539.78759765625\n", + "global step=2805760, episodic return=539.497314453125\n", + "global step=2805760, episodic return=535.6179809570312\n", + "global step=2805760, episodic return=538.806640625\n", + "global step=2805760, episodic return=534.4608154296875\n", + "global step=2805760, episodic return=532.1943969726562\n", + "global step=2805760, episodic return=539.1305541992188\n", + "global step=2805760, episodic return=526.8489379882812\n", + "global step=2805760, episodic return=533.6207275390625\n", + "global step=2805760, episodic return=526.9759521484375\n", + "global step=2805760, episodic return=522.4896850585938\n", + "global step=2805760, episodic return=535.6451416015625\n", + "global step=2805760, episodic return=532.5237426757812\n", + "global step=2805760, episodic return=509.2831726074219\n", + "global step=2805760, episodic return=1085.0814208984375\n", + "global step=2805760, episodic return=536.5943603515625\n", + "global step=2805760, episodic return=537.7572631835938\n", + "global step=2805760, episodic return=538.3684692382812\n", + "global step=2807808, episodic return=538.257568359375\n", + "global step=2807808, episodic return=540.3314819335938\n", + "global step=2807808, episodic return=535.0099487304688\n", + "global step=2807808, episodic return=533.4435424804688\n", + "global step=2807808, episodic return=537.7202758789062\n", + "global step=2807808, episodic return=537.258544921875\n", + "global step=2807808, episodic return=538.019775390625\n", + "global step=2807808, episodic return=536.2686767578125\n", + "global step=2807808, episodic return=541.3355712890625\n", + "global step=2807808, episodic return=538.9934692382812\n", + "global step=2807808, episodic return=536.4075927734375\n", + "global step=2807808, episodic return=538.3809814453125\n", + "global step=2807808, episodic return=535.4029541015625\n", + "global step=2807808, episodic return=534.3856811523438\n", + "global step=2807808, episodic return=539.2811279296875\n", + "global step=2807808, episodic return=535.9308471679688\n", + "global step=2807808, episodic return=536.6510620117188\n", + "global step=2807808, episodic return=539.8787841796875\n", + "global step=2807808, episodic return=539.4348754882812\n", + "global step=2807808, episodic return=535.7280883789062\n", + "global step=2807808, episodic return=537.0184936523438\n", + "global step=2807808, episodic return=537.616943359375\n", + "global step=2807808, episodic return=535.841796875\n", + "global step=2807808, episodic return=539.3069458007812\n", + "global step=2807808, episodic return=536.748291015625\n", + "global step=2807808, episodic return=546.0082397460938\n", + "global step=2807808, episodic return=533.897216796875\n", + "global step=2807808, episodic return=532.732666015625\n", + "global step=2807808, episodic return=535.7619018554688\n", + "global step=2807808, episodic return=537.4410400390625\n", + "global step=2807808, episodic return=511.6610412597656\n", + "global step=2807808, episodic return=534.09375\n", + "global step=2807808, episodic return=523.3715209960938\n", + "global step=2807808, episodic return=536.3329467773438\n", + "global step=2807808, episodic return=535.3953247070312\n", + "global step=2807808, episodic return=536.803466796875\n", + "global step=2809856, episodic return=537.4701538085938\n", + "global step=2809856, episodic return=536.3502807617188\n", + "global step=2809856, episodic return=537.7537231445312\n", + "global step=2809856, episodic return=536.6451416015625\n", + "global step=2809856, episodic return=539.069580078125\n", + "global step=2809856, episodic return=532.9287109375\n", + "global step=2809856, episodic return=536.1220703125\n", + "global step=2809856, episodic return=540.8800659179688\n", + "global step=2809856, episodic return=536.8630981445312\n", + "global step=2809856, episodic return=538.997314453125\n", + "global step=2809856, episodic return=539.9144897460938\n", + "global step=2809856, episodic return=539.3001708984375\n", + "global step=2809856, episodic return=539.0896606445312\n", + "global step=2809856, episodic return=539.9150390625\n", + "global step=2809856, episodic return=538.0458374023438\n", + "global step=2809856, episodic return=537.6176147460938\n", + "global step=2809856, episodic return=535.7821044921875\n", + "global step=2809856, episodic return=537.8142700195312\n", + "global step=2809856, episodic return=536.3255004882812\n", + "global step=2809856, episodic return=537.4849853515625\n", + "global step=2809856, episodic return=538.3971557617188\n", + "global step=2809856, episodic return=539.8345947265625\n", + "global step=2809856, episodic return=536.3014526367188\n", + "global step=2809856, episodic return=537.2677612304688\n", + "global step=2809856, episodic return=537.5001220703125\n", + "global step=2809856, episodic return=536.62158203125\n", + "global step=2809856, episodic return=536.559814453125\n", + "global step=2809856, episodic return=539.9223022460938\n", + "global step=2809856, episodic return=539.1487426757812\n", + "global step=2811904, episodic return=540.7997436523438\n", + "global step=2811904, episodic return=536.8590698242188\n", + "global step=2811904, episodic return=543.4054565429688\n", + "global step=2811904, episodic return=538.8890380859375\n", + "global step=2811904, episodic return=537.9622192382812\n", + "global step=2811904, episodic return=541.9991455078125\n", + "global step=2811904, episodic return=538.927490234375\n", + "global step=2811904, episodic return=535.9228515625\n", + "global step=2811904, episodic return=539.0311279296875\n", + "global step=2811904, episodic return=539.2350463867188\n", + "global step=2811904, episodic return=545.2510375976562\n", + "global step=2811904, episodic return=541.5940551757812\n", + "global step=2811904, episodic return=542.103515625\n", + "global step=2811904, episodic return=535.6713256835938\n", + "global step=2811904, episodic return=536.1398315429688\n", + "global step=2811904, episodic return=538.5975341796875\n", + "global step=2811904, episodic return=535.7213134765625\n", + "global step=2811904, episodic return=540.8292846679688\n", + "global step=2811904, episodic return=543.3719482421875\n", + "global step=2811904, episodic return=543.53955078125\n", + "global step=2811904, episodic return=541.7365112304688\n", + "global step=2811904, episodic return=536.730224609375\n", + "global step=2811904, episodic return=536.7660522460938\n", + "global step=2811904, episodic return=539.077880859375\n", + "global step=2811904, episodic return=538.8470458984375\n", + "global step=2811904, episodic return=539.1192626953125\n", + "global step=2811904, episodic return=538.5052490234375\n", + "global step=2811904, episodic return=555.4800415039062\n", + "global step=2811904, episodic return=537.5987548828125\n", + "global step=2811904, episodic return=538.523681640625\n", + "global step=2811904, episodic return=537.6091918945312\n", + "global step=2811904, episodic return=541.4303588867188\n", + "global step=2811904, episodic return=538.7628784179688\n", + "global step=2811904, episodic return=548.5418090820312\n", + "global step=2813952, episodic return=541.08203125\n", + "global step=2813952, episodic return=537.64892578125\n", + "global step=2813952, episodic return=541.2128295898438\n", + "global step=2813952, episodic return=545.2438354492188\n", + "global step=2813952, episodic return=538.5637817382812\n", + "global step=2813952, episodic return=529.8779296875\n", + "global step=2813952, episodic return=536.0595703125\n", + "global step=2813952, episodic return=536.8433837890625\n", + "global step=2813952, episodic return=538.0797729492188\n", + "global step=2813952, episodic return=538.1900634765625\n", + "global step=2813952, episodic return=537.9884643554688\n", + "global step=2813952, episodic return=542.6959228515625\n", + "global step=2813952, episodic return=539.1192016601562\n", + "global step=2813952, episodic return=543.1210327148438\n", + "global step=2813952, episodic return=540.9945068359375\n", + "global step=2813952, episodic return=534.9551391601562\n", + "global step=2813952, episodic return=534.134521484375\n", + "global step=2813952, episodic return=536.2534790039062\n", + "global step=2813952, episodic return=542.4851684570312\n", + "global step=2813952, episodic return=541.6307983398438\n", + "global step=2813952, episodic return=537.3974609375\n", + "global step=2813952, episodic return=543.8411254882812\n", + "global step=2813952, episodic return=537.2675170898438\n", + "global step=2813952, episodic return=544.8528442382812\n", + "global step=2816000, episodic return=521.6412963867188\n", + "global step=2816000, episodic return=542.2047729492188\n", + "global step=2816000, episodic return=539.774658203125\n", + "global step=2816000, episodic return=540.7183227539062\n", + "global step=2816000, episodic return=537.5223388671875\n", + "global step=2816000, episodic return=542.0035400390625\n", + "global step=2816000, episodic return=541.6101684570312\n", + "global step=2816000, episodic return=539.9854736328125\n", + "global step=2816000, episodic return=545.6256713867188\n", + "global step=2816000, episodic return=539.25048828125\n", + "global step=2816000, episodic return=539.9657592773438\n", + "global step=2816000, episodic return=544.1058349609375\n", + "global step=2816000, episodic return=531.1354370117188\n", + "global step=2816000, episodic return=538.8150024414062\n", + "global step=2816000, episodic return=547.9609375\n", + "global step=2816000, episodic return=545.1484375\n", + "global step=2816000, episodic return=540.2367553710938\n", + "global step=2816000, episodic return=542.1839599609375\n", + "global step=2816000, episodic return=542.712890625\n", + "global step=2816000, episodic return=539.140380859375\n", + "global step=2816000, episodic return=543.6769409179688\n", + "global step=2816000, episodic return=541.4814453125\n", + "global step=2816000, episodic return=542.6304321289062\n", + "global step=2816000, episodic return=536.5432739257812\n", + "global step=2816000, episodic return=539.7777709960938\n", + "global step=2816000, episodic return=544.555908203125\n", + "global step=2816000, episodic return=539.9303588867188\n", + "global step=2816000, episodic return=540.334716796875\n", + "global step=2818048, episodic return=539.2597045898438\n", + "global step=2818048, episodic return=539.65966796875\n", + "global step=2818048, episodic return=543.6223754882812\n", + "global step=2818048, episodic return=537.3433227539062\n", + "global step=2818048, episodic return=526.2880249023438\n", + "global step=2818048, episodic return=543.2308959960938\n", + "global step=2818048, episodic return=547.7791748046875\n", + "global step=2818048, episodic return=541.4424438476562\n", + "global step=2818048, episodic return=540.0386962890625\n", + "global step=2818048, episodic return=540.5125732421875\n", + "global step=2818048, episodic return=542.5299682617188\n", + "global step=2818048, episodic return=553.0791015625\n", + "global step=2818048, episodic return=538.7738647460938\n", + "global step=2818048, episodic return=537.5963134765625\n", + "global step=2818048, episodic return=544.1103515625\n", + "global step=2818048, episodic return=542.3366088867188\n", + "global step=2818048, episodic return=540.2774047851562\n", + "global step=2818048, episodic return=541.8156127929688\n", + "global step=2818048, episodic return=541.2193603515625\n", + "global step=2818048, episodic return=541.8827514648438\n", + "global step=2818048, episodic return=538.325439453125\n", + "global step=2818048, episodic return=541.9647216796875\n", + "global step=2818048, episodic return=543.5828857421875\n", + "global step=2818048, episodic return=547.6123657226562\n", + "global step=2818048, episodic return=547.2634887695312\n", + "global step=2818048, episodic return=539.0958862304688\n", + "global step=2818048, episodic return=544.3046875\n", + "global step=2820096, episodic return=544.6358032226562\n", + "global step=2820096, episodic return=544.2744140625\n", + "global step=2820096, episodic return=543.1541137695312\n", + "global step=2820096, episodic return=538.0875854492188\n", + "global step=2820096, episodic return=542.066162109375\n", + "global step=2820096, episodic return=540.9509887695312\n", + "global step=2820096, episodic return=542.4095458984375\n", + "global step=2820096, episodic return=543.9669189453125\n", + "global step=2820096, episodic return=543.8978881835938\n", + "global step=2820096, episodic return=544.4144897460938\n", + "global step=2820096, episodic return=547.1099243164062\n", + "global step=2820096, episodic return=545.182373046875\n", + "global step=2820096, episodic return=532.18896484375\n", + "global step=2820096, episodic return=546.1985473632812\n", + "global step=2820096, episodic return=544.7025756835938\n", + "global step=2820096, episodic return=542.5672607421875\n", + "global step=2820096, episodic return=544.05126953125\n", + "global step=2820096, episodic return=567.5474243164062\n", + "global step=2820096, episodic return=543.9765625\n", + "global step=2820096, episodic return=546.3119506835938\n", + "global step=2820096, episodic return=538.8731689453125\n", + "global step=2820096, episodic return=543.1016845703125\n", + "global step=2820096, episodic return=543.5912475585938\n", + "global step=2820096, episodic return=544.5565795898438\n", + "global step=2820096, episodic return=542.3594360351562\n", + "global step=2820096, episodic return=540.216796875\n", + "global step=2820096, episodic return=545.0860595703125\n", + "global step=2820096, episodic return=547.387451171875\n", + "global step=2820096, episodic return=543.0784301757812\n", + "global step=2820096, episodic return=540.235595703125\n", + "global step=2820096, episodic return=553.3475952148438\n", + "global step=2820096, episodic return=544.51318359375\n", + "global step=2820096, episodic return=546.4917602539062\n", + "global step=2820096, episodic return=544.9934692382812\n", + "global step=2820096, episodic return=541.90087890625\n", + "global step=2820096, episodic return=544.107421875\n", + "global step=2822144, episodic return=549.0009765625\n", + "global step=2822144, episodic return=543.5491333007812\n", + "global step=2822144, episodic return=503.02410888671875\n", + "global step=2822144, episodic return=544.8473510742188\n", + "global step=2822144, episodic return=545.991455078125\n", + "global step=2822144, episodic return=541.4790649414062\n", + "global step=2822144, episodic return=544.9421997070312\n", + "global step=2822144, episodic return=543.5989379882812\n", + "global step=2822144, episodic return=516.7637939453125\n", + "global step=2822144, episodic return=546.1361694335938\n", + "global step=2822144, episodic return=540.83935546875\n", + "global step=2822144, episodic return=547.4092407226562\n", + "global step=2822144, episodic return=546.04541015625\n", + "global step=2822144, episodic return=545.3851928710938\n", + "global step=2822144, episodic return=541.3323364257812\n", + "global step=2822144, episodic return=543.8685302734375\n", + "global step=2822144, episodic return=549.4487915039062\n", + "global step=2822144, episodic return=541.952880859375\n", + "global step=2822144, episodic return=516.2242431640625\n", + "global step=2822144, episodic return=543.1072998046875\n", + "global step=2822144, episodic return=543.8045654296875\n", + "global step=2822144, episodic return=549.010498046875\n", + "global step=2822144, episodic return=546.2569580078125\n", + "global step=2822144, episodic return=544.9515991210938\n", + "global step=2822144, episodic return=544.7507934570312\n", + "global step=2822144, episodic return=543.1532592773438\n", + "global step=2822144, episodic return=526.3431396484375\n", + "global step=2822144, episodic return=543.4255981445312\n", + "global step=2822144, episodic return=531.3523559570312\n", + "global step=2822144, episodic return=545.4527587890625\n", + "global step=2822144, episodic return=542.9480590820312\n", + "global step=2822144, episodic return=548.5152587890625\n", + "global step=2822144, episodic return=561.8263549804688\n", + "global step=2822144, episodic return=548.9747314453125\n", + "global step=2824192, episodic return=545.3018798828125\n", + "global step=2824192, episodic return=542.4740600585938\n", + "global step=2824192, episodic return=545.0597534179688\n", + "global step=2824192, episodic return=545.2882690429688\n", + "global step=2824192, episodic return=544.47021484375\n", + "global step=2824192, episodic return=548.3697509765625\n", + "global step=2824192, episodic return=548.1526489257812\n", + "global step=2824192, episodic return=547.7839965820312\n", + "global step=2824192, episodic return=543.1633911132812\n", + "global step=2824192, episodic return=543.05859375\n", + "global step=2824192, episodic return=542.3934326171875\n", + "global step=2824192, episodic return=544.0660400390625\n", + "global step=2824192, episodic return=528.7952880859375\n", + "global step=2824192, episodic return=545.5158081054688\n", + "global step=2824192, episodic return=547.6288452148438\n", + "global step=2824192, episodic return=548.50146484375\n", + "global step=2824192, episodic return=547.5186767578125\n", + "global step=2824192, episodic return=551.3170166015625\n", + "global step=2824192, episodic return=549.5347290039062\n", + "global step=2824192, episodic return=546.2067260742188\n", + "global step=2824192, episodic return=531.1106567382812\n", + "global step=2824192, episodic return=541.9898681640625\n", + "global step=2824192, episodic return=544.2891845703125\n", + "global step=2824192, episodic return=520.7269897460938\n", + "global step=2824192, episodic return=546.5571899414062\n", + "global step=2824192, episodic return=539.6455078125\n", + "global step=2824192, episodic return=545.0076293945312\n", + "global step=2824192, episodic return=546.9892578125\n", + "global step=2824192, episodic return=530.8839111328125\n", + "global step=2824192, episodic return=548.8642578125\n", + "global step=2824192, episodic return=544.6688842773438\n", + "global step=2824192, episodic return=546.5170288085938\n", + "global step=2824192, episodic return=541.6878662109375\n", + "global step=2826240, episodic return=543.857666015625\n", + "global step=2826240, episodic return=550.5689086914062\n", + "global step=2826240, episodic return=546.892333984375\n", + "global step=2826240, episodic return=541.9647216796875\n", + "global step=2826240, episodic return=545.7808837890625\n", + "global step=2826240, episodic return=546.6034545898438\n", + "global step=2826240, episodic return=543.9496459960938\n", + "global step=2826240, episodic return=547.9317626953125\n", + "global step=2826240, episodic return=550.8026123046875\n", + "global step=2826240, episodic return=546.4398193359375\n", + "global step=2826240, episodic return=549.0684204101562\n", + "global step=2826240, episodic return=549.397216796875\n", + "global step=2826240, episodic return=547.621826171875\n", + "global step=2826240, episodic return=527.9614868164062\n", + "global step=2826240, episodic return=554.9421997070312\n", + "global step=2826240, episodic return=547.2113037109375\n", + "global step=2826240, episodic return=547.9832763671875\n", + "global step=2826240, episodic return=548.1930541992188\n", + "global step=2826240, episodic return=551.670654296875\n", + "global step=2826240, episodic return=545.9597778320312\n", + "global step=2826240, episodic return=547.1991577148438\n", + "global step=2826240, episodic return=545.9404296875\n", + "global step=2826240, episodic return=551.6937255859375\n", + "global step=2826240, episodic return=546.4874267578125\n", + "global step=2826240, episodic return=543.7196044921875\n", + "global step=2826240, episodic return=542.9133911132812\n", + "global step=2826240, episodic return=551.8321533203125\n", + "global step=2826240, episodic return=517.8844604492188\n", + "global step=2826240, episodic return=546.0670776367188\n", + "global step=2826240, episodic return=545.87353515625\n", + "global step=2826240, episodic return=531.52880859375\n", + "global step=2826240, episodic return=546.9010620117188\n", + "global step=2826240, episodic return=545.6094970703125\n", + "global step=2828288, episodic return=543.9526977539062\n", + "global step=2828288, episodic return=514.7200927734375\n", + "global step=2828288, episodic return=526.504150390625\n", + "global step=2828288, episodic return=531.446533203125\n", + "global step=2828288, episodic return=545.208740234375\n", + "global step=2828288, episodic return=554.0690307617188\n", + "global step=2828288, episodic return=547.5933227539062\n", + "global step=2828288, episodic return=550.8719482421875\n", + "global step=2828288, episodic return=546.72509765625\n", + "global step=2828288, episodic return=536.7571411132812\n", + "global step=2828288, episodic return=545.0921630859375\n", + "global step=2828288, episodic return=554.134521484375\n", + "global step=2828288, episodic return=546.2174682617188\n", + "global step=2828288, episodic return=549.1077270507812\n", + "global step=2828288, episodic return=545.9196166992188\n", + "global step=2828288, episodic return=545.2982177734375\n", + "global step=2828288, episodic return=521.1559448242188\n", + "global step=2828288, episodic return=545.4624633789062\n", + "global step=2828288, episodic return=548.0626831054688\n", + "global step=2828288, episodic return=531.5010375976562\n", + "global step=2828288, episodic return=546.6482543945312\n", + "global step=2828288, episodic return=527.5674438476562\n", + "global step=2828288, episodic return=544.7013549804688\n", + "global step=2828288, episodic return=547.6604614257812\n", + "global step=2828288, episodic return=544.52001953125\n", + "global step=2828288, episodic return=549.8441162109375\n", + "global step=2828288, episodic return=551.0344848632812\n", + "global step=2828288, episodic return=549.3336181640625\n", + "global step=2828288, episodic return=543.2771606445312\n", + "global step=2828288, episodic return=543.3890380859375\n", + "global step=2830336, episodic return=549.1917114257812\n", + "global step=2830336, episodic return=548.8492431640625\n", + "global step=2830336, episodic return=547.802490234375\n", + "global step=2830336, episodic return=551.7216796875\n", + "global step=2830336, episodic return=529.2511596679688\n", + "global step=2830336, episodic return=530.2718505859375\n", + "global step=2830336, episodic return=550.1173095703125\n", + "global step=2830336, episodic return=549.4136962890625\n", + "global step=2830336, episodic return=546.7294921875\n", + "global step=2830336, episodic return=551.4884033203125\n", + "global step=2830336, episodic return=548.5733642578125\n", + "global step=2830336, episodic return=549.5379028320312\n", + "global step=2830336, episodic return=527.4254760742188\n", + "global step=2830336, episodic return=544.9859619140625\n", + "global step=2830336, episodic return=548.1331787109375\n", + "global step=2830336, episodic return=512.4196166992188\n", + "global step=2830336, episodic return=549.6905517578125\n", + "global step=2830336, episodic return=549.4972534179688\n", + "global step=2830336, episodic return=546.3406372070312\n", + "global step=2830336, episodic return=547.0442504882812\n", + "global step=2830336, episodic return=552.805419921875\n", + "global step=2830336, episodic return=548.9934692382812\n", + "global step=2830336, episodic return=551.6634521484375\n", + "global step=2830336, episodic return=549.822021484375\n", + "global step=2830336, episodic return=547.0361328125\n", + "global step=2830336, episodic return=552.188720703125\n", + "global step=2830336, episodic return=515.058837890625\n", + "global step=2830336, episodic return=552.3824462890625\n", + "global step=2830336, episodic return=550.2532348632812\n", + "global step=2832384, episodic return=548.4423828125\n", + "global step=2832384, episodic return=546.6170654296875\n", + "global step=2832384, episodic return=555.1366577148438\n", + "global step=2832384, episodic return=549.853759765625\n", + "global step=2832384, episodic return=553.1703491210938\n", + "global step=2832384, episodic return=548.7916259765625\n", + "global step=2832384, episodic return=544.1460571289062\n", + "global step=2832384, episodic return=546.562744140625\n", + "global step=2832384, episodic return=545.9916381835938\n", + "global step=2832384, episodic return=524.2971801757812\n", + "global step=2832384, episodic return=554.1906127929688\n", + "global step=2832384, episodic return=552.3780517578125\n", + "global step=2832384, episodic return=1117.8070068359375\n", + "global step=2832384, episodic return=550.3591918945312\n", + "global step=2832384, episodic return=1087.7666015625\n", + "global step=2832384, episodic return=549.3544921875\n", + "global step=2832384, episodic return=549.4540405273438\n", + "global step=2832384, episodic return=550.2130737304688\n", + "global step=2832384, episodic return=532.9373779296875\n", + "global step=2832384, episodic return=551.486572265625\n", + "global step=2832384, episodic return=549.758056640625\n", + "global step=2832384, episodic return=518.4150390625\n", + "global step=2832384, episodic return=546.4331665039062\n", + "global step=2832384, episodic return=550.8201293945312\n", + "global step=2834432, episodic return=548.4820556640625\n", + "global step=2834432, episodic return=555.9998168945312\n", + "global step=2834432, episodic return=552.9066772460938\n", + "global step=2834432, episodic return=552.2579956054688\n", + "global step=2834432, episodic return=555.3252563476562\n", + "global step=2834432, episodic return=539.9134521484375\n", + "global step=2834432, episodic return=548.2774047851562\n", + "global step=2834432, episodic return=551.9771728515625\n", + "global step=2834432, episodic return=552.022705078125\n", + "global step=2834432, episodic return=547.356689453125\n", + "global step=2834432, episodic return=546.4053344726562\n", + "global step=2834432, episodic return=553.0826416015625\n", + "global step=2834432, episodic return=552.9539794921875\n", + "global step=2834432, episodic return=522.43212890625\n", + "global step=2834432, episodic return=550.15380859375\n", + "global step=2834432, episodic return=553.5396118164062\n", + "global step=2834432, episodic return=547.4995727539062\n", + "global step=2834432, episodic return=551.024658203125\n", + "global step=2834432, episodic return=553.2198486328125\n", + "global step=2834432, episodic return=534.044677734375\n", + "global step=2834432, episodic return=554.435546875\n", + "global step=2834432, episodic return=525.7302856445312\n", + "global step=2834432, episodic return=548.4256591796875\n", + "global step=2834432, episodic return=551.50341796875\n", + "global step=2834432, episodic return=548.961669921875\n", + "global step=2834432, episodic return=548.294921875\n", + "global step=2834432, episodic return=553.2100219726562\n", + "global step=2834432, episodic return=547.2064208984375\n", + "global step=2834432, episodic return=551.8949584960938\n", + "global step=2834432, episodic return=551.9173583984375\n", + "global step=2834432, episodic return=532.9325561523438\n", + "global step=2834432, episodic return=544.900634765625\n", + "global step=2836480, episodic return=551.208984375\n", + "global step=2836480, episodic return=551.90869140625\n", + "global step=2836480, episodic return=534.7882690429688\n", + "global step=2836480, episodic return=551.5744018554688\n", + "global step=2836480, episodic return=527.609130859375\n", + "global step=2836480, episodic return=549.9110107421875\n", + "global step=2836480, episodic return=552.443115234375\n", + "global step=2836480, episodic return=552.8434448242188\n", + "global step=2836480, episodic return=554.5313110351562\n", + "global step=2836480, episodic return=555.5432739257812\n", + "global step=2836480, episodic return=551.7371215820312\n", + "global step=2836480, episodic return=555.4630737304688\n", + "global step=2836480, episodic return=535.121337890625\n", + "global step=2836480, episodic return=549.8868408203125\n", + "global step=2836480, episodic return=556.694580078125\n", + "global step=2836480, episodic return=527.224609375\n", + "global step=2836480, episodic return=557.0615234375\n", + "global step=2836480, episodic return=556.532470703125\n", + "global step=2836480, episodic return=536.5014038085938\n", + "global step=2836480, episodic return=554.363525390625\n", + "global step=2836480, episodic return=517.2991943359375\n", + "global step=2836480, episodic return=555.5734252929688\n", + "global step=2836480, episodic return=529.6777954101562\n", + "global step=2836480, episodic return=534.657470703125\n", + "global step=2836480, episodic return=553.6741943359375\n", + "global step=2836480, episodic return=548.2828369140625\n", + "global step=2836480, episodic return=549.069580078125\n", + "global step=2836480, episodic return=552.4750366210938\n", + "global step=2838528, episodic return=552.0890502929688\n", + "global step=2838528, episodic return=554.1588134765625\n", + "global step=2838528, episodic return=538.6549682617188\n", + "global step=2838528, episodic return=554.1799926757812\n", + "global step=2838528, episodic return=559.2440795898438\n", + "global step=2838528, episodic return=554.1639404296875\n", + "global step=2838528, episodic return=555.288818359375\n", + "global step=2838528, episodic return=525.4456176757812\n", + "global step=2838528, episodic return=521.5382690429688\n", + "global step=2838528, episodic return=530.1510009765625\n", + "global step=2838528, episodic return=554.5106811523438\n", + "global step=2838528, episodic return=556.5321655273438\n", + "global step=2838528, episodic return=539.664794921875\n", + "global step=2838528, episodic return=550.91845703125\n", + "global step=2838528, episodic return=546.7359008789062\n", + "global step=2838528, episodic return=530.9227905273438\n", + "global step=2838528, episodic return=549.9959716796875\n", + "global step=2838528, episodic return=518.7918090820312\n", + "global step=2838528, episodic return=553.8508911132812\n", + "global step=2838528, episodic return=550.9325561523438\n", + "global step=2838528, episodic return=556.694580078125\n", + "global step=2838528, episodic return=529.1712646484375\n", + "global step=2838528, episodic return=552.2464599609375\n", + "global step=2838528, episodic return=560.0195922851562\n", + "global step=2838528, episodic return=552.2503051757812\n", + "global step=2838528, episodic return=531.0863647460938\n", + "global step=2838528, episodic return=551.8043212890625\n", + "global step=2838528, episodic return=555.6641845703125\n", + "global step=2838528, episodic return=553.8601684570312\n", + "global step=2838528, episodic return=536.9799194335938\n", + "global step=2838528, episodic return=555.6550903320312\n", + "global step=2838528, episodic return=539.6669921875\n", + "global step=2838528, episodic return=551.8660888671875\n", + "global step=2840576, episodic return=528.2391967773438\n", + "global step=2840576, episodic return=554.017333984375\n", + "global step=2840576, episodic return=523.0900268554688\n", + "global step=2840576, episodic return=552.5070190429688\n", + "global step=2840576, episodic return=554.7279663085938\n", + "global step=2840576, episodic return=555.4086303710938\n", + "global step=2840576, episodic return=536.3475341796875\n", + "global step=2840576, episodic return=531.733642578125\n", + "global step=2840576, episodic return=553.9196166992188\n", + "global step=2840576, episodic return=522.710693359375\n", + "global step=2840576, episodic return=555.6126708984375\n", + "global step=2840576, episodic return=553.7692260742188\n", + "global step=2840576, episodic return=559.245849609375\n", + "global step=2840576, episodic return=553.173095703125\n", + "global step=2840576, episodic return=554.201904296875\n", + "global step=2840576, episodic return=557.1865234375\n", + "global step=2840576, episodic return=544.4068603515625\n", + "global step=2840576, episodic return=537.9649047851562\n", + "global step=2840576, episodic return=555.4288940429688\n", + "global step=2840576, episodic return=557.3302612304688\n", + "global step=2840576, episodic return=520.714111328125\n", + "global step=2840576, episodic return=547.7811279296875\n", + "global step=2840576, episodic return=553.90478515625\n", + "global step=2840576, episodic return=557.57958984375\n", + "global step=2840576, episodic return=534.4490356445312\n", + "global step=2840576, episodic return=552.6214599609375\n", + "global step=2840576, episodic return=552.5369262695312\n", + "global step=2840576, episodic return=551.6121826171875\n", + "global step=2840576, episodic return=553.9996337890625\n", + "global step=2842624, episodic return=522.3313598632812\n", + "global step=2842624, episodic return=535.7661743164062\n", + "global step=2842624, episodic return=533.1669921875\n", + "global step=2842624, episodic return=557.2726440429688\n", + "global step=2842624, episodic return=532.827392578125\n", + "global step=2842624, episodic return=537.9935913085938\n", + "global step=2842624, episodic return=525.2410278320312\n", + "global step=2842624, episodic return=529.6707763671875\n", + "global step=2842624, episodic return=528.0194702148438\n", + "global step=2842624, episodic return=556.8074340820312\n", + "global step=2842624, episodic return=543.2202758789062\n", + "global step=2842624, episodic return=555.034423828125\n", + "global step=2842624, episodic return=550.5089111328125\n", + "global step=2842624, episodic return=526.3281860351562\n", + "global step=2842624, episodic return=558.1027221679688\n", + "global step=2842624, episodic return=536.4046630859375\n", + "global step=2842624, episodic return=534.1966552734375\n", + "global step=2842624, episodic return=557.3191528320312\n", + "global step=2842624, episodic return=555.3764038085938\n", + "global step=2842624, episodic return=553.6572265625\n", + "global step=2842624, episodic return=557.280029296875\n", + "global step=2842624, episodic return=555.63232421875\n", + "global step=2842624, episodic return=559.0799560546875\n", + "global step=2842624, episodic return=558.1244506835938\n", + "global step=2842624, episodic return=556.98193359375\n", + "global step=2842624, episodic return=557.2859497070312\n", + "global step=2844672, episodic return=526.3494262695312\n", + "global step=2844672, episodic return=553.8201904296875\n", + "global step=2844672, episodic return=556.0363159179688\n", + "global step=2844672, episodic return=556.3671264648438\n", + "global step=2844672, episodic return=560.470703125\n", + "global step=2844672, episodic return=554.9882202148438\n", + "global step=2844672, episodic return=525.1818237304688\n", + "global step=2844672, episodic return=557.7626342773438\n", + "global step=2844672, episodic return=524.8805541992188\n", + "global step=2844672, episodic return=558.161376953125\n", + "global step=2844672, episodic return=557.430908203125\n", + "global step=2844672, episodic return=555.5167846679688\n", + "global step=2844672, episodic return=557.85107421875\n", + "global step=2844672, episodic return=535.7037963867188\n", + "global step=2844672, episodic return=520.0626220703125\n", + "global step=2844672, episodic return=535.96435546875\n", + "global step=2844672, episodic return=553.5029296875\n", + "global step=2844672, episodic return=560.6141357421875\n", + "global step=2844672, episodic return=561.2698364257812\n", + "global step=2844672, episodic return=525.7766723632812\n", + "global step=2844672, episodic return=541.8536376953125\n", + "global step=2844672, episodic return=559.9711303710938\n", + "global step=2844672, episodic return=526.2424926757812\n", + "global step=2844672, episodic return=555.131103515625\n", + "global step=2844672, episodic return=555.487548828125\n", + "global step=2846720, episodic return=556.50732421875\n", + "global step=2846720, episodic return=514.155517578125\n", + "global step=2846720, episodic return=554.8433837890625\n", + "global step=2846720, episodic return=563.5706787109375\n", + "global step=2846720, episodic return=556.1478881835938\n", + "global step=2846720, episodic return=555.5322875976562\n", + "global step=2846720, episodic return=546.3477172851562\n", + "global step=2846720, episodic return=552.0313720703125\n", + "global step=2846720, episodic return=559.5100708007812\n", + "global step=2846720, episodic return=558.850341796875\n", + "global step=2846720, episodic return=524.565185546875\n", + "global step=2846720, episodic return=561.781982421875\n", + "global step=2846720, episodic return=562.3960571289062\n", + "global step=2846720, episodic return=539.3386840820312\n", + "global step=2846720, episodic return=559.152587890625\n", + "global step=2846720, episodic return=556.7899169921875\n", + "global step=2846720, episodic return=562.6358032226562\n", + "global step=2846720, episodic return=528.3025512695312\n", + "global step=2846720, episodic return=559.6156005859375\n", + "global step=2846720, episodic return=555.7866821289062\n", + "global step=2846720, episodic return=560.0657958984375\n", + "global step=2846720, episodic return=558.2385864257812\n", + "global step=2846720, episodic return=534.9669189453125\n", + "global step=2846720, episodic return=556.5999755859375\n", + "global step=2846720, episodic return=561.8099365234375\n", + "global step=2846720, episodic return=557.825927734375\n", + "global step=2846720, episodic return=534.4803466796875\n", + "global step=2848768, episodic return=556.4872436523438\n", + "global step=2848768, episodic return=537.8428344726562\n", + "global step=2848768, episodic return=559.730224609375\n", + "global step=2848768, episodic return=560.0598754882812\n", + "global step=2848768, episodic return=520.9560546875\n", + "global step=2848768, episodic return=555.8460083007812\n", + "global step=2848768, episodic return=556.7803955078125\n", + "global step=2848768, episodic return=551.3326416015625\n", + "global step=2848768, episodic return=515.9515380859375\n", + "global step=2848768, episodic return=538.9085693359375\n", + "global step=2848768, episodic return=558.3926391601562\n", + "global step=2848768, episodic return=558.397216796875\n", + "global step=2848768, episodic return=553.3915405273438\n", + "global step=2848768, episodic return=553.423095703125\n", + "global step=2848768, episodic return=555.5990600585938\n", + "global step=2848768, episodic return=558.5344848632812\n", + "global step=2848768, episodic return=561.3355102539062\n", + "global step=2848768, episodic return=544.546142578125\n", + "global step=2850816, episodic return=553.758544921875\n", + "global step=2850816, episodic return=557.6382446289062\n", + "global step=2850816, episodic return=557.1890258789062\n", + "global step=2850816, episodic return=562.6333618164062\n", + "global step=2850816, episodic return=540.1641845703125\n", + "global step=2850816, episodic return=558.786865234375\n", + "global step=2850816, episodic return=555.5831298828125\n", + "global step=2850816, episodic return=556.7212524414062\n", + "global step=2850816, episodic return=564.8341674804688\n", + "global step=2850816, episodic return=539.7478637695312\n", + "global step=2850816, episodic return=540.1296997070312\n", + "global step=2850816, episodic return=561.1700439453125\n", + "global step=2850816, episodic return=560.900634765625\n", + "global step=2850816, episodic return=563.8680419921875\n", + "global step=2850816, episodic return=538.0806884765625\n", + "global step=2850816, episodic return=521.3102416992188\n", + "global step=2850816, episodic return=563.3567504882812\n", + "global step=2850816, episodic return=560.4144287109375\n", + "global step=2850816, episodic return=539.1995849609375\n", + "global step=2852864, episodic return=562.4584350585938\n", + "global step=2852864, episodic return=544.3851928710938\n", + "global step=2852864, episodic return=560.9871826171875\n", + "global step=2852864, episodic return=563.5317993164062\n", + "global step=2852864, episodic return=539.3200073242188\n", + "global step=2852864, episodic return=563.9136962890625\n", + "global step=2852864, episodic return=544.4981079101562\n", + "global step=2852864, episodic return=544.86279296875\n", + "global step=2852864, episodic return=560.3619384765625\n", + "global step=2852864, episodic return=562.8709716796875\n", + "global step=2852864, episodic return=561.185791015625\n", + "global step=2852864, episodic return=545.99462890625\n", + "global step=2852864, episodic return=537.4757080078125\n", + "global step=2852864, episodic return=561.2158203125\n", + "global step=2852864, episodic return=562.6814575195312\n", + "global step=2852864, episodic return=559.3720092773438\n", + "global step=2852864, episodic return=561.9886474609375\n", + "global step=2852864, episodic return=562.945068359375\n", + "global step=2854912, episodic return=544.72900390625\n", + "global step=2854912, episodic return=546.7916870117188\n", + "global step=2854912, episodic return=532.9242553710938\n", + "global step=2854912, episodic return=559.6792602539062\n", + "global step=2854912, episodic return=525.7996826171875\n", + "global step=2854912, episodic return=538.618896484375\n", + "global step=2854912, episodic return=538.218017578125\n", + "global step=2854912, episodic return=544.8492431640625\n", + "global step=2854912, episodic return=542.47412109375\n", + "global step=2854912, episodic return=560.0277709960938\n", + "global step=2854912, episodic return=528.3773193359375\n", + "global step=2854912, episodic return=561.9607543945312\n", + "global step=2854912, episodic return=562.4024658203125\n", + "global step=2854912, episodic return=526.2337646484375\n", + "global step=2854912, episodic return=541.0631713867188\n", + "global step=2854912, episodic return=562.3209228515625\n", + "global step=2854912, episodic return=560.6034545898438\n", + "global step=2854912, episodic return=561.3739624023438\n", + "global step=2854912, episodic return=544.8002319335938\n", + "global step=2854912, episodic return=537.4849243164062\n", + "global step=2854912, episodic return=563.6649169921875\n", + "global step=2854912, episodic return=549.9056396484375\n", + "global step=2854912, episodic return=555.4091186523438\n", + "global step=2854912, episodic return=535.1771240234375\n", + "global step=2854912, episodic return=567.2022705078125\n", + "global step=2856960, episodic return=568.6326293945312\n", + "global step=2856960, episodic return=546.5643920898438\n", + "global step=2856960, episodic return=532.2507934570312\n", + "global step=2856960, episodic return=534.9854736328125\n", + "global step=2856960, episodic return=565.2411499023438\n", + "global step=2856960, episodic return=544.9058227539062\n", + "global step=2856960, episodic return=536.9608764648438\n", + "global step=2856960, episodic return=538.0709838867188\n", + "global step=2856960, episodic return=524.7030029296875\n", + "global step=2856960, episodic return=538.6092529296875\n", + "global step=2856960, episodic return=535.9606323242188\n", + "global step=2856960, episodic return=562.898681640625\n", + "global step=2856960, episodic return=560.0167236328125\n", + "global step=2856960, episodic return=535.7294921875\n", + "global step=2856960, episodic return=564.0533447265625\n", + "global step=2856960, episodic return=535.7218627929688\n", + "global step=2856960, episodic return=541.064453125\n", + "global step=2856960, episodic return=533.36767578125\n", + "global step=2856960, episodic return=566.2487182617188\n", + "global step=2856960, episodic return=567.4617919921875\n", + "global step=2856960, episodic return=561.3197021484375\n", + "global step=2856960, episodic return=533.384033203125\n", + "global step=2856960, episodic return=536.6698608398438\n", + "global step=2856960, episodic return=542.4790649414062\n", + "global step=2856960, episodic return=555.5155639648438\n", + "global step=2859008, episodic return=560.6015014648438\n", + "global step=2859008, episodic return=563.40283203125\n", + "global step=2859008, episodic return=567.1395874023438\n", + "global step=2859008, episodic return=569.4539184570312\n", + "global step=2859008, episodic return=544.0779418945312\n", + "global step=2859008, episodic return=524.242431640625\n", + "global step=2859008, episodic return=544.8157348632812\n", + "global step=2859008, episodic return=531.9921264648438\n", + "global step=2859008, episodic return=562.5127563476562\n", + "global step=2859008, episodic return=562.1905517578125\n", + "global step=2859008, episodic return=543.8256225585938\n", + "global step=2859008, episodic return=565.4390869140625\n", + "global step=2859008, episodic return=552.4470825195312\n", + "global step=2859008, episodic return=527.9752807617188\n", + "global step=2859008, episodic return=567.6903076171875\n", + "global step=2859008, episodic return=570.1784057617188\n", + "global step=2859008, episodic return=531.8969116210938\n", + "global step=2859008, episodic return=566.4496459960938\n", + "global step=2859008, episodic return=560.3544921875\n", + "global step=2859008, episodic return=563.9334106445312\n", + "global step=2859008, episodic return=546.7877197265625\n", + "global step=2859008, episodic return=528.2243041992188\n", + "global step=2859008, episodic return=544.5814819335938\n", + "global step=2859008, episodic return=564.9632568359375\n", + "global step=2859008, episodic return=565.6456298828125\n", + "global step=2861056, episodic return=549.8624267578125\n", + "global step=2861056, episodic return=523.7160034179688\n", + "global step=2861056, episodic return=543.1934204101562\n", + "global step=2861056, episodic return=531.2225341796875\n", + "global step=2861056, episodic return=549.350830078125\n", + "global step=2861056, episodic return=566.6958618164062\n", + "global step=2861056, episodic return=543.5846557617188\n", + "global step=2861056, episodic return=546.7513427734375\n", + "global step=2861056, episodic return=565.2980346679688\n", + "global step=2861056, episodic return=541.4974975585938\n", + "global step=2861056, episodic return=567.9000854492188\n", + "global step=2861056, episodic return=559.675537109375\n", + "global step=2861056, episodic return=536.7389526367188\n", + "global step=2861056, episodic return=532.865478515625\n", + "global step=2861056, episodic return=569.0769653320312\n", + "global step=2861056, episodic return=538.440185546875\n", + "global step=2861056, episodic return=548.811767578125\n", + "global step=2861056, episodic return=541.6893310546875\n", + "global step=2861056, episodic return=561.8604736328125\n", + "global step=2861056, episodic return=541.2710571289062\n", + "global step=2861056, episodic return=528.353759765625\n", + "global step=2863104, episodic return=567.825439453125\n", + "global step=2863104, episodic return=567.3432006835938\n", + "global step=2863104, episodic return=543.8762817382812\n", + "global step=2863104, episodic return=533.8350830078125\n", + "global step=2863104, episodic return=541.32373046875\n", + "global step=2863104, episodic return=561.4256591796875\n", + "global step=2863104, episodic return=543.0368041992188\n", + "global step=2863104, episodic return=528.0137939453125\n", + "global step=2863104, episodic return=553.6303100585938\n", + "global step=2863104, episodic return=532.89599609375\n", + "global step=2863104, episodic return=527.7041015625\n", + "global step=2863104, episodic return=570.6537475585938\n", + "global step=2863104, episodic return=568.3502197265625\n", + "global step=2863104, episodic return=565.6103515625\n", + "global step=2863104, episodic return=559.630615234375\n", + "global step=2863104, episodic return=538.6722412109375\n", + "global step=2863104, episodic return=563.5374145507812\n", + "global step=2863104, episodic return=570.1238403320312\n", + "global step=2863104, episodic return=536.9972534179688\n", + "global step=2863104, episodic return=565.566650390625\n", + "global step=2863104, episodic return=529.3167114257812\n", + "global step=2863104, episodic return=519.9846801757812\n", + "global step=2863104, episodic return=567.60009765625\n", + "global step=2863104, episodic return=561.0000610351562\n", + "global step=2865152, episodic return=569.0377807617188\n", + "global step=2865152, episodic return=544.4713745117188\n", + "global step=2865152, episodic return=569.7997436523438\n", + "global step=2865152, episodic return=568.25\n", + "global step=2865152, episodic return=567.8876953125\n", + "global step=2865152, episodic return=540.5670776367188\n", + "global step=2865152, episodic return=550.1954345703125\n", + "global step=2865152, episodic return=570.83203125\n", + "global step=2865152, episodic return=555.8462524414062\n", + "global step=2865152, episodic return=538.15771484375\n", + "global step=2865152, episodic return=538.9224853515625\n", + "global step=2865152, episodic return=529.2312622070312\n", + "global step=2865152, episodic return=530.78173828125\n", + "global step=2865152, episodic return=541.5230712890625\n", + "global step=2865152, episodic return=568.25927734375\n", + "global step=2865152, episodic return=565.4574584960938\n", + "global step=2865152, episodic return=539.275390625\n", + "global step=2865152, episodic return=530.9302978515625\n", + "global step=2865152, episodic return=546.9696655273438\n", + "global step=2867200, episodic return=538.9185180664062\n", + "global step=2867200, episodic return=565.8167114257812\n", + "global step=2867200, episodic return=542.272216796875\n", + "global step=2867200, episodic return=546.18212890625\n", + "global step=2867200, episodic return=523.8961181640625\n", + "global step=2867200, episodic return=539.3767700195312\n", + "global step=2867200, episodic return=538.4762573242188\n", + "global step=2867200, episodic return=574.5182495117188\n", + "global step=2867200, episodic return=569.8788452148438\n", + "global step=2867200, episodic return=545.7559204101562\n", + "global step=2867200, episodic return=542.3294067382812\n", + "global step=2867200, episodic return=526.8796997070312\n", + "global step=2867200, episodic return=565.6715698242188\n", + "global step=2867200, episodic return=534.8622436523438\n", + "global step=2867200, episodic return=564.961181640625\n", + "global step=2867200, episodic return=530.247314453125\n", + "global step=2867200, episodic return=537.9049072265625\n", + "global step=2869248, episodic return=569.5747680664062\n", + "global step=2869248, episodic return=549.8593139648438\n", + "global step=2869248, episodic return=534.5012817382812\n", + "global step=2869248, episodic return=543.0054931640625\n", + "global step=2869248, episodic return=552.3463745117188\n", + "global step=2869248, episodic return=581.0509643554688\n", + "global step=2869248, episodic return=529.6195678710938\n", + "global step=2869248, episodic return=543.6969604492188\n", + "global step=2869248, episodic return=549.4157104492188\n", + "global step=2869248, episodic return=571.8168334960938\n", + "global step=2871296, episodic return=528.7697143554688\n", + "global step=2871296, episodic return=526.4693603515625\n", + "global step=2871296, episodic return=551.4417724609375\n", + "global step=2871296, episodic return=547.8541259765625\n", + "global step=2871296, episodic return=532.6712646484375\n", + "global step=2871296, episodic return=557.3272705078125\n", + "global step=2871296, episodic return=537.2100219726562\n", + "global step=2871296, episodic return=568.6192626953125\n", + "global step=2871296, episodic return=567.0125122070312\n", + "global step=2871296, episodic return=535.4458618164062\n", + "global step=2871296, episodic return=539.2632446289062\n", + "global step=2871296, episodic return=543.609619140625\n", + "global step=2871296, episodic return=571.4248046875\n", + "global step=2871296, episodic return=550.103759765625\n", + "global step=2871296, episodic return=548.1124267578125\n", + "global step=2871296, episodic return=530.316650390625\n", + "global step=2873344, episodic return=541.4760131835938\n", + "global step=2873344, episodic return=549.3735961914062\n", + "global step=2873344, episodic return=533.616943359375\n", + "global step=2873344, episodic return=546.269287109375\n", + "global step=2873344, episodic return=546.3111572265625\n", + "global step=2873344, episodic return=544.7532958984375\n", + "global step=2873344, episodic return=549.4766845703125\n", + "global step=2873344, episodic return=546.2155151367188\n", + "global step=2873344, episodic return=536.3899536132812\n", + "global step=2873344, episodic return=530.6746826171875\n", + "global step=2873344, episodic return=554.8851318359375\n", + "global step=2873344, episodic return=573.3104858398438\n", + "global step=2873344, episodic return=532.6834106445312\n", + "global step=2873344, episodic return=572.6826171875\n", + "global step=2873344, episodic return=533.1058349609375\n", + "global step=2875392, episodic return=556.1380615234375\n", + "global step=2875392, episodic return=542.2405395507812\n", + "global step=2875392, episodic return=531.7651977539062\n", + "global step=2875392, episodic return=541.62158203125\n", + "global step=2875392, episodic return=535.7202758789062\n", + "global step=2875392, episodic return=573.8148803710938\n", + "global step=2875392, episodic return=555.8072509765625\n", + "global step=2875392, episodic return=537.5371704101562\n", + "global step=2875392, episodic return=533.3057250976562\n", + "global step=2875392, episodic return=541.9161376953125\n", + "global step=2875392, episodic return=550.7171020507812\n", + "global step=2875392, episodic return=571.394287109375\n", + "global step=2875392, episodic return=549.2586669921875\n", + "global step=2875392, episodic return=545.4495239257812\n", + "global step=2875392, episodic return=574.435546875\n", + "global step=2875392, episodic return=545.8458251953125\n", + "global step=2875392, episodic return=555.4755249023438\n", + "global step=2875392, episodic return=542.1121215820312\n", + "global step=2875392, episodic return=522.7398071289062\n", + "global step=2875392, episodic return=575.9908447265625\n", + "global step=2875392, episodic return=538.1246337890625\n", + "global step=2875392, episodic return=546.7542114257812\n", + "global step=2877440, episodic return=541.2446899414062\n", + "global step=2877440, episodic return=526.251953125\n", + "global step=2877440, episodic return=546.4656982421875\n", + "global step=2877440, episodic return=536.7794189453125\n", + "global step=2877440, episodic return=541.8492431640625\n", + "global step=2877440, episodic return=576.3589477539062\n", + "global step=2877440, episodic return=549.7112426757812\n", + "global step=2877440, episodic return=571.0068969726562\n", + "global step=2877440, episodic return=530.2721557617188\n", + "global step=2877440, episodic return=548.6863403320312\n", + "global step=2877440, episodic return=577.0239868164062\n", + "global step=2877440, episodic return=538.380126953125\n", + "global step=2877440, episodic return=571.9636840820312\n", + "global step=2877440, episodic return=544.4724731445312\n", + "global step=2877440, episodic return=551.8770141601562\n", + "global step=2877440, episodic return=543.5476684570312\n", + "global step=2879488, episodic return=527.2354736328125\n", + "global step=2879488, episodic return=536.3618774414062\n", + "global step=2879488, episodic return=539.2098999023438\n", + "global step=2879488, episodic return=554.3955078125\n", + "global step=2879488, episodic return=557.2758178710938\n", + "global step=2879488, episodic return=556.1878662109375\n", + "global step=2879488, episodic return=559.1971435546875\n", + "global step=2879488, episodic return=553.4213256835938\n", + "global step=2879488, episodic return=554.04150390625\n", + "global step=2879488, episodic return=571.7904052734375\n", + "global step=2879488, episodic return=544.6292114257812\n", + "global step=2879488, episodic return=549.4171752929688\n", + "global step=2879488, episodic return=539.7150268554688\n", + "global step=2879488, episodic return=531.6221923828125\n", + "global step=2879488, episodic return=528.9478149414062\n", + "global step=2879488, episodic return=531.9261474609375\n", + "global step=2879488, episodic return=542.5841674804688\n", + "global step=2879488, episodic return=561.8555908203125\n", + "global step=2881536, episodic return=544.594482421875\n", + "global step=2881536, episodic return=534.9658203125\n", + "global step=2881536, episodic return=547.0684814453125\n", + "global step=2881536, episodic return=526.4798583984375\n", + "global step=2881536, episodic return=558.1764526367188\n", + "global step=2881536, episodic return=572.1218872070312\n", + "global step=2881536, episodic return=572.7461547851562\n", + "global step=2881536, episodic return=541.3267211914062\n", + "global step=2881536, episodic return=534.4324340820312\n", + "global step=2883584, episodic return=582.7220458984375\n", + "global step=2883584, episodic return=551.3302612304688\n", + "global step=2883584, episodic return=545.9603881835938\n", + "global step=2883584, episodic return=560.5089721679688\n", + "global step=2883584, episodic return=553.0942993164062\n", + "global step=2883584, episodic return=534.4986572265625\n", + "global step=2883584, episodic return=552.0743408203125\n", + "global step=2883584, episodic return=545.0547485351562\n", + "global step=2883584, episodic return=558.89501953125\n", + "global step=2883584, episodic return=548.1373901367188\n", + "global step=2883584, episodic return=547.2337036132812\n", + "global step=2883584, episodic return=558.626953125\n", + "global step=2883584, episodic return=543.1380004882812\n", + "global step=2883584, episodic return=579.3515625\n", + "global step=2883584, episodic return=562.800537109375\n", + "global step=2883584, episodic return=540.117431640625\n", + "global step=2883584, episodic return=539.6179809570312\n", + "global step=2883584, episodic return=541.5598754882812\n", + "global step=2883584, episodic return=546.841552734375\n", + "global step=2885632, episodic return=542.0156860351562\n", + "global step=2885632, episodic return=542.1018676757812\n", + "global step=2885632, episodic return=543.7041015625\n", + "global step=2885632, episodic return=577.4141845703125\n", + "global step=2885632, episodic return=543.1712036132812\n", + "global step=2885632, episodic return=552.8099975585938\n", + "global step=2885632, episodic return=545.1139526367188\n", + "global step=2885632, episodic return=539.5902099609375\n", + "global step=2885632, episodic return=577.6806640625\n", + "global step=2885632, episodic return=535.888671875\n", + "global step=2885632, episodic return=522.9556274414062\n", + "global step=2885632, episodic return=532.7293090820312\n", + "global step=2885632, episodic return=562.7836303710938\n", + "global step=2885632, episodic return=555.7483520507812\n", + "global step=2885632, episodic return=551.6089477539062\n", + "global step=2885632, episodic return=541.4590454101562\n", + "global step=2885632, episodic return=543.6883544921875\n", + "global step=2887680, episodic return=539.438720703125\n", + "global step=2887680, episodic return=551.0021362304688\n", + "global step=2887680, episodic return=561.057373046875\n", + "global step=2887680, episodic return=550.0321655273438\n", + "global step=2887680, episodic return=539.2017211914062\n", + "global step=2887680, episodic return=542.3958740234375\n", + "global step=2887680, episodic return=549.1405029296875\n", + "global step=2887680, episodic return=540.0309448242188\n", + "global step=2887680, episodic return=543.9260864257812\n", + "global step=2887680, episodic return=547.3246459960938\n", + "global step=2887680, episodic return=540.3998413085938\n", + "global step=2887680, episodic return=540.9089965820312\n", + "global step=2887680, episodic return=558.2288208007812\n", + "global step=2887680, episodic return=547.427734375\n", + "global step=2887680, episodic return=557.78564453125\n", + "global step=2887680, episodic return=548.42041015625\n", + "global step=2889728, episodic return=542.857666015625\n", + "global step=2889728, episodic return=548.889404296875\n", + "global step=2889728, episodic return=539.4266357421875\n", + "global step=2889728, episodic return=550.60693359375\n", + "global step=2889728, episodic return=522.2515869140625\n", + "global step=2889728, episodic return=546.79248046875\n", + "global step=2889728, episodic return=575.9756469726562\n", + "global step=2889728, episodic return=533.1716918945312\n", + "global step=2889728, episodic return=548.5982055664062\n", + "global step=2889728, episodic return=537.6895751953125\n", + "global step=2889728, episodic return=524.9002075195312\n", + "global step=2889728, episodic return=545.4022216796875\n", + "global step=2889728, episodic return=543.7013549804688\n", + "global step=2889728, episodic return=568.8037109375\n", + "global step=2891776, episodic return=549.0650634765625\n", + "global step=2891776, episodic return=552.2844848632812\n", + "global step=2891776, episodic return=549.7208862304688\n", + "global step=2891776, episodic return=543.5645141601562\n", + "global step=2891776, episodic return=579.2802124023438\n", + "global step=2891776, episodic return=554.57177734375\n", + "global step=2891776, episodic return=554.8541870117188\n", + "global step=2891776, episodic return=580.0482177734375\n", + "global step=2891776, episodic return=549.9515991210938\n", + "global step=2891776, episodic return=539.85986328125\n", + "global step=2893824, episodic return=528.5164184570312\n", + "global step=2893824, episodic return=542.046142578125\n", + "global step=2893824, episodic return=537.89208984375\n", + "global step=2893824, episodic return=555.7846069335938\n", + "global step=2893824, episodic return=562.281982421875\n", + "global step=2893824, episodic return=547.2695922851562\n", + "global step=2893824, episodic return=546.1907348632812\n", + "global step=2893824, episodic return=526.857177734375\n", + "global step=2893824, episodic return=548.661376953125\n", + "global step=2893824, episodic return=555.3826293945312\n", + "global step=2895872, episodic return=542.539794921875\n", + "global step=2895872, episodic return=553.0625610351562\n", + "global step=2895872, episodic return=555.6478881835938\n", + "global step=2895872, episodic return=565.5192260742188\n", + "global step=2895872, episodic return=550.5521850585938\n", + "global step=2895872, episodic return=552.2597045898438\n", + "global step=2895872, episodic return=564.86279296875\n", + "global step=2895872, episodic return=546.6188354492188\n", + "global step=2895872, episodic return=528.5083618164062\n", + "global step=2895872, episodic return=546.1370849609375\n", + "global step=2895872, episodic return=555.9126586914062\n", + "global step=2895872, episodic return=560.40478515625\n", + "global step=2895872, episodic return=552.3413696289062\n", + "global step=2895872, episodic return=554.2080688476562\n", + "global step=2895872, episodic return=546.9310302734375\n", + "global step=2895872, episodic return=547.6494140625\n", + "global step=2895872, episodic return=549.1231079101562\n", + "global step=2895872, episodic return=561.6961669921875\n", + "global step=2895872, episodic return=559.5105590820312\n", + "global step=2895872, episodic return=536.2810668945312\n", + "global step=2895872, episodic return=547.3002319335938\n", + "global step=2895872, episodic return=569.7879028320312\n", + "global step=2897920, episodic return=555.908935546875\n", + "global step=2897920, episodic return=544.6502075195312\n", + "global step=2897920, episodic return=551.3203125\n", + "global step=2897920, episodic return=568.8689575195312\n", + "global step=2897920, episodic return=556.650634765625\n", + "global step=2897920, episodic return=552.404052734375\n", + "global step=2897920, episodic return=561.8650512695312\n", + "global step=2897920, episodic return=535.7879028320312\n", + "global step=2897920, episodic return=553.2346801757812\n", + "global step=2897920, episodic return=554.0469360351562\n", + "global step=2897920, episodic return=550.3947143554688\n", + "global step=2897920, episodic return=556.6409912109375\n", + "global step=2899968, episodic return=551.4161987304688\n", + "global step=2899968, episodic return=564.8554077148438\n", + "global step=2899968, episodic return=532.6952514648438\n", + "global step=2899968, episodic return=550.7590942382812\n", + "global step=2899968, episodic return=552.9998168945312\n", + "global step=2899968, episodic return=540.1593627929688\n", + "global step=2899968, episodic return=557.4771118164062\n", + "global step=2899968, episodic return=545.4166870117188\n", + "global step=2899968, episodic return=540.2752685546875\n", + "global step=2899968, episodic return=553.3984375\n", + "global step=2899968, episodic return=540.9344482421875\n", + "global step=2899968, episodic return=526.5960083007812\n", + "global step=2899968, episodic return=560.99755859375\n", + "global step=2899968, episodic return=540.3397216796875\n", + "global step=2899968, episodic return=545.0731201171875\n", + "global step=2899968, episodic return=543.4592895507812\n", + "global step=2902016, episodic return=554.8334350585938\n", + "global step=2902016, episodic return=566.9285278320312\n", + "global step=2902016, episodic return=545.773681640625\n", + "global step=2902016, episodic return=543.2694091796875\n", + "global step=2902016, episodic return=532.7120361328125\n", + "global step=2902016, episodic return=553.3187866210938\n", + "global step=2902016, episodic return=535.5990600585938\n", + "global step=2902016, episodic return=543.6309814453125\n", + "global step=2902016, episodic return=553.9660034179688\n", + "global step=2902016, episodic return=561.3727416992188\n", + "global step=2904064, episodic return=566.9474487304688\n", + "global step=2904064, episodic return=558.368408203125\n", + "global step=2904064, episodic return=553.1460571289062\n", + "global step=2904064, episodic return=542.3848876953125\n", + "global step=2904064, episodic return=550.8169555664062\n", + "global step=2904064, episodic return=548.1881713867188\n", + "global step=2904064, episodic return=540.0665893554688\n", + "global step=2904064, episodic return=555.5084228515625\n", + "global step=2904064, episodic return=532.380859375\n", + "global step=2904064, episodic return=559.9823608398438\n", + "global step=2906112, episodic return=558.2943725585938\n", + "global step=2906112, episodic return=555.0609741210938\n", + "global step=2906112, episodic return=551.6981201171875\n", + "global step=2906112, episodic return=557.8187866210938\n", + "global step=2906112, episodic return=562.85546875\n", + "global step=2906112, episodic return=540.4189453125\n", + "global step=2906112, episodic return=559.9707641601562\n", + "global step=2906112, episodic return=546.0712890625\n", + "global step=2906112, episodic return=568.2914428710938\n", + "global step=2906112, episodic return=547.1478271484375\n", + "global step=2906112, episodic return=558.0934448242188\n", + "global step=2906112, episodic return=532.4959106445312\n", + "global step=2906112, episodic return=556.7439575195312\n", + "global step=2906112, episodic return=555.8893432617188\n", + "global step=2906112, episodic return=588.2362670898438\n", + "global step=2906112, episodic return=549.4586791992188\n", + "global step=2906112, episodic return=560.5352172851562\n", + "global step=2906112, episodic return=539.563720703125\n", + "global step=2906112, episodic return=525.6603393554688\n", + "global step=2906112, episodic return=552.3846435546875\n", + "global step=2906112, episodic return=558.4320068359375\n", + "global step=2908160, episodic return=538.52587890625\n", + "global step=2908160, episodic return=526.9161376953125\n", + "global step=2908160, episodic return=557.3358154296875\n", + "global step=2908160, episodic return=540.35888671875\n", + "global step=2908160, episodic return=555.6145629882812\n", + "global step=2908160, episodic return=550.1776733398438\n", + "global step=2908160, episodic return=557.8906860351562\n", + "global step=2908160, episodic return=569.5610961914062\n", + "global step=2908160, episodic return=553.8316650390625\n", + "global step=2910208, episodic return=534.7316284179688\n", + "global step=2910208, episodic return=557.7327270507812\n", + "global step=2910208, episodic return=564.9186401367188\n", + "global step=2910208, episodic return=561.3214111328125\n", + "global step=2910208, episodic return=525.4683227539062\n", + "global step=2910208, episodic return=547.5823974609375\n", + "global step=2910208, episodic return=552.2849731445312\n", + "global step=2910208, episodic return=543.677001953125\n", + "global step=2910208, episodic return=559.0640258789062\n", + "global step=2910208, episodic return=551.9340209960938\n", + "global step=2910208, episodic return=538.8551025390625\n", + "global step=2910208, episodic return=546.9089965820312\n", + "global step=2910208, episodic return=562.4835205078125\n", + "global step=2910208, episodic return=564.954345703125\n", + "global step=2910208, episodic return=559.3827514648438\n", + "global step=2912256, episodic return=538.871337890625\n", + "global step=2912256, episodic return=539.8698120117188\n", + "global step=2912256, episodic return=547.4261474609375\n", + "global step=2912256, episodic return=562.8681640625\n", + "global step=2912256, episodic return=547.5584106445312\n", + "global step=2912256, episodic return=546.9892578125\n", + "global step=2912256, episodic return=534.4552612304688\n", + "global step=2912256, episodic return=567.6255493164062\n", + "global step=2912256, episodic return=529.8668823242188\n", + "global step=2912256, episodic return=561.4031372070312\n", + "global step=2914304, episodic return=552.3905639648438\n", + "global step=2914304, episodic return=543.7390747070312\n", + "global step=2914304, episodic return=540.8642578125\n", + "global step=2914304, episodic return=551.1731567382812\n", + "global step=2914304, episodic return=554.3800048828125\n", + "global step=2914304, episodic return=557.4141235351562\n", + "global step=2914304, episodic return=568.86328125\n", + "global step=2914304, episodic return=560.348876953125\n", + "global step=2914304, episodic return=572.7769775390625\n", + "global step=2914304, episodic return=592.4921264648438\n", + "global step=2914304, episodic return=556.124755859375\n", + "global step=2916352, episodic return=555.1013793945312\n", + "global step=2916352, episodic return=544.1216430664062\n", + "global step=2916352, episodic return=556.7864990234375\n", + "global step=2916352, episodic return=535.540771484375\n", + "global step=2916352, episodic return=564.53466796875\n", + "global step=2916352, episodic return=548.5892333984375\n", + "global step=2916352, episodic return=544.7297973632812\n", + "global step=2916352, episodic return=544.3185424804688\n", + "global step=2916352, episodic return=554.1534423828125\n", + "global step=2916352, episodic return=549.3143310546875\n", + "global step=2916352, episodic return=554.948974609375\n", + "global step=2916352, episodic return=548.416259765625\n", + "global step=2918400, episodic return=552.6405639648438\n", + "global step=2918400, episodic return=554.1112060546875\n", + "global step=2918400, episodic return=556.3681640625\n", + "global step=2918400, episodic return=555.7221069335938\n", + "global step=2918400, episodic return=541.4212646484375\n", + "global step=2918400, episodic return=537.864013671875\n", + "global step=2918400, episodic return=531.0786743164062\n", + "global step=2918400, episodic return=554.9070434570312\n", + "global step=2918400, episodic return=547.70947265625\n", + "global step=2918400, episodic return=562.4049072265625\n", + "global step=2920448, episodic return=531.12109375\n", + "global step=2920448, episodic return=563.4932861328125\n", + "global step=2920448, episodic return=549.237548828125\n", + "global step=2920448, episodic return=544.1174926757812\n", + "global step=2920448, episodic return=546.4273071289062\n", + "global step=2920448, episodic return=595.2096557617188\n", + "global step=2920448, episodic return=572.2048950195312\n", + "global step=2920448, episodic return=550.6513061523438\n", + "global step=2920448, episodic return=543.4310302734375\n", + "global step=2920448, episodic return=535.1976928710938\n", + "global step=2922496, episodic return=538.1725463867188\n", + "global step=2922496, episodic return=568.40283203125\n", + "global step=2922496, episodic return=574.6376953125\n", + "global step=2922496, episodic return=555.5933227539062\n", + "global step=2922496, episodic return=568.9606323242188\n", + "global step=2922496, episodic return=546.6488647460938\n", + "global step=2922496, episodic return=541.456787109375\n", + "global step=2922496, episodic return=552.783203125\n", + "global step=2922496, episodic return=563.4542236328125\n", + "global step=2922496, episodic return=544.34619140625\n", + "global step=2924544, episodic return=558.695068359375\n", + "global step=2924544, episodic return=559.138916015625\n", + "global step=2924544, episodic return=532.4175415039062\n", + "global step=2924544, episodic return=551.3458862304688\n", + "global step=2924544, episodic return=532.1199951171875\n", + "global step=2924544, episodic return=572.4811401367188\n", + "global step=2924544, episodic return=568.7100830078125\n", + "global step=2924544, episodic return=551.3272705078125\n", + "global step=2924544, episodic return=567.2841796875\n", + "global step=2924544, episodic return=552.3585205078125\n", + "global step=2924544, episodic return=542.10693359375\n", + "global step=2924544, episodic return=579.742431640625\n", + "global step=2924544, episodic return=558.3228759765625\n", + "global step=2926592, episodic return=561.7144165039062\n", + "global step=2926592, episodic return=544.4622192382812\n", + "global step=2926592, episodic return=557.7175903320312\n", + "global step=2926592, episodic return=557.0621337890625\n", + "global step=2926592, episodic return=547.4113159179688\n", + "global step=2926592, episodic return=546.3519287109375\n", + "global step=2926592, episodic return=561.2612915039062\n", + "global step=2928640, episodic return=553.4317626953125\n", + "global step=2928640, episodic return=543.6510620117188\n", + "global step=2928640, episodic return=547.3790283203125\n", + "global step=2928640, episodic return=570.0585327148438\n", + "global step=2928640, episodic return=557.3956298828125\n", + "global step=2928640, episodic return=569.2657470703125\n", + "global step=2928640, episodic return=572.6093139648438\n", + "global step=2928640, episodic return=543.7613525390625\n", + "global step=2928640, episodic return=536.204833984375\n", + "global step=2928640, episodic return=565.3955688476562\n", + "global step=2928640, episodic return=555.7122802734375\n", + "global step=2928640, episodic return=536.530029296875\n", + "global step=2928640, episodic return=564.9550170898438\n", + "global step=2928640, episodic return=555.5391845703125\n", + "global step=2928640, episodic return=546.560791015625\n", + "global step=2930688, episodic return=563.1654663085938\n", + "global step=2930688, episodic return=558.9463500976562\n", + "global step=2930688, episodic return=531.2635498046875\n", + "global step=2930688, episodic return=542.4746704101562\n", + "global step=2930688, episodic return=555.0097045898438\n", + "global step=2930688, episodic return=529.4835205078125\n", + "global step=2932736, episodic return=560.15380859375\n", + "global step=2932736, episodic return=580.8922119140625\n", + "global step=2932736, episodic return=582.092529296875\n", + "global step=2932736, episodic return=552.7348022460938\n", + "global step=2932736, episodic return=547.9352416992188\n", + "global step=2932736, episodic return=564.6719360351562\n", + "global step=2932736, episodic return=591.7354736328125\n", + "global step=2934784, episodic return=546.95556640625\n", + "global step=2934784, episodic return=578.5982055664062\n", + "global step=2934784, episodic return=570.1510009765625\n", + "global step=2934784, episodic return=557.5479125976562\n", + "global step=2934784, episodic return=566.51708984375\n", + "global step=2934784, episodic return=545.1962890625\n", + "global step=2936832, episodic return=568.234375\n", + "global step=2936832, episodic return=551.0052490234375\n", + "global step=2936832, episodic return=540.4600219726562\n", + "global step=2936832, episodic return=554.7896728515625\n", + "global step=2936832, episodic return=558.7328491210938\n", + "global step=2936832, episodic return=568.8583374023438\n", + "global step=2936832, episodic return=576.0565185546875\n", + "global step=2936832, episodic return=558.0642700195312\n", + "global step=2936832, episodic return=548.3734130859375\n", + "global step=2936832, episodic return=550.0740966796875\n", + "global step=2938880, episodic return=569.21337890625\n", + "global step=2938880, episodic return=574.4114379882812\n", + "global step=2938880, episodic return=546.1195678710938\n", + "global step=2938880, episodic return=538.4195556640625\n", + "global step=2938880, episodic return=552.8460693359375\n", + "global step=2938880, episodic return=563.047119140625\n", + "global step=2940928, episodic return=579.2066040039062\n", + "global step=2940928, episodic return=567.384521484375\n", + "global step=2940928, episodic return=564.5833129882812\n", + "global step=2940928, episodic return=542.1737670898438\n", + "global step=2940928, episodic return=586.7323608398438\n", + "global step=2940928, episodic return=573.1524047851562\n", + "global step=2940928, episodic return=529.3059692382812\n", + "global step=2940928, episodic return=555.363037109375\n", + "global step=2940928, episodic return=540.0228881835938\n", + "global step=2940928, episodic return=554.0750732421875\n", + "global step=2942976, episodic return=585.4536743164062\n", + "global step=2942976, episodic return=552.86962890625\n", + "global step=2942976, episodic return=576.4300537109375\n", + "global step=2942976, episodic return=552.6537475585938\n", + "global step=2942976, episodic return=574.8389892578125\n", + "global step=2942976, episodic return=537.6548461914062\n", + "global step=2945024, episodic return=547.5162353515625\n", + "global step=2945024, episodic return=559.366943359375\n", + "global step=2945024, episodic return=562.035888671875\n", + "global step=2945024, episodic return=571.5661010742188\n", + "global step=2945024, episodic return=550.1388549804688\n", + "global step=2945024, episodic return=572.2335815429688\n", + "global step=2945024, episodic return=556.0064697265625\n", + "global step=2947072, episodic return=555.7967529296875\n", + "global step=2947072, episodic return=548.16357421875\n", + "global step=2947072, episodic return=570.9630737304688\n", + "global step=2947072, episodic return=535.8494873046875\n", + "global step=2947072, episodic return=546.6192016601562\n", + "global step=2947072, episodic return=556.7044677734375\n", + "global step=2949120, episodic return=565.7560424804688\n", + "global step=2949120, episodic return=576.7686767578125\n", + "global step=2949120, episodic return=543.8262329101562\n", + "global step=2949120, episodic return=572.2635498046875\n", + "global step=2949120, episodic return=568.9075317382812\n", + "global step=2949120, episodic return=575.2926025390625\n", + "global step=2949120, episodic return=565.0287475585938\n", + "global step=2949120, episodic return=553.6928100585938\n", + "global step=2949120, episodic return=589.904052734375\n", + "global step=2949120, episodic return=555.4522094726562\n", + "global step=2951168, episodic return=561.4847412109375\n", + "global step=2951168, episodic return=564.0175170898438\n", + "global step=2951168, episodic return=562.3236083984375\n", + "global step=2951168, episodic return=565.3373413085938\n", + "global step=2951168, episodic return=572.6615600585938\n", + "global step=2951168, episodic return=584.5717163085938\n", + "global step=2953216, episodic return=555.4721069335938\n", + "global step=2953216, episodic return=550.9866333007812\n", + "global step=2953216, episodic return=554.8323364257812\n", + "global step=2953216, episodic return=549.72021484375\n", + "global step=2953216, episodic return=544.7891845703125\n", + "global step=2953216, episodic return=563.8009033203125\n", + "global step=2953216, episodic return=550.989013671875\n", + "global step=2955264, episodic return=563.1947631835938\n", + "global step=2955264, episodic return=556.6701049804688\n", + "global step=2955264, episodic return=544.4694213867188\n", + "global step=2957312, episodic return=556.0618286132812\n", + "global step=2957312, episodic return=551.6029663085938\n", + "global step=2957312, episodic return=555.3047485351562\n", + "global step=2957312, episodic return=559.0553588867188\n", + "global step=2957312, episodic return=562.7857666015625\n", + "global step=2957312, episodic return=576.14306640625\n", + "global step=2959360, episodic return=558.154541015625\n", + "global step=2959360, episodic return=555.1558837890625\n", + "global step=2959360, episodic return=539.1578369140625\n", + "global step=2959360, episodic return=586.07421875\n", + "global step=2959360, episodic return=546.7477416992188\n", + "global step=2961408, episodic return=557.648193359375\n", + "global step=2961408, episodic return=522.2061767578125\n", + "global step=2961408, episodic return=545.5466918945312\n", + "global step=2963456, episodic return=579.8403930664062\n", + "global step=2963456, episodic return=558.995361328125\n", + "global step=2963456, episodic return=558.8596801757812\n", + "global step=2965504, episodic return=576.4500122070312\n", + "global step=2965504, episodic return=585.2570190429688\n", + "global step=2965504, episodic return=547.1248168945312\n", + "global step=2965504, episodic return=586.0939331054688\n", + "global step=2967552, episodic return=562.3006591796875\n", + "global step=2967552, episodic return=561.9705810546875\n", + "global step=2967552, episodic return=552.5704956054688\n", + "global step=2967552, episodic return=562.6495361328125\n", + "global step=2967552, episodic return=588.5939331054688\n", + "global step=2967552, episodic return=564.5812377929688\n", + "global step=2967552, episodic return=568.9539184570312\n", + "global step=2967552, episodic return=561.1708984375\n", + "global step=2969600, episodic return=568.822021484375\n", + "global step=2969600, episodic return=550.3987426757812\n", + "global step=2969600, episodic return=552.0132446289062\n", + "global step=2969600, episodic return=539.5869750976562\n", + "global step=2971648, episodic return=570.5254516601562\n", + "global step=2971648, episodic return=541.5157470703125\n", + "global step=2971648, episodic return=567.4567260742188\n", + "global step=2971648, episodic return=547.83642578125\n", + "global step=2971648, episodic return=551.3699951171875\n", + "global step=2971648, episodic return=574.8546752929688\n", + "global step=2971648, episodic return=570.5831909179688\n", + "global step=2971648, episodic return=564.6548461914062\n", + "global step=2971648, episodic return=551.01318359375\n", + "global step=2971648, episodic return=553.692138671875\n", + "global step=2971648, episodic return=561.651611328125\n", + "global step=2971648, episodic return=563.3651123046875\n", + "global step=2971648, episodic return=557.5994873046875\n", + "global step=2973696, episodic return=557.9153442382812\n", + "global step=2973696, episodic return=591.6920166015625\n", + "global step=2973696, episodic return=558.9569702148438\n", + "global step=2973696, episodic return=573.8143920898438\n", + "global step=2973696, episodic return=570.8382568359375\n", + "global step=2973696, episodic return=593.686767578125\n", + "global step=2973696, episodic return=574.430908203125\n", + "global step=2973696, episodic return=549.2626342773438\n", + "global step=2973696, episodic return=570.839599609375\n", + "global step=2975744, episodic return=567.0396118164062\n", + "global step=2975744, episodic return=582.0130615234375\n", + "global step=2975744, episodic return=572.6219482421875\n", + "global step=2975744, episodic return=568.8341064453125\n", + "global step=2975744, episodic return=575.6809692382812\n", + "global step=2975744, episodic return=548.5424194335938\n", + "global step=2975744, episodic return=575.04296875\n", + "global step=2975744, episodic return=569.708251953125\n", + "global step=2975744, episodic return=566.2833251953125\n", + "global step=2975744, episodic return=555.7769165039062\n", + "global step=2975744, episodic return=561.9974975585938\n", + "global step=2977792, episodic return=573.2274169921875\n", + "global step=2977792, episodic return=576.3310546875\n", + "global step=2977792, episodic return=561.7884521484375\n", + "global step=2977792, episodic return=550.550537109375\n", + "global step=2979840, episodic return=598.808837890625\n", + "global step=2979840, episodic return=577.4640502929688\n", + "global step=2979840, episodic return=557.5357055664062\n", + "global step=2981888, episodic return=567.4383544921875\n", + "global step=2981888, episodic return=567.037353515625\n", + "global step=2981888, episodic return=576.5220947265625\n", + "global step=2981888, episodic return=562.1798095703125\n", + "global step=2981888, episodic return=565.1305541992188\n", + "global step=2981888, episodic return=578.238525390625\n", + "global step=2983936, episodic return=568.1405639648438\n", + "global step=2983936, episodic return=578.0712890625\n", + "global step=2983936, episodic return=568.40673828125\n", + "global step=2983936, episodic return=560.0654907226562\n", + "global step=2983936, episodic return=568.0994262695312\n", + "global step=2983936, episodic return=557.791015625\n", + "global step=2985984, episodic return=555.9129028320312\n", + "global step=2985984, episodic return=564.8798828125\n", + "global step=2985984, episodic return=575.0223999023438\n", + "global step=2985984, episodic return=556.5077514648438\n", + "global step=2985984, episodic return=563.048828125\n", + "global step=2985984, episodic return=569.9024047851562\n", + "global step=2985984, episodic return=565.4788208007812\n", + "global step=2988032, episodic return=558.524658203125\n", + "global step=2988032, episodic return=577.4761352539062\n", + "global step=2988032, episodic return=571.7077026367188\n", + "global step=2988032, episodic return=572.16650390625\n", + "global step=2990080, episodic return=582.135009765625\n", + "global step=2990080, episodic return=576.2990112304688\n", + "global step=2992128, episodic return=562.791748046875\n", + "global step=2992128, episodic return=560.78466796875\n", + "global step=2994176, episodic return=569.2775268554688\n", + "global step=2994176, episodic return=561.3638916015625\n", + "global step=2994176, episodic return=552.3651733398438\n", + "global step=2996224, episodic return=547.268310546875\n", + "global step=2996224, episodic return=560.4842529296875\n", + "global step=2996224, episodic return=556.5474243164062\n", + "global step=2998272, episodic return=574.7839965820312\n", + "global step=2998272, episodic return=574.7215576171875\n", + "global step=2998272, episodic return=548.3300170898438\n", + "global step=2998272, episodic return=577.451904296875\n", + "global step=2998272, episodic return=569.0637817382812\n", + "global step=2998272, episodic return=537.0667114257812\n", + "global step=3000320, episodic return=593.1551513671875\n", + "global step=3002368, episodic return=578.8085327148438\n", + "global step=3002368, episodic return=561.640625\n", + "global step=3002368, episodic return=570.6832275390625\n", + "global step=3002368, episodic return=562.5513916015625\n", + "global step=3002368, episodic return=569.9268798828125\n", + "global step=3004416, episodic return=568.1664428710938\n", + "global step=3004416, episodic return=560.0077514648438\n", + "global step=3004416, episodic return=584.5646362304688\n", + "global step=3004416, episodic return=576.4508056640625\n", + "global step=3006464, episodic return=583.695556640625\n", + "global step=3008512, episodic return=549.2738647460938\n", + "global step=3008512, episodic return=545.7067260742188\n", + "global step=3008512, episodic return=556.7719116210938\n", + "global step=3010560, episodic return=575.5006713867188\n", + "global step=3010560, episodic return=584.90771484375\n", + "global step=3010560, episodic return=576.486328125\n", + "global step=3012608, episodic return=576.44873046875\n", + "global step=3012608, episodic return=584.6804809570312\n", + "global step=3012608, episodic return=581.2269287109375\n", + "global step=3012608, episodic return=570.9664306640625\n", + "global step=3012608, episodic return=559.4674682617188\n", + "global step=3012608, episodic return=564.759033203125\n", + "global step=3014656, episodic return=574.5466918945312\n", + "global step=3014656, episodic return=582.0338134765625\n", + "global step=3014656, episodic return=549.1614379882812\n", + "global step=3020800, episodic return=541.7274780273438\n", + "global step=3022848, episodic return=567.1947021484375\n", + "global step=3022848, episodic return=558.2127075195312\n", + "global step=3022848, episodic return=574.3189697265625\n", + "global step=3022848, episodic return=554.861083984375\n", + "global step=3024896, episodic return=533.4120483398438\n", + "global step=3024896, episodic return=593.8456420898438\n", + "global step=3024896, episodic return=555.6297607421875\n", + "global step=3024896, episodic return=557.65625\n", + "global step=3026944, episodic return=579.9437866210938\n", + "global step=3026944, episodic return=575.2933349609375\n", + "global step=3028992, episodic return=581.1764526367188\n", + "global step=3028992, episodic return=531.8233642578125\n", + "global step=3028992, episodic return=587.4691162109375\n", + "global step=3028992, episodic return=595.9054565429688\n", + "global step=3031040, episodic return=573.2633056640625\n", + "global step=3031040, episodic return=566.2178344726562\n", + "global step=3031040, episodic return=604.5878295898438\n", + "global step=3031040, episodic return=590.5582885742188\n", + "global step=3031040, episodic return=555.932373046875\n", + "global step=3035136, episodic return=569.4053344726562\n", + "global step=3035136, episodic return=561.1026611328125\n", + "global step=3037184, episodic return=575.285400390625\n", + "global step=3037184, episodic return=588.9154663085938\n", + "global step=3039232, episodic return=550.9696044921875\n", + "global step=3039232, episodic return=548.3997192382812\n", + "global step=3039232, episodic return=580.6112060546875\n", + "global step=3039232, episodic return=577.4727172851562\n", + "global step=3043328, episodic return=581.896484375\n", + "global step=3043328, episodic return=580.450927734375\n", + "global step=3043328, episodic return=552.981201171875\n", + "global step=3043328, episodic return=594.2987060546875\n", + "global step=3043328, episodic return=572.1275024414062\n", + "global step=3045376, episodic return=570.0313720703125\n", + "global step=3047424, episodic return=569.009033203125\n", + "global step=3047424, episodic return=578.8405151367188\n", + "global step=3049472, episodic return=551.989501953125\n", + "global step=3049472, episodic return=565.9323120117188\n", + "global step=3049472, episodic return=586.745849609375\n", + "global step=3049472, episodic return=580.39501953125\n", + "global step=3049472, episodic return=544.7489013671875\n", + "global step=3051520, episodic return=568.7503051757812\n", + "global step=3051520, episodic return=578.1825561523438\n", + "global step=3051520, episodic return=570.6316528320312\n", + "global step=3053568, episodic return=563.1376953125\n", + "global step=3055616, episodic return=575.6148071289062\n", + "global step=3055616, episodic return=578.169921875\n", + "global step=3057664, episodic return=569.244384765625\n", + "global step=3059712, episodic return=555.9323120117188\n", + "global step=3059712, episodic return=572.4254150390625\n", + "global step=3059712, episodic return=563.4837036132812\n", + "global step=3059712, episodic return=586.9247436523438\n", + "global step=3059712, episodic return=586.462890625\n", + "global step=3061760, episodic return=582.1563110351562\n", + "global step=3061760, episodic return=576.6591796875\n", + "global step=3063808, episodic return=589.5625\n", + "global step=3065856, episodic return=541.695556640625\n", + "global step=3065856, episodic return=588.165283203125\n", + "global step=3065856, episodic return=557.881103515625\n", + "global step=3067904, episodic return=552.6925048828125\n", + "global step=3067904, episodic return=560.7890625\n", + "global step=3072000, episodic return=554.3876342773438\n", + "global step=3072000, episodic return=590.413818359375\n", + "global step=3076096, episodic return=574.6798095703125\n", + "global step=3078144, episodic return=563.0321655273438\n", + "global step=3078144, episodic return=572.4203491210938\n", + "global step=3080192, episodic return=578.7615356445312\n", + "global step=3080192, episodic return=571.286376953125\n", + "global step=3082240, episodic return=554.5645751953125\n", + "global step=3082240, episodic return=607.5466918945312\n", + "global step=3086336, episodic return=589.5497436523438\n", + "global step=3086336, episodic return=591.2133178710938\n", + "global step=3086336, episodic return=571.2494506835938\n", + "global step=3088384, episodic return=564.5577392578125\n", + "global step=3088384, episodic return=586.8931884765625\n", + "global step=3088384, episodic return=599.138427734375\n", + "global step=3088384, episodic return=567.4242553710938\n", + "global step=3092480, episodic return=600.4415893554688\n", + "global step=3094528, episodic return=556.7021484375\n", + "global step=3094528, episodic return=587.9863891601562\n", + "global step=3096576, episodic return=531.4951782226562\n", + "global step=3096576, episodic return=559.30224609375\n", + "global step=3098624, episodic return=595.26416015625\n", + "global step=3098624, episodic return=580.5484008789062\n", + "global step=3102720, episodic return=606.00146484375\n", + "global step=3102720, episodic return=587.6875\n", + "global step=3104768, episodic return=601.5115356445312\n", + "global step=3106816, episodic return=608.5048217773438\n", + "global step=3106816, episodic return=592.5457153320312\n", + "global step=3108864, episodic return=577.2354736328125\n", + "global step=3110912, episodic return=542.5446166992188\n", + "global step=3110912, episodic return=593.7380981445312\n", + "global step=3112960, episodic return=601.2042236328125\n", + "global step=3115008, episodic return=585.3655395507812\n", + "global step=3115008, episodic return=598.2069091796875\n", + "global step=3117056, episodic return=606.5565185546875\n", + "global step=3117056, episodic return=609.9295654296875\n", + "global step=3119104, episodic return=556.7214965820312\n", + "global step=3121152, episodic return=555.7695922851562\n", + "global step=3123200, episodic return=555.6317138671875\n", + "global step=3123200, episodic return=567.788818359375\n", + "global step=3123200, episodic return=612.0130615234375\n", + "global step=3125248, episodic return=575.868896484375\n", + "global step=3125248, episodic return=598.62109375\n", + "global step=3127296, episodic return=569.2904052734375\n", + "global step=3129344, episodic return=588.3990478515625\n", + "global step=3131392, episodic return=595.7821044921875\n", + "global step=3131392, episodic return=584.9866943359375\n", + "global step=3133440, episodic return=572.7634887695312\n", + "global step=3135488, episodic return=561.8634643554688\n", + "global step=3135488, episodic return=579.76953125\n", + "global step=3139584, episodic return=550.3922729492188\n", + "global step=3139584, episodic return=586.5231323242188\n", + "global step=3141632, episodic return=542.6444091796875\n", + "global step=3141632, episodic return=583.0036010742188\n", + "global step=3141632, episodic return=547.3021240234375\n", + "global step=3143680, episodic return=601.2715454101562\n", + "global step=3145728, episodic return=594.1068725585938\n", + "global step=3145728, episodic return=581.4102172851562\n", + "global step=3147776, episodic return=555.6076049804688\n", + "global step=3149824, episodic return=558.8184814453125\n", + "global step=3151872, episodic return=554.9598999023438\n", + "global step=3151872, episodic return=572.0100708007812\n", + "global step=3153920, episodic return=570.4324340820312\n", + "global step=3155968, episodic return=530.17724609375\n", + "global step=3158016, episodic return=555.150634765625\n", + "global step=3162112, episodic return=540.064208984375\n", + "global step=3166208, episodic return=582.932861328125\n", + "global step=3166208, episodic return=564.2650756835938\n", + "global step=3174400, episodic return=545.712158203125\n", + "global step=3176448, episodic return=553.8605346679688\n", + "global step=3178496, episodic return=566.4946899414062\n", + "global step=3180544, episodic return=579.8162841796875\n", + "global step=3180544, episodic return=628.0467529296875\n", + "global step=3180544, episodic return=548.628662109375\n", + "global step=3182592, episodic return=555.5821533203125\n", + "global step=3184640, episodic return=571.4526977539062\n", + "global step=3184640, episodic return=633.5105590820312\n", + "global step=3190784, episodic return=595.4824829101562\n", + "global step=3190784, episodic return=555.8514404296875\n", + "global step=3192832, episodic return=565.2232055664062\n", + "global step=3198976, episodic return=554.4954833984375\n", + "global step=3209216, episodic return=592.3844604492188\n", + "global step=3215360, episodic return=561.4750366210938\n", + "global step=3215360, episodic return=617.0674438476562\n", + "global step=3217408, episodic return=559.6532592773438\n", + "global step=3223552, episodic return=584.99462890625\n", + "global step=3225600, episodic return=571.9085083007812\n", + "global step=3227648, episodic return=560.8040161132812\n", + "global step=3227648, episodic return=602.5776977539062\n", + "global step=3244032, episodic return=582.5779418945312\n", + "global step=3244032, episodic return=551.540771484375\n", + "global step=3248128, episodic return=550.3322143554688\n", + "global step=3250176, episodic return=560.9801635742188\n", + "global step=3252224, episodic return=600.585693359375\n", + "global step=3258368, episodic return=583.4810180664062\n", + "global step=3270656, episodic return=578.9157104492188\n", + "global step=3272704, episodic return=545.789306640625\n", + "global step=3280896, episodic return=576.4879150390625\n", + "global step=3284992, episodic return=572.2360229492188\n", + "global step=3287040, episodic return=577.0972900390625\n", + "global step=3291136, episodic return=578.2813110351562\n", + "global step=3293184, episodic return=565.1865844726562\n", + "global step=3297280, episodic return=593.7926635742188\n", + "global step=3301376, episodic return=545.4951782226562\n", + "global step=3311616, episodic return=557.3839721679688\n", + "global step=3313664, episodic return=580.4420166015625\n", + "global step=3313664, episodic return=570.279052734375\n", + "global step=3317760, episodic return=574.1694946289062\n", + "global step=3321856, episodic return=566.944091796875\n", + "global step=3328000, episodic return=576.8790893554688\n", + "global step=3330048, episodic return=560.1763916015625\n", + "global step=3332096, episodic return=585.4851684570312\n", + "global step=3338240, episodic return=572.7393188476562\n", + "global step=3338240, episodic return=564.4526977539062\n", + "global step=3352576, episodic return=571.8261108398438\n", + "global step=3356672, episodic return=574.708984375\n", + "global step=3358720, episodic return=578.9620971679688\n", + "global step=3358720, episodic return=580.2315063476562\n", + "global step=3366912, episodic return=581.6614379882812\n", + "global step=3371008, episodic return=605.514404296875\n", + "global step=3371008, episodic return=586.4364013671875\n", + "global step=3371008, episodic return=554.555908203125\n", + "global step=3377152, episodic return=575.4207763671875\n", + "global step=3379200, episodic return=548.6596069335938\n", + "global step=3381248, episodic return=560.0515747070312\n", + "global step=3385344, episodic return=591.6146850585938\n", + "global step=3389440, episodic return=577.6804809570312\n", + "global step=3393536, episodic return=570.9513549804688\n", + "global step=3395584, episodic return=588.3077392578125\n", + "global step=3399680, episodic return=563.9044799804688\n", + "global step=3407872, episodic return=559.38623046875\n", + "global step=3407872, episodic return=553.72802734375\n", + "global step=3411968, episodic return=575.3026123046875\n", + "global step=3411968, episodic return=575.227783203125\n", + "global step=3416064, episodic return=572.910400390625\n", + "global step=3418112, episodic return=579.8324584960938\n", + "global step=3418112, episodic return=592.8909912109375\n", + "global step=3420160, episodic return=577.447998046875\n", + "global step=3420160, episodic return=550.4032592773438\n", + "global step=3420160, episodic return=554.1646728515625\n", + "global step=3422208, episodic return=569.7411499023438\n", + "global step=3422208, episodic return=570.1338500976562\n", + "global step=3424256, episodic return=554.0192260742188\n", + "global step=3424256, episodic return=569.08251953125\n", + "global step=3430400, episodic return=563.1768188476562\n", + "global step=3430400, episodic return=576.5409545898438\n", + "global step=3430400, episodic return=595.447265625\n", + "global step=3430400, episodic return=588.52978515625\n", + "global step=3434496, episodic return=573.088623046875\n", + "global step=3442688, episodic return=558.0767211914062\n", + "global step=3442688, episodic return=564.9362182617188\n", + "global step=3442688, episodic return=555.7308349609375\n", + "global step=3448832, episodic return=584.656005859375\n", + "global step=3454976, episodic return=556.09716796875\n", + "global step=3454976, episodic return=583.7344360351562\n", + "global step=3457024, episodic return=570.9522094726562\n", + "global step=3461120, episodic return=564.1226196289062\n", + "global step=3465216, episodic return=575.656005859375\n", + "global step=3467264, episodic return=561.4935302734375\n", + "global step=3467264, episodic return=620.3837890625\n", + "global step=3469312, episodic return=559.5933227539062\n", + "global step=3473408, episodic return=579.0040893554688\n", + "global step=3473408, episodic return=568.0303955078125\n", + "global step=3475456, episodic return=582.2506103515625\n", + "global step=3475456, episodic return=586.5772705078125\n", + "global step=3477504, episodic return=606.0460815429688\n", + "global step=3477504, episodic return=601.8800659179688\n", + "global step=3477504, episodic return=602.7960815429688\n", + "global step=3477504, episodic return=585.498779296875\n", + "global step=3479552, episodic return=572.5488891601562\n", + "global step=3479552, episodic return=602.1607666015625\n", + "global step=3481600, episodic return=596.0669555664062\n", + "global step=3481600, episodic return=572.8204345703125\n", + "global step=3489792, episodic return=597.1498413085938\n", + "global step=3491840, episodic return=578.259033203125\n", + "global step=3493888, episodic return=595.8341674804688\n", + "global step=3493888, episodic return=582.4248657226562\n", + "global step=3495936, episodic return=587.3040771484375\n", + "global step=3495936, episodic return=586.6407470703125\n", + "global step=3497984, episodic return=580.6826782226562\n", + "global step=3500032, episodic return=557.5884399414062\n", + "global step=3500032, episodic return=600.65771484375\n", + "global step=3504128, episodic return=568.4993896484375\n", + "global step=3504128, episodic return=581.3335571289062\n", + "global step=3506176, episodic return=605.7864990234375\n", + "global step=3508224, episodic return=590.857177734375\n", + "global step=3514368, episodic return=562.5833129882812\n", + "global step=3518464, episodic return=595.952392578125\n", + "global step=3520512, episodic return=580.293701171875\n", + "global step=3520512, episodic return=575.1697387695312\n", + "global step=3522560, episodic return=558.7533569335938\n", + "global step=3522560, episodic return=569.1393432617188\n", + "global step=3526656, episodic return=574.4462280273438\n", + "global step=3528704, episodic return=595.2869262695312\n", + "global step=3530752, episodic return=573.0972900390625\n", + "global step=3532800, episodic return=587.3305053710938\n", + "global step=3534848, episodic return=590.32275390625\n", + "global step=3534848, episodic return=576.1119995117188\n", + "global step=3536896, episodic return=606.5266723632812\n", + "global step=3536896, episodic return=566.5841674804688\n", + "global step=3536896, episodic return=588.1539306640625\n", + "global step=3538944, episodic return=573.2577514648438\n", + "global step=3543040, episodic return=583.2327880859375\n", + "global step=3545088, episodic return=580.1929931640625\n", + "global step=3545088, episodic return=559.5679931640625\n", + "global step=3545088, episodic return=609.98095703125\n", + "global step=3547136, episodic return=596.86865234375\n", + "global step=3547136, episodic return=570.0132446289062\n", + "global step=3547136, episodic return=599.46044921875\n", + "global step=3547136, episodic return=597.4850463867188\n", + "global step=3549184, episodic return=599.6490478515625\n", + "global step=3551232, episodic return=569.7396240234375\n", + "global step=3553280, episodic return=566.6192016601562\n", + "global step=3553280, episodic return=613.66796875\n", + "global step=3553280, episodic return=585.3512573242188\n", + "global step=3553280, episodic return=590.725830078125\n", + "global step=3555328, episodic return=611.7570190429688\n", + "global step=3555328, episodic return=595.877197265625\n", + "global step=3557376, episodic return=587.3712768554688\n", + "global step=3557376, episodic return=549.5833740234375\n", + "global step=3557376, episodic return=589.3546142578125\n", + "global step=3557376, episodic return=566.505859375\n", + "global step=3559424, episodic return=593.8010864257812\n", + "global step=3559424, episodic return=599.4688110351562\n", + "global step=3559424, episodic return=571.3482666015625\n", + "global step=3561472, episodic return=587.6219482421875\n", + "global step=3563520, episodic return=557.7274780273438\n", + "global step=3563520, episodic return=603.806396484375\n", + "global step=3567616, episodic return=573.0386962890625\n", + "global step=3569664, episodic return=571.7374267578125\n", + "global step=3571712, episodic return=553.4061889648438\n", + "global step=3571712, episodic return=572.0709228515625\n", + "global step=3571712, episodic return=604.3935546875\n", + "global step=3571712, episodic return=593.9298095703125\n", + "global step=3573760, episodic return=554.6776123046875\n", + "global step=3573760, episodic return=584.2425537109375\n", + "global step=3575808, episodic return=565.2669677734375\n", + "global step=3575808, episodic return=565.4902954101562\n", + "global step=3575808, episodic return=572.4951171875\n", + "global step=3577856, episodic return=583.5986938476562\n", + "global step=3577856, episodic return=562.3327026367188\n", + "global step=3579904, episodic return=568.937744140625\n", + "global step=3579904, episodic return=585.5184326171875\n", + "global step=3579904, episodic return=593.4409790039062\n", + "global step=3579904, episodic return=588.7280883789062\n", + "global step=3579904, episodic return=575.1228637695312\n", + "global step=3579904, episodic return=570.8001098632812\n", + "global step=3581952, episodic return=565.8543701171875\n", + "global step=3581952, episodic return=575.2142333984375\n", + "global step=3581952, episodic return=584.534423828125\n", + "global step=3581952, episodic return=575.9373779296875\n", + "global step=3581952, episodic return=578.5440673828125\n", + "global step=3584000, episodic return=561.6249389648438\n", + "global step=3584000, episodic return=584.3880615234375\n", + "global step=3584000, episodic return=576.3703002929688\n", + "global step=3584000, episodic return=561.7978515625\n", + "global step=3584000, episodic return=593.4663696289062\n", + "global step=3584000, episodic return=572.0414428710938\n", + "global step=3586048, episodic return=569.1697387695312\n", + "global step=3586048, episodic return=610.2816772460938\n", + "global step=3586048, episodic return=600.1917114257812\n", + "global step=3586048, episodic return=573.2124633789062\n", + "global step=3586048, episodic return=578.3501586914062\n", + "global step=3586048, episodic return=611.4915771484375\n", + "global step=3588096, episodic return=581.1263427734375\n", + "global step=3588096, episodic return=597.7836303710938\n", + "global step=3588096, episodic return=583.6797485351562\n", + "global step=3588096, episodic return=578.7053833007812\n", + "global step=3588096, episodic return=579.5342407226562\n", + "global step=3588096, episodic return=600.01416015625\n", + "global step=3588096, episodic return=562.0477294921875\n", + "global step=3590144, episodic return=596.5059814453125\n", + "global step=3590144, episodic return=586.3137817382812\n", + "global step=3592192, episodic return=576.1358032226562\n", + "global step=3592192, episodic return=568.6423950195312\n", + "global step=3592192, episodic return=574.7305908203125\n", + "global step=3592192, episodic return=574.9271240234375\n", + "global step=3592192, episodic return=562.5989379882812\n", + "global step=3594240, episodic return=571.0443115234375\n", + "global step=3594240, episodic return=567.7893676757812\n", + "global step=3594240, episodic return=577.9793701171875\n", + "global step=3594240, episodic return=583.0862426757812\n", + "global step=3594240, episodic return=570.7970581054688\n", + "global step=3596288, episodic return=584.137939453125\n", + "global step=3596288, episodic return=573.587646484375\n", + "global step=3596288, episodic return=568.2899780273438\n", + "global step=3596288, episodic return=588.9458618164062\n", + "global step=3598336, episodic return=569.7720947265625\n", + "global step=3598336, episodic return=580.0577392578125\n", + "global step=3598336, episodic return=594.4196166992188\n", + "global step=3598336, episodic return=575.6773681640625\n", + "global step=3598336, episodic return=572.2178344726562\n", + "global step=3598336, episodic return=578.5703125\n", + "global step=3598336, episodic return=569.1992797851562\n", + "global step=3598336, episodic return=584.0925903320312\n", + "global step=3600384, episodic return=584.6322021484375\n", + "global step=3600384, episodic return=574.2255249023438\n", + "global step=3600384, episodic return=574.459716796875\n", + "global step=3600384, episodic return=568.3080444335938\n", + "global step=3600384, episodic return=572.4473876953125\n", + "global step=3600384, episodic return=575.2112426757812\n", + "global step=3600384, episodic return=590.0701293945312\n", + "global step=3602432, episodic return=588.6286010742188\n", + "global step=3602432, episodic return=580.7395629882812\n", + "global step=3602432, episodic return=608.4710083007812\n", + "global step=3602432, episodic return=576.0872192382812\n", + "global step=3602432, episodic return=571.192138671875\n", + "global step=3602432, episodic return=588.5909423828125\n", + "global step=3602432, episodic return=580.0894775390625\n", + "global step=3604480, episodic return=562.9822998046875\n", + "global step=3604480, episodic return=584.1537475585938\n", + "global step=3604480, episodic return=579.2223510742188\n", + "global step=3604480, episodic return=580.8442993164062\n", + "global step=3604480, episodic return=577.9098510742188\n", + "global step=3604480, episodic return=574.8930053710938\n", + "global step=3604480, episodic return=598.26953125\n", + "global step=3604480, episodic return=596.86083984375\n", + "global step=3606528, episodic return=576.6367797851562\n", + "global step=3606528, episodic return=582.048828125\n", + "global step=3606528, episodic return=575.3817749023438\n", + "global step=3606528, episodic return=574.88427734375\n", + "global step=3606528, episodic return=581.33154296875\n", + "global step=3606528, episodic return=581.7144165039062\n", + "global step=3606528, episodic return=575.1289672851562\n", + "global step=3606528, episodic return=577.15869140625\n", + "global step=3606528, episodic return=581.5316162109375\n", + "global step=3606528, episodic return=585.0923461914062\n", + "global step=3606528, episodic return=579.2491455078125\n", + "global step=3606528, episodic return=607.2351684570312\n", + "global step=3606528, episodic return=565.219482421875\n", + "global step=3608576, episodic return=596.4053955078125\n", + "global step=3610624, episodic return=583.9135131835938\n", + "global step=3610624, episodic return=577.6653442382812\n", + "global step=3610624, episodic return=583.03076171875\n", + "global step=3610624, episodic return=575.0092163085938\n", + "global step=3610624, episodic return=583.2271118164062\n", + "global step=3610624, episodic return=582.2572631835938\n", + "global step=3612672, episodic return=593.907958984375\n", + "global step=3612672, episodic return=590.804443359375\n", + "global step=3612672, episodic return=602.426025390625\n", + "global step=3612672, episodic return=601.2371826171875\n", + "global step=3612672, episodic return=575.5262451171875\n", + "global step=3612672, episodic return=604.2232666015625\n", + "global step=3614720, episodic return=578.734130859375\n", + "global step=3614720, episodic return=588.1568603515625\n", + "global step=3614720, episodic return=569.4893798828125\n", + "global step=3614720, episodic return=588.3901977539062\n", + "global step=3614720, episodic return=580.2546997070312\n", + "global step=3614720, episodic return=569.5548095703125\n", + "global step=3614720, episodic return=577.8574829101562\n", + "global step=3614720, episodic return=567.0343017578125\n", + "global step=3616768, episodic return=587.1045532226562\n", + "global step=3616768, episodic return=585.4880981445312\n", + "global step=3616768, episodic return=595.6578369140625\n", + "global step=3616768, episodic return=578.2459106445312\n", + "global step=3616768, episodic return=590.4921875\n", + "global step=3616768, episodic return=579.5919189453125\n", + "global step=3616768, episodic return=594.3753662109375\n", + "global step=3616768, episodic return=580.6038818359375\n", + "global step=3618816, episodic return=600.428955078125\n", + "global step=3618816, episodic return=580.16796875\n", + "global step=3618816, episodic return=593.8792724609375\n", + "global step=3618816, episodic return=633.439208984375\n", + "global step=3618816, episodic return=592.7437744140625\n", + "global step=3618816, episodic return=581.7682495117188\n", + "global step=3618816, episodic return=582.9012451171875\n", + "global step=3618816, episodic return=600.1845703125\n", + "global step=3618816, episodic return=581.6128540039062\n", + "global step=3618816, episodic return=585.3199462890625\n", + "global step=3618816, episodic return=574.708251953125\n", + "global step=3620864, episodic return=581.9528198242188\n", + "global step=3620864, episodic return=590.2670288085938\n", + "global step=3620864, episodic return=589.591552734375\n", + "global step=3620864, episodic return=577.6854248046875\n", + "global step=3620864, episodic return=590.843505859375\n", + "global step=3620864, episodic return=599.1650390625\n", + "global step=3620864, episodic return=579.5191650390625\n", + "global step=3620864, episodic return=588.3819580078125\n", + "global step=3620864, episodic return=584.2108154296875\n", + "global step=3620864, episodic return=576.5850830078125\n", + "global step=3620864, episodic return=594.9800415039062\n", + "global step=3620864, episodic return=590.6514892578125\n", + "global step=3620864, episodic return=591.5468139648438\n", + "global step=3620864, episodic return=590.0563354492188\n", + "global step=3620864, episodic return=593.5809326171875\n", + "global step=3620864, episodic return=575.5413208007812\n", + "global step=3620864, episodic return=602.2666015625\n", + "global step=3620864, episodic return=578.5508422851562\n", + "global step=3620864, episodic return=612.2345581054688\n", + "global step=3622912, episodic return=585.7595825195312\n", + "global step=3622912, episodic return=568.3557739257812\n", + "global step=3622912, episodic return=575.8799438476562\n", + "global step=3622912, episodic return=588.1447143554688\n", + "global step=3622912, episodic return=589.1832885742188\n", + "global step=3622912, episodic return=575.8062133789062\n", + "global step=3622912, episodic return=599.2420043945312\n", + "global step=3622912, episodic return=602.79541015625\n", + "global step=3622912, episodic return=584.3479614257812\n", + "global step=3622912, episodic return=587.7224731445312\n", + "global step=3622912, episodic return=588.8641967773438\n", + "global step=3624960, episodic return=583.1411743164062\n", + "global step=3624960, episodic return=576.7033081054688\n", + "global step=3624960, episodic return=587.9592895507812\n", + "global step=3624960, episodic return=568.5318603515625\n", + "global step=3624960, episodic return=588.3837890625\n", + "global step=3624960, episodic return=596.9871826171875\n", + "global step=3624960, episodic return=583.5616455078125\n", + "global step=3624960, episodic return=589.8003540039062\n", + "global step=3624960, episodic return=587.1207275390625\n", + "global step=3624960, episodic return=591.6407470703125\n", + "global step=3624960, episodic return=581.514892578125\n", + "global step=3624960, episodic return=580.6880493164062\n", + "global step=3624960, episodic return=577.2996826171875\n", + "global step=3627008, episodic return=579.7757568359375\n", + "global step=3627008, episodic return=578.8737182617188\n", + "global step=3627008, episodic return=582.9192504882812\n", + "global step=3627008, episodic return=597.1244506835938\n", + "global step=3627008, episodic return=601.5626220703125\n", + "global step=3627008, episodic return=588.111572265625\n", + "global step=3627008, episodic return=593.5848999023438\n", + "global step=3627008, episodic return=594.9386596679688\n", + "global step=3627008, episodic return=577.9185180664062\n", + "global step=3627008, episodic return=600.291015625\n", + "global step=3627008, episodic return=567.6080932617188\n", + "global step=3629056, episodic return=595.5654296875\n", + "global step=3629056, episodic return=583.9140014648438\n", + "global step=3629056, episodic return=599.3363647460938\n", + "global step=3629056, episodic return=581.4252319335938\n", + "global step=3629056, episodic return=578.0035400390625\n", + "global step=3629056, episodic return=604.9556274414062\n", + "global step=3629056, episodic return=589.2042236328125\n", + "global step=3629056, episodic return=594.90673828125\n", + "global step=3629056, episodic return=591.7920532226562\n", + "global step=3629056, episodic return=579.3013916015625\n", + "global step=3631104, episodic return=588.704345703125\n", + "global step=3631104, episodic return=583.5586547851562\n", + "global step=3631104, episodic return=576.4635620117188\n", + "global step=3631104, episodic return=591.4802856445312\n", + "global step=3631104, episodic return=587.5043334960938\n", + "global step=3631104, episodic return=597.33740234375\n", + "global step=3631104, episodic return=580.284423828125\n", + "global step=3631104, episodic return=590.9021606445312\n", + "global step=3631104, episodic return=593.989990234375\n", + "global step=3631104, episodic return=588.6492919921875\n", + "global step=3631104, episodic return=572.1094970703125\n", + "global step=3631104, episodic return=593.9595947265625\n", + "global step=3633152, episodic return=581.4020385742188\n", + "global step=3633152, episodic return=589.1820678710938\n", + "global step=3633152, episodic return=607.191162109375\n", + "global step=3633152, episodic return=560.7117309570312\n", + "global step=3633152, episodic return=595.9218139648438\n", + "global step=3633152, episodic return=592.2220458984375\n", + "global step=3633152, episodic return=589.94482421875\n", + "global step=3633152, episodic return=590.6728515625\n", + "global step=3633152, episodic return=581.5089111328125\n", + "global step=3633152, episodic return=569.2023315429688\n", + "global step=3633152, episodic return=589.2109375\n", + "global step=3633152, episodic return=589.58740234375\n", + "global step=3633152, episodic return=597.6044311523438\n", + "global step=3633152, episodic return=586.9817504882812\n", + "global step=3633152, episodic return=583.7111206054688\n", + "global step=3635200, episodic return=586.187744140625\n", + "global step=3635200, episodic return=567.859619140625\n", + "global step=3635200, episodic return=582.3941650390625\n", + "global step=3635200, episodic return=597.1659545898438\n", + "global step=3635200, episodic return=586.4747924804688\n", + "global step=3635200, episodic return=582.93505859375\n", + "global step=3635200, episodic return=579.8179321289062\n", + "global step=3635200, episodic return=588.0731201171875\n", + "global step=3635200, episodic return=613.017333984375\n", + "global step=3635200, episodic return=597.8461303710938\n", + "global step=3635200, episodic return=592.6170654296875\n", + "global step=3635200, episodic return=588.9862670898438\n", + "global step=3635200, episodic return=585.6246948242188\n", + "global step=3635200, episodic return=578.6333618164062\n", + "global step=3635200, episodic return=596.0350341796875\n", + "global step=3635200, episodic return=576.06640625\n", + "global step=3635200, episodic return=599.8248901367188\n", + "global step=3637248, episodic return=570.9075317382812\n", + "global step=3637248, episodic return=587.463623046875\n", + "global step=3637248, episodic return=581.2122802734375\n", + "global step=3637248, episodic return=582.0236206054688\n", + "global step=3637248, episodic return=580.0130615234375\n", + "global step=3637248, episodic return=595.7922973632812\n", + "global step=3637248, episodic return=580.9149780273438\n", + "global step=3637248, episodic return=604.3353271484375\n", + "global step=3637248, episodic return=591.3573608398438\n", + "global step=3637248, episodic return=593.581787109375\n", + "global step=3637248, episodic return=593.1455688476562\n", + "global step=3637248, episodic return=593.2676391601562\n", + "global step=3639296, episodic return=599.1151733398438\n", + "global step=3639296, episodic return=582.3367309570312\n", + "global step=3639296, episodic return=602.4421997070312\n", + "global step=3639296, episodic return=611.6007080078125\n", + "global step=3639296, episodic return=598.7930297851562\n", + "global step=3639296, episodic return=589.5458984375\n", + "global step=3639296, episodic return=595.6500854492188\n", + "global step=3639296, episodic return=605.68994140625\n", + "global step=3639296, episodic return=590.8673706054688\n", + "global step=3639296, episodic return=574.8819580078125\n", + "global step=3641344, episodic return=580.216796875\n", + "global step=3641344, episodic return=603.4459838867188\n", + "global step=3641344, episodic return=596.7415771484375\n", + "global step=3641344, episodic return=597.4683837890625\n", + "global step=3641344, episodic return=599.5806884765625\n", + "global step=3641344, episodic return=574.9501953125\n", + "global step=3641344, episodic return=596.690673828125\n", + "global step=3641344, episodic return=600.5798950195312\n", + "global step=3641344, episodic return=602.3929443359375\n", + "global step=3641344, episodic return=590.3657836914062\n", + "global step=3641344, episodic return=610.1912231445312\n", + "global step=3641344, episodic return=603.42333984375\n", + "global step=3641344, episodic return=578.1903076171875\n", + "global step=3641344, episodic return=613.2078247070312\n", + "global step=3641344, episodic return=582.7552490234375\n", + "global step=3641344, episodic return=592.195556640625\n", + "global step=3643392, episodic return=579.849365234375\n", + "global step=3643392, episodic return=594.5117797851562\n", + "global step=3643392, episodic return=589.9261474609375\n", + "global step=3643392, episodic return=591.5997314453125\n", + "global step=3643392, episodic return=597.77587890625\n", + "global step=3643392, episodic return=599.4224853515625\n", + "global step=3643392, episodic return=591.4328002929688\n", + "global step=3643392, episodic return=580.4402465820312\n", + "global step=3643392, episodic return=580.89208984375\n", + "global step=3643392, episodic return=603.2727661132812\n", + "global step=3643392, episodic return=602.3573608398438\n", + "global step=3643392, episodic return=597.8113403320312\n", + "global step=3643392, episodic return=572.3075561523438\n", + "global step=3643392, episodic return=589.0999755859375\n", + "global step=3643392, episodic return=581.7512817382812\n", + "global step=3643392, episodic return=593.851806640625\n", + "global step=3643392, episodic return=597.6665649414062\n", + "global step=3645440, episodic return=588.5560302734375\n", + "global step=3645440, episodic return=563.1704711914062\n", + "global step=3645440, episodic return=592.7059936523438\n", + "global step=3645440, episodic return=604.19775390625\n", + "global step=3645440, episodic return=594.3350219726562\n", + "global step=3645440, episodic return=602.2015991210938\n", + "global step=3645440, episodic return=586.9223022460938\n", + "global step=3645440, episodic return=599.8397216796875\n", + "global step=3645440, episodic return=609.1961059570312\n", + "global step=3645440, episodic return=580.0955200195312\n", + "global step=3645440, episodic return=594.1091918945312\n", + "global step=3645440, episodic return=590.076416015625\n", + "global step=3645440, episodic return=582.1929931640625\n", + "global step=3645440, episodic return=596.8174438476562\n", + "global step=3645440, episodic return=625.1676635742188\n", + "global step=3645440, episodic return=572.808837890625\n", + "global step=3645440, episodic return=595.284912109375\n", + "global step=3647488, episodic return=591.14013671875\n", + "global step=3647488, episodic return=597.1973266601562\n", + "global step=3647488, episodic return=614.58447265625\n", + "global step=3647488, episodic return=606.2405395507812\n", + "global step=3647488, episodic return=589.9945068359375\n", + "global step=3647488, episodic return=586.0438232421875\n", + "global step=3647488, episodic return=601.2139892578125\n", + "global step=3647488, episodic return=583.4118041992188\n", + "global step=3647488, episodic return=568.1715698242188\n", + "global step=3647488, episodic return=600.1473999023438\n", + "global step=3647488, episodic return=584.3416748046875\n", + "global step=3647488, episodic return=598.036376953125\n", + "global step=3647488, episodic return=591.4380493164062\n", + "global step=3647488, episodic return=588.677001953125\n", + "global step=3647488, episodic return=601.0527954101562\n", + "global step=3647488, episodic return=575.8001708984375\n", + "global step=3647488, episodic return=590.9342041015625\n", + "global step=3647488, episodic return=609.9740600585938\n", + "global step=3647488, episodic return=582.1654052734375\n", + "global step=3647488, episodic return=592.2777709960938\n", + "global step=3649536, episodic return=584.5311889648438\n", + "global step=3649536, episodic return=573.0397338867188\n", + "global step=3649536, episodic return=596.2692260742188\n", + "global step=3649536, episodic return=573.3447875976562\n", + "global step=3649536, episodic return=595.5491943359375\n", + "global step=3649536, episodic return=570.0082397460938\n", + "global step=3649536, episodic return=594.8265380859375\n", + "global step=3649536, episodic return=584.0439453125\n", + "global step=3649536, episodic return=585.7197265625\n", + "global step=3649536, episodic return=599.8178100585938\n", + "global step=3649536, episodic return=599.119140625\n", + "global step=3649536, episodic return=607.7251586914062\n", + "global step=3649536, episodic return=600.2786254882812\n", + "global step=3649536, episodic return=606.5244140625\n", + "global step=3649536, episodic return=602.5046997070312\n", + "global step=3649536, episodic return=582.1334228515625\n", + "global step=3649536, episodic return=591.6680297851562\n", + "global step=3651584, episodic return=612.4588012695312\n", + "global step=3651584, episodic return=601.1781616210938\n", + "global step=3651584, episodic return=589.5400390625\n", + "global step=3651584, episodic return=581.7301635742188\n", + "global step=3651584, episodic return=588.3963623046875\n", + "global step=3651584, episodic return=593.4318237304688\n", + "global step=3651584, episodic return=581.3942260742188\n", + "global step=3651584, episodic return=600.310302734375\n", + "global step=3651584, episodic return=592.670654296875\n", + "global step=3651584, episodic return=586.9282836914062\n", + "global step=3651584, episodic return=614.2158203125\n", + "global step=3651584, episodic return=596.1139526367188\n", + "global step=3651584, episodic return=594.3074340820312\n", + "global step=3651584, episodic return=600.9503784179688\n", + "global step=3651584, episodic return=592.7786865234375\n", + "global step=3653632, episodic return=597.5213623046875\n", + "global step=3653632, episodic return=595.6220092773438\n", + "global step=3653632, episodic return=588.9950561523438\n", + "global step=3653632, episodic return=612.612060546875\n", + "global step=3653632, episodic return=603.1019287109375\n", + "global step=3653632, episodic return=592.833740234375\n", + "global step=3653632, episodic return=592.0053100585938\n", + "global step=3653632, episodic return=583.5939331054688\n", + "global step=3653632, episodic return=592.7779541015625\n", + "global step=3653632, episodic return=612.2332153320312\n", + "global step=3653632, episodic return=593.1336059570312\n", + "global step=3653632, episodic return=580.3368530273438\n", + "global step=3653632, episodic return=586.8604125976562\n", + "global step=3653632, episodic return=584.5211791992188\n", + "global step=3653632, episodic return=591.8059692382812\n", + "global step=3653632, episodic return=601.96337890625\n", + "global step=3653632, episodic return=594.8760375976562\n", + "global step=3653632, episodic return=598.09033203125\n", + "global step=3653632, episodic return=593.1386108398438\n", + "global step=3653632, episodic return=610.155517578125\n", + "global step=3653632, episodic return=591.0576782226562\n", + "global step=3653632, episodic return=591.4807739257812\n", + "global step=3655680, episodic return=616.6422119140625\n", + "global step=3655680, episodic return=598.6859130859375\n", + "global step=3655680, episodic return=602.7045288085938\n", + "global step=3655680, episodic return=601.7127075195312\n", + "global step=3655680, episodic return=597.7298583984375\n", + "global step=3655680, episodic return=576.3934936523438\n", + "global step=3655680, episodic return=590.3312377929688\n", + "global step=3655680, episodic return=586.3832397460938\n", + "global step=3655680, episodic return=581.8506469726562\n", + "global step=3655680, episodic return=600.3038940429688\n", + "global step=3655680, episodic return=604.240966796875\n", + "global step=3655680, episodic return=591.4489135742188\n", + "global step=3655680, episodic return=612.5226440429688\n", + "global step=3657728, episodic return=597.4042358398438\n", + "global step=3657728, episodic return=584.9583740234375\n", + "global step=3657728, episodic return=596.5797119140625\n", + "global step=3657728, episodic return=594.04638671875\n", + "global step=3657728, episodic return=590.3510131835938\n", + "global step=3657728, episodic return=590.341796875\n", + "global step=3657728, episodic return=584.4247436523438\n", + "global step=3657728, episodic return=577.8833618164062\n", + "global step=3657728, episodic return=601.486083984375\n", + "global step=3657728, episodic return=591.7108764648438\n", + "global step=3657728, episodic return=595.5269165039062\n", + "global step=3657728, episodic return=601.2698364257812\n", + "global step=3657728, episodic return=598.529052734375\n", + "global step=3657728, episodic return=589.0791625976562\n", + "global step=3657728, episodic return=615.06201171875\n", + "global step=3659776, episodic return=592.4560546875\n", + "global step=3659776, episodic return=598.4340209960938\n", + "global step=3659776, episodic return=606.626953125\n", + "global step=3659776, episodic return=585.8480834960938\n", + "global step=3659776, episodic return=601.3826293945312\n", + "global step=3659776, episodic return=587.6627807617188\n", + "global step=3659776, episodic return=589.396484375\n", + "global step=3659776, episodic return=580.8355712890625\n", + "global step=3659776, episodic return=614.0735473632812\n", + "global step=3659776, episodic return=583.2039794921875\n", + "global step=3659776, episodic return=599.8870239257812\n", + "global step=3659776, episodic return=591.490478515625\n", + "global step=3659776, episodic return=614.5849609375\n", + "global step=3659776, episodic return=610.49462890625\n", + "global step=3659776, episodic return=611.2150268554688\n", + "global step=3659776, episodic return=606.11572265625\n", + "global step=3659776, episodic return=592.6515502929688\n", + "global step=3659776, episodic return=595.8402709960938\n", + "global step=3659776, episodic return=605.6058349609375\n", + "global step=3659776, episodic return=601.4273681640625\n", + "global step=3659776, episodic return=594.9689331054688\n", + "global step=3659776, episodic return=588.5901489257812\n", + "global step=3661824, episodic return=595.8291625976562\n", + "global step=3661824, episodic return=594.294677734375\n", + "global step=3661824, episodic return=595.69482421875\n", + "global step=3661824, episodic return=595.5938110351562\n", + "global step=3661824, episodic return=575.9281005859375\n", + "global step=3661824, episodic return=591.0169067382812\n", + "global step=3661824, episodic return=615.5164794921875\n", + "global step=3661824, episodic return=608.1687622070312\n", + "global step=3661824, episodic return=593.2747802734375\n", + "global step=3661824, episodic return=604.330810546875\n", + "global step=3661824, episodic return=598.2487182617188\n", + "global step=3661824, episodic return=597.3067626953125\n", + "global step=3661824, episodic return=598.4465942382812\n", + "global step=3661824, episodic return=599.41357421875\n", + "global step=3661824, episodic return=600.0375366210938\n", + "global step=3663872, episodic return=598.32080078125\n", + "global step=3663872, episodic return=577.797119140625\n", + "global step=3663872, episodic return=596.1255493164062\n", + "global step=3663872, episodic return=595.765380859375\n", + "global step=3663872, episodic return=613.4767456054688\n", + "global step=3663872, episodic return=591.0421752929688\n", + "global step=3663872, episodic return=603.4693603515625\n", + "global step=3663872, episodic return=586.7340087890625\n", + "global step=3663872, episodic return=598.5771484375\n", + "global step=3663872, episodic return=588.201171875\n", + "global step=3663872, episodic return=614.3460693359375\n", + "global step=3663872, episodic return=628.7988891601562\n", + "global step=3663872, episodic return=599.9097900390625\n", + "global step=3663872, episodic return=601.15283203125\n", + "global step=3663872, episodic return=604.669921875\n", + "global step=3663872, episodic return=614.0592651367188\n", + "global step=3663872, episodic return=605.4097900390625\n", + "global step=3663872, episodic return=607.2978515625\n", + "global step=3663872, episodic return=584.9839477539062\n", + "global step=3663872, episodic return=607.6069946289062\n", + "global step=3663872, episodic return=614.93896484375\n", + "global step=3663872, episodic return=604.8500366210938\n", + "global step=3665920, episodic return=622.8577270507812\n", + "global step=3665920, episodic return=609.3092041015625\n", + "global step=3665920, episodic return=600.1776733398438\n", + "global step=3665920, episodic return=625.6973266601562\n", + "global step=3665920, episodic return=603.4739379882812\n", + "global step=3665920, episodic return=567.25048828125\n", + "global step=3665920, episodic return=606.26220703125\n", + "global step=3665920, episodic return=600.6022338867188\n", + "global step=3665920, episodic return=595.9135131835938\n", + "global step=3665920, episodic return=603.1106567382812\n", + "global step=3665920, episodic return=579.5994873046875\n", + "global step=3665920, episodic return=596.55517578125\n", + "global step=3665920, episodic return=594.2599487304688\n", + "global step=3665920, episodic return=601.3015747070312\n", + "global step=3665920, episodic return=613.563232421875\n", + "global step=3667968, episodic return=564.9188232421875\n", + "global step=3667968, episodic return=594.5048217773438\n", + "global step=3667968, episodic return=588.5484619140625\n", + "global step=3667968, episodic return=586.2113037109375\n", + "global step=3667968, episodic return=591.3787231445312\n", + "global step=3667968, episodic return=604.0293579101562\n", + "global step=3667968, episodic return=599.158447265625\n", + "global step=3667968, episodic return=612.397216796875\n", + "global step=3667968, episodic return=602.4110107421875\n", + "global step=3667968, episodic return=582.1073608398438\n", + "global step=3667968, episodic return=612.5018310546875\n", + "global step=3667968, episodic return=603.0120239257812\n", + "global step=3667968, episodic return=600.3404541015625\n", + "global step=3667968, episodic return=589.575439453125\n", + "global step=3667968, episodic return=603.6218872070312\n", + "global step=3667968, episodic return=594.1184692382812\n", + "global step=3667968, episodic return=598.2569580078125\n", + "global step=3667968, episodic return=609.742919921875\n", + "global step=3667968, episodic return=572.9183959960938\n", + "global step=3667968, episodic return=600.6765747070312\n", + "global step=3667968, episodic return=637.8295288085938\n", + "global step=3667968, episodic return=598.649658203125\n", + "global step=3667968, episodic return=596.7035522460938\n", + "global step=3667968, episodic return=614.694580078125\n", + "global step=3667968, episodic return=604.93115234375\n", + "global step=3667968, episodic return=605.6793823242188\n", + "global step=3670016, episodic return=591.142578125\n", + "global step=3670016, episodic return=614.858154296875\n", + "global step=3670016, episodic return=595.2196655273438\n", + "global step=3670016, episodic return=604.4125366210938\n", + "global step=3670016, episodic return=581.7378540039062\n", + "global step=3670016, episodic return=598.5007934570312\n", + "global step=3670016, episodic return=593.8240966796875\n", + "global step=3670016, episodic return=602.918701171875\n", + "global step=3670016, episodic return=602.0292358398438\n", + "global step=3670016, episodic return=588.9990234375\n", + "global step=3670016, episodic return=597.582275390625\n", + "global step=3670016, episodic return=613.5437622070312\n", + "global step=3670016, episodic return=599.4013061523438\n", + "global step=3670016, episodic return=608.1017456054688\n", + "global step=3670016, episodic return=586.9794311523438\n", + "global step=3670016, episodic return=616.2903442382812\n", + "global step=3670016, episodic return=591.5885620117188\n", + "global step=3670016, episodic return=594.5555419921875\n", + "global step=3670016, episodic return=614.2269287109375\n", + "global step=3670016, episodic return=581.0437622070312\n", + "global step=3672064, episodic return=605.1165161132812\n", + "global step=3672064, episodic return=601.1984252929688\n", + "global step=3672064, episodic return=588.536376953125\n", + "global step=3672064, episodic return=613.5557861328125\n", + "global step=3672064, episodic return=586.5071411132812\n", + "global step=3672064, episodic return=623.523193359375\n", + "global step=3672064, episodic return=619.6671142578125\n", + "global step=3672064, episodic return=608.4564819335938\n", + "global step=3672064, episodic return=590.2437744140625\n", + "global step=3672064, episodic return=590.2041625976562\n", + "global step=3672064, episodic return=599.8939208984375\n", + "global step=3672064, episodic return=600.78857421875\n", + "global step=3672064, episodic return=593.98046875\n", + "global step=3672064, episodic return=615.1643676757812\n", + "global step=3672064, episodic return=613.760498046875\n", + "global step=3672064, episodic return=591.1985473632812\n", + "global step=3672064, episodic return=601.947021484375\n", + "global step=3672064, episodic return=585.1484985351562\n", + "global step=3672064, episodic return=572.008544921875\n", + "global step=3672064, episodic return=607.6594848632812\n", + "global step=3672064, episodic return=580.507568359375\n", + "global step=3672064, episodic return=618.8616943359375\n", + "global step=3672064, episodic return=609.211181640625\n", + "global step=3672064, episodic return=608.6231689453125\n", + "global step=3672064, episodic return=606.707275390625\n", + "global step=3672064, episodic return=603.1692504882812\n", + "global step=3672064, episodic return=591.0718383789062\n", + "global step=3672064, episodic return=592.8894653320312\n", + "global step=3674112, episodic return=575.8898315429688\n", + "global step=3674112, episodic return=583.97021484375\n", + "global step=3674112, episodic return=592.3368530273438\n", + "global step=3674112, episodic return=616.5816650390625\n", + "global step=3674112, episodic return=608.0100708007812\n", + "global step=3674112, episodic return=609.1549072265625\n", + "global step=3674112, episodic return=596.0382080078125\n", + "global step=3674112, episodic return=594.1859741210938\n", + "global step=3674112, episodic return=605.905517578125\n", + "global step=3674112, episodic return=624.8936767578125\n", + "global step=3674112, episodic return=593.119384765625\n", + "global step=3674112, episodic return=591.5335693359375\n", + "global step=3674112, episodic return=611.6997680664062\n", + "global step=3674112, episodic return=599.9004516601562\n", + "global step=3674112, episodic return=588.5975952148438\n", + "global step=3674112, episodic return=585.9138793945312\n", + "global step=3674112, episodic return=604.6435546875\n", + "global step=3674112, episodic return=619.139892578125\n", + "global step=3674112, episodic return=615.9896240234375\n", + "global step=3676160, episodic return=592.0121459960938\n", + "global step=3676160, episodic return=598.2638549804688\n", + "global step=3676160, episodic return=601.8770751953125\n", + "global step=3676160, episodic return=599.8335571289062\n", + "global step=3676160, episodic return=595.28466796875\n", + "global step=3676160, episodic return=591.4098510742188\n", + "global step=3676160, episodic return=607.4539184570312\n", + "global step=3676160, episodic return=600.5916137695312\n", + "global step=3676160, episodic return=593.5524291992188\n", + "global step=3676160, episodic return=590.61083984375\n", + "global step=3676160, episodic return=604.4849853515625\n", + "global step=3676160, episodic return=586.1329345703125\n", + "global step=3676160, episodic return=625.0833129882812\n", + "global step=3676160, episodic return=596.493408203125\n", + "global step=3676160, episodic return=615.4244995117188\n", + "global step=3676160, episodic return=611.3411865234375\n", + "global step=3676160, episodic return=610.3185424804688\n", + "global step=3676160, episodic return=602.90478515625\n", + "global step=3676160, episodic return=621.2894287109375\n", + "global step=3676160, episodic return=600.1443481445312\n", + "global step=3676160, episodic return=603.4476928710938\n", + "global step=3676160, episodic return=591.8616943359375\n", + "global step=3676160, episodic return=594.96826171875\n", + "global step=3676160, episodic return=607.4205322265625\n", + "global step=3676160, episodic return=600.4240112304688\n", + "global step=3676160, episodic return=606.0840454101562\n", + "global step=3678208, episodic return=595.0980834960938\n", + "global step=3678208, episodic return=628.8650512695312\n", + "global step=3678208, episodic return=592.607421875\n", + "global step=3678208, episodic return=598.3574829101562\n", + "global step=3678208, episodic return=596.9063110351562\n", + "global step=3678208, episodic return=594.731689453125\n", + "global step=3678208, episodic return=595.3123168945312\n", + "global step=3678208, episodic return=602.0227661132812\n", + "global step=3678208, episodic return=613.8480224609375\n", + "global step=3678208, episodic return=605.0947875976562\n", + "global step=3678208, episodic return=601.4480590820312\n", + "global step=3678208, episodic return=588.9683837890625\n", + "global step=3678208, episodic return=610.2726440429688\n", + "global step=3678208, episodic return=572.1121215820312\n", + "global step=3678208, episodic return=614.4478759765625\n", + "global step=3678208, episodic return=573.7556762695312\n", + "global step=3678208, episodic return=635.3095092773438\n", + "global step=3678208, episodic return=611.997802734375\n", + "global step=3678208, episodic return=594.3983764648438\n", + "global step=3680256, episodic return=595.1920776367188\n", + "global step=3680256, episodic return=590.2805786132812\n", + "global step=3680256, episodic return=606.7944946289062\n", + "global step=3680256, episodic return=606.0054931640625\n", + "global step=3680256, episodic return=607.1813354492188\n", + "global step=3680256, episodic return=598.4859008789062\n", + "global step=3680256, episodic return=589.2694702148438\n", + "global step=3680256, episodic return=598.3186645507812\n", + "global step=3680256, episodic return=615.5230102539062\n", + "global step=3680256, episodic return=606.7280883789062\n", + "global step=3680256, episodic return=618.718017578125\n", + "global step=3680256, episodic return=615.4669799804688\n", + "global step=3680256, episodic return=605.2986450195312\n", + "global step=3680256, episodic return=577.3895263671875\n", + "global step=3680256, episodic return=613.0249633789062\n", + "global step=3680256, episodic return=601.083984375\n", + "global step=3680256, episodic return=610.1450805664062\n", + "global step=3680256, episodic return=613.0740966796875\n", + "global step=3680256, episodic return=606.347412109375\n", + "global step=3680256, episodic return=612.6204833984375\n", + "global step=3680256, episodic return=594.4865112304688\n", + "global step=3680256, episodic return=611.3917236328125\n", + "global step=3680256, episodic return=589.9532470703125\n", + "global step=3682304, episodic return=603.3031005859375\n", + "global step=3682304, episodic return=590.7877807617188\n", + "global step=3682304, episodic return=604.4020385742188\n", + "global step=3682304, episodic return=573.4492797851562\n", + "global step=3682304, episodic return=598.0755004882812\n", + "global step=3682304, episodic return=606.265869140625\n", + "global step=3682304, episodic return=616.059814453125\n", + "global step=3682304, episodic return=584.6611938476562\n", + "global step=3682304, episodic return=591.6213989257812\n", + "global step=3682304, episodic return=582.2855224609375\n", + "global step=3682304, episodic return=587.9204711914062\n", + "global step=3682304, episodic return=588.4600830078125\n", + "global step=3682304, episodic return=577.3887939453125\n", + "global step=3682304, episodic return=617.7113037109375\n", + "global step=3682304, episodic return=608.2191162109375\n", + "global step=3682304, episodic return=590.663330078125\n", + "global step=3682304, episodic return=585.0803833007812\n", + "global step=3682304, episodic return=598.6521606445312\n", + "global step=3682304, episodic return=600.18603515625\n", + "global step=3682304, episodic return=604.7506713867188\n", + "global step=3684352, episodic return=597.3065185546875\n", + "global step=3684352, episodic return=604.878173828125\n", + "global step=3684352, episodic return=622.0127563476562\n", + "global step=3684352, episodic return=606.8235473632812\n", + "global step=3684352, episodic return=589.3688354492188\n", + "global step=3684352, episodic return=591.426513671875\n", + "global step=3684352, episodic return=609.633056640625\n", + "global step=3684352, episodic return=612.1560668945312\n", + "global step=3684352, episodic return=588.4800415039062\n", + "global step=3684352, episodic return=602.3809814453125\n", + "global step=3686400, episodic return=603.7973022460938\n", + "global step=3686400, episodic return=593.9397583007812\n", + "global step=3686400, episodic return=605.8353271484375\n", + "global step=3686400, episodic return=591.09033203125\n", + "global step=3686400, episodic return=588.7669677734375\n", + "global step=3686400, episodic return=628.56884765625\n", + "global step=3686400, episodic return=586.2146606445312\n", + "global step=3686400, episodic return=567.9376831054688\n", + "global step=3686400, episodic return=576.6206665039062\n", + "global step=3686400, episodic return=592.070068359375\n", + "global step=3686400, episodic return=629.3609008789062\n", + "global step=3686400, episodic return=592.9843139648438\n", + "global step=3688448, episodic return=622.1212768554688\n", + "global step=3688448, episodic return=601.3934326171875\n", + "global step=3688448, episodic return=610.7513427734375\n", + "global step=3688448, episodic return=615.7274169921875\n", + "global step=3688448, episodic return=601.2078857421875\n", + "global step=3688448, episodic return=592.4671020507812\n", + "global step=3688448, episodic return=614.5147094726562\n", + "global step=3688448, episodic return=610.030029296875\n", + "global step=3688448, episodic return=615.2734375\n", + "global step=3688448, episodic return=597.844970703125\n", + "global step=3688448, episodic return=623.784423828125\n", + "global step=3688448, episodic return=583.6397705078125\n", + "global step=3688448, episodic return=585.24755859375\n", + "global step=3688448, episodic return=602.3335571289062\n", + "global step=3688448, episodic return=610.83642578125\n", + "global step=3688448, episodic return=597.2559204101562\n", + "global step=3688448, episodic return=604.1700439453125\n", + "global step=3688448, episodic return=607.8511352539062\n", + "global step=3688448, episodic return=592.8838500976562\n", + "global step=3688448, episodic return=624.9415893554688\n", + "global step=3688448, episodic return=603.6560668945312\n", + "global step=3688448, episodic return=609.4698486328125\n", + "global step=3688448, episodic return=603.2349243164062\n", + "global step=3688448, episodic return=602.5108642578125\n", + "global step=3688448, episodic return=603.0997924804688\n", + "global step=3688448, episodic return=607.7185668945312\n", + "global step=3688448, episodic return=606.7728271484375\n", + "global step=3688448, episodic return=614.4359130859375\n", + "global step=3688448, episodic return=605.0478515625\n", + "global step=3688448, episodic return=592.3201293945312\n", + "global step=3688448, episodic return=607.2085571289062\n", + "global step=3688448, episodic return=599.3399047851562\n", + "global step=3690496, episodic return=595.4120483398438\n", + "global step=3690496, episodic return=609.4782104492188\n", + "global step=3690496, episodic return=579.2076416015625\n", + "global step=3690496, episodic return=607.5704345703125\n", + "global step=3690496, episodic return=580.7702026367188\n", + "global step=3690496, episodic return=635.2822265625\n", + "global step=3690496, episodic return=585.1566162109375\n", + "global step=3690496, episodic return=579.880615234375\n", + "global step=3690496, episodic return=612.0833740234375\n", + "global step=3690496, episodic return=589.7255859375\n", + "global step=3690496, episodic return=609.0388793945312\n", + "global step=3690496, episodic return=611.2784423828125\n", + "global step=3690496, episodic return=609.7137451171875\n", + "global step=3690496, episodic return=592.239013671875\n", + "global step=3690496, episodic return=578.8812255859375\n", + "global step=3690496, episodic return=605.9556884765625\n", + "global step=3690496, episodic return=616.807373046875\n", + "global step=3690496, episodic return=596.6334838867188\n", + "global step=3690496, episodic return=594.2012329101562\n", + "global step=3690496, episodic return=625.4093017578125\n", + "global step=3692544, episodic return=603.66064453125\n", + "global step=3692544, episodic return=586.3132934570312\n", + "global step=3692544, episodic return=612.6166381835938\n", + "global step=3692544, episodic return=603.7962646484375\n", + "global step=3692544, episodic return=612.5682373046875\n", + "global step=3692544, episodic return=614.4862670898438\n", + "global step=3692544, episodic return=601.2052001953125\n", + "global step=3692544, episodic return=604.0731201171875\n", + "global step=3692544, episodic return=615.9497680664062\n", + "global step=3692544, episodic return=581.0691528320312\n", + "global step=3692544, episodic return=601.4380493164062\n", + "global step=3692544, episodic return=612.044189453125\n", + "global step=3692544, episodic return=595.8963623046875\n", + "global step=3692544, episodic return=581.7973022460938\n", + "global step=3692544, episodic return=593.3316040039062\n", + "global step=3692544, episodic return=607.09375\n", + "global step=3692544, episodic return=598.700927734375\n", + "global step=3692544, episodic return=607.0845947265625\n", + "global step=3692544, episodic return=608.58837890625\n", + "global step=3692544, episodic return=595.02392578125\n", + "global step=3692544, episodic return=619.5406494140625\n", + "global step=3692544, episodic return=603.8390502929688\n", + "global step=3692544, episodic return=606.3446655273438\n", + "global step=3694592, episodic return=591.0296020507812\n", + "global step=3694592, episodic return=596.8046875\n", + "global step=3694592, episodic return=620.2998046875\n", + "global step=3694592, episodic return=606.1390380859375\n", + "global step=3694592, episodic return=618.5161743164062\n", + "global step=3694592, episodic return=621.94677734375\n", + "global step=3694592, episodic return=623.9727783203125\n", + "global step=3694592, episodic return=591.72900390625\n", + "global step=3694592, episodic return=602.3212890625\n", + "global step=3694592, episodic return=620.9920043945312\n", + "global step=3694592, episodic return=607.6611938476562\n", + "global step=3694592, episodic return=618.2686157226562\n", + "global step=3694592, episodic return=621.4521484375\n", + "global step=3694592, episodic return=614.243896484375\n", + "global step=3694592, episodic return=614.47314453125\n", + "global step=3694592, episodic return=612.8029174804688\n", + "global step=3694592, episodic return=591.3668823242188\n", + "global step=3696640, episodic return=609.9990234375\n", + "global step=3696640, episodic return=631.2066650390625\n", + "global step=3696640, episodic return=621.9842529296875\n", + "global step=3696640, episodic return=582.828857421875\n", + "global step=3696640, episodic return=608.5863037109375\n", + "global step=3696640, episodic return=597.8726806640625\n", + "global step=3696640, episodic return=575.29052734375\n", + "global step=3696640, episodic return=631.4369506835938\n", + "global step=3696640, episodic return=628.1572265625\n", + "global step=3696640, episodic return=609.987060546875\n", + "global step=3696640, episodic return=614.5789184570312\n", + "global step=3696640, episodic return=615.0618286132812\n", + "global step=3696640, episodic return=597.6342163085938\n", + "global step=3696640, episodic return=617.5772094726562\n", + "global step=3696640, episodic return=589.8748168945312\n", + "global step=3696640, episodic return=608.7440795898438\n", + "global step=3696640, episodic return=607.4229736328125\n", + "global step=3698688, episodic return=612.1555786132812\n", + "global step=3698688, episodic return=606.6146240234375\n", + "global step=3698688, episodic return=600.46044921875\n", + "global step=3698688, episodic return=614.1425170898438\n", + "global step=3698688, episodic return=614.0894165039062\n", + "global step=3698688, episodic return=620.6148071289062\n", + "global step=3698688, episodic return=594.6485595703125\n", + "global step=3698688, episodic return=592.3002319335938\n", + "global step=3698688, episodic return=611.2160034179688\n", + "global step=3700736, episodic return=600.923095703125\n", + "global step=3700736, episodic return=602.14306640625\n", + "global step=3700736, episodic return=626.34521484375\n", + "global step=3700736, episodic return=611.6500854492188\n", + "global step=3700736, episodic return=601.0621948242188\n", + "global step=3700736, episodic return=597.2404174804688\n", + "global step=3700736, episodic return=595.3930053710938\n", + "global step=3700736, episodic return=582.8860473632812\n", + "global step=3700736, episodic return=610.61328125\n", + "global step=3700736, episodic return=608.9383544921875\n", + "global step=3700736, episodic return=584.3265380859375\n", + "global step=3700736, episodic return=601.5613403320312\n", + "global step=3700736, episodic return=604.8328857421875\n", + "global step=3700736, episodic return=601.2963256835938\n", + "global step=3700736, episodic return=597.6591796875\n", + "global step=3700736, episodic return=628.387451171875\n", + "global step=3700736, episodic return=618.7652587890625\n", + "global step=3702784, episodic return=625.3700561523438\n", + "global step=3702784, episodic return=614.1315307617188\n", + "global step=3702784, episodic return=612.3776245117188\n", + "global step=3702784, episodic return=608.9456176757812\n", + "global step=3702784, episodic return=600.2438354492188\n", + "global step=3702784, episodic return=566.6168212890625\n", + "global step=3702784, episodic return=629.9096069335938\n", + "global step=3702784, episodic return=591.6607055664062\n", + "global step=3702784, episodic return=609.0628662109375\n", + "global step=3702784, episodic return=616.0394897460938\n", + "global step=3702784, episodic return=626.4481811523438\n", + "global step=3702784, episodic return=611.9531860351562\n", + "global step=3702784, episodic return=598.7439575195312\n", + "global step=3702784, episodic return=630.4907836914062\n", + "global step=3702784, episodic return=605.2182006835938\n", + "global step=3702784, episodic return=615.631591796875\n", + "global step=3702784, episodic return=589.3241577148438\n", + "global step=3702784, episodic return=597.8738403320312\n", + "global step=3702784, episodic return=586.6271362304688\n", + "global step=3704832, episodic return=603.1367797851562\n", + "global step=3704832, episodic return=619.7374267578125\n", + "global step=3704832, episodic return=601.5672607421875\n", + "global step=3704832, episodic return=608.5145874023438\n", + "global step=3704832, episodic return=578.4947509765625\n", + "global step=3704832, episodic return=585.5310668945312\n", + "global step=3704832, episodic return=597.6329345703125\n", + "global step=3704832, episodic return=580.869384765625\n", + "global step=3704832, episodic return=611.0789184570312\n", + "global step=3704832, episodic return=614.3468627929688\n", + "global step=3704832, episodic return=624.9135131835938\n", + "global step=3704832, episodic return=607.2240600585938\n", + "global step=3704832, episodic return=617.5174560546875\n", + "global step=3704832, episodic return=630.6546020507812\n", + "global step=3704832, episodic return=586.327392578125\n", + "global step=3704832, episodic return=627.6182250976562\n", + "global step=3704832, episodic return=599.9735107421875\n", + "global step=3704832, episodic return=604.5762329101562\n", + "global step=3704832, episodic return=608.933349609375\n", + "global step=3704832, episodic return=592.7053833007812\n", + "global step=3704832, episodic return=637.8378295898438\n", + "global step=3704832, episodic return=610.7183227539062\n", + "global step=3704832, episodic return=624.9423828125\n", + "global step=3704832, episodic return=619.89794921875\n", + "global step=3704832, episodic return=598.7277221679688\n", + "global step=3706880, episodic return=631.2816162109375\n", + "global step=3706880, episodic return=596.1531982421875\n", + "global step=3706880, episodic return=627.4630737304688\n", + "global step=3706880, episodic return=602.183837890625\n", + "global step=3706880, episodic return=605.833251953125\n", + "global step=3706880, episodic return=584.2654418945312\n", + "global step=3706880, episodic return=587.7041015625\n", + "global step=3706880, episodic return=597.039306640625\n", + "global step=3706880, episodic return=635.9351196289062\n", + "global step=3706880, episodic return=620.9406127929688\n", + "global step=3706880, episodic return=617.1046752929688\n", + "global step=3706880, episodic return=607.7473754882812\n", + "global step=3706880, episodic return=591.1043090820312\n", + "global step=3706880, episodic return=609.3466796875\n", + "global step=3706880, episodic return=587.6318969726562\n", + "global step=3706880, episodic return=614.31494140625\n", + "global step=3706880, episodic return=615.2550659179688\n", + "global step=3706880, episodic return=615.6843872070312\n", + "global step=3706880, episodic return=604.9944458007812\n", + "global step=3706880, episodic return=629.5808715820312\n", + "global step=3706880, episodic return=597.3555297851562\n", + "global step=3706880, episodic return=607.811279296875\n", + "global step=3706880, episodic return=621.4393920898438\n", + "global step=3708928, episodic return=591.08349609375\n", + "global step=3708928, episodic return=617.8477172851562\n", + "global step=3708928, episodic return=607.353515625\n", + "global step=3708928, episodic return=617.157958984375\n", + "global step=3708928, episodic return=604.7717895507812\n", + "global step=3708928, episodic return=601.2191162109375\n", + "global step=3708928, episodic return=593.5957641601562\n", + "global step=3708928, episodic return=598.1087646484375\n", + "global step=3708928, episodic return=620.535888671875\n", + "global step=3708928, episodic return=609.10009765625\n", + "global step=3708928, episodic return=622.9639282226562\n", + "global step=3708928, episodic return=596.6683959960938\n", + "global step=3708928, episodic return=595.4485473632812\n", + "global step=3708928, episodic return=616.2410888671875\n", + "global step=3708928, episodic return=602.2989501953125\n", + "global step=3708928, episodic return=614.2730102539062\n", + "global step=3708928, episodic return=590.5480346679688\n", + "global step=3708928, episodic return=609.6331787109375\n", + "global step=3708928, episodic return=618.8953857421875\n", + "global step=3710976, episodic return=605.9939575195312\n", + "global step=3710976, episodic return=603.8795166015625\n", + "global step=3710976, episodic return=610.3792724609375\n", + "global step=3710976, episodic return=602.6536865234375\n", + "global step=3710976, episodic return=618.7626953125\n", + "global step=3710976, episodic return=620.2237548828125\n", + "global step=3710976, episodic return=599.5277709960938\n", + "global step=3710976, episodic return=614.8810424804688\n", + "global step=3710976, episodic return=626.6856079101562\n", + "global step=3710976, episodic return=635.3261108398438\n", + "global step=3710976, episodic return=603.4178466796875\n", + "global step=3710976, episodic return=582.5458374023438\n", + "global step=3710976, episodic return=634.3037719726562\n", + "global step=3710976, episodic return=610.5984497070312\n", + "global step=3710976, episodic return=604.8414916992188\n", + "global step=3713024, episodic return=599.6801147460938\n", + "global step=3713024, episodic return=589.074951171875\n", + "global step=3713024, episodic return=628.4293823242188\n", + "global step=3713024, episodic return=608.4943237304688\n", + "global step=3713024, episodic return=606.478515625\n", + "global step=3713024, episodic return=603.1730346679688\n", + "global step=3713024, episodic return=613.267333984375\n", + "global step=3713024, episodic return=603.0205688476562\n", + "global step=3713024, episodic return=601.6882934570312\n", + "global step=3713024, episodic return=604.9424438476562\n", + "global step=3713024, episodic return=619.8814086914062\n", + "global step=3713024, episodic return=602.6004638671875\n", + "global step=3713024, episodic return=612.4458618164062\n", + "global step=3713024, episodic return=592.0111083984375\n", + "global step=3713024, episodic return=598.3551025390625\n", + "global step=3713024, episodic return=601.46630859375\n", + "global step=3715072, episodic return=616.9046020507812\n", + "global step=3715072, episodic return=607.1270751953125\n", + "global step=3715072, episodic return=581.11181640625\n", + "global step=3715072, episodic return=612.3381958007812\n", + "global step=3715072, episodic return=628.7134399414062\n", + "global step=3715072, episodic return=611.095458984375\n", + "global step=3715072, episodic return=590.5738525390625\n", + "global step=3715072, episodic return=620.5786743164062\n", + "global step=3715072, episodic return=588.8129272460938\n", + "global step=3715072, episodic return=617.6829223632812\n", + "global step=3715072, episodic return=590.854736328125\n", + "global step=3715072, episodic return=616.084228515625\n", + "global step=3715072, episodic return=607.2356567382812\n", + "global step=3715072, episodic return=595.7317504882812\n", + "global step=3715072, episodic return=616.9682006835938\n", + "global step=3715072, episodic return=581.1053466796875\n", + "global step=3715072, episodic return=599.1439208984375\n", + "global step=3715072, episodic return=612.1300659179688\n", + "global step=3715072, episodic return=597.214599609375\n", + "global step=3715072, episodic return=589.6229248046875\n", + "global step=3715072, episodic return=604.89208984375\n", + "global step=3717120, episodic return=617.7393188476562\n", + "global step=3717120, episodic return=587.8714599609375\n", + "global step=3717120, episodic return=612.86767578125\n", + "global step=3717120, episodic return=600.124267578125\n", + "global step=3717120, episodic return=627.5626220703125\n", + "global step=3717120, episodic return=599.62744140625\n", + "global step=3717120, episodic return=597.6765747070312\n", + "global step=3717120, episodic return=615.4851684570312\n", + "global step=3717120, episodic return=615.9108276367188\n", + "global step=3717120, episodic return=615.5360717773438\n", + "global step=3717120, episodic return=612.3118286132812\n", + "global step=3717120, episodic return=610.9930419921875\n", + "global step=3717120, episodic return=606.9500122070312\n", + "global step=3717120, episodic return=582.28125\n", + "global step=3717120, episodic return=595.3905029296875\n", + "global step=3717120, episodic return=625.572998046875\n", + "global step=3717120, episodic return=599.9199829101562\n", + "global step=3719168, episodic return=616.3875732421875\n", + "global step=3719168, episodic return=629.8480834960938\n", + "global step=3719168, episodic return=598.7972412109375\n", + "global step=3719168, episodic return=618.2780151367188\n", + "global step=3719168, episodic return=603.3447875976562\n", + "global step=3719168, episodic return=613.155029296875\n", + "global step=3719168, episodic return=595.2467651367188\n", + "global step=3719168, episodic return=601.7042846679688\n", + "global step=3719168, episodic return=607.7908935546875\n", + "global step=3719168, episodic return=608.5079345703125\n", + "global step=3719168, episodic return=606.5643920898438\n", + "global step=3719168, episodic return=622.3822631835938\n", + "global step=3719168, episodic return=583.56640625\n", + "global step=3719168, episodic return=582.3126831054688\n", + "global step=3719168, episodic return=629.8861083984375\n", + "global step=3719168, episodic return=591.5486450195312\n", + "global step=3719168, episodic return=622.4947509765625\n", + "global step=3719168, episodic return=585.6860961914062\n", + "global step=3719168, episodic return=618.260986328125\n", + "global step=3719168, episodic return=621.390380859375\n", + "global step=3719168, episodic return=630.447021484375\n", + "global step=3721216, episodic return=588.4324340820312\n", + "global step=3721216, episodic return=639.5382690429688\n", + "global step=3721216, episodic return=633.5707397460938\n", + "global step=3721216, episodic return=613.2943115234375\n", + "global step=3721216, episodic return=623.3377075195312\n", + "global step=3721216, episodic return=618.1995849609375\n", + "global step=3721216, episodic return=588.3734741210938\n", + "global step=3721216, episodic return=573.0259399414062\n", + "global step=3721216, episodic return=627.6329345703125\n", + "global step=3721216, episodic return=617.9054565429688\n", + "global step=3721216, episodic return=606.9874877929688\n", + "global step=3721216, episodic return=620.2817993164062\n", + "global step=3721216, episodic return=594.544921875\n", + "global step=3721216, episodic return=604.8719482421875\n", + "global step=3721216, episodic return=615.9693603515625\n", + "global step=3721216, episodic return=612.5800170898438\n", + "global step=3721216, episodic return=587.0325317382812\n", + "global step=3721216, episodic return=624.3692016601562\n", + "global step=3721216, episodic return=612.3455200195312\n", + "global step=3721216, episodic return=616.1580810546875\n", + "global step=3721216, episodic return=610.67236328125\n", + "global step=3723264, episodic return=615.76416015625\n", + "global step=3723264, episodic return=601.2175903320312\n", + "global step=3723264, episodic return=607.267822265625\n", + "global step=3723264, episodic return=598.58203125\n", + "global step=3723264, episodic return=606.9948120117188\n", + "global step=3723264, episodic return=591.5838623046875\n", + "global step=3723264, episodic return=618.7040405273438\n", + "global step=3723264, episodic return=617.6260375976562\n", + "global step=3723264, episodic return=608.9026489257812\n", + "global step=3723264, episodic return=599.9849243164062\n", + "global step=3723264, episodic return=623.4357299804688\n", + "global step=3723264, episodic return=610.642822265625\n", + "global step=3725312, episodic return=621.9368896484375\n", + "global step=3725312, episodic return=587.6102905273438\n", + "global step=3725312, episodic return=600.021484375\n", + "global step=3725312, episodic return=606.8689575195312\n", + "global step=3725312, episodic return=617.2748413085938\n", + "global step=3725312, episodic return=601.4324951171875\n", + "global step=3725312, episodic return=582.150146484375\n", + "global step=3725312, episodic return=611.3436279296875\n", + "global step=3725312, episodic return=615.2750854492188\n", + "global step=3725312, episodic return=624.5634155273438\n", + "global step=3725312, episodic return=618.2410888671875\n", + "global step=3725312, episodic return=590.2762451171875\n", + "global step=3725312, episodic return=619.3816528320312\n", + "global step=3725312, episodic return=598.2464599609375\n", + "global step=3725312, episodic return=607.7239379882812\n", + "global step=3725312, episodic return=616.355712890625\n", + "global step=3725312, episodic return=625.417724609375\n", + "global step=3725312, episodic return=604.216552734375\n", + "global step=3725312, episodic return=607.6702270507812\n", + "global step=3725312, episodic return=615.2904052734375\n", + "global step=3725312, episodic return=626.34326171875\n", + "global step=3725312, episodic return=606.5137329101562\n", + "global step=3727360, episodic return=603.48681640625\n", + "global step=3727360, episodic return=606.8764038085938\n", + "global step=3727360, episodic return=601.5661010742188\n", + "global step=3727360, episodic return=592.560546875\n", + "global step=3727360, episodic return=617.1036987304688\n", + "global step=3727360, episodic return=620.2477416992188\n", + "global step=3727360, episodic return=642.4453735351562\n", + "global step=3727360, episodic return=594.4913330078125\n", + "global step=3727360, episodic return=612.3370971679688\n", + "global step=3727360, episodic return=581.6082153320312\n", + "global step=3727360, episodic return=623.01318359375\n", + "global step=3727360, episodic return=600.4375610351562\n", + "global step=3727360, episodic return=629.01171875\n", + "global step=3727360, episodic return=608.9927978515625\n", + "global step=3727360, episodic return=625.5738525390625\n", + "global step=3727360, episodic return=589.76611328125\n", + "global step=3727360, episodic return=613.815673828125\n", + "global step=3727360, episodic return=660.4545288085938\n", + "global step=3727360, episodic return=600.9714965820312\n", + "global step=3727360, episodic return=577.84814453125\n", + "global step=3727360, episodic return=595.889404296875\n", + "global step=3727360, episodic return=603.669189453125\n", + "global step=3727360, episodic return=624.5961303710938\n", + "global step=3729408, episodic return=613.5836181640625\n", + "global step=3729408, episodic return=594.0831909179688\n", + "global step=3729408, episodic return=625.5169067382812\n", + "global step=3729408, episodic return=627.9640502929688\n", + "global step=3729408, episodic return=601.8653564453125\n", + "global step=3729408, episodic return=617.0340576171875\n", + "global step=3729408, episodic return=579.4273071289062\n", + "global step=3729408, episodic return=625.0042724609375\n", + "global step=3729408, episodic return=613.5386962890625\n", + "global step=3729408, episodic return=594.7721557617188\n", + "global step=3729408, episodic return=627.87939453125\n", + "global step=3729408, episodic return=612.9138793945312\n", + "global step=3729408, episodic return=625.1353149414062\n", + "global step=3729408, episodic return=624.4396362304688\n", + "global step=3729408, episodic return=637.9512329101562\n", + "global step=3729408, episodic return=603.2050170898438\n", + "global step=3729408, episodic return=608.6602783203125\n", + "global step=3731456, episodic return=559.7645263671875\n", + "global step=3731456, episodic return=611.4462890625\n", + "global step=3731456, episodic return=595.818359375\n", + "global step=3731456, episodic return=628.4052734375\n", + "global step=3731456, episodic return=618.7093505859375\n", + "global step=3731456, episodic return=628.9638061523438\n", + "global step=3731456, episodic return=590.5419921875\n", + "global step=3731456, episodic return=624.0097045898438\n", + "global step=3731456, episodic return=630.230224609375\n", + "global step=3731456, episodic return=612.1719360351562\n", + "global step=3731456, episodic return=616.212890625\n", + "global step=3731456, episodic return=610.94091796875\n", + "global step=3733504, episodic return=630.090576171875\n", + "global step=3733504, episodic return=611.0202026367188\n", + "global step=3733504, episodic return=629.6624755859375\n", + "global step=3733504, episodic return=616.5549926757812\n", + "global step=3733504, episodic return=586.8065795898438\n", + "global step=3733504, episodic return=588.7717895507812\n", + "global step=3733504, episodic return=629.4492797851562\n", + "global step=3733504, episodic return=632.5516357421875\n", + "global step=3733504, episodic return=597.657958984375\n", + "global step=3733504, episodic return=620.565185546875\n", + "global step=3733504, episodic return=584.4746704101562\n", + "global step=3733504, episodic return=618.5014038085938\n", + "global step=3733504, episodic return=629.1563720703125\n", + "global step=3733504, episodic return=584.2040405273438\n", + "global step=3733504, episodic return=609.7639770507812\n", + "global step=3733504, episodic return=641.2909545898438\n", + "global step=3733504, episodic return=627.6494140625\n", + "global step=3733504, episodic return=610.805419921875\n", + "global step=3733504, episodic return=596.6602783203125\n", + "global step=3735552, episodic return=596.7979736328125\n", + "global step=3735552, episodic return=599.8246459960938\n", + "global step=3735552, episodic return=640.9168090820312\n", + "global step=3735552, episodic return=596.582275390625\n", + "global step=3735552, episodic return=628.0394287109375\n", + "global step=3735552, episodic return=617.0987548828125\n", + "global step=3735552, episodic return=628.4286499023438\n", + "global step=3735552, episodic return=632.693359375\n", + "global step=3735552, episodic return=596.6863403320312\n", + "global step=3735552, episodic return=616.5039672851562\n", + "global step=3735552, episodic return=606.0132446289062\n", + "global step=3735552, episodic return=598.6123046875\n", + "global step=3735552, episodic return=587.0499877929688\n", + "global step=3735552, episodic return=630.9871215820312\n", + "global step=3735552, episodic return=622.7645874023438\n", + "global step=3735552, episodic return=596.2237548828125\n", + "global step=3735552, episodic return=608.9347534179688\n", + "global step=3735552, episodic return=592.8618774414062\n", + "global step=3735552, episodic return=610.0296020507812\n", + "global step=3735552, episodic return=607.5324096679688\n", + "global step=3735552, episodic return=624.8734130859375\n", + "global step=3735552, episodic return=590.1349487304688\n", + "global step=3735552, episodic return=608.7492065429688\n", + "global step=3735552, episodic return=600.0247802734375\n", + "global step=3735552, episodic return=627.7197265625\n", + "global step=3735552, episodic return=625.2371215820312\n", + "global step=3737600, episodic return=616.1403198242188\n", + "global step=3737600, episodic return=611.6756591796875\n", + "global step=3737600, episodic return=607.7858276367188\n", + "global step=3737600, episodic return=629.9710693359375\n", + "global step=3737600, episodic return=590.3935546875\n", + "global step=3737600, episodic return=618.5829467773438\n", + "global step=3737600, episodic return=630.92431640625\n", + "global step=3737600, episodic return=606.3035888671875\n", + "global step=3737600, episodic return=598.7166748046875\n", + "global step=3737600, episodic return=609.2760620117188\n", + "global step=3737600, episodic return=589.6474609375\n", + "global step=3737600, episodic return=602.4120483398438\n", + "global step=3737600, episodic return=625.47998046875\n", + "global step=3737600, episodic return=579.22509765625\n", + "global step=3737600, episodic return=621.6451416015625\n", + "global step=3739648, episodic return=624.6751708984375\n", + "global step=3739648, episodic return=602.9605712890625\n", + "global step=3739648, episodic return=602.9625244140625\n", + "global step=3739648, episodic return=623.8543701171875\n", + "global step=3739648, episodic return=627.87939453125\n", + "global step=3739648, episodic return=591.2586059570312\n", + "global step=3739648, episodic return=639.9108276367188\n", + "global step=3739648, episodic return=641.7400512695312\n", + "global step=3739648, episodic return=591.81005859375\n", + "global step=3739648, episodic return=605.4509887695312\n", + "global step=3741696, episodic return=623.7139892578125\n", + "global step=3741696, episodic return=603.1882934570312\n", + "global step=3741696, episodic return=639.2776489257812\n", + "global step=3741696, episodic return=603.5360107421875\n", + "global step=3741696, episodic return=602.4635620117188\n", + "global step=3741696, episodic return=610.39013671875\n", + "global step=3741696, episodic return=620.0289306640625\n", + "global step=3741696, episodic return=602.202392578125\n", + "global step=3741696, episodic return=616.1614379882812\n", + "global step=3741696, episodic return=611.5548095703125\n", + "global step=3741696, episodic return=576.1156005859375\n", + "global step=3743744, episodic return=609.9929809570312\n", + "global step=3743744, episodic return=646.4463500976562\n", + "global step=3743744, episodic return=620.4375\n", + "global step=3743744, episodic return=604.784423828125\n", + "global step=3743744, episodic return=645.1105346679688\n", + "global step=3743744, episodic return=624.7022705078125\n", + "global step=3743744, episodic return=615.1414794921875\n", + "global step=3743744, episodic return=576.8251342773438\n", + "global step=3743744, episodic return=627.1152954101562\n", + "global step=3743744, episodic return=599.8941040039062\n", + "global step=3743744, episodic return=606.9703979492188\n", + "global step=3745792, episodic return=585.7203369140625\n", + "global step=3745792, episodic return=620.192626953125\n", + "global step=3745792, episodic return=609.2058715820312\n", + "global step=3745792, episodic return=581.39013671875\n", + "global step=3745792, episodic return=584.7380981445312\n", + "global step=3745792, episodic return=626.7257080078125\n", + "global step=3745792, episodic return=609.6860961914062\n", + "global step=3745792, episodic return=612.6852416992188\n", + "global step=3745792, episodic return=625.1448974609375\n", + "global step=3745792, episodic return=624.841064453125\n", + "global step=3745792, episodic return=635.5936889648438\n", + "global step=3745792, episodic return=624.72705078125\n", + "global step=3745792, episodic return=626.4790649414062\n", + "global step=3745792, episodic return=582.4576416015625\n", + "global step=3745792, episodic return=589.4319458007812\n", + "global step=3745792, episodic return=595.3802490234375\n", + "global step=3745792, episodic return=617.322265625\n", + "global step=3745792, episodic return=605.6788940429688\n", + "global step=3745792, episodic return=615.8045043945312\n", + "global step=3745792, episodic return=598.3269653320312\n", + "global step=3745792, episodic return=636.6903686523438\n", + "global step=3745792, episodic return=623.8794555664062\n", + "global step=3747840, episodic return=609.4810180664062\n", + "global step=3747840, episodic return=616.0563354492188\n", + "global step=3747840, episodic return=640.616943359375\n", + "global step=3747840, episodic return=596.0894165039062\n", + "global step=3747840, episodic return=607.1815795898438\n", + "global step=3747840, episodic return=608.708984375\n", + "global step=3747840, episodic return=593.8260498046875\n", + "global step=3747840, episodic return=641.0892944335938\n", + "global step=3747840, episodic return=607.98046875\n", + "global step=3747840, episodic return=628.4063720703125\n", + "global step=3747840, episodic return=615.2682495117188\n", + "global step=3747840, episodic return=588.0474853515625\n", + "global step=3747840, episodic return=621.1959228515625\n", + "global step=3747840, episodic return=621.484375\n", + "global step=3747840, episodic return=620.32080078125\n", + "global step=3747840, episodic return=611.3395385742188\n", + "global step=3747840, episodic return=596.0096435546875\n", + "global step=3747840, episodic return=617.9959716796875\n", + "global step=3749888, episodic return=573.8200073242188\n", + "global step=3749888, episodic return=608.7039794921875\n", + "global step=3749888, episodic return=601.2762451171875\n", + "global step=3749888, episodic return=628.3140258789062\n", + "global step=3749888, episodic return=635.7927856445312\n", + "global step=3749888, episodic return=636.5726928710938\n", + "global step=3749888, episodic return=644.7522583007812\n", + "global step=3749888, episodic return=611.7718505859375\n", + "global step=3749888, episodic return=596.0911254882812\n", + "global step=3749888, episodic return=603.67041015625\n", + "global step=3749888, episodic return=650.242431640625\n", + "global step=3751936, episodic return=610.3330688476562\n", + "global step=3751936, episodic return=593.5752563476562\n", + "global step=3751936, episodic return=589.091796875\n", + "global step=3751936, episodic return=617.4130249023438\n", + "global step=3751936, episodic return=592.1749267578125\n", + "global step=3751936, episodic return=621.8953247070312\n", + "global step=3751936, episodic return=600.9442749023438\n", + "global step=3751936, episodic return=615.445068359375\n", + "global step=3751936, episodic return=597.91943359375\n", + "global step=3751936, episodic return=628.8576049804688\n", + "global step=3751936, episodic return=579.593994140625\n", + "global step=3751936, episodic return=590.4080810546875\n", + "global step=3751936, episodic return=585.027099609375\n", + "global step=3751936, episodic return=578.546875\n", + "global step=3751936, episodic return=631.2755737304688\n", + "global step=3751936, episodic return=619.9287109375\n", + "global step=3753984, episodic return=602.0747680664062\n", + "global step=3753984, episodic return=603.54150390625\n", + "global step=3753984, episodic return=601.3707275390625\n", + "global step=3753984, episodic return=623.5209350585938\n", + "global step=3753984, episodic return=607.4352416992188\n", + "global step=3753984, episodic return=645.4401245117188\n", + "global step=3753984, episodic return=577.7525634765625\n", + "global step=3753984, episodic return=634.3546752929688\n", + "global step=3753984, episodic return=592.3712768554688\n", + "global step=3753984, episodic return=632.64794921875\n", + "global step=3753984, episodic return=596.6425170898438\n", + "global step=3753984, episodic return=614.3902587890625\n", + "global step=3753984, episodic return=596.9719848632812\n", + "global step=3756032, episodic return=579.7578125\n", + "global step=3756032, episodic return=618.76611328125\n", + "global step=3756032, episodic return=638.49365234375\n", + "global step=3756032, episodic return=625.2059326171875\n", + "global step=3756032, episodic return=613.370849609375\n", + "global step=3756032, episodic return=596.5093383789062\n", + "global step=3756032, episodic return=606.9224853515625\n", + "global step=3756032, episodic return=620.1181030273438\n", + "global step=3756032, episodic return=627.7769165039062\n", + "global step=3756032, episodic return=605.4901123046875\n", + "global step=3756032, episodic return=627.822509765625\n", + "global step=3756032, episodic return=625.2217407226562\n", + "global step=3756032, episodic return=634.4478759765625\n", + "global step=3756032, episodic return=592.65576171875\n", + "global step=3756032, episodic return=635.0244140625\n", + "global step=3756032, episodic return=633.75439453125\n", + "global step=3756032, episodic return=611.5035400390625\n", + "global step=3756032, episodic return=592.6109008789062\n", + "global step=3758080, episodic return=609.5631713867188\n", + "global step=3758080, episodic return=622.9759521484375\n", + "global step=3758080, episodic return=634.8715209960938\n", + "global step=3758080, episodic return=648.095458984375\n", + "global step=3758080, episodic return=629.8803100585938\n", + "global step=3758080, episodic return=599.4529418945312\n", + "global step=3758080, episodic return=632.292236328125\n", + "global step=3758080, episodic return=616.815673828125\n", + "global step=3758080, episodic return=606.6677856445312\n", + "global step=3758080, episodic return=636.7191162109375\n", + "global step=3758080, episodic return=621.9031982421875\n", + "global step=3758080, episodic return=566.3033447265625\n", + "global step=3758080, episodic return=616.0984497070312\n", + "global step=3758080, episodic return=632.5404663085938\n", + "global step=3758080, episodic return=591.9262084960938\n", + "global step=3758080, episodic return=616.768798828125\n", + "global step=3758080, episodic return=612.7974243164062\n", + "global step=3758080, episodic return=648.4528198242188\n", + "global step=3760128, episodic return=603.807373046875\n", + "global step=3760128, episodic return=630.6012573242188\n", + "global step=3760128, episodic return=601.195068359375\n", + "global step=3760128, episodic return=621.6295166015625\n", + "global step=3760128, episodic return=645.018798828125\n", + "global step=3760128, episodic return=609.5455322265625\n", + "global step=3760128, episodic return=624.7346801757812\n", + "global step=3760128, episodic return=586.7296752929688\n", + "global step=3760128, episodic return=612.6927490234375\n", + "global step=3760128, episodic return=605.9541625976562\n", + "global step=3760128, episodic return=620.2825927734375\n", + "global step=3760128, episodic return=605.7293090820312\n", + "global step=3760128, episodic return=622.9239501953125\n", + "global step=3760128, episodic return=627.5647583007812\n", + "global step=3760128, episodic return=597.8051147460938\n", + "global step=3760128, episodic return=579.2802734375\n", + "global step=3762176, episodic return=596.8633422851562\n", + "global step=3762176, episodic return=604.2928466796875\n", + "global step=3762176, episodic return=606.8866577148438\n", + "global step=3762176, episodic return=623.1276245117188\n", + "global step=3762176, episodic return=608.146484375\n", + "global step=3762176, episodic return=637.9432373046875\n", + "global step=3762176, episodic return=623.5909423828125\n", + "global step=3762176, episodic return=629.6705322265625\n", + "global step=3762176, episodic return=608.0725708007812\n", + "global step=3762176, episodic return=624.295166015625\n", + "global step=3764224, episodic return=631.9806518554688\n", + "global step=3764224, episodic return=584.81640625\n", + "global step=3764224, episodic return=603.42724609375\n", + "global step=3764224, episodic return=619.5470581054688\n", + "global step=3764224, episodic return=616.1370239257812\n", + "global step=3764224, episodic return=611.482666015625\n", + "global step=3764224, episodic return=620.6228637695312\n", + "global step=3764224, episodic return=623.7595825195312\n", + "global step=3764224, episodic return=617.7706298828125\n", + "global step=3764224, episodic return=587.140380859375\n", + "global step=3764224, episodic return=624.82958984375\n", + "global step=3764224, episodic return=590.1140747070312\n", + "global step=3764224, episodic return=600.6424560546875\n", + "global step=3764224, episodic return=632.7781372070312\n", + "global step=3764224, episodic return=601.7431030273438\n", + "global step=3766272, episodic return=628.2507934570312\n", + "global step=3766272, episodic return=620.5345458984375\n", + "global step=3766272, episodic return=647.0799560546875\n", + "global step=3766272, episodic return=601.3040161132812\n", + "global step=3766272, episodic return=633.1429443359375\n", + "global step=3766272, episodic return=598.872802734375\n", + "global step=3766272, episodic return=601.8873291015625\n", + "global step=3766272, episodic return=616.9188842773438\n", + "global step=3766272, episodic return=617.4138793945312\n", + "global step=3766272, episodic return=633.9439697265625\n", + "global step=3766272, episodic return=599.2836303710938\n", + "global step=3768320, episodic return=601.4503173828125\n", + "global step=3768320, episodic return=626.763427734375\n", + "global step=3768320, episodic return=597.9003295898438\n", + "global step=3768320, episodic return=618.35107421875\n", + "global step=3768320, episodic return=637.0812377929688\n", + "global step=3768320, episodic return=608.0370483398438\n", + "global step=3768320, episodic return=600.3007202148438\n", + "global step=3768320, episodic return=602.21044921875\n", + "global step=3768320, episodic return=633.2675170898438\n", + "global step=3768320, episodic return=608.1451416015625\n", + "global step=3768320, episodic return=592.8890991210938\n", + "global step=3768320, episodic return=610.9970092773438\n", + "global step=3768320, episodic return=594.4529418945312\n", + "global step=3768320, episodic return=599.4610595703125\n", + "global step=3768320, episodic return=597.8367309570312\n", + "global step=3768320, episodic return=637.873046875\n", + "global step=3768320, episodic return=620.9124145507812\n", + "global step=3770368, episodic return=611.7213134765625\n", + "global step=3770368, episodic return=620.7860717773438\n", + "global step=3770368, episodic return=584.89697265625\n", + "global step=3770368, episodic return=648.6365356445312\n", + "global step=3770368, episodic return=630.9370727539062\n", + "global step=3770368, episodic return=648.2083129882812\n", + "global step=3770368, episodic return=614.4095458984375\n", + "global step=3770368, episodic return=604.7160034179688\n", + "global step=3772416, episodic return=618.3658447265625\n", + "global step=3772416, episodic return=632.3388671875\n", + "global step=3772416, episodic return=622.8500366210938\n", + "global step=3772416, episodic return=630.93505859375\n", + "global step=3772416, episodic return=618.5620727539062\n", + "global step=3772416, episodic return=641.8409423828125\n", + "global step=3772416, episodic return=622.2482299804688\n", + "global step=3772416, episodic return=593.0513305664062\n", + "global step=3772416, episodic return=605.1207275390625\n", + "global step=3772416, episodic return=628.326171875\n", + "global step=3772416, episodic return=588.8292236328125\n", + "global step=3772416, episodic return=600.5032348632812\n", + "global step=3772416, episodic return=621.43359375\n", + "global step=3772416, episodic return=609.7828369140625\n", + "global step=3772416, episodic return=631.7024536132812\n", + "global step=3772416, episodic return=597.0068359375\n", + "global step=3774464, episodic return=602.2907104492188\n", + "global step=3774464, episodic return=616.1183471679688\n", + "global step=3774464, episodic return=579.216552734375\n", + "global step=3774464, episodic return=608.0224609375\n", + "global step=3774464, episodic return=626.2318725585938\n", + "global step=3774464, episodic return=636.9227905273438\n", + "global step=3774464, episodic return=608.028564453125\n", + "global step=3774464, episodic return=617.38037109375\n", + "global step=3774464, episodic return=612.8283081054688\n", + "global step=3774464, episodic return=625.1952514648438\n", + "global step=3774464, episodic return=639.5841064453125\n", + "global step=3774464, episodic return=607.0516967773438\n", + "global step=3774464, episodic return=593.3599853515625\n", + "global step=3774464, episodic return=616.15771484375\n", + "global step=3776512, episodic return=644.7319946289062\n", + "global step=3776512, episodic return=593.8654174804688\n", + "global step=3776512, episodic return=615.3307495117188\n", + "global step=3776512, episodic return=644.44482421875\n", + "global step=3776512, episodic return=599.3439331054688\n", + "global step=3776512, episodic return=610.877197265625\n", + "global step=3776512, episodic return=616.7850952148438\n", + "global step=3778560, episodic return=578.1178588867188\n", + "global step=3778560, episodic return=625.8128051757812\n", + "global step=3778560, episodic return=608.6156005859375\n", + "global step=3778560, episodic return=604.8662109375\n", + "global step=3778560, episodic return=629.2327880859375\n", + "global step=3778560, episodic return=596.9328002929688\n", + "global step=3778560, episodic return=635.9200439453125\n", + "global step=3780608, episodic return=592.4937133789062\n", + "global step=3780608, episodic return=650.9226684570312\n", + "global step=3780608, episodic return=591.22998046875\n", + "global step=3780608, episodic return=626.7623901367188\n", + "global step=3780608, episodic return=600.1369018554688\n", + "global step=3780608, episodic return=590.298095703125\n", + "global step=3780608, episodic return=604.7685546875\n", + "global step=3780608, episodic return=580.5931396484375\n", + "global step=3780608, episodic return=597.4672241210938\n", + "global step=3780608, episodic return=609.2481079101562\n", + "global step=3780608, episodic return=617.2127075195312\n", + "global step=3780608, episodic return=640.29248046875\n", + "global step=3780608, episodic return=619.520263671875\n", + "global step=3780608, episodic return=658.5632934570312\n", + "global step=3780608, episodic return=625.5180053710938\n", + "global step=3782656, episodic return=590.5691528320312\n", + "global step=3782656, episodic return=650.6295776367188\n", + "global step=3782656, episodic return=644.0510864257812\n", + "global step=3782656, episodic return=621.0750122070312\n", + "global step=3782656, episodic return=632.5369262695312\n", + "global step=3782656, episodic return=629.38720703125\n", + "global step=3782656, episodic return=615.37255859375\n", + "global step=3782656, episodic return=649.5640258789062\n", + "global step=3782656, episodic return=621.7864990234375\n", + "global step=3782656, episodic return=614.2645874023438\n", + "global step=3782656, episodic return=614.6441650390625\n", + "global step=3782656, episodic return=632.103515625\n", + "global step=3782656, episodic return=600.96435546875\n", + "global step=3782656, episodic return=614.7498779296875\n", + "global step=3784704, episodic return=585.3079833984375\n", + "global step=3784704, episodic return=593.3445434570312\n", + "global step=3784704, episodic return=620.0512084960938\n", + "global step=3784704, episodic return=619.6936645507812\n", + "global step=3784704, episodic return=607.68212890625\n", + "global step=3784704, episodic return=617.9795532226562\n", + "global step=3784704, episodic return=603.8204345703125\n", + "global step=3784704, episodic return=617.9178466796875\n", + "global step=3786752, episodic return=642.5755615234375\n", + "global step=3786752, episodic return=572.4873657226562\n", + "global step=3786752, episodic return=641.8726196289062\n", + "global step=3786752, episodic return=606.2344970703125\n", + "global step=3786752, episodic return=615.2841186523438\n", + "global step=3786752, episodic return=614.1560668945312\n", + "global step=3786752, episodic return=611.9116821289062\n", + "global step=3788800, episodic return=665.5118408203125\n", + "global step=3788800, episodic return=617.3212280273438\n", + "global step=3788800, episodic return=646.9065551757812\n", + "global step=3788800, episodic return=636.6075439453125\n", + "global step=3788800, episodic return=622.3370361328125\n", + "global step=3788800, episodic return=645.87890625\n", + "global step=3788800, episodic return=602.4185791015625\n", + "global step=3788800, episodic return=599.9088134765625\n", + "global step=3790848, episodic return=621.1009521484375\n", + "global step=3790848, episodic return=621.469482421875\n", + "global step=3790848, episodic return=624.7152099609375\n", + "global step=3790848, episodic return=626.2086791992188\n", + "global step=3790848, episodic return=611.12939453125\n", + "global step=3790848, episodic return=623.6231689453125\n", + "global step=3790848, episodic return=607.7862548828125\n", + "global step=3790848, episodic return=610.373779296875\n", + "global step=3792896, episodic return=627.9645385742188\n", + "global step=3792896, episodic return=626.86083984375\n", + "global step=3792896, episodic return=633.7772216796875\n", + "global step=3792896, episodic return=612.8727416992188\n", + "global step=3792896, episodic return=587.2837524414062\n", + "global step=3792896, episodic return=621.1062622070312\n", + "global step=3792896, episodic return=606.6187133789062\n", + "global step=3792896, episodic return=617.6668701171875\n", + "global step=3792896, episodic return=634.971435546875\n", + "global step=3794944, episodic return=639.881591796875\n", + "global step=3794944, episodic return=655.33740234375\n", + "global step=3794944, episodic return=623.9136352539062\n", + "global step=3794944, episodic return=602.6904907226562\n", + "global step=3794944, episodic return=599.8958740234375\n", + "global step=3794944, episodic return=644.482421875\n", + "global step=3794944, episodic return=592.9628295898438\n", + "global step=3794944, episodic return=592.7225341796875\n", + "global step=3794944, episodic return=615.8548583984375\n", + "global step=3794944, episodic return=636.5679931640625\n", + "global step=3796992, episodic return=630.2070922851562\n", + "global step=3796992, episodic return=626.2612915039062\n", + "global step=3796992, episodic return=585.4666137695312\n", + "global step=3796992, episodic return=656.96337890625\n", + "global step=3796992, episodic return=620.9136962890625\n", + "global step=3796992, episodic return=627.4853515625\n", + "global step=3796992, episodic return=650.3934936523438\n", + "global step=3796992, episodic return=627.7144165039062\n", + "global step=3796992, episodic return=619.531982421875\n", + "global step=3796992, episodic return=598.4959106445312\n", + "global step=3796992, episodic return=630.901123046875\n", + "global step=3799040, episodic return=590.8704833984375\n", + "global step=3799040, episodic return=611.7796630859375\n", + "global step=3799040, episodic return=647.6724243164062\n", + "global step=3799040, episodic return=598.9136962890625\n", + "global step=3799040, episodic return=602.8885498046875\n", + "global step=3799040, episodic return=665.281982421875\n", + "global step=3799040, episodic return=625.4993896484375\n", + "global step=3799040, episodic return=615.1088256835938\n", + "global step=3799040, episodic return=610.8414916992188\n", + "global step=3799040, episodic return=607.155029296875\n", + "global step=3801088, episodic return=603.4851684570312\n", + "global step=3801088, episodic return=633.6736450195312\n", + "global step=3801088, episodic return=621.8301391601562\n", + "global step=3801088, episodic return=598.8441772460938\n", + "global step=3801088, episodic return=639.5512084960938\n", + "global step=3801088, episodic return=581.279296875\n", + "global step=3801088, episodic return=591.4630737304688\n", + "global step=3803136, episodic return=668.0874633789062\n", + "global step=3803136, episodic return=576.4943237304688\n", + "global step=3803136, episodic return=667.1043701171875\n", + "global step=3803136, episodic return=629.7243041992188\n", + "global step=3803136, episodic return=622.3621215820312\n", + "global step=3803136, episodic return=600.3689575195312\n", + "global step=3803136, episodic return=615.49755859375\n", + "global step=3803136, episodic return=604.109375\n", + "global step=3805184, episodic return=655.8489990234375\n", + "global step=3805184, episodic return=640.2638549804688\n", + "global step=3805184, episodic return=645.660400390625\n", + "global step=3805184, episodic return=641.8544921875\n", + "global step=3805184, episodic return=624.4645385742188\n", + "global step=3805184, episodic return=613.7313842773438\n", + "global step=3805184, episodic return=605.0153198242188\n", + "global step=3807232, episodic return=617.8179321289062\n", + "global step=3807232, episodic return=623.0313720703125\n", + "global step=3807232, episodic return=577.4513549804688\n", + "global step=3807232, episodic return=627.5052490234375\n", + "global step=3807232, episodic return=601.5439453125\n", + "global step=3807232, episodic return=613.5797729492188\n", + "global step=3807232, episodic return=612.8868408203125\n", + "global step=3807232, episodic return=592.8213500976562\n", + "global step=3807232, episodic return=595.0271606445312\n", + "global step=3809280, episodic return=614.600830078125\n", + "global step=3809280, episodic return=620.7554931640625\n", + "global step=3809280, episodic return=616.5448608398438\n", + "global step=3809280, episodic return=648.2614135742188\n", + "global step=3809280, episodic return=603.2451171875\n", + "global step=3811328, episodic return=589.4967651367188\n", + "global step=3811328, episodic return=638.9786376953125\n", + "global step=3811328, episodic return=604.0440063476562\n", + "global step=3811328, episodic return=653.6239013671875\n", + "global step=3811328, episodic return=619.8367309570312\n", + "global step=3811328, episodic return=579.1448364257812\n", + "global step=3811328, episodic return=631.4466552734375\n", + "global step=3811328, episodic return=606.5148315429688\n", + "global step=3813376, episodic return=603.5381469726562\n", + "global step=3813376, episodic return=610.669189453125\n", + "global step=3813376, episodic return=626.2267456054688\n", + "global step=3813376, episodic return=603.5918579101562\n", + "global step=3813376, episodic return=623.6181030273438\n", + "global step=3813376, episodic return=599.7084350585938\n", + "global step=3813376, episodic return=619.4564208984375\n", + "global step=3813376, episodic return=613.7676391601562\n", + "global step=3813376, episodic return=603.5535888671875\n", + "global step=3815424, episodic return=631.3983764648438\n", + "global step=3815424, episodic return=614.119873046875\n", + "global step=3815424, episodic return=626.9489135742188\n", + "global step=3815424, episodic return=621.4198608398438\n", + "global step=3815424, episodic return=618.8543701171875\n", + "global step=3815424, episodic return=607.24609375\n", + "global step=3817472, episodic return=642.66796875\n", + "global step=3817472, episodic return=608.0494384765625\n", + "global step=3817472, episodic return=584.6707763671875\n", + "global step=3817472, episodic return=629.330810546875\n", + "global step=3817472, episodic return=627.1967163085938\n", + "global step=3817472, episodic return=633.3997802734375\n", + "global step=3817472, episodic return=641.0554809570312\n", + "global step=3817472, episodic return=606.564697265625\n", + "global step=3817472, episodic return=609.4964599609375\n", + "global step=3819520, episodic return=602.4130859375\n", + "global step=3819520, episodic return=631.1141357421875\n", + "global step=3819520, episodic return=640.501220703125\n", + "global step=3819520, episodic return=605.3080444335938\n", + "global step=3819520, episodic return=594.7862548828125\n", + "global step=3821568, episodic return=635.528076171875\n", + "global step=3821568, episodic return=618.9769897460938\n", + "global step=3821568, episodic return=635.0950927734375\n", + "global step=3821568, episodic return=606.1021118164062\n", + "global step=3821568, episodic return=596.9883422851562\n", + "global step=3821568, episodic return=611.6387939453125\n", + "global step=3821568, episodic return=610.3300170898438\n", + "global step=3821568, episodic return=611.6908569335938\n", + "global step=3821568, episodic return=629.7616577148438\n", + "global step=3823616, episodic return=616.439697265625\n", + "global step=3823616, episodic return=580.655517578125\n", + "global step=3823616, episodic return=644.8825073242188\n", + "global step=3823616, episodic return=646.0950927734375\n", + "global step=3823616, episodic return=620.9342651367188\n", + "global step=3823616, episodic return=627.1492309570312\n", + "global step=3823616, episodic return=656.5458984375\n", + "global step=3823616, episodic return=623.84912109375\n", + "global step=3825664, episodic return=604.561767578125\n", + "global step=3825664, episodic return=611.29443359375\n", + "global step=3825664, episodic return=618.4737548828125\n", + "global step=3825664, episodic return=615.4234008789062\n", + "global step=3825664, episodic return=626.57861328125\n", + "global step=3825664, episodic return=644.1544189453125\n", + "global step=3827712, episodic return=638.4033203125\n", + "global step=3827712, episodic return=600.3416748046875\n", + "global step=3827712, episodic return=603.0787353515625\n", + "global step=3827712, episodic return=668.23388671875\n", + "global step=3827712, episodic return=622.0506591796875\n", + "global step=3829760, episodic return=606.0637817382812\n", + "global step=3829760, episodic return=641.5654296875\n", + "global step=3829760, episodic return=644.7463989257812\n", + "global step=3829760, episodic return=601.60791015625\n", + "global step=3829760, episodic return=614.5875854492188\n", + "global step=3829760, episodic return=635.8079223632812\n", + "global step=3829760, episodic return=587.2599487304688\n", + "global step=3829760, episodic return=611.7909545898438\n", + "global step=3829760, episodic return=647.7175903320312\n", + "global step=3831808, episodic return=612.6405639648438\n", + "global step=3831808, episodic return=611.2252197265625\n", + "global step=3831808, episodic return=598.8543090820312\n", + "global step=3831808, episodic return=628.8447265625\n", + "global step=3831808, episodic return=610.9014892578125\n", + "global step=3831808, episodic return=624.2633666992188\n", + "global step=3831808, episodic return=635.8917236328125\n", + "global step=3831808, episodic return=642.5393676757812\n", + "global step=3831808, episodic return=598.9569702148438\n", + "global step=3833856, episodic return=598.9024047851562\n", + "global step=3833856, episodic return=594.016357421875\n", + "global step=3833856, episodic return=633.48583984375\n", + "global step=3833856, episodic return=647.0335083007812\n", + "global step=3835904, episodic return=599.4074096679688\n", + "global step=3835904, episodic return=590.7555541992188\n", + "global step=3835904, episodic return=647.1913452148438\n", + "global step=3835904, episodic return=591.9389038085938\n", + "global step=3835904, episodic return=606.4275512695312\n", + "global step=3835904, episodic return=584.3773803710938\n", + "global step=3837952, episodic return=602.2587280273438\n", + "global step=3837952, episodic return=587.3444213867188\n", + "global step=3837952, episodic return=611.7471313476562\n", + "global step=3837952, episodic return=620.4915161132812\n", + "global step=3837952, episodic return=558.6515502929688\n", + "global step=3840000, episodic return=596.6852416992188\n", + "global step=3840000, episodic return=681.845703125\n", + "global step=3840000, episodic return=597.2327270507812\n", + "global step=3840000, episodic return=616.3098754882812\n", + "global step=3840000, episodic return=587.9756469726562\n", + "global step=3842048, episodic return=670.898193359375\n", + "global step=3842048, episodic return=618.19140625\n", + "global step=3842048, episodic return=610.2385864257812\n", + "global step=3842048, episodic return=625.7070922851562\n", + "global step=3842048, episodic return=643.6613159179688\n", + "global step=3842048, episodic return=661.7427368164062\n", + "global step=3842048, episodic return=590.8699951171875\n", + "global step=3842048, episodic return=652.9266357421875\n", + "global step=3844096, episodic return=619.9998168945312\n", + "global step=3844096, episodic return=643.5787963867188\n", + "global step=3844096, episodic return=614.9912109375\n", + "global step=3844096, episodic return=629.882080078125\n", + "global step=3846144, episodic return=619.8720703125\n", + "global step=3846144, episodic return=615.2281494140625\n", + "global step=3846144, episodic return=607.7179565429688\n", + "global step=3848192, episodic return=594.8001708984375\n", + "global step=3848192, episodic return=620.1633911132812\n", + "global step=3848192, episodic return=607.603271484375\n", + "global step=3848192, episodic return=626.497802734375\n", + "global step=3848192, episodic return=615.4869384765625\n", + "global step=3848192, episodic return=595.2451782226562\n", + "global step=3850240, episodic return=628.3174438476562\n", + "global step=3850240, episodic return=613.75927734375\n", + "global step=3850240, episodic return=626.54248046875\n", + "global step=3850240, episodic return=581.2728271484375\n", + "global step=3850240, episodic return=603.1901245117188\n", + "global step=3850240, episodic return=616.033203125\n", + "global step=3850240, episodic return=606.5427856445312\n", + "global step=3850240, episodic return=618.2271118164062\n", + "global step=3850240, episodic return=630.7410888671875\n", + "global step=3852288, episodic return=620.254150390625\n", + "global step=3852288, episodic return=607.3728637695312\n", + "global step=3852288, episodic return=614.8386840820312\n", + "global step=3852288, episodic return=649.635009765625\n", + "global step=3852288, episodic return=622.3865966796875\n", + "global step=3854336, episodic return=628.3763427734375\n", + "global step=3854336, episodic return=660.3186645507812\n", + "global step=3854336, episodic return=627.7297973632812\n", + "global step=3854336, episodic return=617.97412109375\n", + "global step=3856384, episodic return=616.275146484375\n", + "global step=3856384, episodic return=623.9291381835938\n", + "global step=3856384, episodic return=609.90234375\n", + "global step=3856384, episodic return=587.744140625\n", + "global step=3858432, episodic return=639.080810546875\n", + "global step=3858432, episodic return=580.1734008789062\n", + "global step=3858432, episodic return=628.5809326171875\n", + "global step=3858432, episodic return=614.035400390625\n", + "global step=3860480, episodic return=584.7052001953125\n", + "global step=3860480, episodic return=617.9923706054688\n", + "global step=3860480, episodic return=592.336669921875\n", + "global step=3860480, episodic return=636.9014282226562\n", + "global step=3860480, episodic return=631.1615600585938\n", + "global step=3860480, episodic return=593.0929565429688\n", + "global step=3860480, episodic return=636.0974731445312\n", + "global step=3862528, episodic return=650.67822265625\n", + "global step=3862528, episodic return=612.1529541015625\n", + "global step=3862528, episodic return=613.0936279296875\n", + "global step=3862528, episodic return=649.2296752929688\n", + "global step=3864576, episodic return=610.5758056640625\n", + "global step=3864576, episodic return=618.9049682617188\n", + "global step=3864576, episodic return=611.4547729492188\n", + "global step=3864576, episodic return=623.4799194335938\n", + "global step=3864576, episodic return=614.1304321289062\n", + "global step=3866624, episodic return=593.9947509765625\n", + "global step=3866624, episodic return=616.4368896484375\n", + "global step=3866624, episodic return=584.5941162109375\n", + "global step=3868672, episodic return=610.6083374023438\n", + "global step=3868672, episodic return=592.9918212890625\n", + "global step=3870720, episodic return=611.2872924804688\n", + "global step=3870720, episodic return=661.3040771484375\n", + "global step=3872768, episodic return=633.5138549804688\n", + "global step=3872768, episodic return=576.3604736328125\n", + "global step=3872768, episodic return=604.8020629882812\n", + "global step=3872768, episodic return=594.14990234375\n", + "global step=3872768, episodic return=656.9578247070312\n", + "global step=3872768, episodic return=627.8901977539062\n", + "global step=3874816, episodic return=636.011962890625\n", + "global step=3874816, episodic return=634.0985717773438\n", + "global step=3874816, episodic return=570.9777221679688\n", + "global step=3874816, episodic return=624.6950073242188\n", + "global step=3876864, episodic return=607.5023803710938\n", + "global step=3876864, episodic return=629.2684936523438\n", + "global step=3876864, episodic return=605.2340698242188\n", + "global step=3878912, episodic return=617.0137939453125\n", + "global step=3878912, episodic return=611.7991333007812\n", + "global step=3878912, episodic return=608.9381103515625\n", + "global step=3878912, episodic return=641.5208740234375\n", + "global step=3880960, episodic return=613.3067016601562\n", + "global step=3880960, episodic return=583.6051635742188\n", + "global step=3880960, episodic return=594.9346923828125\n", + "global step=3880960, episodic return=609.9495239257812\n", + "global step=3883008, episodic return=633.9428100585938\n", + "global step=3883008, episodic return=613.8296508789062\n", + "global step=3883008, episodic return=552.0004272460938\n", + "global step=3883008, episodic return=616.2171020507812\n", + "global step=3883008, episodic return=651.4407348632812\n", + "global step=3885056, episodic return=598.7410278320312\n", + "global step=3885056, episodic return=586.99169921875\n", + "global step=3885056, episodic return=636.3507080078125\n", + "global step=3885056, episodic return=629.0133666992188\n", + "global step=3885056, episodic return=598.3818969726562\n", + "global step=3887104, episodic return=586.5353393554688\n", + "global step=3889152, episodic return=607.2643432617188\n", + "global step=3891200, episodic return=569.959228515625\n", + "global step=3891200, episodic return=603.7885131835938\n", + "global step=3891200, episodic return=609.858642578125\n", + "global step=3891200, episodic return=604.8062744140625\n", + "global step=3893248, episodic return=620.92431640625\n", + "global step=3893248, episodic return=586.0206909179688\n", + "global step=3893248, episodic return=624.6455078125\n", + "global step=3893248, episodic return=602.4930419921875\n", + "global step=3895296, episodic return=619.8502807617188\n", + "global step=3895296, episodic return=644.4205322265625\n", + "global step=3897344, episodic return=587.1497192382812\n", + "global step=3897344, episodic return=643.6018676757812\n", + "global step=3897344, episodic return=605.4542846679688\n", + "global step=3899392, episodic return=572.2845458984375\n", + "global step=3899392, episodic return=618.9790649414062\n", + "global step=3899392, episodic return=633.2446899414062\n", + "global step=3899392, episodic return=593.0792846679688\n", + "global step=3901440, episodic return=651.88037109375\n", + "global step=3901440, episodic return=607.8290405273438\n", + "global step=3901440, episodic return=613.2373046875\n", + "global step=3901440, episodic return=577.0634155273438\n", + "global step=3903488, episodic return=593.78662109375\n", + "global step=3903488, episodic return=624.0789184570312\n", + "global step=3903488, episodic return=569.5774536132812\n", + "global step=3905536, episodic return=652.3809814453125\n", + "global step=3907584, episodic return=583.9915161132812\n", + "global step=3907584, episodic return=626.9306640625\n", + "global step=3909632, episodic return=611.5587158203125\n", + "global step=3909632, episodic return=609.7626342773438\n", + "global step=3911680, episodic return=623.026123046875\n", + "global step=3911680, episodic return=608.617919921875\n", + "global step=3911680, episodic return=615.2515869140625\n", + "global step=3913728, episodic return=595.3550415039062\n", + "global step=3913728, episodic return=587.2649536132812\n", + "global step=3917824, episodic return=594.3673095703125\n", + "global step=3917824, episodic return=601.9730834960938\n", + "global step=3917824, episodic return=597.974609375\n", + "global step=3919872, episodic return=622.0150756835938\n", + "global step=3919872, episodic return=599.9425048828125\n", + "global step=3921920, episodic return=603.3363037109375\n", + "global step=3921920, episodic return=636.13232421875\n", + "global step=3921920, episodic return=590.9257202148438\n", + "global step=3921920, episodic return=589.8422241210938\n", + "global step=3923968, episodic return=616.970947265625\n", + "global step=3923968, episodic return=640.4039916992188\n", + "global step=3926016, episodic return=672.9570922851562\n", + "global step=3926016, episodic return=603.367431640625\n", + "global step=3928064, episodic return=608.9678344726562\n", + "global step=3928064, episodic return=628.7449951171875\n", + "global step=3928064, episodic return=637.0975341796875\n", + "global step=3928064, episodic return=647.52587890625\n", + "global step=3930112, episodic return=595.7476196289062\n", + "global step=3932160, episodic return=617.288818359375\n", + "global step=3932160, episodic return=625.024658203125\n", + "global step=3936256, episodic return=599.343994140625\n", + "global step=3938304, episodic return=652.3145751953125\n", + "global step=3940352, episodic return=668.7936401367188\n", + "global step=3940352, episodic return=581.9929809570312\n", + "global step=3942400, episodic return=586.7239379882812\n", + "global step=3942400, episodic return=613.1104125976562\n", + "global step=3944448, episodic return=642.2573852539062\n", + "global step=3946496, episodic return=593.65576171875\n", + "global step=3946496, episodic return=594.4382934570312\n", + "global step=3948544, episodic return=619.5485229492188\n", + "global step=3950592, episodic return=626.3629150390625\n", + "global step=3950592, episodic return=611.7528076171875\n", + "global step=3950592, episodic return=650.837158203125\n", + "global step=3952640, episodic return=602.4597778320312\n", + "global step=3954688, episodic return=601.4095458984375\n", + "global step=3958784, episodic return=602.9153442382812\n", + "global step=3958784, episodic return=586.1244506835938\n", + "global step=3958784, episodic return=628.4226684570312\n", + "global step=3958784, episodic return=609.2481079101562\n", + "global step=3960832, episodic return=637.2261352539062\n", + "global step=3962880, episodic return=605.7915649414062\n", + "global step=3964928, episodic return=620.0386352539062\n", + "global step=3966976, episodic return=597.4157104492188\n", + "global step=3966976, episodic return=601.4447021484375\n", + "global step=3969024, episodic return=587.811279296875\n", + "global step=3971072, episodic return=615.405517578125\n", + "global step=3971072, episodic return=605.6174926757812\n", + "global step=3971072, episodic return=632.6717529296875\n", + "global step=3971072, episodic return=606.2971801757812\n", + "global step=3977216, episodic return=592.729736328125\n", + "global step=3977216, episodic return=611.8843994140625\n", + "global step=3977216, episodic return=618.8350219726562\n", + "global step=3979264, episodic return=572.8027954101562\n", + "global step=3979264, episodic return=589.2315063476562\n", + "global step=3979264, episodic return=632.2312622070312\n", + "global step=3981312, episodic return=626.6830444335938\n", + "global step=3981312, episodic return=581.0973510742188\n", + "global step=3983360, episodic return=591.1253051757812\n", + "global step=3985408, episodic return=621.6875\n", + "global step=3987456, episodic return=593.81689453125\n", + "global step=3987456, episodic return=614.6666870117188\n", + "global step=3991552, episodic return=653.435546875\n", + "global step=3991552, episodic return=593.7319946289062\n", + "global step=3993600, episodic return=616.8160400390625\n", + "global step=3993600, episodic return=599.5143432617188\n", + "global step=3997696, episodic return=592.4371337890625\n", + "global step=3999744, episodic return=619.3919677734375\n", + "global step=4001792, episodic return=614.0159301757812\n", + "global step=4009984, episodic return=604.9881591796875\n", + "global step=4018176, episodic return=626.1434326171875\n", + "global step=4022272, episodic return=600.0029907226562\n", + "global step=4026368, episodic return=615.8031616210938\n", + "global step=4032512, episodic return=596.9450073242188\n", + "global step=4034560, episodic return=623.9795532226562\n", + "global step=4036608, episodic return=606.3585205078125\n", + "global step=4042752, episodic return=643.8695068359375\n", + "global step=4042752, episodic return=631.2207641601562\n", + "global step=4046848, episodic return=611.5696411132812\n", + "global step=4050944, episodic return=624.6420288085938\n", + "global step=4050944, episodic return=626.3601684570312\n", + "global step=4052992, episodic return=613.7089233398438\n", + "global step=4059136, episodic return=600.49267578125\n", + "global step=4065280, episodic return=599.452392578125\n", + "global step=4067328, episodic return=590.4337158203125\n", + "global step=4075520, episodic return=622.6641235351562\n", + "global step=4077568, episodic return=587.82275390625\n", + "global step=4081664, episodic return=656.8997192382812\n", + "global step=4083712, episodic return=588.2448120117188\n", + "global step=4083712, episodic return=597.618408203125\n", + "global step=4087808, episodic return=619.2227783203125\n", + "global step=4098048, episodic return=623.9437255859375\n", + "global step=4108288, episodic return=604.7654418945312\n", + "global step=4108288, episodic return=626.0555419921875\n", + "global step=4112384, episodic return=636.2359008789062\n", + "global step=4114432, episodic return=610.3712768554688\n", + "global step=4114432, episodic return=606.5534057617188\n", + "global step=4120576, episodic return=607.859375\n", + "global step=4122624, episodic return=600.6654663085938\n", + "global step=4126720, episodic return=605.0923461914062\n", + "global step=4130816, episodic return=596.0409545898438\n", + "global step=4130816, episodic return=601.3425903320312\n", + "global step=4132864, episodic return=591.0078735351562\n", + "global step=4149248, episodic return=648.4320068359375\n", + "global step=4151296, episodic return=602.3749389648438\n", + "global step=4155392, episodic return=611.959228515625\n", + "global step=4155392, episodic return=581.0427856445312\n", + "global step=4159488, episodic return=594.5720825195312\n", + "global step=4159488, episodic return=601.1128540039062\n", + "global step=4165632, episodic return=628.18408203125\n", + "global step=4169728, episodic return=611.8618774414062\n", + "global step=4169728, episodic return=598.5997924804688\n", + "global step=4175872, episodic return=590.6275634765625\n", + "global step=4182016, episodic return=612.156494140625\n", + "global step=4184064, episodic return=600.7572631835938\n", + "global step=4188160, episodic return=592.543701171875\n", + "global step=4192256, episodic return=598.9525146484375\n", + "global step=4198400, episodic return=587.73779296875\n", + "global step=4198400, episodic return=608.0814819335938\n", + "global step=4204544, episodic return=618.3597412109375\n", + "global step=4206592, episodic return=635.3510131835938\n", + "global step=4210688, episodic return=605.1614990234375\n", + "global step=4216832, episodic return=608.0394897460938\n", + "global step=4218880, episodic return=590.6898803710938\n", + "global step=4218880, episodic return=583.6517944335938\n", + "global step=4239360, episodic return=590.4074096679688\n", + "global step=4249600, episodic return=618.9972534179688\n", + "global step=4249600, episodic return=635.431884765625\n", + "global step=4251648, episodic return=629.2028198242188\n", + "global step=4253696, episodic return=602.3447875976562\n", + "global step=4255744, episodic return=607.4183959960938\n", + "global step=4257792, episodic return=617.6821899414062\n", + "global step=4259840, episodic return=619.6827392578125\n", + "global step=4261888, episodic return=603.6419067382812\n", + "global step=4261888, episodic return=620.8228759765625\n", + "global step=4263936, episodic return=635.126708984375\n", + "global step=4265984, episodic return=591.2478637695312\n", + "global step=4268032, episodic return=605.0798950195312\n", + "global step=4268032, episodic return=618.6246948242188\n", + "global step=4270080, episodic return=604.0067749023438\n", + "global step=4272128, episodic return=609.8134765625\n", + "global step=4274176, episodic return=621.5187377929688\n", + "global step=4276224, episodic return=603.2273559570312\n", + "global step=4276224, episodic return=611.4423217773438\n", + "global step=4276224, episodic return=579.4044799804688\n", + "global step=4278272, episodic return=596.4486694335938\n", + "global step=4280320, episodic return=586.1826782226562\n", + "global step=4280320, episodic return=621.1424560546875\n", + "global step=4282368, episodic return=634.708740234375\n", + "global step=4282368, episodic return=627.8101806640625\n", + "global step=4286464, episodic return=588.5973510742188\n", + "global step=4286464, episodic return=580.3591918945312\n", + "global step=4290560, episodic return=609.24658203125\n", + "global step=4290560, episodic return=636.9221801757812\n", + "global step=4290560, episodic return=602.2718505859375\n", + "global step=4294656, episodic return=622.1826171875\n", + "global step=4296704, episodic return=605.9539184570312\n", + "global step=4296704, episodic return=620.691650390625\n", + "global step=4298752, episodic return=600.76806640625\n", + "global step=4298752, episodic return=615.4564819335938\n", + "global step=4300800, episodic return=601.454345703125\n", + "global step=4304896, episodic return=650.988037109375\n", + "global step=4304896, episodic return=640.5507202148438\n", + "global step=4308992, episodic return=598.5341796875\n", + "global step=4311040, episodic return=597.0025634765625\n", + "global step=4311040, episodic return=609.02685546875\n", + "global step=4313088, episodic return=598.166259765625\n", + "global step=4317184, episodic return=598.5293579101562\n", + "global step=4319232, episodic return=612.7808227539062\n", + "global step=4319232, episodic return=612.7445068359375\n", + "global step=4325376, episodic return=621.70263671875\n", + "global step=4327424, episodic return=622.578857421875\n", + "global step=4329472, episodic return=590.829345703125\n", + "global step=4329472, episodic return=617.435302734375\n", + "global step=4333568, episodic return=602.5198974609375\n", + "global step=4337664, episodic return=614.0582275390625\n", + "global step=4339712, episodic return=608.98779296875\n", + "global step=4339712, episodic return=601.6773681640625\n", + "global step=4343808, episodic return=591.3847045898438\n", + "global step=4345856, episodic return=614.768798828125\n", + "global step=4349952, episodic return=618.6250610351562\n", + "global step=4349952, episodic return=630.6647338867188\n", + "global step=4352000, episodic return=647.4794921875\n", + "global step=4352000, episodic return=615.4027099609375\n", + "global step=4352000, episodic return=634.7056884765625\n", + "global step=4352000, episodic return=625.69921875\n", + "global step=4354048, episodic return=587.250732421875\n", + "global step=4354048, episodic return=608.0418701171875\n", + "global step=4354048, episodic return=586.7335205078125\n", + "global step=4354048, episodic return=599.6553955078125\n", + "global step=4356096, episodic return=607.4047241210938\n", + "global step=4360192, episodic return=641.048828125\n", + "global step=4362240, episodic return=593.7159423828125\n", + "global step=4362240, episodic return=607.7233276367188\n", + "global step=4362240, episodic return=601.736083984375\n", + "global step=4364288, episodic return=591.7960205078125\n", + "global step=4364288, episodic return=586.9198608398438\n", + "global step=4366336, episodic return=598.7285766601562\n", + "global step=4366336, episodic return=601.22705078125\n", + "global step=4366336, episodic return=578.7918090820312\n", + "global step=4370432, episodic return=591.1311645507812\n", + "global step=4370432, episodic return=609.1905517578125\n", + "global step=4370432, episodic return=609.8237915039062\n", + "global step=4372480, episodic return=595.6260375976562\n", + "global step=4374528, episodic return=607.12548828125\n", + "global step=4374528, episodic return=578.031005859375\n", + "global step=4374528, episodic return=623.6171875\n", + "global step=4376576, episodic return=610.3121337890625\n", + "global step=4378624, episodic return=589.5807495117188\n", + "global step=4380672, episodic return=607.6150512695312\n", + "global step=4380672, episodic return=602.2737426757812\n", + "global step=4380672, episodic return=593.8657836914062\n", + "global step=4382720, episodic return=611.1423950195312\n", + "global step=4382720, episodic return=606.0261840820312\n", + "global step=4382720, episodic return=633.9741821289062\n", + "global step=4384768, episodic return=592.5416259765625\n", + "global step=4386816, episodic return=580.3567504882812\n", + "global step=4386816, episodic return=590.615966796875\n", + "global step=4386816, episodic return=631.0430297851562\n", + "global step=4386816, episodic return=608.3483276367188\n", + "global step=4386816, episodic return=575.4747924804688\n", + "global step=4386816, episodic return=605.8117065429688\n", + "global step=4388864, episodic return=598.3516235351562\n", + "global step=4388864, episodic return=592.6943359375\n", + "global step=4388864, episodic return=610.966064453125\n", + "global step=4390912, episodic return=624.1366577148438\n", + "global step=4390912, episodic return=611.367431640625\n", + "global step=4392960, episodic return=629.7507934570312\n", + "global step=4392960, episodic return=624.12939453125\n", + "global step=4392960, episodic return=616.3341064453125\n", + "global step=4392960, episodic return=615.3731079101562\n", + "global step=4392960, episodic return=611.852783203125\n", + "global step=4395008, episodic return=589.5503540039062\n", + "global step=4395008, episodic return=621.70458984375\n", + "global step=4397056, episodic return=589.0476684570312\n", + "global step=4397056, episodic return=591.7069702148438\n", + "global step=4399104, episodic return=621.2673950195312\n", + "global step=4399104, episodic return=591.580078125\n", + "global step=4399104, episodic return=625.0316162109375\n", + "global step=4399104, episodic return=577.4590454101562\n", + "global step=4401152, episodic return=599.2365112304688\n", + "global step=4401152, episodic return=597.90625\n", + "global step=4401152, episodic return=598.468017578125\n", + "global step=4401152, episodic return=582.52294921875\n", + "global step=4401152, episodic return=609.4871215820312\n", + "global step=4403200, episodic return=606.34814453125\n", + "global step=4403200, episodic return=593.7149047851562\n", + "global step=4403200, episodic return=581.4412231445312\n", + "global step=4403200, episodic return=595.843017578125\n", + "global step=4403200, episodic return=593.2635498046875\n", + "global step=4405248, episodic return=591.26220703125\n", + "global step=4405248, episodic return=609.1469116210938\n", + "global step=4407296, episodic return=592.9888305664062\n", + "global step=4407296, episodic return=612.28271484375\n", + "global step=4407296, episodic return=584.3675537109375\n", + "global step=4407296, episodic return=577.3430786132812\n", + "global step=4409344, episodic return=613.8685302734375\n", + "global step=4409344, episodic return=584.3530883789062\n", + "global step=4409344, episodic return=606.0955200195312\n", + "global step=4409344, episodic return=591.250732421875\n", + "global step=4409344, episodic return=570.3194580078125\n", + "global step=4411392, episodic return=625.7039184570312\n", + "global step=4411392, episodic return=606.4706420898438\n", + "global step=4411392, episodic return=603.2197265625\n", + "global step=4413440, episodic return=595.5548095703125\n", + "global step=4413440, episodic return=581.3320922851562\n", + "global step=4413440, episodic return=604.019775390625\n", + "global step=4413440, episodic return=591.5393676757812\n", + "global step=4415488, episodic return=603.3814697265625\n", + "global step=4415488, episodic return=584.9654541015625\n", + "global step=4415488, episodic return=584.962890625\n", + "global step=4415488, episodic return=600.114013671875\n", + "global step=4415488, episodic return=595.6366577148438\n", + "global step=4417536, episodic return=615.160400390625\n", + "global step=4417536, episodic return=594.7200317382812\n", + "global step=4417536, episodic return=609.44091796875\n", + "global step=4417536, episodic return=597.0383911132812\n", + "global step=4419584, episodic return=611.4511108398438\n", + "global step=4419584, episodic return=603.462646484375\n", + "global step=4419584, episodic return=583.9461059570312\n", + "global step=4421632, episodic return=583.9942016601562\n", + "global step=4421632, episodic return=622.0156860351562\n", + "global step=4421632, episodic return=597.0637817382812\n", + "global step=4421632, episodic return=605.0569458007812\n", + "global step=4421632, episodic return=575.56884765625\n", + "global step=4421632, episodic return=586.565185546875\n", + "global step=4421632, episodic return=588.9329223632812\n", + "global step=4421632, episodic return=613.9511108398438\n", + "global step=4421632, episodic return=582.69580078125\n", + "global step=4421632, episodic return=607.5642700195312\n", + "global step=4421632, episodic return=602.9821166992188\n", + "global step=4423680, episodic return=581.289794921875\n", + "global step=4423680, episodic return=625.7772216796875\n", + "global step=4423680, episodic return=609.0100708007812\n", + "global step=4423680, episodic return=578.7308349609375\n", + "global step=4423680, episodic return=609.9466552734375\n", + "global step=4425728, episodic return=603.5453491210938\n", + "global step=4425728, episodic return=612.2127685546875\n", + "global step=4425728, episodic return=601.35595703125\n", + "global step=4425728, episodic return=593.23681640625\n", + "global step=4425728, episodic return=622.6780395507812\n", + "global step=4425728, episodic return=586.5706787109375\n", + "global step=4429824, episodic return=600.8674926757812\n", + "global step=4429824, episodic return=614.05029296875\n", + "global step=4429824, episodic return=610.80908203125\n", + "global step=4429824, episodic return=600.419677734375\n", + "global step=4431872, episodic return=612.9577026367188\n", + "global step=4431872, episodic return=612.906005859375\n", + "global step=4431872, episodic return=614.444091796875\n", + "global step=4431872, episodic return=595.2365112304688\n", + "global step=4431872, episodic return=593.090087890625\n", + "global step=4431872, episodic return=617.2810668945312\n", + "global step=4431872, episodic return=611.0866088867188\n", + "global step=4431872, episodic return=604.7000732421875\n", + "global step=4431872, episodic return=599.318115234375\n", + "global step=4433920, episodic return=619.5640869140625\n", + "global step=4433920, episodic return=589.2119750976562\n", + "global step=4433920, episodic return=614.9086303710938\n", + "global step=4433920, episodic return=610.006103515625\n", + "global step=4433920, episodic return=590.7735595703125\n", + "global step=4433920, episodic return=623.98583984375\n", + "global step=4433920, episodic return=614.1163940429688\n", + "global step=4433920, episodic return=618.4344482421875\n", + "global step=4435968, episodic return=634.2827758789062\n", + "global step=4435968, episodic return=584.8807983398438\n", + "global step=4435968, episodic return=618.1646728515625\n", + "global step=4435968, episodic return=593.8399658203125\n", + "global step=4435968, episodic return=602.4806518554688\n", + "global step=4435968, episodic return=617.6951293945312\n", + "global step=4435968, episodic return=587.6153564453125\n", + "global step=4435968, episodic return=599.69189453125\n", + "global step=4435968, episodic return=603.4796752929688\n", + "global step=4435968, episodic return=618.2189331054688\n", + "global step=4435968, episodic return=606.2835693359375\n", + "global step=4438016, episodic return=590.7067260742188\n", + "global step=4438016, episodic return=614.8353271484375\n", + "global step=4438016, episodic return=590.8108520507812\n", + "global step=4438016, episodic return=619.793212890625\n", + "global step=4438016, episodic return=607.697509765625\n", + "global step=4438016, episodic return=597.7142944335938\n", + "global step=4440064, episodic return=618.0696411132812\n", + "global step=4440064, episodic return=582.7650146484375\n", + "global step=4440064, episodic return=625.6327514648438\n", + "global step=4440064, episodic return=618.8767700195312\n", + "global step=4440064, episodic return=635.7324829101562\n", + "global step=4440064, episodic return=615.435791015625\n", + "global step=4440064, episodic return=630.1052856445312\n", + "global step=4440064, episodic return=565.634033203125\n", + "global step=4440064, episodic return=615.902587890625\n", + "global step=4440064, episodic return=622.5403442382812\n", + "global step=4440064, episodic return=622.5944213867188\n", + "global step=4440064, episodic return=594.0272827148438\n", + "global step=4440064, episodic return=599.364990234375\n", + "global step=4440064, episodic return=612.9751586914062\n", + "global step=4440064, episodic return=609.4012451171875\n", + "global step=4442112, episodic return=615.259765625\n", + "global step=4442112, episodic return=587.3300170898438\n", + "global step=4442112, episodic return=612.5736694335938\n", + "global step=4442112, episodic return=591.47119140625\n", + "global step=4442112, episodic return=583.7335205078125\n", + "global step=4442112, episodic return=623.0989379882812\n", + "global step=4442112, episodic return=607.7373657226562\n", + "global step=4442112, episodic return=584.7332153320312\n", + "global step=4442112, episodic return=604.1526489257812\n", + "global step=4444160, episodic return=614.6660766601562\n", + "global step=4444160, episodic return=611.3460083007812\n", + "global step=4444160, episodic return=607.0848388671875\n", + "global step=4444160, episodic return=611.8555297851562\n", + "global step=4444160, episodic return=623.2128295898438\n", + "global step=4444160, episodic return=591.2199096679688\n", + "global step=4444160, episodic return=601.1163940429688\n", + "global step=4444160, episodic return=596.3472290039062\n", + "global step=4444160, episodic return=576.6970825195312\n", + "global step=4444160, episodic return=601.2821655273438\n", + "global step=4444160, episodic return=596.0966796875\n", + "global step=4444160, episodic return=594.0689697265625\n", + "global step=4446208, episodic return=598.5302734375\n", + "global step=4446208, episodic return=593.122314453125\n", + "global step=4446208, episodic return=610.9788818359375\n", + "global step=4448256, episodic return=601.0853881835938\n", + "global step=4448256, episodic return=593.754638671875\n", + "global step=4448256, episodic return=593.13427734375\n", + "global step=4448256, episodic return=589.0054321289062\n", + "global step=4448256, episodic return=597.895751953125\n", + "global step=4448256, episodic return=599.7894897460938\n", + "global step=4448256, episodic return=603.6807250976562\n", + "global step=4448256, episodic return=598.3458251953125\n", + "global step=4448256, episodic return=632.2616577148438\n", + "global step=4448256, episodic return=597.6851196289062\n", + "global step=4448256, episodic return=614.2960815429688\n", + "global step=4448256, episodic return=629.7885131835938\n", + "global step=4450304, episodic return=599.247802734375\n", + "global step=4450304, episodic return=625.0750122070312\n", + "global step=4450304, episodic return=597.6528930664062\n", + "global step=4450304, episodic return=590.1465454101562\n", + "global step=4450304, episodic return=596.1932373046875\n", + "global step=4450304, episodic return=580.5206298828125\n", + "global step=4450304, episodic return=612.0997314453125\n", + "global step=4450304, episodic return=589.6471557617188\n", + "global step=4450304, episodic return=659.9776000976562\n", + "global step=4450304, episodic return=599.5302734375\n", + "global step=4450304, episodic return=585.2222900390625\n", + "global step=4452352, episodic return=587.1994018554688\n", + "global step=4452352, episodic return=589.265625\n", + "global step=4452352, episodic return=628.3224487304688\n", + "global step=4452352, episodic return=608.0843505859375\n", + "global step=4452352, episodic return=597.9347534179688\n", + "global step=4452352, episodic return=629.1732177734375\n", + "global step=4454400, episodic return=594.1130981445312\n", + "global step=4454400, episodic return=606.22216796875\n", + "global step=4454400, episodic return=585.7848510742188\n", + "global step=4454400, episodic return=608.9850463867188\n", + "global step=4454400, episodic return=605.7183837890625\n", + "global step=4454400, episodic return=617.8754272460938\n", + "global step=4454400, episodic return=620.10986328125\n", + "global step=4454400, episodic return=589.465087890625\n", + "global step=4454400, episodic return=596.9902954101562\n", + "global step=4454400, episodic return=583.3732299804688\n", + "global step=4454400, episodic return=570.2579345703125\n", + "global step=4456448, episodic return=629.51806640625\n", + "global step=4456448, episodic return=622.4339599609375\n", + "global step=4456448, episodic return=629.1611328125\n", + "global step=4456448, episodic return=592.933349609375\n", + "global step=4456448, episodic return=599.4933471679688\n", + "global step=4456448, episodic return=599.1134643554688\n", + "global step=4456448, episodic return=640.03076171875\n", + "global step=4458496, episodic return=597.7086791992188\n", + "global step=4458496, episodic return=576.6735229492188\n", + "global step=4458496, episodic return=607.9554443359375\n", + "global step=4458496, episodic return=603.2046508789062\n", + "global step=4458496, episodic return=613.4002075195312\n", + "global step=4458496, episodic return=606.7569580078125\n", + "global step=4458496, episodic return=601.7276611328125\n", + "global step=4458496, episodic return=607.12353515625\n", + "global step=4458496, episodic return=620.1398315429688\n", + "global step=4458496, episodic return=593.521240234375\n", + "global step=4458496, episodic return=613.4823608398438\n", + "global step=4458496, episodic return=608.9187622070312\n", + "global step=4458496, episodic return=592.5315551757812\n", + "global step=4460544, episodic return=603.1494750976562\n", + "global step=4460544, episodic return=597.8028564453125\n", + "global step=4460544, episodic return=587.5764770507812\n", + "global step=4460544, episodic return=605.9968872070312\n", + "global step=4460544, episodic return=591.9942626953125\n", + "global step=4460544, episodic return=607.5413208007812\n", + "global step=4460544, episodic return=587.8765258789062\n", + "global step=4460544, episodic return=600.81103515625\n", + "global step=4460544, episodic return=610.7846069335938\n", + "global step=4460544, episodic return=608.8175659179688\n", + "global step=4460544, episodic return=605.4165649414062\n", + "global step=4460544, episodic return=612.5921020507812\n", + "global step=4460544, episodic return=614.0809936523438\n", + "global step=4460544, episodic return=609.3094482421875\n", + "global step=4460544, episodic return=577.1331176757812\n", + "global step=4460544, episodic return=609.9649658203125\n", + "global step=4460544, episodic return=587.729248046875\n", + "global step=4460544, episodic return=624.495849609375\n", + "global step=4462592, episodic return=603.244384765625\n", + "global step=4462592, episodic return=608.7377319335938\n", + "global step=4462592, episodic return=606.7091064453125\n", + "global step=4462592, episodic return=616.1671752929688\n", + "global step=4462592, episodic return=616.49462890625\n", + "global step=4462592, episodic return=590.3916015625\n", + "global step=4462592, episodic return=581.0562744140625\n", + "global step=4462592, episodic return=615.2744140625\n", + "global step=4462592, episodic return=573.9175415039062\n", + "global step=4462592, episodic return=594.5687255859375\n", + "global step=4462592, episodic return=611.6685791015625\n", + "global step=4464640, episodic return=628.6117553710938\n", + "global step=4464640, episodic return=604.8191528320312\n", + "global step=4464640, episodic return=627.9187622070312\n", + "global step=4464640, episodic return=611.34765625\n", + "global step=4464640, episodic return=628.9978637695312\n", + "global step=4464640, episodic return=610.0645751953125\n", + "global step=4464640, episodic return=570.6913452148438\n", + "global step=4464640, episodic return=619.0203247070312\n", + "global step=4464640, episodic return=580.1558227539062\n", + "global step=4464640, episodic return=582.9471435546875\n", + "global step=4464640, episodic return=624.376220703125\n", + "global step=4464640, episodic return=605.1365356445312\n", + "global step=4464640, episodic return=590.7929077148438\n", + "global step=4466688, episodic return=594.0770874023438\n", + "global step=4466688, episodic return=619.0722045898438\n", + "global step=4466688, episodic return=599.4423217773438\n", + "global step=4466688, episodic return=607.4576416015625\n", + "global step=4466688, episodic return=582.0479125976562\n", + "global step=4466688, episodic return=624.676513671875\n", + "global step=4466688, episodic return=627.8370971679688\n", + "global step=4466688, episodic return=586.2415161132812\n", + "global step=4466688, episodic return=586.8738403320312\n", + "global step=4466688, episodic return=580.00390625\n", + "global step=4466688, episodic return=600.1001586914062\n", + "global step=4466688, episodic return=599.3292846679688\n", + "global step=4466688, episodic return=622.7424926757812\n", + "global step=4466688, episodic return=610.1663208007812\n", + "global step=4466688, episodic return=613.950927734375\n", + "global step=4466688, episodic return=613.4885864257812\n", + "global step=4466688, episodic return=608.2223510742188\n", + "global step=4466688, episodic return=593.1917114257812\n", + "global step=4468736, episodic return=614.4387817382812\n", + "global step=4468736, episodic return=618.422119140625\n", + "global step=4468736, episodic return=587.42919921875\n", + "global step=4468736, episodic return=593.0198974609375\n", + "global step=4468736, episodic return=602.0753784179688\n", + "global step=4468736, episodic return=610.9602661132812\n", + "global step=4468736, episodic return=614.8279418945312\n", + "global step=4468736, episodic return=586.3194580078125\n", + "global step=4468736, episodic return=625.6554565429688\n", + "global step=4468736, episodic return=594.96875\n", + "global step=4468736, episodic return=604.3264770507812\n", + "global step=4468736, episodic return=621.5465087890625\n", + "global step=4470784, episodic return=587.8722534179688\n", + "global step=4470784, episodic return=629.0894775390625\n", + "global step=4470784, episodic return=635.8330078125\n", + "global step=4470784, episodic return=613.3558349609375\n", + "global step=4470784, episodic return=572.8006591796875\n", + "global step=4470784, episodic return=604.658203125\n", + "global step=4470784, episodic return=619.6509399414062\n", + "global step=4470784, episodic return=615.2717895507812\n", + "global step=4470784, episodic return=618.3897705078125\n", + "global step=4470784, episodic return=598.9131469726562\n", + "global step=4470784, episodic return=623.7142333984375\n", + "global step=4470784, episodic return=633.8981323242188\n", + "global step=4470784, episodic return=595.6876831054688\n", + "global step=4472832, episodic return=621.4608154296875\n", + "global step=4472832, episodic return=609.6459350585938\n", + "global step=4472832, episodic return=618.2066040039062\n", + "global step=4472832, episodic return=568.6592407226562\n", + "global step=4472832, episodic return=626.7754516601562\n", + "global step=4472832, episodic return=583.5712890625\n", + "global step=4472832, episodic return=595.8863525390625\n", + "global step=4472832, episodic return=626.2575073242188\n", + "global step=4472832, episodic return=591.1986694335938\n", + "global step=4472832, episodic return=609.16455078125\n", + "global step=4472832, episodic return=590.4544067382812\n", + "global step=4472832, episodic return=603.174072265625\n", + "global step=4472832, episodic return=623.6105346679688\n", + "global step=4472832, episodic return=626.336669921875\n", + "global step=4472832, episodic return=606.1680297851562\n", + "global step=4472832, episodic return=621.7368774414062\n", + "global step=4472832, episodic return=608.9761962890625\n", + "global step=4472832, episodic return=602.0278930664062\n", + "global step=4472832, episodic return=619.6328735351562\n", + "global step=4472832, episodic return=588.8935546875\n", + "global step=4474880, episodic return=592.915283203125\n", + "global step=4474880, episodic return=610.3607788085938\n", + "global step=4474880, episodic return=598.6553344726562\n", + "global step=4474880, episodic return=604.676025390625\n", + "global step=4474880, episodic return=595.3541870117188\n", + "global step=4474880, episodic return=577.3614501953125\n", + "global step=4474880, episodic return=598.3610229492188\n", + "global step=4474880, episodic return=589.1893920898438\n", + "global step=4474880, episodic return=590.7274169921875\n", + "global step=4474880, episodic return=608.5594482421875\n", + "global step=4474880, episodic return=610.2993774414062\n", + "global step=4474880, episodic return=609.4739990234375\n", + "global step=4474880, episodic return=621.0704345703125\n", + "global step=4474880, episodic return=622.2822875976562\n", + "global step=4474880, episodic return=588.3681030273438\n", + "global step=4474880, episodic return=600.8433227539062\n", + "global step=4474880, episodic return=583.4693603515625\n", + "global step=4474880, episodic return=610.8883666992188\n", + "global step=4474880, episodic return=622.65478515625\n", + "global step=4474880, episodic return=612.2760620117188\n", + "global step=4474880, episodic return=605.2928466796875\n", + "global step=4474880, episodic return=610.5775756835938\n", + "global step=4474880, episodic return=635.5132446289062\n", + "global step=4474880, episodic return=615.7675170898438\n", + "global step=4474880, episodic return=603.7360229492188\n", + "global step=4474880, episodic return=618.5657958984375\n", + "global step=4476928, episodic return=603.0411376953125\n", + "global step=4476928, episodic return=606.353271484375\n", + "global step=4476928, episodic return=618.5784912109375\n", + "global step=4476928, episodic return=604.6517944335938\n", + "global step=4476928, episodic return=585.4271240234375\n", + "global step=4476928, episodic return=602.8768920898438\n", + "global step=4476928, episodic return=606.7769775390625\n", + "global step=4476928, episodic return=613.1744384765625\n", + "global step=4476928, episodic return=612.4591674804688\n", + "global step=4476928, episodic return=599.9622192382812\n", + "global step=4476928, episodic return=613.3670654296875\n", + "global step=4476928, episodic return=619.4684448242188\n", + "global step=4476928, episodic return=623.1650390625\n", + "global step=4476928, episodic return=621.5704345703125\n", + "global step=4476928, episodic return=572.9877319335938\n", + "global step=4476928, episodic return=620.1929931640625\n", + "global step=4478976, episodic return=607.5288696289062\n", + "global step=4478976, episodic return=615.46044921875\n", + "global step=4478976, episodic return=584.8201293945312\n", + "global step=4478976, episodic return=615.7421875\n", + "global step=4478976, episodic return=587.3938598632812\n", + "global step=4478976, episodic return=599.4337768554688\n", + "global step=4478976, episodic return=613.458251953125\n", + "global step=4478976, episodic return=617.6773071289062\n", + "global step=4478976, episodic return=625.2548828125\n", + "global step=4478976, episodic return=629.6764526367188\n", + "global step=4478976, episodic return=614.535888671875\n", + "global step=4478976, episodic return=602.4234619140625\n", + "global step=4478976, episodic return=603.4822387695312\n", + "global step=4478976, episodic return=601.1013793945312\n", + "global step=4478976, episodic return=593.9974365234375\n", + "global step=4478976, episodic return=593.3715209960938\n", + "global step=4478976, episodic return=593.9721069335938\n", + "global step=4478976, episodic return=594.2639770507812\n", + "global step=4478976, episodic return=613.0090942382812\n", + "global step=4478976, episodic return=603.2909545898438\n", + "global step=4481024, episodic return=608.19140625\n", + "global step=4481024, episodic return=630.7759399414062\n", + "global step=4481024, episodic return=606.9818115234375\n", + "global step=4481024, episodic return=612.911865234375\n", + "global step=4481024, episodic return=579.6867065429688\n", + "global step=4481024, episodic return=606.2417602539062\n", + "global step=4481024, episodic return=618.2628173828125\n", + "global step=4481024, episodic return=624.1934814453125\n", + "global step=4481024, episodic return=618.7412109375\n", + "global step=4481024, episodic return=619.3113403320312\n", + "global step=4481024, episodic return=641.5057373046875\n", + "global step=4481024, episodic return=600.0956420898438\n", + "global step=4481024, episodic return=620.3049926757812\n", + "global step=4481024, episodic return=608.78125\n", + "global step=4483072, episodic return=623.24658203125\n", + "global step=4483072, episodic return=599.6400146484375\n", + "global step=4483072, episodic return=612.2212524414062\n", + "global step=4483072, episodic return=624.101318359375\n", + "global step=4483072, episodic return=595.6769409179688\n", + "global step=4483072, episodic return=608.2097778320312\n", + "global step=4483072, episodic return=622.9927368164062\n", + "global step=4483072, episodic return=616.5610961914062\n", + "global step=4483072, episodic return=593.426513671875\n", + "global step=4483072, episodic return=617.3536987304688\n", + "global step=4483072, episodic return=597.7974243164062\n", + "global step=4483072, episodic return=610.3682861328125\n", + "global step=4483072, episodic return=597.9910888671875\n", + "global step=4483072, episodic return=590.860595703125\n", + "global step=4483072, episodic return=625.4918823242188\n", + "global step=4485120, episodic return=565.212158203125\n", + "global step=4485120, episodic return=598.9660034179688\n", + "global step=4485120, episodic return=625.2562866210938\n", + "global step=4485120, episodic return=608.6878662109375\n", + "global step=4485120, episodic return=589.774658203125\n", + "global step=4485120, episodic return=631.1863403320312\n", + "global step=4485120, episodic return=628.5833740234375\n", + "global step=4485120, episodic return=607.173583984375\n", + "global step=4485120, episodic return=614.1181640625\n", + "global step=4485120, episodic return=614.54150390625\n", + "global step=4485120, episodic return=610.2407836914062\n", + "global step=4485120, episodic return=591.353271484375\n", + "global step=4485120, episodic return=633.8550415039062\n", + "global step=4485120, episodic return=613.0575561523438\n", + "global step=4485120, episodic return=605.4862060546875\n", + "global step=4485120, episodic return=615.8734741210938\n", + "global step=4485120, episodic return=612.6143188476562\n", + "global step=4485120, episodic return=596.8717041015625\n", + "global step=4487168, episodic return=574.2070922851562\n", + "global step=4487168, episodic return=617.4579467773438\n", + "global step=4487168, episodic return=584.7970581054688\n", + "global step=4487168, episodic return=601.1923828125\n", + "global step=4487168, episodic return=610.7124633789062\n", + "global step=4487168, episodic return=604.897216796875\n", + "global step=4487168, episodic return=595.1709594726562\n", + "global step=4487168, episodic return=582.8023681640625\n", + "global step=4487168, episodic return=585.4409790039062\n", + "global step=4487168, episodic return=623.52685546875\n", + "global step=4487168, episodic return=622.05029296875\n", + "global step=4487168, episodic return=619.3909301757812\n", + "global step=4487168, episodic return=585.2796020507812\n", + "global step=4487168, episodic return=603.8964233398438\n", + "global step=4487168, episodic return=599.4434814453125\n", + "global step=4487168, episodic return=581.1788940429688\n", + "global step=4487168, episodic return=597.3236694335938\n", + "global step=4487168, episodic return=595.280517578125\n", + "global step=4487168, episodic return=637.826416015625\n", + "global step=4487168, episodic return=598.1500244140625\n", + "global step=4489216, episodic return=618.6527709960938\n", + "global step=4489216, episodic return=616.2098999023438\n", + "global step=4489216, episodic return=608.9778442382812\n", + "global step=4489216, episodic return=595.7245483398438\n", + "global step=4489216, episodic return=606.3712768554688\n", + "global step=4489216, episodic return=618.6369018554688\n", + "global step=4489216, episodic return=621.3911743164062\n", + "global step=4489216, episodic return=627.1246948242188\n", + "global step=4489216, episodic return=608.53271484375\n", + "global step=4491264, episodic return=601.8377075195312\n", + "global step=4491264, episodic return=597.0339965820312\n", + "global step=4491264, episodic return=614.6568603515625\n", + "global step=4491264, episodic return=618.9982299804688\n", + "global step=4491264, episodic return=595.75048828125\n", + "global step=4491264, episodic return=591.5089111328125\n", + "global step=4491264, episodic return=608.937255859375\n", + "global step=4491264, episodic return=605.2872924804688\n", + "global step=4491264, episodic return=596.5115966796875\n", + "global step=4491264, episodic return=593.029296875\n", + "global step=4491264, episodic return=591.2466430664062\n", + "global step=4491264, episodic return=607.2452392578125\n", + "global step=4491264, episodic return=605.2544555664062\n", + "global step=4491264, episodic return=591.3540649414062\n", + "global step=4491264, episodic return=573.1787109375\n", + "global step=4491264, episodic return=569.7228393554688\n", + "global step=4491264, episodic return=613.12060546875\n", + "global step=4491264, episodic return=619.9735717773438\n", + "global step=4493312, episodic return=609.2403564453125\n", + "global step=4493312, episodic return=617.3657836914062\n", + "global step=4493312, episodic return=631.1859130859375\n", + "global step=4493312, episodic return=588.421630859375\n", + "global step=4493312, episodic return=635.0411987304688\n", + "global step=4493312, episodic return=603.5254516601562\n", + "global step=4493312, episodic return=623.8829345703125\n", + "global step=4493312, episodic return=585.4646606445312\n", + "global step=4493312, episodic return=590.350830078125\n", + "global step=4493312, episodic return=617.7662353515625\n", + "global step=4493312, episodic return=610.8972778320312\n", + "global step=4495360, episodic return=571.5299682617188\n", + "global step=4495360, episodic return=587.7330932617188\n", + "global step=4495360, episodic return=598.1123657226562\n", + "global step=4495360, episodic return=609.8313598632812\n", + "global step=4495360, episodic return=606.060302734375\n", + "global step=4495360, episodic return=603.0257568359375\n", + "global step=4495360, episodic return=613.952880859375\n", + "global step=4495360, episodic return=614.6337890625\n", + "global step=4495360, episodic return=596.6099853515625\n", + "global step=4495360, episodic return=609.7554931640625\n", + "global step=4495360, episodic return=598.7271118164062\n", + "global step=4495360, episodic return=618.7120971679688\n", + "global step=4495360, episodic return=623.3403930664062\n", + "global step=4495360, episodic return=607.0299072265625\n", + "global step=4495360, episodic return=620.0733032226562\n", + "global step=4495360, episodic return=614.601318359375\n", + "global step=4495360, episodic return=633.2689208984375\n", + "global step=4495360, episodic return=603.113037109375\n", + "global step=4495360, episodic return=583.7120971679688\n", + "global step=4497408, episodic return=596.5020141601562\n", + "global step=4497408, episodic return=568.3780517578125\n", + "global step=4497408, episodic return=616.7041015625\n", + "global step=4497408, episodic return=616.3566284179688\n", + "global step=4497408, episodic return=592.4786376953125\n", + "global step=4497408, episodic return=599.5874633789062\n", + "global step=4497408, episodic return=606.9307861328125\n", + "global step=4497408, episodic return=593.794677734375\n", + "global step=4497408, episodic return=574.7904663085938\n", + "global step=4497408, episodic return=592.1436767578125\n", + "global step=4497408, episodic return=596.3369140625\n", + "global step=4497408, episodic return=602.0989990234375\n", + "global step=4497408, episodic return=611.8247680664062\n", + "global step=4497408, episodic return=592.62939453125\n", + "global step=4497408, episodic return=601.9134521484375\n", + "global step=4499456, episodic return=611.6409912109375\n", + "global step=4499456, episodic return=628.5968017578125\n", + "global step=4499456, episodic return=626.873779296875\n", + "global step=4499456, episodic return=595.4593505859375\n", + "global step=4499456, episodic return=619.2891235351562\n", + "global step=4499456, episodic return=613.9330444335938\n", + "global step=4499456, episodic return=625.2601928710938\n", + "global step=4499456, episodic return=604.3456420898438\n", + "global step=4499456, episodic return=603.5397338867188\n", + "global step=4499456, episodic return=616.5763549804688\n", + "global step=4499456, episodic return=642.6598510742188\n", + "global step=4499456, episodic return=626.3363647460938\n", + "global step=4499456, episodic return=624.7108154296875\n", + "global step=4499456, episodic return=612.3917846679688\n", + "global step=4499456, episodic return=611.1240844726562\n", + "global step=4499456, episodic return=610.6014404296875\n", + "global step=4499456, episodic return=596.3567504882812\n", + "global step=4499456, episodic return=586.9955444335938\n", + "global step=4501504, episodic return=619.4501953125\n", + "global step=4501504, episodic return=600.348388671875\n", + "global step=4501504, episodic return=623.8128662109375\n", + "global step=4501504, episodic return=598.0868530273438\n", + "global step=4501504, episodic return=608.5681762695312\n", + "global step=4501504, episodic return=614.9779663085938\n", + "global step=4501504, episodic return=642.1978759765625\n", + "global step=4501504, episodic return=614.5240478515625\n", + "global step=4501504, episodic return=624.0657348632812\n", + "global step=4501504, episodic return=593.502685546875\n", + "global step=4501504, episodic return=610.8457641601562\n", + "global step=4501504, episodic return=623.1782836914062\n", + "global step=4501504, episodic return=599.0744018554688\n", + "global step=4501504, episodic return=608.8685913085938\n", + "global step=4501504, episodic return=593.9464111328125\n", + "global step=4501504, episodic return=585.2791137695312\n", + "global step=4501504, episodic return=611.9500122070312\n", + "global step=4501504, episodic return=612.1384887695312\n", + "global step=4501504, episodic return=611.7198486328125\n", + "global step=4501504, episodic return=599.648681640625\n", + "global step=4501504, episodic return=602.5237426757812\n", + "global step=4503552, episodic return=604.863037109375\n", + "global step=4503552, episodic return=614.2757568359375\n", + "global step=4503552, episodic return=625.8831176757812\n", + "global step=4503552, episodic return=590.1348266601562\n", + "global step=4503552, episodic return=609.36962890625\n", + "global step=4503552, episodic return=622.8458862304688\n", + "global step=4503552, episodic return=604.4147338867188\n", + "global step=4503552, episodic return=645.902587890625\n", + "global step=4503552, episodic return=596.2446899414062\n", + "global step=4503552, episodic return=591.7823486328125\n", + "global step=4503552, episodic return=617.8126831054688\n", + "global step=4503552, episodic return=606.682861328125\n", + "global step=4503552, episodic return=623.6854858398438\n", + "global step=4503552, episodic return=613.262451171875\n", + "global step=4503552, episodic return=604.7913818359375\n", + "global step=4503552, episodic return=622.3612670898438\n", + "global step=4503552, episodic return=616.3726196289062\n", + "global step=4503552, episodic return=632.0795288085938\n", + "global step=4503552, episodic return=629.0958862304688\n", + "global step=4505600, episodic return=593.6488647460938\n", + "global step=4505600, episodic return=619.67822265625\n", + "global step=4505600, episodic return=610.7166748046875\n", + "global step=4505600, episodic return=594.6834106445312\n", + "global step=4505600, episodic return=601.8549194335938\n", + "global step=4505600, episodic return=602.4573974609375\n", + "global step=4505600, episodic return=600.38037109375\n", + "global step=4505600, episodic return=630.4418334960938\n", + "global step=4505600, episodic return=611.8232421875\n", + "global step=4505600, episodic return=638.0272827148438\n", + "global step=4505600, episodic return=610.8561401367188\n", + "global step=4505600, episodic return=609.81298828125\n", + "global step=4505600, episodic return=606.5789184570312\n", + "global step=4505600, episodic return=639.0327758789062\n", + "global step=4505600, episodic return=609.4234008789062\n", + "global step=4505600, episodic return=600.9871215820312\n", + "global step=4505600, episodic return=618.3413696289062\n", + "global step=4507648, episodic return=573.512451171875\n", + "global step=4507648, episodic return=621.6367797851562\n", + "global step=4507648, episodic return=628.7479248046875\n", + "global step=4507648, episodic return=647.2749633789062\n", + "global step=4507648, episodic return=601.839599609375\n", + "global step=4507648, episodic return=591.6986694335938\n", + "global step=4507648, episodic return=568.7573852539062\n", + "global step=4507648, episodic return=584.5084228515625\n", + "global step=4507648, episodic return=621.0328369140625\n", + "global step=4507648, episodic return=596.711181640625\n", + "global step=4507648, episodic return=605.3488159179688\n", + "global step=4507648, episodic return=634.1168212890625\n", + "global step=4509696, episodic return=643.4723510742188\n", + "global step=4509696, episodic return=600.4837036132812\n", + "global step=4509696, episodic return=615.6425170898438\n", + "global step=4509696, episodic return=629.1055297851562\n", + "global step=4509696, episodic return=617.4478149414062\n", + "global step=4509696, episodic return=601.2601318359375\n", + "global step=4509696, episodic return=603.0286865234375\n", + "global step=4509696, episodic return=617.0748901367188\n", + "global step=4509696, episodic return=605.6892700195312\n", + "global step=4509696, episodic return=612.8018188476562\n", + "global step=4509696, episodic return=605.3713989257812\n", + "global step=4509696, episodic return=592.7787475585938\n", + "global step=4509696, episodic return=606.295654296875\n", + "global step=4509696, episodic return=626.0499267578125\n", + "global step=4509696, episodic return=592.8185424804688\n", + "global step=4509696, episodic return=603.8245849609375\n", + "global step=4509696, episodic return=613.2454833984375\n", + "global step=4509696, episodic return=635.8971557617188\n", + "global step=4509696, episodic return=617.73828125\n", + "global step=4509696, episodic return=574.9788208007812\n", + "global step=4511744, episodic return=607.76806640625\n", + "global step=4511744, episodic return=600.7683715820312\n", + "global step=4511744, episodic return=614.4035034179688\n", + "global step=4511744, episodic return=598.190673828125\n", + "global step=4511744, episodic return=634.6333618164062\n", + "global step=4511744, episodic return=617.1264038085938\n", + "global step=4511744, episodic return=616.446044921875\n", + "global step=4511744, episodic return=615.8907470703125\n", + "global step=4511744, episodic return=591.99560546875\n", + "global step=4511744, episodic return=591.78125\n", + "global step=4511744, episodic return=635.2468872070312\n", + "global step=4511744, episodic return=602.1891479492188\n", + "global step=4511744, episodic return=598.7338256835938\n", + "global step=4511744, episodic return=601.099853515625\n", + "global step=4511744, episodic return=609.9863891601562\n", + "global step=4511744, episodic return=594.8896484375\n", + "global step=4511744, episodic return=610.521728515625\n", + "global step=4511744, episodic return=608.88671875\n", + "global step=4511744, episodic return=601.0123901367188\n", + "global step=4511744, episodic return=620.4086303710938\n", + "global step=4511744, episodic return=599.9866943359375\n", + "global step=4511744, episodic return=605.5147705078125\n", + "global step=4511744, episodic return=592.3690795898438\n", + "global step=4511744, episodic return=601.815185546875\n", + "global step=4511744, episodic return=637.19580078125\n", + "global step=4511744, episodic return=606.5890502929688\n", + "global step=4513792, episodic return=608.3330688476562\n", + "global step=4513792, episodic return=629.0275268554688\n", + "global step=4513792, episodic return=625.7284545898438\n", + "global step=4513792, episodic return=611.0211791992188\n", + "global step=4513792, episodic return=604.3280639648438\n", + "global step=4513792, episodic return=615.3634643554688\n", + "global step=4513792, episodic return=599.39453125\n", + "global step=4513792, episodic return=591.3811645507812\n", + "global step=4513792, episodic return=606.9833374023438\n", + "global step=4513792, episodic return=621.2064208984375\n", + "global step=4513792, episodic return=594.611083984375\n", + "global step=4513792, episodic return=571.6248779296875\n", + "global step=4515840, episodic return=619.7335205078125\n", + "global step=4515840, episodic return=632.751708984375\n", + "global step=4515840, episodic return=614.1061401367188\n", + "global step=4515840, episodic return=613.4996948242188\n", + "global step=4515840, episodic return=622.7714233398438\n", + "global step=4515840, episodic return=624.1971435546875\n", + "global step=4515840, episodic return=592.8430786132812\n", + "global step=4515840, episodic return=613.0905151367188\n", + "global step=4515840, episodic return=630.0656127929688\n", + "global step=4515840, episodic return=617.5780639648438\n", + "global step=4515840, episodic return=619.4454956054688\n", + "global step=4515840, episodic return=622.2852172851562\n", + "global step=4515840, episodic return=612.2633666992188\n", + "global step=4515840, episodic return=619.5702514648438\n", + "global step=4515840, episodic return=602.2743530273438\n", + "global step=4515840, episodic return=614.4234619140625\n", + "global step=4515840, episodic return=632.6444702148438\n", + "global step=4515840, episodic return=598.7645874023438\n", + "global step=4515840, episodic return=623.901123046875\n", + "global step=4515840, episodic return=604.8519897460938\n", + "global step=4515840, episodic return=601.606689453125\n", + "global step=4517888, episodic return=612.7522583007812\n", + "global step=4517888, episodic return=593.7822875976562\n", + "global step=4517888, episodic return=640.7460327148438\n", + "global step=4517888, episodic return=609.15625\n", + "global step=4517888, episodic return=610.5545043945312\n", + "global step=4517888, episodic return=605.746337890625\n", + "global step=4517888, episodic return=612.1688842773438\n", + "global step=4517888, episodic return=625.2662353515625\n", + "global step=4517888, episodic return=625.5997924804688\n", + "global step=4517888, episodic return=602.788330078125\n", + "global step=4517888, episodic return=624.7335815429688\n", + "global step=4517888, episodic return=613.99609375\n", + "global step=4517888, episodic return=595.260986328125\n", + "global step=4517888, episodic return=612.5548706054688\n", + "global step=4517888, episodic return=593.3922119140625\n", + "global step=4519936, episodic return=604.803955078125\n", + "global step=4519936, episodic return=598.5806884765625\n", + "global step=4519936, episodic return=609.9065551757812\n", + "global step=4519936, episodic return=638.8390502929688\n", + "global step=4519936, episodic return=618.832763671875\n", + "global step=4519936, episodic return=580.7662963867188\n", + "global step=4519936, episodic return=613.9921875\n", + "global step=4519936, episodic return=608.7391357421875\n", + "global step=4519936, episodic return=603.841796875\n", + "global step=4519936, episodic return=597.2349243164062\n", + "global step=4519936, episodic return=586.3929443359375\n", + "global step=4519936, episodic return=612.8814697265625\n", + "global step=4519936, episodic return=632.2078857421875\n", + "global step=4519936, episodic return=623.9349365234375\n", + "global step=4519936, episodic return=621.404296875\n", + "global step=4519936, episodic return=641.5719604492188\n", + "global step=4519936, episodic return=612.9224853515625\n", + "global step=4519936, episodic return=621.0243530273438\n", + "global step=4521984, episodic return=617.6924438476562\n", + "global step=4521984, episodic return=613.04931640625\n", + "global step=4521984, episodic return=594.5300903320312\n", + "global step=4521984, episodic return=576.4781494140625\n", + "global step=4521984, episodic return=616.2929077148438\n", + "global step=4521984, episodic return=613.7548828125\n", + "global step=4521984, episodic return=608.9310302734375\n", + "global step=4521984, episodic return=627.226318359375\n", + "global step=4521984, episodic return=637.4074096679688\n", + "global step=4521984, episodic return=614.0745239257812\n", + "global step=4521984, episodic return=608.4596557617188\n", + "global step=4521984, episodic return=595.4126586914062\n", + "global step=4521984, episodic return=625.4847412109375\n", + "global step=4521984, episodic return=622.7361450195312\n", + "global step=4521984, episodic return=606.4393920898438\n", + "global step=4521984, episodic return=590.9531860351562\n", + "global step=4521984, episodic return=632.6526489257812\n", + "global step=4524032, episodic return=627.0397338867188\n", + "global step=4524032, episodic return=593.9226684570312\n", + "global step=4524032, episodic return=606.3425903320312\n", + "global step=4524032, episodic return=591.7158203125\n", + "global step=4524032, episodic return=616.9784545898438\n", + "global step=4524032, episodic return=589.0952758789062\n", + "global step=4524032, episodic return=580.0912475585938\n", + "global step=4524032, episodic return=614.6843872070312\n", + "global step=4524032, episodic return=607.5695190429688\n", + "global step=4524032, episodic return=616.1506958007812\n", + "global step=4524032, episodic return=604.3062744140625\n", + "global step=4524032, episodic return=601.7247314453125\n", + "global step=4524032, episodic return=610.6912231445312\n", + "global step=4526080, episodic return=616.2603149414062\n", + "global step=4526080, episodic return=609.9974975585938\n", + "global step=4526080, episodic return=599.4999389648438\n", + "global step=4526080, episodic return=621.1979370117188\n", + "global step=4526080, episodic return=611.1934204101562\n", + "global step=4526080, episodic return=582.8236694335938\n", + "global step=4526080, episodic return=592.5445556640625\n", + "global step=4526080, episodic return=613.703369140625\n", + "global step=4526080, episodic return=597.0587158203125\n", + "global step=4526080, episodic return=611.1962280273438\n", + "global step=4526080, episodic return=611.5604858398438\n", + "global step=4526080, episodic return=596.7847900390625\n", + "global step=4526080, episodic return=593.33056640625\n", + "global step=4526080, episodic return=603.4727172851562\n", + "global step=4526080, episodic return=594.4869384765625\n", + "global step=4528128, episodic return=636.5410766601562\n", + "global step=4528128, episodic return=637.9978637695312\n", + "global step=4528128, episodic return=622.1079711914062\n", + "global step=4528128, episodic return=630.7745971679688\n", + "global step=4528128, episodic return=593.1843872070312\n", + "global step=4528128, episodic return=622.497802734375\n", + "global step=4528128, episodic return=591.9780883789062\n", + "global step=4528128, episodic return=642.494140625\n", + "global step=4528128, episodic return=591.8579711914062\n", + "global step=4528128, episodic return=619.3362426757812\n", + "global step=4528128, episodic return=610.0657958984375\n", + "global step=4528128, episodic return=604.4598388671875\n", + "global step=4528128, episodic return=597.4163208007812\n", + "global step=4528128, episodic return=632.0582885742188\n", + "global step=4528128, episodic return=617.2816162109375\n", + "global step=4528128, episodic return=599.396484375\n", + "global step=4528128, episodic return=612.0899047851562\n", + "global step=4528128, episodic return=635.4755859375\n", + "global step=4528128, episodic return=624.172607421875\n", + "global step=4528128, episodic return=604.2742309570312\n", + "global step=4528128, episodic return=617.3375244140625\n", + "global step=4528128, episodic return=624.4507446289062\n", + "global step=4528128, episodic return=611.3709106445312\n", + "global step=4528128, episodic return=614.8377685546875\n", + "global step=4528128, episodic return=598.15966796875\n", + "global step=4528128, episodic return=624.938720703125\n", + "global step=4528128, episodic return=592.127685546875\n", + "global step=4528128, episodic return=617.3853149414062\n", + "global step=4528128, episodic return=605.1812133789062\n", + "global step=4528128, episodic return=607.8505249023438\n", + "global step=4528128, episodic return=606.0643310546875\n", + "global step=4530176, episodic return=599.5006713867188\n", + "global step=4530176, episodic return=582.3186645507812\n", + "global step=4530176, episodic return=600.3189086914062\n", + "global step=4530176, episodic return=626.1580810546875\n", + "global step=4530176, episodic return=590.4000244140625\n", + "global step=4530176, episodic return=603.4443359375\n", + "global step=4530176, episodic return=602.1946411132812\n", + "global step=4530176, episodic return=619.8223876953125\n", + "global step=4530176, episodic return=613.6683349609375\n", + "global step=4530176, episodic return=610.8644409179688\n", + "global step=4530176, episodic return=619.6127319335938\n", + "global step=4530176, episodic return=620.6268310546875\n", + "global step=4530176, episodic return=610.9397583007812\n", + "global step=4532224, episodic return=634.20751953125\n", + "global step=4532224, episodic return=632.4330444335938\n", + "global step=4532224, episodic return=599.4249267578125\n", + "global step=4532224, episodic return=602.4907836914062\n", + "global step=4532224, episodic return=633.140380859375\n", + "global step=4532224, episodic return=601.8677978515625\n", + "global step=4532224, episodic return=590.4100952148438\n", + "global step=4532224, episodic return=591.5343017578125\n", + "global step=4532224, episodic return=612.3075561523438\n", + "global step=4532224, episodic return=613.5675659179688\n", + "global step=4532224, episodic return=613.0237426757812\n", + "global step=4532224, episodic return=602.0477905273438\n", + "global step=4532224, episodic return=622.0308227539062\n", + "global step=4532224, episodic return=625.7681274414062\n", + "global step=4532224, episodic return=592.2740478515625\n", + "global step=4532224, episodic return=614.5293579101562\n", + "global step=4532224, episodic return=615.7832641601562\n", + "global step=4532224, episodic return=623.7713623046875\n", + "global step=4532224, episodic return=638.6734619140625\n", + "global step=4532224, episodic return=597.679931640625\n", + "global step=4532224, episodic return=586.1575927734375\n", + "global step=4532224, episodic return=623.7932739257812\n", + "global step=4532224, episodic return=635.4479370117188\n", + "global step=4532224, episodic return=615.1406860351562\n", + "global step=4534272, episodic return=558.908447265625\n", + "global step=4534272, episodic return=620.9945678710938\n", + "global step=4534272, episodic return=607.0838623046875\n", + "global step=4534272, episodic return=631.9168090820312\n", + "global step=4534272, episodic return=607.9276123046875\n", + "global step=4534272, episodic return=602.305419921875\n", + "global step=4534272, episodic return=579.1499633789062\n", + "global step=4534272, episodic return=607.3616333007812\n", + "global step=4534272, episodic return=611.1728515625\n", + "global step=4534272, episodic return=633.4782104492188\n", + "global step=4534272, episodic return=616.2611694335938\n", + "global step=4534272, episodic return=611.4088745117188\n", + "global step=4534272, episodic return=603.4283447265625\n", + "global step=4534272, episodic return=631.3855590820312\n", + "global step=4534272, episodic return=602.8472290039062\n", + "global step=4534272, episodic return=619.777587890625\n", + "global step=4534272, episodic return=625.3521728515625\n", + "global step=4534272, episodic return=596.1356811523438\n", + "global step=4534272, episodic return=587.73291015625\n", + "global step=4534272, episodic return=586.708984375\n", + "global step=4536320, episodic return=596.4053955078125\n", + "global step=4536320, episodic return=603.6844482421875\n", + "global step=4536320, episodic return=599.4205932617188\n", + "global step=4536320, episodic return=599.7508544921875\n", + "global step=4536320, episodic return=600.4910278320312\n", + "global step=4536320, episodic return=595.6126708984375\n", + "global step=4536320, episodic return=640.557373046875\n", + "global step=4536320, episodic return=614.5457763671875\n", + "global step=4536320, episodic return=630.3551635742188\n", + "global step=4536320, episodic return=611.879150390625\n", + "global step=4536320, episodic return=628.4356689453125\n", + "global step=4536320, episodic return=603.033447265625\n", + "global step=4536320, episodic return=619.2919921875\n", + "global step=4536320, episodic return=600.859619140625\n", + "global step=4536320, episodic return=608.5133056640625\n", + "global step=4536320, episodic return=604.2344360351562\n", + "global step=4536320, episodic return=614.1732177734375\n", + "global step=4536320, episodic return=644.7720947265625\n", + "global step=4536320, episodic return=634.7194213867188\n", + "global step=4536320, episodic return=597.791748046875\n", + "global step=4536320, episodic return=603.4771728515625\n", + "global step=4536320, episodic return=610.2612915039062\n", + "global step=4536320, episodic return=613.3897705078125\n", + "global step=4536320, episodic return=594.011474609375\n", + "global step=4538368, episodic return=619.6824951171875\n", + "global step=4538368, episodic return=598.850341796875\n", + "global step=4538368, episodic return=631.3154907226562\n", + "global step=4538368, episodic return=636.1057739257812\n", + "global step=4538368, episodic return=621.5050048828125\n", + "global step=4538368, episodic return=624.1444702148438\n", + "global step=4538368, episodic return=597.4356689453125\n", + "global step=4538368, episodic return=598.2252197265625\n", + "global step=4538368, episodic return=612.23828125\n", + "global step=4538368, episodic return=617.4448852539062\n", + "global step=4538368, episodic return=620.771240234375\n", + "global step=4538368, episodic return=624.4360961914062\n", + "global step=4538368, episodic return=608.3377075195312\n", + "global step=4538368, episodic return=631.7927856445312\n", + "global step=4538368, episodic return=604.3856201171875\n", + "global step=4538368, episodic return=608.783447265625\n", + "global step=4540416, episodic return=600.82421875\n", + "global step=4540416, episodic return=596.8445434570312\n", + "global step=4540416, episodic return=589.9447631835938\n", + "global step=4540416, episodic return=618.59912109375\n", + "global step=4540416, episodic return=623.4091186523438\n", + "global step=4540416, episodic return=611.5580444335938\n", + "global step=4540416, episodic return=633.1373901367188\n", + "global step=4540416, episodic return=624.7664184570312\n", + "global step=4540416, episodic return=635.2984008789062\n", + "global step=4540416, episodic return=622.7567138671875\n", + "global step=4540416, episodic return=630.3203125\n", + "global step=4540416, episodic return=603.0508422851562\n", + "global step=4540416, episodic return=612.1729736328125\n", + "global step=4542464, episodic return=618.7457275390625\n", + "global step=4542464, episodic return=640.0540161132812\n", + "global step=4542464, episodic return=595.9692993164062\n", + "global step=4542464, episodic return=630.5494384765625\n", + "global step=4542464, episodic return=616.0034790039062\n", + "global step=4542464, episodic return=619.3284912109375\n", + "global step=4542464, episodic return=608.27099609375\n", + "global step=4542464, episodic return=593.3696899414062\n", + "global step=4542464, episodic return=624.0022583007812\n", + "global step=4542464, episodic return=603.4241943359375\n", + "global step=4542464, episodic return=620.918212890625\n", + "global step=4542464, episodic return=612.5341796875\n", + "global step=4542464, episodic return=623.6204223632812\n", + "global step=4542464, episodic return=606.3718872070312\n", + "global step=4542464, episodic return=613.8700561523438\n", + "global step=4542464, episodic return=633.9926147460938\n", + "global step=4542464, episodic return=604.2091064453125\n", + "global step=4544512, episodic return=635.7431640625\n", + "global step=4544512, episodic return=607.9014282226562\n", + "global step=4544512, episodic return=644.6782836914062\n", + "global step=4544512, episodic return=631.632568359375\n", + "global step=4544512, episodic return=646.2615966796875\n", + "global step=4544512, episodic return=645.2269287109375\n", + "global step=4544512, episodic return=606.75341796875\n", + "global step=4544512, episodic return=629.363037109375\n", + "global step=4544512, episodic return=624.314453125\n", + "global step=4544512, episodic return=618.6135864257812\n", + "global step=4544512, episodic return=630.593994140625\n", + "global step=4544512, episodic return=620.899169921875\n", + "global step=4544512, episodic return=606.7670288085938\n", + "global step=4544512, episodic return=597.7805786132812\n", + "global step=4544512, episodic return=618.9012451171875\n", + "global step=4546560, episodic return=625.018798828125\n", + "global step=4546560, episodic return=613.427734375\n", + "global step=4546560, episodic return=614.8729248046875\n", + "global step=4546560, episodic return=623.2601928710938\n", + "global step=4546560, episodic return=620.2866821289062\n", + "global step=4546560, episodic return=606.0791015625\n", + "global step=4546560, episodic return=624.4075927734375\n", + "global step=4546560, episodic return=594.9360961914062\n", + "global step=4546560, episodic return=604.3275756835938\n", + "global step=4546560, episodic return=603.58837890625\n", + "global step=4546560, episodic return=597.3786010742188\n", + "global step=4546560, episodic return=608.9494018554688\n", + "global step=4546560, episodic return=596.673095703125\n", + "global step=4546560, episodic return=581.7711791992188\n", + "global step=4546560, episodic return=599.1039428710938\n", + "global step=4546560, episodic return=593.6338500976562\n", + "global step=4546560, episodic return=613.1080932617188\n", + "global step=4546560, episodic return=617.5657958984375\n", + "global step=4546560, episodic return=633.0134887695312\n", + "global step=4546560, episodic return=611.4847412109375\n", + "global step=4546560, episodic return=612.1760864257812\n", + "global step=4546560, episodic return=593.1157836914062\n", + "global step=4548608, episodic return=643.03173828125\n", + "global step=4548608, episodic return=606.1806030273438\n", + "global step=4548608, episodic return=633.9942016601562\n", + "global step=4548608, episodic return=638.7838745117188\n", + "global step=4548608, episodic return=581.2433471679688\n", + "global step=4548608, episodic return=618.6446533203125\n", + "global step=4548608, episodic return=607.3687133789062\n", + "global step=4548608, episodic return=608.98095703125\n", + "global step=4548608, episodic return=635.2071533203125\n", + "global step=4548608, episodic return=599.74951171875\n", + "global step=4548608, episodic return=644.9400634765625\n", + "global step=4548608, episodic return=624.0399169921875\n", + "global step=4548608, episodic return=627.0706787109375\n", + "global step=4548608, episodic return=627.0715942382812\n", + "global step=4550656, episodic return=596.9900512695312\n", + "global step=4550656, episodic return=604.5589599609375\n", + "global step=4550656, episodic return=619.8911743164062\n", + "global step=4550656, episodic return=610.8207397460938\n", + "global step=4550656, episodic return=610.0022583007812\n", + "global step=4550656, episodic return=603.1173095703125\n", + "global step=4550656, episodic return=591.4869995117188\n", + "global step=4550656, episodic return=607.470703125\n", + "global step=4550656, episodic return=624.6373901367188\n", + "global step=4550656, episodic return=615.1880493164062\n", + "global step=4550656, episodic return=629.6080322265625\n", + "global step=4550656, episodic return=626.9906005859375\n", + "global step=4550656, episodic return=593.8402709960938\n", + "global step=4550656, episodic return=624.5029907226562\n", + "global step=4550656, episodic return=636.236572265625\n", + "global step=4552704, episodic return=606.0941162109375\n", + "global step=4552704, episodic return=607.95751953125\n", + "global step=4552704, episodic return=636.5270385742188\n", + "global step=4552704, episodic return=635.9835815429688\n", + "global step=4552704, episodic return=599.7437744140625\n", + "global step=4552704, episodic return=620.5798950195312\n", + "global step=4552704, episodic return=619.2827758789062\n", + "global step=4552704, episodic return=592.0283203125\n", + "global step=4552704, episodic return=647.7955932617188\n", + "global step=4552704, episodic return=619.5787963867188\n", + "global step=4552704, episodic return=580.2191772460938\n", + "global step=4552704, episodic return=588.8094482421875\n", + "global step=4552704, episodic return=636.2886962890625\n", + "global step=4552704, episodic return=608.3228149414062\n", + "global step=4552704, episodic return=610.2044677734375\n", + "global step=4552704, episodic return=625.3140258789062\n", + "global step=4552704, episodic return=597.6631469726562\n", + "global step=4552704, episodic return=627.8307495117188\n", + "global step=4554752, episodic return=608.8506469726562\n", + "global step=4554752, episodic return=625.1888427734375\n", + "global step=4554752, episodic return=613.8560180664062\n", + "global step=4554752, episodic return=593.28173828125\n", + "global step=4554752, episodic return=622.0599975585938\n", + "global step=4554752, episodic return=619.931640625\n", + "global step=4554752, episodic return=610.9339599609375\n", + "global step=4554752, episodic return=594.81787109375\n", + "global step=4554752, episodic return=599.27783203125\n", + "global step=4554752, episodic return=614.9334106445312\n", + "global step=4554752, episodic return=606.651611328125\n", + "global step=4554752, episodic return=612.5042724609375\n", + "global step=4554752, episodic return=595.805419921875\n", + "global step=4554752, episodic return=620.533935546875\n", + "global step=4554752, episodic return=628.7088012695312\n", + "global step=4554752, episodic return=653.9710693359375\n", + "global step=4556800, episodic return=601.6002197265625\n", + "global step=4556800, episodic return=641.9719848632812\n", + "global step=4556800, episodic return=638.78369140625\n", + "global step=4556800, episodic return=627.818115234375\n", + "global step=4556800, episodic return=623.4767456054688\n", + "global step=4556800, episodic return=602.3800048828125\n", + "global step=4556800, episodic return=591.8584594726562\n", + "global step=4556800, episodic return=597.8387451171875\n", + "global step=4556800, episodic return=596.5236206054688\n", + "global step=4556800, episodic return=592.664306640625\n", + "global step=4556800, episodic return=591.0320434570312\n", + "global step=4556800, episodic return=622.9800415039062\n", + "global step=4556800, episodic return=606.147705078125\n", + "global step=4556800, episodic return=615.8231201171875\n", + "global step=4556800, episodic return=620.9724731445312\n", + "global step=4556800, episodic return=626.8505859375\n", + "global step=4556800, episodic return=596.5924682617188\n", + "global step=4556800, episodic return=607.9365844726562\n", + "global step=4556800, episodic return=615.8187866210938\n", + "global step=4556800, episodic return=597.7713012695312\n", + "global step=4556800, episodic return=592.0634765625\n", + "global step=4558848, episodic return=586.2860717773438\n", + "global step=4558848, episodic return=642.2850952148438\n", + "global step=4558848, episodic return=620.5100708007812\n", + "global step=4558848, episodic return=613.8672485351562\n", + "global step=4558848, episodic return=619.0117797851562\n", + "global step=4558848, episodic return=618.5989990234375\n", + "global step=4558848, episodic return=628.4097900390625\n", + "global step=4558848, episodic return=623.4378051757812\n", + "global step=4558848, episodic return=611.8119506835938\n", + "global step=4558848, episodic return=623.9910888671875\n", + "global step=4558848, episodic return=604.06396484375\n", + "global step=4558848, episodic return=653.629150390625\n", + "global step=4558848, episodic return=622.1807250976562\n", + "global step=4558848, episodic return=604.9271240234375\n", + "global step=4560896, episodic return=620.7818603515625\n", + "global step=4560896, episodic return=587.1097412109375\n", + "global step=4560896, episodic return=609.4627075195312\n", + "global step=4560896, episodic return=583.40673828125\n", + "global step=4560896, episodic return=612.3134765625\n", + "global step=4560896, episodic return=595.7614135742188\n", + "global step=4560896, episodic return=617.2915649414062\n", + "global step=4560896, episodic return=628.191650390625\n", + "global step=4560896, episodic return=627.5804443359375\n", + "global step=4560896, episodic return=614.1566772460938\n", + "global step=4560896, episodic return=597.828857421875\n", + "global step=4560896, episodic return=602.1825561523438\n", + "global step=4560896, episodic return=632.6104125976562\n", + "global step=4560896, episodic return=593.7339477539062\n", + "global step=4560896, episodic return=603.8557739257812\n", + "global step=4560896, episodic return=585.0403442382812\n", + "global step=4560896, episodic return=647.3929443359375\n", + "global step=4562944, episodic return=632.5030517578125\n", + "global step=4562944, episodic return=599.2396240234375\n", + "global step=4562944, episodic return=581.553466796875\n", + "global step=4562944, episodic return=603.5809936523438\n", + "global step=4562944, episodic return=614.8514404296875\n", + "global step=4562944, episodic return=594.3590698242188\n", + "global step=4562944, episodic return=622.5397338867188\n", + "global step=4562944, episodic return=626.5820922851562\n", + "global step=4562944, episodic return=645.9368286132812\n", + "global step=4562944, episodic return=632.0671997070312\n", + "global step=4562944, episodic return=613.8202514648438\n", + "global step=4562944, episodic return=578.10302734375\n", + "global step=4562944, episodic return=622.38525390625\n", + "global step=4562944, episodic return=608.2608642578125\n", + "global step=4562944, episodic return=599.1622924804688\n", + "global step=4562944, episodic return=597.8474731445312\n", + "global step=4562944, episodic return=613.4341430664062\n", + "global step=4562944, episodic return=633.0593872070312\n", + "global step=4562944, episodic return=591.25439453125\n", + "global step=4564992, episodic return=632.5054931640625\n", + "global step=4564992, episodic return=593.0942993164062\n", + "global step=4564992, episodic return=612.2814331054688\n", + "global step=4564992, episodic return=615.619384765625\n", + "global step=4564992, episodic return=612.6017456054688\n", + "global step=4564992, episodic return=628.4278564453125\n", + "global step=4564992, episodic return=590.4705810546875\n", + "global step=4564992, episodic return=627.0598754882812\n", + "global step=4564992, episodic return=595.2402954101562\n", + "global step=4564992, episodic return=592.4205322265625\n", + "global step=4564992, episodic return=641.6092529296875\n", + "global step=4564992, episodic return=615.5447387695312\n", + "global step=4564992, episodic return=603.472900390625\n", + "global step=4564992, episodic return=601.0335693359375\n", + "global step=4564992, episodic return=627.0381469726562\n", + "global step=4564992, episodic return=616.4343872070312\n", + "global step=4564992, episodic return=612.3834838867188\n", + "global step=4564992, episodic return=612.5629272460938\n", + "global step=4564992, episodic return=616.3102416992188\n", + "global step=4564992, episodic return=588.4647827148438\n", + "global step=4564992, episodic return=591.1119384765625\n", + "global step=4564992, episodic return=637.3101806640625\n", + "global step=4564992, episodic return=618.1548461914062\n", + "global step=4567040, episodic return=613.7587890625\n", + "global step=4567040, episodic return=633.8926391601562\n", + "global step=4567040, episodic return=601.5138549804688\n", + "global step=4567040, episodic return=601.3916015625\n", + "global step=4567040, episodic return=601.241455078125\n", + "global step=4567040, episodic return=628.9619750976562\n", + "global step=4567040, episodic return=623.5570068359375\n", + "global step=4567040, episodic return=636.490234375\n", + "global step=4567040, episodic return=622.409912109375\n", + "global step=4567040, episodic return=592.3799438476562\n", + "global step=4567040, episodic return=585.3961791992188\n", + "global step=4567040, episodic return=611.01806640625\n", + "global step=4567040, episodic return=602.4063720703125\n", + "global step=4567040, episodic return=600.5043334960938\n", + "global step=4567040, episodic return=654.7391357421875\n", + "global step=4567040, episodic return=590.0870971679688\n", + "global step=4567040, episodic return=609.4639282226562\n", + "global step=4567040, episodic return=626.1262817382812\n", + "global step=4569088, episodic return=613.2609252929688\n", + "global step=4569088, episodic return=615.1079711914062\n", + "global step=4569088, episodic return=620.7943115234375\n", + "global step=4569088, episodic return=618.4880981445312\n", + "global step=4569088, episodic return=619.8627319335938\n", + "global step=4569088, episodic return=594.6590576171875\n", + "global step=4569088, episodic return=635.9135131835938\n", + "global step=4569088, episodic return=622.9141845703125\n", + "global step=4569088, episodic return=602.7651977539062\n", + "global step=4569088, episodic return=621.677490234375\n", + "global step=4569088, episodic return=598.4180297851562\n", + "global step=4569088, episodic return=605.3291015625\n", + "global step=4571136, episodic return=595.5185546875\n", + "global step=4571136, episodic return=607.9260864257812\n", + "global step=4571136, episodic return=629.955322265625\n", + "global step=4571136, episodic return=622.6229248046875\n", + "global step=4571136, episodic return=605.0006713867188\n", + "global step=4571136, episodic return=589.75048828125\n", + "global step=4571136, episodic return=633.7603759765625\n", + "global step=4571136, episodic return=574.3489379882812\n", + "global step=4571136, episodic return=619.4201049804688\n", + "global step=4571136, episodic return=614.083984375\n", + "global step=4571136, episodic return=594.9011840820312\n", + "global step=4571136, episodic return=610.0247192382812\n", + "global step=4571136, episodic return=615.450439453125\n", + "global step=4573184, episodic return=590.7810668945312\n", + "global step=4573184, episodic return=635.5501098632812\n", + "global step=4573184, episodic return=650.615478515625\n", + "global step=4573184, episodic return=609.4982299804688\n", + "global step=4573184, episodic return=588.3536376953125\n", + "global step=4573184, episodic return=610.6224975585938\n", + "global step=4573184, episodic return=616.5291137695312\n", + "global step=4573184, episodic return=593.9637451171875\n", + "global step=4573184, episodic return=611.1355590820312\n", + "global step=4573184, episodic return=616.2349243164062\n", + "global step=4573184, episodic return=607.7155151367188\n", + "global step=4575232, episodic return=629.9537353515625\n", + "global step=4575232, episodic return=614.5703735351562\n", + "global step=4575232, episodic return=642.2867431640625\n", + "global step=4575232, episodic return=600.5303955078125\n", + "global step=4575232, episodic return=616.7152709960938\n", + "global step=4575232, episodic return=620.7169799804688\n", + "global step=4575232, episodic return=630.4024047851562\n", + "global step=4575232, episodic return=592.9187622070312\n", + "global step=4575232, episodic return=645.4020385742188\n", + "global step=4575232, episodic return=613.49609375\n", + "global step=4575232, episodic return=611.5301513671875\n", + "global step=4575232, episodic return=618.3051147460938\n", + "global step=4575232, episodic return=614.2491455078125\n", + "global step=4575232, episodic return=622.798583984375\n", + "global step=4575232, episodic return=588.533935546875\n", + "global step=4575232, episodic return=589.3129272460938\n", + "global step=4575232, episodic return=624.9080200195312\n", + "global step=4577280, episodic return=597.3574829101562\n", + "global step=4577280, episodic return=604.7837524414062\n", + "global step=4577280, episodic return=647.056884765625\n", + "global step=4577280, episodic return=608.8529052734375\n", + "global step=4577280, episodic return=629.0128173828125\n", + "global step=4577280, episodic return=609.5849609375\n", + "global step=4577280, episodic return=589.9048461914062\n", + "global step=4577280, episodic return=616.7071533203125\n", + "global step=4577280, episodic return=605.9302978515625\n", + "global step=4577280, episodic return=619.2501220703125\n", + "global step=4577280, episodic return=626.0110473632812\n", + "global step=4577280, episodic return=626.596923828125\n", + "global step=4577280, episodic return=634.0178833007812\n", + "global step=4577280, episodic return=614.9808959960938\n", + "global step=4577280, episodic return=602.739990234375\n", + "global step=4577280, episodic return=604.7846069335938\n", + "global step=4577280, episodic return=611.5235595703125\n", + "global step=4577280, episodic return=620.2156372070312\n", + "global step=4577280, episodic return=605.8470458984375\n", + "global step=4577280, episodic return=610.37548828125\n", + "global step=4577280, episodic return=596.0144653320312\n", + "global step=4579328, episodic return=591.8185424804688\n", + "global step=4579328, episodic return=623.6300659179688\n", + "global step=4579328, episodic return=605.5698852539062\n", + "global step=4579328, episodic return=601.1343383789062\n", + "global step=4579328, episodic return=619.3995361328125\n", + "global step=4579328, episodic return=616.2101440429688\n", + "global step=4579328, episodic return=618.11669921875\n", + "global step=4579328, episodic return=611.874267578125\n", + "global step=4579328, episodic return=605.5993041992188\n", + "global step=4579328, episodic return=608.6090087890625\n", + "global step=4579328, episodic return=626.3456420898438\n", + "global step=4579328, episodic return=612.6586303710938\n", + "global step=4579328, episodic return=611.8919067382812\n", + "global step=4579328, episodic return=596.19921875\n", + "global step=4579328, episodic return=621.0419921875\n", + "global step=4579328, episodic return=614.5747680664062\n", + "global step=4579328, episodic return=632.1827392578125\n", + "global step=4581376, episodic return=597.809814453125\n", + "global step=4581376, episodic return=619.0565185546875\n", + "global step=4581376, episodic return=595.8738403320312\n", + "global step=4581376, episodic return=649.2793579101562\n", + "global step=4581376, episodic return=615.3353271484375\n", + "global step=4581376, episodic return=623.282958984375\n", + "global step=4581376, episodic return=611.3564453125\n", + "global step=4581376, episodic return=585.555419921875\n", + "global step=4581376, episodic return=631.05908203125\n", + "global step=4581376, episodic return=628.6738891601562\n", + "global step=4581376, episodic return=631.363525390625\n", + "global step=4581376, episodic return=626.9520874023438\n", + "global step=4581376, episodic return=630.8436889648438\n", + "global step=4581376, episodic return=617.516845703125\n", + "global step=4581376, episodic return=613.1487426757812\n", + "global step=4581376, episodic return=609.6695556640625\n", + "global step=4581376, episodic return=610.1585693359375\n", + "global step=4581376, episodic return=615.56396484375\n", + "global step=4581376, episodic return=637.3193359375\n", + "global step=4581376, episodic return=630.6370849609375\n", + "global step=4581376, episodic return=607.3245849609375\n", + "global step=4581376, episodic return=633.31640625\n", + "global step=4581376, episodic return=595.7061767578125\n", + "global step=4581376, episodic return=605.199462890625\n", + "global step=4583424, episodic return=608.4673461914062\n", + "global step=4583424, episodic return=607.1168823242188\n", + "global step=4583424, episodic return=598.0167236328125\n", + "global step=4583424, episodic return=622.6951904296875\n", + "global step=4583424, episodic return=611.90625\n", + "global step=4583424, episodic return=627.3257446289062\n", + "global step=4583424, episodic return=597.1229248046875\n", + "global step=4583424, episodic return=631.1242065429688\n", + "global step=4583424, episodic return=612.9714965820312\n", + "global step=4583424, episodic return=633.0562744140625\n", + "global step=4583424, episodic return=602.7838134765625\n", + "global step=4583424, episodic return=616.2521362304688\n", + "global step=4583424, episodic return=630.3501586914062\n", + "global step=4583424, episodic return=618.7842407226562\n", + "global step=4585472, episodic return=623.8636474609375\n", + "global step=4585472, episodic return=599.5390625\n", + "global step=4585472, episodic return=630.4248046875\n", + "global step=4585472, episodic return=614.985107421875\n", + "global step=4585472, episodic return=605.74365234375\n", + "global step=4585472, episodic return=617.8201904296875\n", + "global step=4585472, episodic return=609.2971801757812\n", + "global step=4585472, episodic return=589.5198364257812\n", + "global step=4585472, episodic return=641.4197998046875\n", + "global step=4585472, episodic return=648.7099609375\n", + "global step=4585472, episodic return=619.7383422851562\n", + "global step=4585472, episodic return=616.4030151367188\n", + "global step=4585472, episodic return=623.1448364257812\n", + "global step=4585472, episodic return=609.4038696289062\n", + "global step=4585472, episodic return=603.7627563476562\n", + "global step=4587520, episodic return=610.8078002929688\n", + "global step=4587520, episodic return=610.1237182617188\n", + "global step=4587520, episodic return=603.57861328125\n", + "global step=4587520, episodic return=598.6168212890625\n", + "global step=4587520, episodic return=598.4755249023438\n", + "global step=4587520, episodic return=621.6286010742188\n", + "global step=4587520, episodic return=604.6985473632812\n", + "global step=4589568, episodic return=644.3546752929688\n", + "global step=4589568, episodic return=583.8253784179688\n", + "global step=4589568, episodic return=626.9863891601562\n", + "global step=4589568, episodic return=623.4118041992188\n", + "global step=4589568, episodic return=614.875732421875\n", + "global step=4589568, episodic return=612.7476806640625\n", + "global step=4589568, episodic return=611.7940063476562\n", + "global step=4589568, episodic return=647.1536254882812\n", + "global step=4589568, episodic return=634.393310546875\n", + "global step=4589568, episodic return=648.4445190429688\n", + "global step=4589568, episodic return=606.7957153320312\n", + "global step=4589568, episodic return=616.7867431640625\n", + "global step=4589568, episodic return=617.8978271484375\n", + "global step=4589568, episodic return=626.8488159179688\n", + "global step=4589568, episodic return=602.4014282226562\n", + "global step=4589568, episodic return=601.9865112304688\n", + "global step=4589568, episodic return=612.9080810546875\n", + "global step=4589568, episodic return=624.6121215820312\n", + "global step=4589568, episodic return=607.279296875\n", + "global step=4589568, episodic return=619.1507568359375\n", + "global step=4589568, episodic return=642.5843505859375\n", + "global step=4589568, episodic return=617.2100830078125\n", + "global step=4589568, episodic return=599.8506469726562\n", + "global step=4589568, episodic return=589.4523315429688\n", + "global step=4591616, episodic return=641.8931274414062\n", + "global step=4591616, episodic return=652.82421875\n", + "global step=4591616, episodic return=612.6585693359375\n", + "global step=4591616, episodic return=625.552490234375\n", + "global step=4591616, episodic return=623.8792114257812\n", + "global step=4591616, episodic return=621.1318359375\n", + "global step=4591616, episodic return=599.68212890625\n", + "global step=4591616, episodic return=596.1156616210938\n", + "global step=4591616, episodic return=640.2721557617188\n", + "global step=4591616, episodic return=609.4265747070312\n", + "global step=4591616, episodic return=613.3707275390625\n", + "global step=4591616, episodic return=599.8096313476562\n", + "global step=4591616, episodic return=605.3099975585938\n", + "global step=4591616, episodic return=628.0548095703125\n", + "global step=4593664, episodic return=607.6392211914062\n", + "global step=4593664, episodic return=630.2612915039062\n", + "global step=4593664, episodic return=613.5677490234375\n", + "global step=4593664, episodic return=636.030029296875\n", + "global step=4593664, episodic return=645.5856323242188\n", + "global step=4593664, episodic return=565.971435546875\n", + "global step=4593664, episodic return=601.1463623046875\n", + "global step=4593664, episodic return=596.182861328125\n", + "global step=4593664, episodic return=606.3306884765625\n", + "global step=4593664, episodic return=603.4500122070312\n", + "global step=4593664, episodic return=595.1332397460938\n", + "global step=4593664, episodic return=646.2611083984375\n", + "global step=4593664, episodic return=634.3170776367188\n", + "global step=4593664, episodic return=602.3167724609375\n", + "global step=4593664, episodic return=651.962158203125\n", + "global step=4593664, episodic return=620.0924072265625\n", + "global step=4593664, episodic return=620.0037841796875\n", + "global step=4593664, episodic return=615.7339477539062\n", + "global step=4593664, episodic return=619.1651611328125\n", + "global step=4593664, episodic return=623.3877563476562\n", + "global step=4593664, episodic return=604.9461669921875\n", + "global step=4595712, episodic return=637.5839233398438\n", + "global step=4595712, episodic return=611.27099609375\n", + "global step=4595712, episodic return=619.4667358398438\n", + "global step=4595712, episodic return=605.9469604492188\n", + "global step=4595712, episodic return=588.9942626953125\n", + "global step=4595712, episodic return=616.5101928710938\n", + "global step=4595712, episodic return=578.5419311523438\n", + "global step=4595712, episodic return=600.8279418945312\n", + "global step=4595712, episodic return=606.602294921875\n", + "global step=4595712, episodic return=585.3445434570312\n", + "global step=4595712, episodic return=587.2448120117188\n", + "global step=4595712, episodic return=619.77880859375\n", + "global step=4595712, episodic return=592.2963256835938\n", + "global step=4595712, episodic return=622.1212158203125\n", + "global step=4597760, episodic return=623.239501953125\n", + "global step=4597760, episodic return=607.6160888671875\n", + "global step=4597760, episodic return=632.3475341796875\n", + "global step=4597760, episodic return=607.4271240234375\n", + "global step=4597760, episodic return=629.3740844726562\n", + "global step=4597760, episodic return=609.3469848632812\n", + "global step=4597760, episodic return=625.5965576171875\n", + "global step=4597760, episodic return=639.9036865234375\n", + "global step=4597760, episodic return=602.320556640625\n", + "global step=4597760, episodic return=610.1234130859375\n", + "global step=4597760, episodic return=619.2139282226562\n", + "global step=4597760, episodic return=603.0343627929688\n", + "global step=4597760, episodic return=606.2125854492188\n", + "global step=4597760, episodic return=623.260498046875\n", + "global step=4597760, episodic return=625.48779296875\n", + "global step=4597760, episodic return=632.0814208984375\n", + "global step=4599808, episodic return=609.1635131835938\n", + "global step=4599808, episodic return=637.648193359375\n", + "global step=4599808, episodic return=608.9677124023438\n", + "global step=4599808, episodic return=596.8892211914062\n", + "global step=4599808, episodic return=616.104248046875\n", + "global step=4599808, episodic return=615.4085693359375\n", + "global step=4599808, episodic return=622.683837890625\n", + "global step=4599808, episodic return=628.4728393554688\n", + "global step=4599808, episodic return=608.2999877929688\n", + "global step=4599808, episodic return=613.1727294921875\n", + "global step=4599808, episodic return=628.6188354492188\n", + "global step=4599808, episodic return=633.39599609375\n", + "global step=4601856, episodic return=606.91015625\n", + "global step=4601856, episodic return=618.652587890625\n", + "global step=4601856, episodic return=621.2742309570312\n", + "global step=4601856, episodic return=634.0872192382812\n", + "global step=4601856, episodic return=630.4204711914062\n", + "global step=4601856, episodic return=605.5289306640625\n", + "global step=4601856, episodic return=590.1663208007812\n", + "global step=4601856, episodic return=616.5620727539062\n", + "global step=4601856, episodic return=586.205322265625\n", + "global step=4601856, episodic return=616.031494140625\n", + "global step=4603904, episodic return=594.5437622070312\n", + "global step=4603904, episodic return=617.147216796875\n", + "global step=4603904, episodic return=645.6190185546875\n", + "global step=4603904, episodic return=572.4244995117188\n", + "global step=4603904, episodic return=616.6077880859375\n", + "global step=4603904, episodic return=630.8825073242188\n", + "global step=4603904, episodic return=608.4776611328125\n", + "global step=4603904, episodic return=627.1854248046875\n", + "global step=4603904, episodic return=595.1627807617188\n", + "global step=4603904, episodic return=635.322265625\n", + "global step=4603904, episodic return=617.0119018554688\n", + "global step=4603904, episodic return=593.8101806640625\n", + "global step=4605952, episodic return=611.1046752929688\n", + "global step=4605952, episodic return=615.8709716796875\n", + "global step=4605952, episodic return=618.779052734375\n", + "global step=4605952, episodic return=646.5680541992188\n", + "global step=4605952, episodic return=614.6546020507812\n", + "global step=4605952, episodic return=613.176513671875\n", + "global step=4605952, episodic return=614.4637451171875\n", + "global step=4605952, episodic return=599.1771850585938\n", + "global step=4608000, episodic return=635.2232055664062\n", + "global step=4608000, episodic return=617.2980346679688\n", + "global step=4608000, episodic return=636.6572265625\n", + "global step=4608000, episodic return=618.0342407226562\n", + "global step=4608000, episodic return=616.0120239257812\n", + "global step=4608000, episodic return=606.8749389648438\n", + "global step=4608000, episodic return=607.6506958007812\n", + "global step=4608000, episodic return=596.7154541015625\n", + "global step=4608000, episodic return=625.6947021484375\n", + "global step=4610048, episodic return=628.6798095703125\n", + "global step=4610048, episodic return=604.5848388671875\n", + "global step=4610048, episodic return=620.09716796875\n", + "global step=4610048, episodic return=610.5186767578125\n", + "global step=4610048, episodic return=588.4943237304688\n", + "global step=4610048, episodic return=658.0057983398438\n", + "global step=4610048, episodic return=580.7434692382812\n", + "global step=4610048, episodic return=596.664306640625\n", + "global step=4612096, episodic return=618.5103759765625\n", + "global step=4612096, episodic return=624.5908203125\n", + "global step=4612096, episodic return=623.1851196289062\n", + "global step=4612096, episodic return=596.982421875\n", + "global step=4612096, episodic return=582.8253784179688\n", + "global step=4612096, episodic return=601.8882446289062\n", + "global step=4612096, episodic return=654.4077758789062\n", + "global step=4612096, episodic return=610.568115234375\n", + "global step=4612096, episodic return=600.8812866210938\n", + "global step=4612096, episodic return=639.8527221679688\n", + "global step=4612096, episodic return=613.6376953125\n", + "global step=4612096, episodic return=638.4356079101562\n", + "global step=4614144, episodic return=611.98486328125\n", + "global step=4614144, episodic return=596.2381591796875\n", + "global step=4614144, episodic return=609.0932006835938\n", + "global step=4614144, episodic return=606.0111694335938\n", + "global step=4614144, episodic return=596.6138916015625\n", + "global step=4614144, episodic return=615.6318359375\n", + "global step=4614144, episodic return=626.6931762695312\n", + "global step=4614144, episodic return=625.2703247070312\n", + "global step=4614144, episodic return=631.8424682617188\n", + "global step=4614144, episodic return=629.6918334960938\n", + "global step=4614144, episodic return=627.1073608398438\n", + "global step=4614144, episodic return=621.1591186523438\n", + "global step=4614144, episodic return=616.0166625976562\n", + "global step=4616192, episodic return=624.902099609375\n", + "global step=4616192, episodic return=625.4078979492188\n", + "global step=4616192, episodic return=617.5421752929688\n", + "global step=4616192, episodic return=668.946044921875\n", + "global step=4616192, episodic return=655.7748413085938\n", + "global step=4616192, episodic return=615.3521728515625\n", + "global step=4616192, episodic return=609.3897094726562\n", + "global step=4616192, episodic return=610.7149658203125\n", + "global step=4616192, episodic return=609.1942138671875\n", + "global step=4618240, episodic return=633.7658081054688\n", + "global step=4618240, episodic return=609.4478149414062\n", + "global step=4618240, episodic return=584.6284790039062\n", + "global step=4618240, episodic return=618.656982421875\n", + "global step=4618240, episodic return=629.6309204101562\n", + "global step=4618240, episodic return=637.0603637695312\n", + "global step=4618240, episodic return=621.4407958984375\n", + "global step=4618240, episodic return=622.5387573242188\n", + "global step=4618240, episodic return=633.0935668945312\n", + "global step=4618240, episodic return=620.3247680664062\n", + "global step=4618240, episodic return=615.1741943359375\n", + "global step=4618240, episodic return=625.569091796875\n", + "global step=4618240, episodic return=609.945068359375\n", + "global step=4618240, episodic return=627.0567626953125\n", + "global step=4620288, episodic return=646.2069702148438\n", + "global step=4620288, episodic return=626.190185546875\n", + "global step=4620288, episodic return=629.3982543945312\n", + "global step=4620288, episodic return=602.286865234375\n", + "global step=4620288, episodic return=611.9203491210938\n", + "global step=4620288, episodic return=585.3763427734375\n", + "global step=4620288, episodic return=599.554931640625\n", + "global step=4620288, episodic return=604.9248046875\n", + "global step=4620288, episodic return=616.1445922851562\n", + "global step=4620288, episodic return=592.5241088867188\n", + "global step=4620288, episodic return=590.8821411132812\n", + "global step=4622336, episodic return=600.3919677734375\n", + "global step=4622336, episodic return=591.6867065429688\n", + "global step=4622336, episodic return=605.0975341796875\n", + "global step=4622336, episodic return=603.6087036132812\n", + "global step=4622336, episodic return=595.7027587890625\n", + "global step=4622336, episodic return=591.3681640625\n", + "global step=4622336, episodic return=603.7719116210938\n", + "global step=4622336, episodic return=599.5360717773438\n", + "global step=4622336, episodic return=622.8554077148438\n", + "global step=4622336, episodic return=629.9019165039062\n", + "global step=4624384, episodic return=611.0430297851562\n", + "global step=4624384, episodic return=574.703857421875\n", + "global step=4624384, episodic return=609.0145263671875\n", + "global step=4624384, episodic return=610.6776123046875\n", + "global step=4624384, episodic return=601.8670043945312\n", + "global step=4624384, episodic return=614.07080078125\n", + "global step=4624384, episodic return=634.6959228515625\n", + "global step=4624384, episodic return=590.4379272460938\n", + "global step=4624384, episodic return=598.3963012695312\n", + "global step=4624384, episodic return=587.5526733398438\n", + "global step=4624384, episodic return=611.1456909179688\n", + "global step=4624384, episodic return=626.8207397460938\n", + "global step=4624384, episodic return=590.5736694335938\n", + "global step=4624384, episodic return=576.6445922851562\n", + "global step=4624384, episodic return=608.1779174804688\n", + "global step=4624384, episodic return=628.1337890625\n", + "global step=4626432, episodic return=627.443115234375\n", + "global step=4626432, episodic return=612.6907348632812\n", + "global step=4626432, episodic return=633.6862182617188\n", + "global step=4626432, episodic return=612.1942749023438\n", + "global step=4626432, episodic return=628.5631103515625\n", + "global step=4626432, episodic return=595.5183715820312\n", + "global step=4626432, episodic return=625.7010498046875\n", + "global step=4626432, episodic return=613.7366943359375\n", + "global step=4628480, episodic return=625.1802368164062\n", + "global step=4628480, episodic return=615.9950561523438\n", + "global step=4628480, episodic return=618.579833984375\n", + "global step=4628480, episodic return=620.5278930664062\n", + "global step=4628480, episodic return=643.246337890625\n", + "global step=4628480, episodic return=637.694091796875\n", + "global step=4628480, episodic return=591.2420043945312\n", + "global step=4628480, episodic return=617.4312744140625\n", + "global step=4628480, episodic return=629.4415893554688\n", + "global step=4628480, episodic return=639.5796508789062\n", + "global step=4630528, episodic return=595.3846435546875\n", + "global step=4630528, episodic return=610.7264404296875\n", + "global step=4630528, episodic return=610.2535400390625\n", + "global step=4630528, episodic return=621.1035766601562\n", + "global step=4630528, episodic return=632.3875732421875\n", + "global step=4630528, episodic return=623.385009765625\n", + "global step=4630528, episodic return=629.3306884765625\n", + "global step=4632576, episodic return=619.4174194335938\n", + "global step=4632576, episodic return=616.6862182617188\n", + "global step=4632576, episodic return=614.8591918945312\n", + "global step=4632576, episodic return=616.9103393554688\n", + "global step=4632576, episodic return=598.2568969726562\n", + "global step=4632576, episodic return=620.9296875\n", + "global step=4632576, episodic return=584.9989624023438\n", + "global step=4632576, episodic return=576.38720703125\n", + "global step=4634624, episodic return=617.6805419921875\n", + "global step=4634624, episodic return=626.7158813476562\n", + "global step=4634624, episodic return=617.9973754882812\n", + "global step=4634624, episodic return=604.1498413085938\n", + "global step=4634624, episodic return=623.75732421875\n", + "global step=4634624, episodic return=619.9783935546875\n", + "global step=4634624, episodic return=610.911376953125\n", + "global step=4634624, episodic return=619.2630004882812\n", + "global step=4634624, episodic return=632.2425537109375\n", + "global step=4634624, episodic return=644.387451171875\n", + "global step=4634624, episodic return=607.9615478515625\n", + "global step=4636672, episodic return=635.7001342773438\n", + "global step=4636672, episodic return=599.2254028320312\n", + "global step=4636672, episodic return=616.708740234375\n", + "global step=4636672, episodic return=632.3351440429688\n", + "global step=4636672, episodic return=612.93701171875\n", + "global step=4636672, episodic return=631.9428100585938\n", + "global step=4636672, episodic return=588.4610595703125\n", + "global step=4636672, episodic return=614.5391845703125\n", + "global step=4636672, episodic return=599.4277954101562\n", + "global step=4638720, episodic return=598.1322631835938\n", + "global step=4638720, episodic return=591.0796508789062\n", + "global step=4638720, episodic return=618.6345825195312\n", + "global step=4638720, episodic return=605.1710205078125\n", + "global step=4638720, episodic return=616.0576171875\n", + "global step=4638720, episodic return=625.5413208007812\n", + "global step=4638720, episodic return=630.7803344726562\n", + "global step=4638720, episodic return=642.5202026367188\n", + "global step=4638720, episodic return=595.2862548828125\n", + "global step=4638720, episodic return=607.7363891601562\n", + "global step=4640768, episodic return=630.6307373046875\n", + "global step=4640768, episodic return=637.4614868164062\n", + "global step=4640768, episodic return=617.7706909179688\n", + "global step=4640768, episodic return=600.5045776367188\n", + "global step=4642816, episodic return=650.54931640625\n", + "global step=4642816, episodic return=600.760009765625\n", + "global step=4642816, episodic return=615.298095703125\n", + "global step=4642816, episodic return=623.298583984375\n", + "global step=4642816, episodic return=604.8916015625\n", + "global step=4642816, episodic return=611.5559692382812\n", + "global step=4644864, episodic return=631.69189453125\n", + "global step=4644864, episodic return=605.7227783203125\n", + "global step=4644864, episodic return=601.5966796875\n", + "global step=4644864, episodic return=616.9585571289062\n", + "global step=4644864, episodic return=588.0855102539062\n", + "global step=4644864, episodic return=606.3475952148438\n", + "global step=4644864, episodic return=598.8108520507812\n", + "global step=4644864, episodic return=631.3209838867188\n", + "global step=4644864, episodic return=623.4864501953125\n", + "global step=4644864, episodic return=613.672119140625\n", + "global step=4646912, episodic return=609.4912719726562\n", + "global step=4646912, episodic return=628.4244384765625\n", + "global step=4646912, episodic return=591.652587890625\n", + "global step=4646912, episodic return=607.5093994140625\n", + "global step=4646912, episodic return=601.0773315429688\n", + "global step=4646912, episodic return=621.7437744140625\n", + "global step=4646912, episodic return=630.02294921875\n", + "global step=4648960, episodic return=606.8885498046875\n", + "global step=4648960, episodic return=625.2258911132812\n", + "global step=4648960, episodic return=616.9032592773438\n", + "global step=4648960, episodic return=611.5287475585938\n", + "global step=4648960, episodic return=612.4437255859375\n", + "global step=4648960, episodic return=614.1187744140625\n", + "global step=4648960, episodic return=633.2034912109375\n", + "global step=4651008, episodic return=614.1024169921875\n", + "global step=4651008, episodic return=600.2205200195312\n", + "global step=4651008, episodic return=605.3303833007812\n", + "global step=4651008, episodic return=615.2010498046875\n", + "global step=4651008, episodic return=608.93994140625\n", + "global step=4651008, episodic return=620.7058715820312\n", + "global step=4651008, episodic return=603.9752807617188\n", + "global step=4651008, episodic return=638.4595947265625\n", + "global step=4651008, episodic return=621.196533203125\n", + "global step=4653056, episodic return=600.341552734375\n", + "global step=4653056, episodic return=612.8681030273438\n", + "global step=4653056, episodic return=602.1771850585938\n", + "global step=4653056, episodic return=602.929443359375\n", + "global step=4653056, episodic return=633.22509765625\n", + "global step=4655104, episodic return=649.7877197265625\n", + "global step=4655104, episodic return=620.749755859375\n", + "global step=4655104, episodic return=591.78076171875\n", + "global step=4655104, episodic return=641.5319213867188\n", + "global step=4657152, episodic return=629.20654296875\n", + "global step=4657152, episodic return=641.4597778320312\n", + "global step=4657152, episodic return=602.2723388671875\n", + "global step=4657152, episodic return=640.0365600585938\n", + "global step=4657152, episodic return=618.8579711914062\n", + "global step=4657152, episodic return=628.7310791015625\n", + "global step=4659200, episodic return=610.8978881835938\n", + "global step=4659200, episodic return=622.5311279296875\n", + "global step=4659200, episodic return=613.1327514648438\n", + "global step=4659200, episodic return=590.6221923828125\n", + "global step=4661248, episodic return=631.8245239257812\n", + "global step=4661248, episodic return=601.7030639648438\n", + "global step=4661248, episodic return=617.822265625\n", + "global step=4661248, episodic return=612.7601928710938\n", + "global step=4661248, episodic return=645.4610595703125\n", + "global step=4661248, episodic return=597.909912109375\n", + "global step=4661248, episodic return=626.3355712890625\n", + "global step=4661248, episodic return=620.7545166015625\n", + "global step=4663296, episodic return=609.0784912109375\n", + "global step=4663296, episodic return=602.559326171875\n", + "global step=4663296, episodic return=589.796875\n", + "global step=4663296, episodic return=620.8934936523438\n", + "global step=4663296, episodic return=624.7975463867188\n", + "global step=4665344, episodic return=621.1780395507812\n", + "global step=4665344, episodic return=620.0015258789062\n", + "global step=4665344, episodic return=610.7363891601562\n", + "global step=4665344, episodic return=583.8734130859375\n", + "global step=4665344, episodic return=595.5472412109375\n", + "global step=4665344, episodic return=590.8665771484375\n", + "global step=4665344, episodic return=593.5652465820312\n", + "global step=4665344, episodic return=597.6759033203125\n", + "global step=4665344, episodic return=663.0458984375\n", + "global step=4665344, episodic return=599.87744140625\n", + "global step=4665344, episodic return=644.390380859375\n", + "global step=4667392, episodic return=589.863525390625\n", + "global step=4667392, episodic return=585.6996459960938\n", + "global step=4667392, episodic return=632.9492797851562\n", + "global step=4667392, episodic return=615.2003784179688\n", + "global step=4667392, episodic return=622.8878784179688\n", + "global step=4667392, episodic return=641.4775390625\n", + "global step=4667392, episodic return=620.3489379882812\n", + "global step=4667392, episodic return=592.1123657226562\n", + "global step=4667392, episodic return=601.2791748046875\n", + "global step=4667392, episodic return=628.256591796875\n", + "global step=4669440, episodic return=626.03564453125\n", + "global step=4669440, episodic return=603.8572387695312\n", + "global step=4669440, episodic return=630.040283203125\n", + "global step=4669440, episodic return=615.1649780273438\n", + "global step=4669440, episodic return=612.5531616210938\n", + "global step=4671488, episodic return=630.0294799804688\n", + "global step=4671488, episodic return=614.1776123046875\n", + "global step=4671488, episodic return=640.127685546875\n", + "global step=4671488, episodic return=616.2708740234375\n", + "global step=4671488, episodic return=621.9025268554688\n", + "global step=4671488, episodic return=594.3668212890625\n", + "global step=4671488, episodic return=609.6168823242188\n", + "global step=4671488, episodic return=617.5512084960938\n", + "global step=4671488, episodic return=618.7155151367188\n", + "global step=4671488, episodic return=606.3641967773438\n", + "global step=4673536, episodic return=624.5921630859375\n", + "global step=4673536, episodic return=577.148681640625\n", + "global step=4673536, episodic return=626.9655151367188\n", + "global step=4675584, episodic return=584.4631958007812\n", + "global step=4675584, episodic return=607.83056640625\n", + "global step=4675584, episodic return=627.0623168945312\n", + "global step=4675584, episodic return=567.33203125\n", + "global step=4675584, episodic return=605.4807739257812\n", + "global step=4675584, episodic return=628.4509887695312\n", + "global step=4675584, episodic return=601.915771484375\n", + "global step=4675584, episodic return=617.157958984375\n", + "global step=4675584, episodic return=639.525634765625\n", + "global step=4675584, episodic return=629.54052734375\n", + "global step=4677632, episodic return=598.4157104492188\n", + "global step=4677632, episodic return=604.4815063476562\n", + "global step=4677632, episodic return=608.6040649414062\n", + "global step=4677632, episodic return=584.314208984375\n", + "global step=4679680, episodic return=581.8519897460938\n", + "global step=4679680, episodic return=622.0059814453125\n", + "global step=4679680, episodic return=632.635009765625\n", + "global step=4679680, episodic return=620.840576171875\n", + "global step=4679680, episodic return=637.7520751953125\n", + "global step=4679680, episodic return=631.8160400390625\n", + "global step=4679680, episodic return=604.7388305664062\n", + "global step=4679680, episodic return=625.9022827148438\n", + "global step=4679680, episodic return=652.7380981445312\n", + "global step=4679680, episodic return=584.5621948242188\n", + "global step=4681728, episodic return=612.200439453125\n", + "global step=4681728, episodic return=600.796875\n", + "global step=4681728, episodic return=616.6905517578125\n", + "global step=4681728, episodic return=612.521484375\n", + "global step=4681728, episodic return=619.02490234375\n", + "global step=4681728, episodic return=590.3599853515625\n", + "global step=4681728, episodic return=632.212646484375\n", + "global step=4681728, episodic return=617.5403442382812\n", + "global step=4681728, episodic return=606.9797973632812\n", + "global step=4683776, episodic return=618.4564208984375\n", + "global step=4683776, episodic return=631.6425170898438\n", + "global step=4683776, episodic return=660.0192260742188\n", + "global step=4683776, episodic return=648.059814453125\n", + "global step=4685824, episodic return=633.2861328125\n", + "global step=4685824, episodic return=612.7131958007812\n", + "global step=4685824, episodic return=607.9917602539062\n", + "global step=4687872, episodic return=599.335205078125\n", + "global step=4687872, episodic return=610.9080200195312\n", + "global step=4687872, episodic return=605.0269775390625\n", + "global step=4687872, episodic return=595.13720703125\n", + "global step=4687872, episodic return=619.4691772460938\n", + "global step=4687872, episodic return=615.4337158203125\n", + "global step=4687872, episodic return=601.3955688476562\n", + "global step=4687872, episodic return=610.054443359375\n", + "global step=4689920, episodic return=632.6152954101562\n", + "global step=4689920, episodic return=602.6116943359375\n", + "global step=4689920, episodic return=624.5963745117188\n", + "global step=4691968, episodic return=632.9505004882812\n", + "global step=4691968, episodic return=644.3438720703125\n", + "global step=4691968, episodic return=639.4872436523438\n", + "global step=4691968, episodic return=655.9835205078125\n", + "global step=4691968, episodic return=608.77197265625\n", + "global step=4691968, episodic return=598.8546142578125\n", + "global step=4694016, episodic return=599.6639404296875\n", + "global step=4694016, episodic return=583.4013671875\n", + "global step=4696064, episodic return=622.7421875\n", + "global step=4696064, episodic return=607.0505981445312\n", + "global step=4696064, episodic return=625.1251831054688\n", + "global step=4696064, episodic return=627.2600708007812\n", + "global step=4696064, episodic return=610.62060546875\n", + "global step=4698112, episodic return=621.9082641601562\n", + "global step=4698112, episodic return=644.7929077148438\n", + "global step=4698112, episodic return=609.866455078125\n", + "global step=4698112, episodic return=606.0201416015625\n", + "global step=4698112, episodic return=596.1153564453125\n", + "global step=4702208, episodic return=596.5297241210938\n", + "global step=4702208, episodic return=622.018310546875\n", + "global step=4702208, episodic return=638.077880859375\n", + "global step=4704256, episodic return=598.3619995117188\n", + "global step=4704256, episodic return=641.2316284179688\n", + "global step=4704256, episodic return=594.08544921875\n", + "global step=4704256, episodic return=625.00244140625\n", + "global step=4706304, episodic return=630.4313354492188\n", + "global step=4706304, episodic return=650.1748657226562\n", + "global step=4706304, episodic return=605.6139526367188\n", + "global step=4706304, episodic return=586.1683959960938\n", + "global step=4708352, episodic return=608.7064819335938\n", + "global step=4708352, episodic return=597.62841796875\n", + "global step=4710400, episodic return=623.4202270507812\n", + "global step=4712448, episodic return=636.6089477539062\n", + "global step=4712448, episodic return=612.9900512695312\n", + "global step=4712448, episodic return=639.81494140625\n", + "global step=4712448, episodic return=593.6544189453125\n", + "global step=4712448, episodic return=617.7069091796875\n", + "global step=4712448, episodic return=645.3479614257812\n", + "global step=4712448, episodic return=632.5718383789062\n", + "global step=4712448, episodic return=598.0153198242188\n", + "global step=4712448, episodic return=617.327880859375\n", + "global step=4714496, episodic return=610.2448120117188\n", + "global step=4714496, episodic return=631.6336669921875\n", + "global step=4714496, episodic return=619.927001953125\n", + "global step=4716544, episodic return=617.304931640625\n", + "global step=4716544, episodic return=594.7937622070312\n", + "global step=4716544, episodic return=599.63916015625\n", + "global step=4716544, episodic return=601.9111938476562\n", + "global step=4718592, episodic return=621.8580932617188\n", + "global step=4718592, episodic return=635.4595947265625\n", + "global step=4718592, episodic return=625.8929443359375\n", + "global step=4718592, episodic return=622.8223266601562\n", + "global step=4718592, episodic return=617.2385864257812\n", + "global step=4720640, episodic return=626.3250732421875\n", + "global step=4720640, episodic return=624.326171875\n", + "global step=4722688, episodic return=617.3707885742188\n", + "global step=4722688, episodic return=584.1300048828125\n", + "global step=4724736, episodic return=598.4872436523438\n", + "global step=4724736, episodic return=624.1904907226562\n", + "global step=4724736, episodic return=619.9005126953125\n", + "global step=4726784, episodic return=603.1187744140625\n", + "global step=4726784, episodic return=616.3814697265625\n", + "global step=4728832, episodic return=616.0716552734375\n", + "global step=4730880, episodic return=592.5706787109375\n", + "global step=4730880, episodic return=603.7175903320312\n", + "global step=4732928, episodic return=609.3197021484375\n", + "global step=4732928, episodic return=616.4618530273438\n", + "global step=4732928, episodic return=636.9168701171875\n", + "global step=4732928, episodic return=622.8369140625\n", + "global step=4734976, episodic return=619.5701904296875\n", + "global step=4734976, episodic return=601.7105712890625\n", + "global step=4734976, episodic return=637.9307250976562\n", + "global step=4734976, episodic return=636.6192016601562\n", + "global step=4737024, episodic return=595.87841796875\n", + "global step=4737024, episodic return=600.5690307617188\n", + "global step=4739072, episodic return=601.14794921875\n", + "global step=4739072, episodic return=613.8901977539062\n", + "global step=4739072, episodic return=631.658935546875\n", + "global step=4739072, episodic return=603.7645874023438\n", + "global step=4739072, episodic return=595.5894165039062\n", + "global step=4741120, episodic return=626.4472045898438\n", + "global step=4741120, episodic return=626.1356201171875\n", + "global step=4743168, episodic return=597.8529663085938\n", + "global step=4743168, episodic return=576.649169921875\n", + "global step=4743168, episodic return=618.5823974609375\n", + "global step=4745216, episodic return=602.69140625\n", + "global step=4745216, episodic return=596.525390625\n", + "global step=4745216, episodic return=597.9918823242188\n", + "global step=4747264, episodic return=608.95263671875\n", + "global step=4747264, episodic return=619.7149658203125\n", + "global step=4749312, episodic return=599.1820678710938\n", + "global step=4751360, episodic return=622.70068359375\n", + "global step=4753408, episodic return=609.43896484375\n", + "global step=4753408, episodic return=602.2697143554688\n", + "global step=4753408, episodic return=594.8931884765625\n", + "global step=4755456, episodic return=612.191162109375\n", + "global step=4757504, episodic return=616.3847045898438\n", + "global step=4761600, episodic return=600.647216796875\n", + "global step=4761600, episodic return=606.3348388671875\n", + "global step=4763648, episodic return=593.3560180664062\n", + "global step=4765696, episodic return=609.9694213867188\n", + "global step=4765696, episodic return=599.0670166015625\n", + "global step=4767744, episodic return=602.447998046875\n", + "global step=4767744, episodic return=604.916748046875\n", + "global step=4767744, episodic return=614.2552490234375\n", + "global step=4769792, episodic return=605.2678833007812\n", + "global step=4771840, episodic return=633.4783325195312\n", + "global step=4771840, episodic return=632.6275024414062\n", + "global step=4771840, episodic return=627.189697265625\n", + "global step=4771840, episodic return=604.9732666015625\n", + "global step=4771840, episodic return=616.5084838867188\n", + "global step=4775936, episodic return=615.0498046875\n", + "global step=4777984, episodic return=622.1634521484375\n", + "global step=4777984, episodic return=620.0994873046875\n", + "global step=4777984, episodic return=612.084228515625\n", + "global step=4780032, episodic return=596.4464111328125\n", + "global step=4780032, episodic return=602.9453125\n", + "global step=4782080, episodic return=615.9502563476562\n", + "global step=4784128, episodic return=607.7064208984375\n", + "global step=4784128, episodic return=605.1654052734375\n", + "global step=4786176, episodic return=630.9968872070312\n", + "global step=4786176, episodic return=621.4224243164062\n", + "global step=4788224, episodic return=590.2756958007812\n", + "global step=4790272, episodic return=590.0147705078125\n", + "global step=4790272, episodic return=585.4690551757812\n", + "global step=4792320, episodic return=609.3986206054688\n", + "global step=4792320, episodic return=600.05517578125\n", + "global step=4794368, episodic return=602.7529296875\n", + "global step=4794368, episodic return=639.259033203125\n", + "global step=4796416, episodic return=610.06884765625\n", + "global step=4796416, episodic return=614.7584228515625\n", + "global step=4798464, episodic return=613.1043090820312\n", + "global step=4798464, episodic return=608.9874267578125\n", + "global step=4798464, episodic return=622.5555419921875\n", + "global step=4800512, episodic return=612.623779296875\n", + "global step=4802560, episodic return=624.472412109375\n", + "global step=4802560, episodic return=629.3958129882812\n", + "global step=4804608, episodic return=609.7239990234375\n", + "global step=4804608, episodic return=607.3819580078125\n", + "global step=4808704, episodic return=597.2247924804688\n", + "global step=4810752, episodic return=609.9931640625\n", + "global step=4812800, episodic return=595.3409423828125\n", + "global step=4814848, episodic return=629.3092651367188\n", + "global step=4816896, episodic return=604.49560546875\n", + "global step=4820992, episodic return=623.12060546875\n", + "global step=4820992, episodic return=616.974365234375\n", + "global step=4825088, episodic return=604.3405151367188\n", + "global step=4829184, episodic return=583.996337890625\n", + "global step=4835328, episodic return=602.9982299804688\n", + "global step=4845568, episodic return=610.0030517578125\n", + "global step=4859904, episodic return=624.7466430664062\n", + "global step=4859904, episodic return=612.4837646484375\n", + "global step=4859904, episodic return=612.1193237304688\n", + "global step=4861952, episodic return=614.4904174804688\n", + "global step=4868096, episodic return=616.0567626953125\n", + "global step=4872192, episodic return=612.5467529296875\n", + "global step=4878336, episodic return=622.5215454101562\n", + "global step=4884480, episodic return=592.0042724609375\n", + "global step=4886528, episodic return=617.166259765625\n", + "global step=4888576, episodic return=624.9761962890625\n", + "global step=4888576, episodic return=616.056396484375\n", + "global step=4890624, episodic return=613.4784545898438\n", + "global step=4892672, episodic return=604.7938232421875\n", + "global step=4900864, episodic return=603.627197265625\n", + "global step=4902912, episodic return=608.9132690429688\n", + "global step=4907008, episodic return=592.8402709960938\n", + "global step=4909056, episodic return=605.0946655273438\n", + "global step=4915200, episodic return=641.4760131835938\n", + "global step=4919296, episodic return=625.4990234375\n", + "global step=4921344, episodic return=581.0413818359375\n", + "global step=4927488, episodic return=599.3767700195312\n", + "global step=4929536, episodic return=609.7164306640625\n", + "global step=4939776, episodic return=613.0839233398438\n", + "global step=4945920, episodic return=622.2399291992188\n", + "global step=4950016, episodic return=632.9287719726562\n", + "global step=4950016, episodic return=614.6932983398438\n", + "global step=4952064, episodic return=627.0811767578125\n", + "global step=4960256, episodic return=636.5687255859375\n", + "global step=4968448, episodic return=613.9761352539062\n", + "global step=4970496, episodic return=626.5598754882812\n", + "global step=4974592, episodic return=593.3741455078125\n", + "global step=4976640, episodic return=615.783935546875\n", + "global step=4976640, episodic return=613.0216064453125\n", + "global step=4978688, episodic return=614.067626953125\n", + "global step=4982784, episodic return=623.4751586914062\n", + "global step=4986880, episodic return=616.7496948242188\n", + "global step=4995072, episodic return=616.7175903320312\n", + "global step=4999168, episodic return=615.7105712890625\n", + "global step=5003264, episodic return=622.923095703125\n", + "global step=5003264, episodic return=597.6160888671875\n", + "global step=5003264, episodic return=617.35888671875\n", + "global step=5003264, episodic return=594.5073852539062\n", + "global step=5007360, episodic return=585.5401000976562\n", + "global step=5009408, episodic return=598.7573852539062\n", + "global step=5009408, episodic return=611.52978515625\n", + "global step=5031936, episodic return=618.6193237304688\n", + "global step=5036032, episodic return=591.5950927734375\n", + "global step=5036032, episodic return=606.970947265625\n", + "global step=5038080, episodic return=611.81884765625\n", + "global step=5044224, episodic return=628.671875\n", + "global step=5046272, episodic return=627.029541015625\n", + "global step=5046272, episodic return=618.4505004882812\n", + "global step=5058560, episodic return=624.5443115234375\n", + "global step=5064704, episodic return=581.8482055664062\n", + "global step=5072896, episodic return=597.9625244140625\n", + "global step=5072896, episodic return=593.352294921875\n", + "global step=5074944, episodic return=606.69970703125\n", + "global step=5083136, episodic return=616.3461303710938\n", + "global step=5083136, episodic return=604.9700927734375\n", + "global step=5087232, episodic return=622.09033203125\n", + "global step=5087232, episodic return=588.0003051757812\n", + "global step=5089280, episodic return=581.5548095703125\n", + "global step=5091328, episodic return=623.7080688476562\n", + "global step=5091328, episodic return=600.17333984375\n", + "global step=5097472, episodic return=616.6759033203125\n", + "global step=5099520, episodic return=616.4425659179688\n", + "global step=5101568, episodic return=625.1304321289062\n", + "global step=5101568, episodic return=622.5240478515625\n", + "global step=5105664, episodic return=623.4661254882812\n", + "global step=5107712, episodic return=628.6326904296875\n", + "global step=5107712, episodic return=607.7120361328125\n", + "global step=5109760, episodic return=609.8411254882812\n", + "global step=5111808, episodic return=644.8267822265625\n", + "global step=5111808, episodic return=613.3009033203125\n", + "global step=5111808, episodic return=627.489013671875\n", + "global step=5113856, episodic return=643.8582763671875\n", + "global step=5113856, episodic return=622.0012817382812\n", + "global step=5115904, episodic return=607.280517578125\n", + "global step=5117952, episodic return=640.7433471679688\n", + "global step=5120000, episodic return=634.1464233398438\n", + "global step=5124096, episodic return=620.772705078125\n", + "global step=5126144, episodic return=619.8546752929688\n", + "global step=5128192, episodic return=624.2886352539062\n", + "global step=5128192, episodic return=610.03857421875\n", + "global step=5128192, episodic return=622.6904907226562\n", + "global step=5130240, episodic return=603.2279052734375\n", + "global step=5132288, episodic return=629.5640869140625\n", + "global step=5142528, episodic return=618.3484497070312\n", + "global step=5144576, episodic return=615.3319702148438\n", + "global step=5144576, episodic return=619.2056884765625\n", + "global step=5144576, episodic return=644.0307006835938\n", + "global step=5146624, episodic return=624.0111083984375\n", + "global step=5146624, episodic return=608.1090087890625\n", + "global step=5146624, episodic return=633.8763427734375\n", + "global step=5146624, episodic return=592.1814575195312\n", + "global step=5148672, episodic return=630.368896484375\n", + "global step=5148672, episodic return=607.8403930664062\n", + "global step=5152768, episodic return=611.1924438476562\n", + "global step=5160960, episodic return=599.2294311523438\n", + "global step=5160960, episodic return=588.5195922851562\n", + "global step=5163008, episodic return=642.17529296875\n", + "global step=5167104, episodic return=631.0205078125\n", + "global step=5171200, episodic return=618.004150390625\n", + "global step=5171200, episodic return=631.5361938476562\n", + "global step=5173248, episodic return=606.8661499023438\n", + "global step=5175296, episodic return=617.0061645507812\n", + "global step=5177344, episodic return=624.8387451171875\n", + "global step=5179392, episodic return=637.4832763671875\n", + "global step=5181440, episodic return=585.8136596679688\n", + "global step=5181440, episodic return=607.01611328125\n", + "global step=5183488, episodic return=627.5106811523438\n", + "global step=5185536, episodic return=617.1359252929688\n", + "global step=5185536, episodic return=604.9829711914062\n", + "global step=5187584, episodic return=617.3925170898438\n", + "global step=5189632, episodic return=632.6475830078125\n", + "global step=5189632, episodic return=629.2313842773438\n", + "global step=5189632, episodic return=623.3175048828125\n", + "global step=5189632, episodic return=626.711181640625\n", + "global step=5191680, episodic return=625.1259155273438\n", + "global step=5195776, episodic return=607.9735717773438\n", + "global step=5195776, episodic return=618.0297241210938\n", + "global step=5195776, episodic return=616.5308837890625\n", + "global step=5195776, episodic return=631.6668090820312\n", + "global step=5195776, episodic return=622.5018310546875\n", + "global step=5197824, episodic return=611.5206298828125\n", + "global step=5199872, episodic return=636.0986328125\n", + "global step=5199872, episodic return=656.0128784179688\n", + "global step=5199872, episodic return=577.3062744140625\n", + "global step=5201920, episodic return=586.3077392578125\n", + "global step=5210112, episodic return=610.2532958984375\n", + "global step=5212160, episodic return=604.929443359375\n", + "global step=5212160, episodic return=623.8187255859375\n", + "global step=5212160, episodic return=624.835205078125\n", + "global step=5212160, episodic return=623.22900390625\n", + "global step=5212160, episodic return=615.3073120117188\n", + "global step=5214208, episodic return=613.8013305664062\n", + "global step=5214208, episodic return=637.1483764648438\n", + "global step=5214208, episodic return=607.8463134765625\n", + "global step=5214208, episodic return=630.8408203125\n", + "global step=5216256, episodic return=611.156494140625\n", + "global step=5218304, episodic return=603.9037475585938\n", + "global step=5218304, episodic return=608.143798828125\n", + "global step=5218304, episodic return=624.6707763671875\n", + "global step=5218304, episodic return=610.4072265625\n", + "global step=5218304, episodic return=619.9829711914062\n", + "global step=5218304, episodic return=642.6430053710938\n", + "global step=5222400, episodic return=600.01025390625\n", + "global step=5222400, episodic return=615.747314453125\n", + "global step=5224448, episodic return=617.0911865234375\n", + "global step=5224448, episodic return=618.5736694335938\n", + "global step=5226496, episodic return=622.6721801757812\n", + "global step=5226496, episodic return=615.58056640625\n", + "global step=5226496, episodic return=628.5806884765625\n", + "global step=5226496, episodic return=637.5625\n", + "global step=5228544, episodic return=592.6354370117188\n", + "global step=5228544, episodic return=641.2349243164062\n", + "global step=5230592, episodic return=607.6071166992188\n", + "global step=5232640, episodic return=650.8218994140625\n", + "global step=5232640, episodic return=634.0278930664062\n", + "global step=5234688, episodic return=636.2490234375\n", + "global step=5236736, episodic return=603.843017578125\n", + "global step=5236736, episodic return=638.4556274414062\n", + "global step=5236736, episodic return=661.027587890625\n", + "global step=5236736, episodic return=606.76220703125\n", + "global step=5238784, episodic return=622.1904907226562\n", + "global step=5238784, episodic return=644.3346557617188\n", + "global step=5238784, episodic return=627.6006469726562\n", + "global step=5238784, episodic return=606.6369018554688\n", + "global step=5240832, episodic return=641.360107421875\n", + "global step=5240832, episodic return=622.4622192382812\n", + "global step=5240832, episodic return=631.4509887695312\n", + "global step=5242880, episodic return=642.3880615234375\n", + "global step=5244928, episodic return=623.9973754882812\n", + "global step=5244928, episodic return=627.2838134765625\n", + "global step=5244928, episodic return=619.6724243164062\n", + "global step=5244928, episodic return=628.19482421875\n", + "global step=5244928, episodic return=637.1868286132812\n", + "global step=5246976, episodic return=618.7963256835938\n", + "global step=5249024, episodic return=632.1904296875\n", + "global step=5249024, episodic return=598.2405395507812\n", + "global step=5249024, episodic return=614.860595703125\n", + "global step=5251072, episodic return=621.2070922851562\n", + "global step=5251072, episodic return=645.3338623046875\n", + "global step=5251072, episodic return=626.612548828125\n", + "global step=5251072, episodic return=653.1904907226562\n", + "global step=5251072, episodic return=615.0537109375\n", + "global step=5251072, episodic return=647.376953125\n", + "global step=5251072, episodic return=630.6652221679688\n", + "global step=5251072, episodic return=621.3104858398438\n", + "global step=5253120, episodic return=622.10791015625\n", + "global step=5253120, episodic return=639.2109375\n", + "global step=5255168, episodic return=629.9267578125\n", + "global step=5255168, episodic return=649.559326171875\n", + "global step=5255168, episodic return=633.5407104492188\n", + "global step=5257216, episodic return=633.0259399414062\n", + "global step=5257216, episodic return=625.9668579101562\n", + "global step=5257216, episodic return=626.18359375\n", + "global step=5259264, episodic return=617.7200927734375\n", + "global step=5259264, episodic return=624.6776733398438\n", + "global step=5259264, episodic return=595.45654296875\n", + "global step=5259264, episodic return=618.4967041015625\n", + "global step=5261312, episodic return=637.296630859375\n", + "global step=5261312, episodic return=635.7543334960938\n", + "global step=5261312, episodic return=627.4025268554688\n", + "global step=5261312, episodic return=634.5828857421875\n", + "global step=5261312, episodic return=611.9096069335938\n", + "global step=5263360, episodic return=672.9683837890625\n", + "global step=5263360, episodic return=654.0103759765625\n", + "global step=5265408, episodic return=640.782958984375\n", + "global step=5265408, episodic return=610.59521484375\n", + "global step=5265408, episodic return=606.7463989257812\n", + "global step=5265408, episodic return=655.8015747070312\n", + "global step=5265408, episodic return=644.765625\n", + "global step=5267456, episodic return=636.7015380859375\n", + "global step=5267456, episodic return=621.6741943359375\n", + "global step=5267456, episodic return=627.6700439453125\n", + "global step=5267456, episodic return=628.283447265625\n", + "global step=5269504, episodic return=630.87158203125\n", + "global step=5269504, episodic return=622.51611328125\n", + "global step=5269504, episodic return=622.4940795898438\n", + "global step=5269504, episodic return=639.1473388671875\n", + "global step=5269504, episodic return=640.9486083984375\n", + "global step=5269504, episodic return=620.5552368164062\n", + "global step=5271552, episodic return=619.877685546875\n", + "global step=5271552, episodic return=649.0345458984375\n", + "global step=5271552, episodic return=622.1527099609375\n", + "global step=5271552, episodic return=635.3976440429688\n", + "global step=5273600, episodic return=640.9244995117188\n", + "global step=5273600, episodic return=618.4326782226562\n", + "global step=5273600, episodic return=619.4010009765625\n", + "global step=5273600, episodic return=621.9894409179688\n", + "global step=5273600, episodic return=633.544189453125\n", + "global step=5273600, episodic return=641.7531127929688\n", + "global step=5273600, episodic return=622.441650390625\n", + "global step=5273600, episodic return=612.918701171875\n", + "global step=5273600, episodic return=612.16748046875\n", + "global step=5275648, episodic return=612.1158447265625\n", + "global step=5275648, episodic return=613.20556640625\n", + "global step=5275648, episodic return=627.3323364257812\n", + "global step=5275648, episodic return=621.7975463867188\n", + "global step=5275648, episodic return=628.6240844726562\n", + "global step=5275648, episodic return=649.98974609375\n", + "global step=5277696, episodic return=633.6597900390625\n", + "global step=5277696, episodic return=625.1294555664062\n", + "global step=5277696, episodic return=618.22998046875\n", + "global step=5277696, episodic return=615.819091796875\n", + "global step=5277696, episodic return=644.1870727539062\n", + "global step=5279744, episodic return=624.2565307617188\n", + "global step=5279744, episodic return=637.58837890625\n", + "global step=5279744, episodic return=636.8395385742188\n", + "global step=5279744, episodic return=617.4954223632812\n", + "global step=5279744, episodic return=640.0904541015625\n", + "global step=5281792, episodic return=606.1729736328125\n", + "global step=5281792, episodic return=631.4848022460938\n", + "global step=5281792, episodic return=636.5408325195312\n", + "global step=5281792, episodic return=609.6864013671875\n", + "global step=5283840, episodic return=609.4219360351562\n", + "global step=5283840, episodic return=632.601318359375\n", + "global step=5283840, episodic return=622.8316650390625\n", + "global step=5285888, episodic return=640.134765625\n", + "global step=5285888, episodic return=645.3926391601562\n", + "global step=5285888, episodic return=626.3184204101562\n", + "global step=5285888, episodic return=617.372802734375\n", + "global step=5285888, episodic return=641.3585815429688\n", + "global step=5285888, episodic return=642.4664306640625\n", + "global step=5285888, episodic return=624.7396240234375\n", + "global step=5285888, episodic return=631.0767822265625\n", + "global step=5287936, episodic return=641.5625\n", + "global step=5287936, episodic return=622.2697143554688\n", + "global step=5287936, episodic return=632.9381103515625\n", + "global step=5287936, episodic return=639.9431762695312\n", + "global step=5287936, episodic return=608.0411376953125\n", + "global step=5287936, episodic return=634.426025390625\n", + "global step=5287936, episodic return=651.3001708984375\n", + "global step=5287936, episodic return=638.3270263671875\n", + "global step=5287936, episodic return=640.4490356445312\n", + "global step=5289984, episodic return=651.3668212890625\n", + "global step=5289984, episodic return=603.421142578125\n", + "global step=5289984, episodic return=621.7447509765625\n", + "global step=5289984, episodic return=617.7619018554688\n", + "global step=5289984, episodic return=636.6505126953125\n", + "global step=5289984, episodic return=624.33251953125\n", + "global step=5289984, episodic return=626.1576538085938\n", + "global step=5289984, episodic return=641.4248657226562\n", + "global step=5292032, episodic return=636.9026489257812\n", + "global step=5292032, episodic return=638.840087890625\n", + "global step=5292032, episodic return=634.0074462890625\n", + "global step=5292032, episodic return=612.4786376953125\n", + "global step=5292032, episodic return=630.8873291015625\n", + "global step=5292032, episodic return=627.3644409179688\n", + "global step=5292032, episodic return=630.9821166992188\n", + "global step=5294080, episodic return=607.21435546875\n", + "global step=5294080, episodic return=636.8765869140625\n", + "global step=5294080, episodic return=628.2910766601562\n", + "global step=5294080, episodic return=644.9718627929688\n", + "global step=5294080, episodic return=634.42626953125\n", + "global step=5294080, episodic return=645.8052368164062\n", + "global step=5294080, episodic return=612.0685424804688\n", + "global step=5294080, episodic return=622.6868286132812\n", + "global step=5294080, episodic return=634.4932250976562\n", + "global step=5294080, episodic return=640.6875\n", + "global step=5294080, episodic return=650.1504516601562\n", + "global step=5294080, episodic return=631.2946166992188\n", + "global step=5294080, episodic return=640.6776123046875\n", + "global step=5296128, episodic return=611.3317260742188\n", + "global step=5296128, episodic return=618.2295532226562\n", + "global step=5296128, episodic return=604.9341430664062\n", + "global step=5298176, episodic return=632.2490234375\n", + "global step=5298176, episodic return=651.7841186523438\n", + "global step=5298176, episodic return=625.7919921875\n", + "global step=5298176, episodic return=651.263916015625\n", + "global step=5298176, episodic return=634.2626342773438\n", + "global step=5298176, episodic return=621.0272827148438\n", + "global step=5298176, episodic return=657.445068359375\n", + "global step=5298176, episodic return=617.9795532226562\n", + "global step=5300224, episodic return=638.8753051757812\n", + "global step=5300224, episodic return=632.0559692382812\n", + "global step=5300224, episodic return=649.2139282226562\n", + "global step=5300224, episodic return=634.562744140625\n", + "global step=5300224, episodic return=622.3217163085938\n", + "global step=5300224, episodic return=636.8389892578125\n", + "global step=5300224, episodic return=643.0391235351562\n", + "global step=5300224, episodic return=626.8739013671875\n", + "global step=5300224, episodic return=656.5301513671875\n", + "global step=5300224, episodic return=619.7377319335938\n", + "global step=5300224, episodic return=606.6636962890625\n", + "global step=5300224, episodic return=638.8816528320312\n", + "global step=5302272, episodic return=625.0814819335938\n", + "global step=5302272, episodic return=627.4454956054688\n", + "global step=5302272, episodic return=629.5504150390625\n", + "global step=5302272, episodic return=611.213134765625\n", + "global step=5302272, episodic return=630.43798828125\n", + "global step=5302272, episodic return=638.1824951171875\n", + "global step=5302272, episodic return=605.088134765625\n", + "global step=5302272, episodic return=602.8224487304688\n", + "global step=5302272, episodic return=622.9080810546875\n", + "global step=5302272, episodic return=655.0595092773438\n", + "global step=5302272, episodic return=632.87548828125\n", + "global step=5302272, episodic return=620.33154296875\n", + "global step=5302272, episodic return=668.0428466796875\n", + "global step=5302272, episodic return=616.41796875\n", + "global step=5302272, episodic return=619.3114013671875\n", + "global step=5304320, episodic return=620.1570434570312\n", + "global step=5304320, episodic return=628.3031616210938\n", + "global step=5304320, episodic return=628.1409301757812\n", + "global step=5304320, episodic return=641.9779052734375\n", + "global step=5304320, episodic return=655.7135620117188\n", + "global step=5304320, episodic return=632.8865966796875\n", + "global step=5304320, episodic return=642.513671875\n", + "global step=5304320, episodic return=631.0601196289062\n", + "global step=5306368, episodic return=647.1896362304688\n", + "global step=5306368, episodic return=599.8991088867188\n", + "global step=5306368, episodic return=606.8512573242188\n", + "global step=5306368, episodic return=655.6036376953125\n", + "global step=5306368, episodic return=625.4730224609375\n", + "global step=5306368, episodic return=627.2886352539062\n", + "global step=5306368, episodic return=624.202880859375\n", + "global step=5306368, episodic return=616.2183837890625\n", + "global step=5306368, episodic return=635.8267822265625\n", + "global step=5306368, episodic return=623.5700073242188\n", + "global step=5306368, episodic return=625.6458740234375\n", + "global step=5308416, episodic return=642.29248046875\n", + "global step=5308416, episodic return=634.0657348632812\n", + "global step=5308416, episodic return=639.5771484375\n", + "global step=5308416, episodic return=661.8069458007812\n", + "global step=5308416, episodic return=630.953369140625\n", + "global step=5308416, episodic return=612.3619384765625\n", + "global step=5308416, episodic return=645.6578369140625\n", + "global step=5308416, episodic return=605.3544311523438\n", + "global step=5308416, episodic return=616.886474609375\n", + "global step=5308416, episodic return=650.1587524414062\n", + "global step=5310464, episodic return=631.2122192382812\n", + "global step=5310464, episodic return=635.2490234375\n", + "global step=5310464, episodic return=644.251953125\n", + "global step=5310464, episodic return=636.5947875976562\n", + "global step=5310464, episodic return=637.3991088867188\n", + "global step=5310464, episodic return=611.1051025390625\n", + "global step=5310464, episodic return=622.9095458984375\n", + "global step=5310464, episodic return=648.9476928710938\n", + "global step=5310464, episodic return=637.4542846679688\n", + "global step=5310464, episodic return=636.7564697265625\n", + "global step=5310464, episodic return=620.0421142578125\n", + "global step=5312512, episodic return=600.94970703125\n", + "global step=5312512, episodic return=653.4244384765625\n", + "global step=5312512, episodic return=647.6328125\n", + "global step=5312512, episodic return=622.6795043945312\n", + "global step=5312512, episodic return=654.6214599609375\n", + "global step=5312512, episodic return=668.7153930664062\n", + "global step=5312512, episodic return=640.9293212890625\n", + "global step=5312512, episodic return=645.5869140625\n", + "global step=5312512, episodic return=637.7793579101562\n", + "global step=5312512, episodic return=633.5350341796875\n", + "global step=5312512, episodic return=621.2086181640625\n", + "global step=5312512, episodic return=660.4022827148438\n", + "global step=5312512, episodic return=653.9747314453125\n", + "global step=5312512, episodic return=628.3056030273438\n", + "global step=5314560, episodic return=649.2218627929688\n", + "global step=5314560, episodic return=628.5391845703125\n", + "global step=5314560, episodic return=666.95068359375\n", + "global step=5314560, episodic return=647.4598388671875\n", + "global step=5314560, episodic return=631.0185546875\n", + "global step=5314560, episodic return=630.6251220703125\n", + "global step=5314560, episodic return=620.7931518554688\n", + "global step=5314560, episodic return=646.2310791015625\n", + "global step=5314560, episodic return=637.9681396484375\n", + "global step=5314560, episodic return=658.4342651367188\n", + "global step=5314560, episodic return=624.3841552734375\n", + "global step=5314560, episodic return=656.6183471679688\n", + "global step=5314560, episodic return=648.80126953125\n", + "global step=5316608, episodic return=642.4693603515625\n", + "global step=5316608, episodic return=638.4964599609375\n", + "global step=5316608, episodic return=662.9072875976562\n", + "global step=5316608, episodic return=633.7277221679688\n", + "global step=5316608, episodic return=611.0421142578125\n", + "global step=5316608, episodic return=652.8119506835938\n", + "global step=5316608, episodic return=607.4868774414062\n", + "global step=5316608, episodic return=606.6035766601562\n", + "global step=5316608, episodic return=643.2503662109375\n", + "global step=5316608, episodic return=607.5413818359375\n", + "global step=5318656, episodic return=638.621337890625\n", + "global step=5318656, episodic return=644.3782958984375\n", + "global step=5318656, episodic return=632.2626953125\n", + "global step=5318656, episodic return=629.0446166992188\n", + "global step=5318656, episodic return=644.5266723632812\n", + "global step=5318656, episodic return=654.8766479492188\n", + "global step=5318656, episodic return=644.4402465820312\n", + "global step=5318656, episodic return=642.4065551757812\n", + "global step=5318656, episodic return=656.6878051757812\n", + "global step=5318656, episodic return=641.3442993164062\n", + "global step=5318656, episodic return=629.6755981445312\n", + "global step=5318656, episodic return=652.703125\n", + "global step=5320704, episodic return=642.767578125\n", + "global step=5320704, episodic return=639.4441528320312\n", + "global step=5320704, episodic return=639.2252197265625\n", + "global step=5320704, episodic return=621.8218994140625\n", + "global step=5320704, episodic return=633.1083984375\n", + "global step=5320704, episodic return=601.6483764648438\n", + "global step=5320704, episodic return=642.8427734375\n", + "global step=5320704, episodic return=643.0074462890625\n", + "global step=5320704, episodic return=635.212890625\n", + "global step=5320704, episodic return=655.0230712890625\n", + "global step=5320704, episodic return=638.2647705078125\n", + "global step=5320704, episodic return=642.8046264648438\n", + "global step=5320704, episodic return=636.2730102539062\n", + "global step=5320704, episodic return=630.756103515625\n", + "global step=5320704, episodic return=613.1084594726562\n", + "global step=5320704, episodic return=610.2952270507812\n", + "global step=5320704, episodic return=626.3175048828125\n", + "global step=5322752, episodic return=652.7019653320312\n", + "global step=5322752, episodic return=651.2240600585938\n", + "global step=5322752, episodic return=615.3452758789062\n", + "global step=5322752, episodic return=662.9071655273438\n", + "global step=5322752, episodic return=641.9633178710938\n", + "global step=5322752, episodic return=656.6904907226562\n", + "global step=5322752, episodic return=628.8855590820312\n", + "global step=5324800, episodic return=649.3456420898438\n", + "global step=5324800, episodic return=651.4599609375\n", + "global step=5324800, episodic return=628.5375366210938\n", + "global step=5324800, episodic return=626.6935424804688\n", + "global step=5324800, episodic return=640.741455078125\n", + "global step=5324800, episodic return=622.64892578125\n", + "global step=5324800, episodic return=622.7406616210938\n", + "global step=5324800, episodic return=636.4815063476562\n", + "global step=5324800, episodic return=641.3518676757812\n", + "global step=5324800, episodic return=628.2854614257812\n", + "global step=5324800, episodic return=635.6084594726562\n", + "global step=5324800, episodic return=645.77587890625\n", + "global step=5324800, episodic return=640.9307861328125\n", + "global step=5324800, episodic return=649.7522583007812\n", + "global step=5326848, episodic return=650.432861328125\n", + "global step=5326848, episodic return=653.5626220703125\n", + "global step=5326848, episodic return=632.12158203125\n", + "global step=5326848, episodic return=636.5355834960938\n", + "global step=5326848, episodic return=642.2326049804688\n", + "global step=5326848, episodic return=644.3017578125\n", + "global step=5326848, episodic return=633.9447631835938\n", + "global step=5326848, episodic return=659.0607299804688\n", + "global step=5328896, episodic return=644.5216674804688\n", + "global step=5328896, episodic return=626.2081909179688\n", + "global step=5328896, episodic return=641.1367797851562\n", + "global step=5328896, episodic return=638.3781127929688\n", + "global step=5328896, episodic return=633.7919921875\n", + "global step=5328896, episodic return=626.0443115234375\n", + "global step=5328896, episodic return=628.3947143554688\n", + "global step=5328896, episodic return=630.1232299804688\n", + "global step=5328896, episodic return=645.8546142578125\n", + "global step=5328896, episodic return=627.0465698242188\n", + "global step=5328896, episodic return=631.0274658203125\n", + "global step=5330944, episodic return=630.1000366210938\n", + "global step=5330944, episodic return=624.71826171875\n", + "global step=5330944, episodic return=643.7251586914062\n", + "global step=5330944, episodic return=639.477294921875\n", + "global step=5330944, episodic return=647.0706176757812\n", + "global step=5330944, episodic return=632.78857421875\n", + "global step=5330944, episodic return=630.3823852539062\n", + "global step=5330944, episodic return=644.1980590820312\n", + "global step=5330944, episodic return=638.414794921875\n", + "global step=5330944, episodic return=657.3760986328125\n", + "global step=5330944, episodic return=627.7138061523438\n", + "global step=5330944, episodic return=625.7255249023438\n", + "global step=5330944, episodic return=645.0360717773438\n", + "global step=5330944, episodic return=661.3150024414062\n", + "global step=5330944, episodic return=647.5435791015625\n", + "global step=5330944, episodic return=611.7417602539062\n", + "global step=5330944, episodic return=644.0484619140625\n", + "global step=5330944, episodic return=628.0365600585938\n", + "global step=5330944, episodic return=637.4813232421875\n", + "global step=5332992, episodic return=645.1153564453125\n", + "global step=5332992, episodic return=628.360595703125\n", + "global step=5332992, episodic return=621.7615966796875\n", + "global step=5332992, episodic return=635.5822143554688\n", + "global step=5332992, episodic return=661.6204223632812\n", + "global step=5332992, episodic return=647.38330078125\n", + "global step=5332992, episodic return=639.6713256835938\n", + "global step=5332992, episodic return=657.3055419921875\n", + "global step=5332992, episodic return=635.97802734375\n", + "global step=5332992, episodic return=628.76953125\n", + "global step=5332992, episodic return=613.790771484375\n", + "global step=5332992, episodic return=631.6957397460938\n", + "global step=5332992, episodic return=631.7359008789062\n", + "global step=5332992, episodic return=632.7510375976562\n", + "global step=5332992, episodic return=638.214599609375\n", + "global step=5332992, episodic return=640.5773315429688\n", + "global step=5332992, episodic return=647.0889892578125\n", + "global step=5335040, episodic return=633.0391845703125\n", + "global step=5335040, episodic return=654.26953125\n", + "global step=5335040, episodic return=635.525390625\n", + "global step=5335040, episodic return=635.2391357421875\n", + "global step=5335040, episodic return=621.1776123046875\n", + "global step=5335040, episodic return=640.0108642578125\n", + "global step=5335040, episodic return=652.242431640625\n", + "global step=5335040, episodic return=628.5913696289062\n", + "global step=5335040, episodic return=647.4248657226562\n", + "global step=5335040, episodic return=655.5050048828125\n", + "global step=5335040, episodic return=643.1281127929688\n", + "global step=5337088, episodic return=656.7197265625\n", + "global step=5337088, episodic return=646.517578125\n", + "global step=5337088, episodic return=630.4649047851562\n", + "global step=5337088, episodic return=650.3619995117188\n", + "global step=5337088, episodic return=625.2423706054688\n", + "global step=5337088, episodic return=623.9747314453125\n", + "global step=5337088, episodic return=621.3240356445312\n", + "global step=5337088, episodic return=663.9158325195312\n", + "global step=5337088, episodic return=626.4579467773438\n", + "global step=5337088, episodic return=625.4093017578125\n", + "global step=5337088, episodic return=647.5094604492188\n", + "global step=5337088, episodic return=651.5303344726562\n", + "global step=5337088, episodic return=608.1736450195312\n", + "global step=5337088, episodic return=654.7485961914062\n", + "global step=5339136, episodic return=653.8847045898438\n", + "global step=5339136, episodic return=643.2011108398438\n", + "global step=5339136, episodic return=625.6292114257812\n", + "global step=5339136, episodic return=650.4395141601562\n", + "global step=5339136, episodic return=627.4721069335938\n", + "global step=5339136, episodic return=628.5763549804688\n", + "global step=5339136, episodic return=652.026123046875\n", + "global step=5339136, episodic return=641.5372924804688\n", + "global step=5339136, episodic return=654.4745483398438\n", + "global step=5339136, episodic return=636.127197265625\n", + "global step=5339136, episodic return=636.2694091796875\n", + "global step=5339136, episodic return=624.3400268554688\n", + "global step=5341184, episodic return=657.5938720703125\n", + "global step=5341184, episodic return=626.3496704101562\n", + "global step=5341184, episodic return=634.4913940429688\n", + "global step=5341184, episodic return=631.020263671875\n", + "global step=5341184, episodic return=655.4569702148438\n", + "global step=5341184, episodic return=662.2859497070312\n", + "global step=5341184, episodic return=644.8096313476562\n", + "global step=5341184, episodic return=648.148193359375\n", + "global step=5341184, episodic return=650.5208740234375\n", + "global step=5341184, episodic return=665.7283325195312\n", + "global step=5341184, episodic return=656.6539306640625\n", + "global step=5341184, episodic return=627.6242065429688\n", + "global step=5341184, episodic return=627.5375366210938\n", + "global step=5341184, episodic return=612.6357421875\n", + "global step=5341184, episodic return=653.8794555664062\n", + "global step=5341184, episodic return=661.03515625\n", + "global step=5341184, episodic return=641.2378540039062\n", + "global step=5341184, episodic return=626.104736328125\n", + "global step=5341184, episodic return=660.9979858398438\n", + "global step=5343232, episodic return=648.138427734375\n", + "global step=5343232, episodic return=619.3195190429688\n", + "global step=5343232, episodic return=667.2049560546875\n", + "global step=5343232, episodic return=643.564697265625\n", + "global step=5343232, episodic return=619.943359375\n", + "global step=5343232, episodic return=637.199462890625\n", + "global step=5343232, episodic return=630.7381591796875\n", + "global step=5343232, episodic return=624.3671875\n", + "global step=5343232, episodic return=642.10107421875\n", + "global step=5343232, episodic return=637.0535278320312\n", + "global step=5343232, episodic return=617.6295776367188\n", + "global step=5345280, episodic return=653.9332275390625\n", + "global step=5345280, episodic return=598.8687744140625\n", + "global step=5345280, episodic return=637.3182373046875\n", + "global step=5345280, episodic return=635.9077758789062\n", + "global step=5345280, episodic return=642.0760498046875\n", + "global step=5345280, episodic return=661.5748291015625\n", + "global step=5345280, episodic return=631.6447143554688\n", + "global step=5345280, episodic return=631.2943725585938\n", + "global step=5345280, episodic return=639.5769653320312\n", + "global step=5345280, episodic return=625.1466064453125\n", + "global step=5345280, episodic return=655.26806640625\n", + "global step=5345280, episodic return=632.9935913085938\n", + "global step=5345280, episodic return=636.1848754882812\n", + "global step=5345280, episodic return=641.4432373046875\n", + "global step=5345280, episodic return=643.7225341796875\n", + "global step=5347328, episodic return=638.497314453125\n", + "global step=5347328, episodic return=665.38037109375\n", + "global step=5347328, episodic return=645.7127075195312\n", + "global step=5347328, episodic return=621.2840576171875\n", + "global step=5347328, episodic return=626.6324462890625\n", + "global step=5349376, episodic return=649.2103271484375\n", + "global step=5349376, episodic return=660.547119140625\n", + "global step=5349376, episodic return=642.0154418945312\n", + "global step=5349376, episodic return=648.9664916992188\n", + "global step=5349376, episodic return=657.8576049804688\n", + "global step=5349376, episodic return=666.1135864257812\n", + "global step=5349376, episodic return=671.1573486328125\n", + "global step=5349376, episodic return=655.9489135742188\n", + "global step=5349376, episodic return=658.9197387695312\n", + "global step=5349376, episodic return=637.5123901367188\n", + "global step=5349376, episodic return=650.1181640625\n", + "global step=5349376, episodic return=645.7450561523438\n", + "global step=5349376, episodic return=622.0652465820312\n", + "global step=5349376, episodic return=631.8592529296875\n", + "global step=5349376, episodic return=660.8164672851562\n", + "global step=5351424, episodic return=634.2055053710938\n", + "global step=5351424, episodic return=618.2384033203125\n", + "global step=5351424, episodic return=647.6559448242188\n", + "global step=5351424, episodic return=620.152587890625\n", + "global step=5351424, episodic return=641.7012939453125\n", + "global step=5351424, episodic return=619.3150634765625\n", + "global step=5351424, episodic return=652.755859375\n", + "global step=5351424, episodic return=615.5794067382812\n", + "global step=5351424, episodic return=628.3453979492188\n", + "global step=5351424, episodic return=655.3668212890625\n", + "global step=5351424, episodic return=664.8970336914062\n", + "global step=5351424, episodic return=655.4011840820312\n", + "global step=5351424, episodic return=642.4412231445312\n", + "global step=5351424, episodic return=638.3099365234375\n", + "global step=5351424, episodic return=620.7930297851562\n", + "global step=5351424, episodic return=616.5480346679688\n", + "global step=5353472, episodic return=668.6675415039062\n", + "global step=5353472, episodic return=619.7963256835938\n", + "global step=5353472, episodic return=668.5668334960938\n", + "global step=5353472, episodic return=657.091552734375\n", + "global step=5353472, episodic return=634.6664428710938\n", + "global step=5353472, episodic return=664.7112426757812\n", + "global step=5353472, episodic return=647.18212890625\n", + "global step=5353472, episodic return=634.8408203125\n", + "global step=5353472, episodic return=651.0405883789062\n", + "global step=5353472, episodic return=638.92578125\n", + "global step=5353472, episodic return=664.7900390625\n", + "global step=5355520, episodic return=640.3687744140625\n", + "global step=5355520, episodic return=664.441650390625\n", + "global step=5355520, episodic return=650.7574462890625\n", + "global step=5355520, episodic return=651.955810546875\n", + "global step=5355520, episodic return=649.4550170898438\n", + "global step=5355520, episodic return=644.4274291992188\n", + "global step=5355520, episodic return=612.1404418945312\n", + "global step=5355520, episodic return=665.139892578125\n", + "global step=5355520, episodic return=631.7162475585938\n", + "global step=5355520, episodic return=649.5741577148438\n", + "global step=5355520, episodic return=658.5774536132812\n", + "global step=5355520, episodic return=655.2670288085938\n", + "global step=5355520, episodic return=645.341796875\n", + "global step=5355520, episodic return=654.4301147460938\n", + "global step=5355520, episodic return=619.16455078125\n", + "global step=5357568, episodic return=653.34814453125\n", + "global step=5357568, episodic return=631.9494018554688\n", + "global step=5357568, episodic return=657.5809326171875\n", + "global step=5357568, episodic return=644.3131713867188\n", + "global step=5357568, episodic return=639.3763427734375\n", + "global step=5357568, episodic return=633.9197998046875\n", + "global step=5357568, episodic return=646.9886474609375\n", + "global step=5357568, episodic return=624.4262084960938\n", + "global step=5357568, episodic return=652.384765625\n", + "global step=5357568, episodic return=622.162841796875\n", + "global step=5357568, episodic return=643.0178833007812\n", + "global step=5359616, episodic return=629.8143310546875\n", + "global step=5359616, episodic return=629.4088134765625\n", + "global step=5359616, episodic return=625.6953735351562\n", + "global step=5359616, episodic return=665.0051879882812\n", + "global step=5359616, episodic return=634.8443603515625\n", + "global step=5359616, episodic return=640.1261596679688\n", + "global step=5359616, episodic return=642.0924072265625\n", + "global step=5361664, episodic return=646.7184448242188\n", + "global step=5361664, episodic return=636.9530639648438\n", + "global step=5361664, episodic return=671.0821533203125\n", + "global step=5361664, episodic return=635.4757080078125\n", + "global step=5361664, episodic return=615.3663330078125\n", + "global step=5361664, episodic return=626.2777709960938\n", + "global step=5361664, episodic return=639.9622192382812\n", + "global step=5361664, episodic return=656.4122314453125\n", + "global step=5361664, episodic return=647.8240356445312\n", + "global step=5361664, episodic return=631.8242797851562\n", + "global step=5361664, episodic return=644.7552490234375\n", + "global step=5361664, episodic return=641.67626953125\n", + "global step=5361664, episodic return=669.86279296875\n", + "global step=5361664, episodic return=661.2328491210938\n", + "global step=5363712, episodic return=644.0056762695312\n", + "global step=5363712, episodic return=644.625732421875\n", + "global step=5363712, episodic return=660.4057006835938\n", + "global step=5363712, episodic return=661.3250732421875\n", + "global step=5363712, episodic return=638.6697998046875\n", + "global step=5363712, episodic return=609.3389282226562\n", + "global step=5363712, episodic return=653.7748413085938\n", + "global step=5363712, episodic return=627.8086547851562\n", + "global step=5363712, episodic return=627.8798828125\n", + "global step=5363712, episodic return=637.4967041015625\n", + "global step=5365760, episodic return=627.3242797851562\n", + "global step=5365760, episodic return=649.6134033203125\n", + "global step=5365760, episodic return=645.8642578125\n", + "global step=5365760, episodic return=639.6819458007812\n", + "global step=5365760, episodic return=652.46142578125\n", + "global step=5365760, episodic return=660.0950317382812\n", + "global step=5365760, episodic return=648.3358154296875\n", + "global step=5365760, episodic return=654.0048828125\n", + "global step=5365760, episodic return=643.5888671875\n", + "global step=5365760, episodic return=643.3927001953125\n", + "global step=5365760, episodic return=626.32568359375\n", + "global step=5365760, episodic return=645.7063598632812\n", + "global step=5365760, episodic return=641.4476928710938\n", + "global step=5365760, episodic return=645.8058471679688\n", + "global step=5365760, episodic return=659.5318603515625\n", + "global step=5365760, episodic return=647.9578857421875\n", + "global step=5365760, episodic return=655.6686401367188\n", + "global step=5365760, episodic return=651.9692993164062\n", + "global step=5365760, episodic return=652.8179321289062\n", + "global step=5365760, episodic return=660.0994873046875\n", + "global step=5365760, episodic return=655.2063598632812\n", + "global step=5365760, episodic return=637.6019287109375\n", + "global step=5365760, episodic return=665.4915771484375\n", + "global step=5365760, episodic return=610.8833618164062\n", + "global step=5367808, episodic return=638.736328125\n", + "global step=5367808, episodic return=633.37255859375\n", + "global step=5367808, episodic return=641.9508666992188\n", + "global step=5367808, episodic return=633.6483154296875\n", + "global step=5367808, episodic return=625.9534912109375\n", + "global step=5367808, episodic return=641.1488647460938\n", + "global step=5367808, episodic return=656.4491577148438\n", + "global step=5367808, episodic return=648.9454345703125\n", + "global step=5367808, episodic return=642.0555419921875\n", + "global step=5367808, episodic return=673.88720703125\n", + "global step=5367808, episodic return=663.7910766601562\n", + "global step=5367808, episodic return=646.8181762695312\n", + "global step=5367808, episodic return=645.918701171875\n", + "global step=5367808, episodic return=633.0903930664062\n", + "global step=5367808, episodic return=650.059326171875\n", + "global step=5367808, episodic return=659.9063110351562\n", + "global step=5367808, episodic return=624.247802734375\n", + "global step=5367808, episodic return=647.43798828125\n", + "global step=5367808, episodic return=667.5404663085938\n", + "global step=5367808, episodic return=636.964599609375\n", + "global step=5367808, episodic return=656.9533081054688\n", + "global step=5369856, episodic return=636.3795166015625\n", + "global step=5369856, episodic return=622.8699951171875\n", + "global step=5369856, episodic return=627.9435424804688\n", + "global step=5369856, episodic return=657.4362182617188\n", + "global step=5369856, episodic return=659.2023315429688\n", + "global step=5369856, episodic return=643.4873657226562\n", + "global step=5369856, episodic return=664.4323120117188\n", + "global step=5369856, episodic return=648.0510864257812\n", + "global step=5369856, episodic return=621.7990112304688\n", + "global step=5369856, episodic return=638.3397827148438\n", + "global step=5369856, episodic return=657.25244140625\n", + "global step=5369856, episodic return=646.8316650390625\n", + "global step=5369856, episodic return=645.4329833984375\n", + "global step=5369856, episodic return=644.4727172851562\n", + "global step=5371904, episodic return=662.9315185546875\n", + "global step=5371904, episodic return=663.241943359375\n", + "global step=5371904, episodic return=658.6522216796875\n", + "global step=5371904, episodic return=646.0950317382812\n", + "global step=5371904, episodic return=661.796630859375\n", + "global step=5371904, episodic return=655.5098266601562\n", + "global step=5371904, episodic return=625.1007080078125\n", + "global step=5371904, episodic return=637.755615234375\n", + "global step=5371904, episodic return=628.3450927734375\n", + "global step=5371904, episodic return=651.46826171875\n", + "global step=5371904, episodic return=678.583984375\n", + "global step=5371904, episodic return=676.9443969726562\n", + "global step=5371904, episodic return=662.4953002929688\n", + "global step=5371904, episodic return=672.8826904296875\n", + "global step=5373952, episodic return=629.6578369140625\n", + "global step=5373952, episodic return=610.9542846679688\n", + "global step=5373952, episodic return=664.9100341796875\n", + "global step=5373952, episodic return=609.2266845703125\n", + "global step=5373952, episodic return=658.66064453125\n", + "global step=5373952, episodic return=656.4632568359375\n", + "global step=5373952, episodic return=631.3919067382812\n", + "global step=5373952, episodic return=652.1892700195312\n", + "global step=5373952, episodic return=665.131591796875\n", + "global step=5373952, episodic return=657.882568359375\n", + "global step=5373952, episodic return=649.7173461914062\n", + "global step=5373952, episodic return=654.2513427734375\n", + "global step=5373952, episodic return=641.7260131835938\n", + "global step=5373952, episodic return=628.3040771484375\n", + "global step=5373952, episodic return=652.6494140625\n", + "global step=5373952, episodic return=659.1768798828125\n", + "global step=5376000, episodic return=651.9047241210938\n", + "global step=5376000, episodic return=665.249267578125\n", + "global step=5376000, episodic return=650.677001953125\n", + "global step=5376000, episodic return=622.0263671875\n", + "global step=5376000, episodic return=636.4041137695312\n", + "global step=5376000, episodic return=661.3265991210938\n", + "global step=5376000, episodic return=664.2404174804688\n", + "global step=5376000, episodic return=635.7327270507812\n", + "global step=5376000, episodic return=655.841064453125\n", + "global step=5376000, episodic return=666.8495483398438\n", + "global step=5376000, episodic return=645.935302734375\n", + "global step=5376000, episodic return=649.66455078125\n", + "global step=5376000, episodic return=661.7376098632812\n", + "global step=5376000, episodic return=630.4656982421875\n", + "global step=5378048, episodic return=614.1507568359375\n", + "global step=5378048, episodic return=632.5496215820312\n", + "global step=5378048, episodic return=668.6143188476562\n", + "global step=5378048, episodic return=632.2597045898438\n", + "global step=5378048, episodic return=626.6636962890625\n", + "global step=5378048, episodic return=665.7132568359375\n", + "global step=5378048, episodic return=653.878662109375\n", + "global step=5378048, episodic return=654.67724609375\n", + "global step=5378048, episodic return=635.6592407226562\n", + "global step=5378048, episodic return=634.4511108398438\n", + "global step=5378048, episodic return=648.5777587890625\n", + "global step=5378048, episodic return=642.0565185546875\n", + "global step=5378048, episodic return=658.3143310546875\n", + "global step=5378048, episodic return=637.0685424804688\n", + "global step=5380096, episodic return=651.8721923828125\n", + "global step=5380096, episodic return=647.5701293945312\n", + "global step=5380096, episodic return=638.026123046875\n", + "global step=5380096, episodic return=627.1851196289062\n", + "global step=5380096, episodic return=630.145751953125\n", + "global step=5380096, episodic return=627.645263671875\n", + "global step=5380096, episodic return=630.973388671875\n", + "global step=5380096, episodic return=666.435302734375\n", + "global step=5380096, episodic return=652.82275390625\n", + "global step=5380096, episodic return=636.2733764648438\n", + "global step=5380096, episodic return=647.2709350585938\n", + "global step=5380096, episodic return=638.4711303710938\n", + "global step=5382144, episodic return=647.5180053710938\n", + "global step=5382144, episodic return=652.5460815429688\n", + "global step=5382144, episodic return=644.0087280273438\n", + "global step=5382144, episodic return=659.362060546875\n", + "global step=5382144, episodic return=628.3444213867188\n", + "global step=5382144, episodic return=663.2642211914062\n", + "global step=5382144, episodic return=664.8954467773438\n", + "global step=5382144, episodic return=642.3366088867188\n", + "global step=5382144, episodic return=660.9131469726562\n", + "global step=5382144, episodic return=611.7030639648438\n", + "global step=5382144, episodic return=623.9635009765625\n", + "global step=5382144, episodic return=617.8450927734375\n", + "global step=5382144, episodic return=653.4027709960938\n", + "global step=5382144, episodic return=613.7483520507812\n", + "global step=5384192, episodic return=652.1658935546875\n", + "global step=5384192, episodic return=640.1589965820312\n", + "global step=5384192, episodic return=638.3861083984375\n", + "global step=5384192, episodic return=628.4992065429688\n", + "global step=5384192, episodic return=639.9557495117188\n", + "global step=5384192, episodic return=635.9453125\n", + "global step=5384192, episodic return=650.9202270507812\n", + "global step=5384192, episodic return=652.6356811523438\n", + "global step=5384192, episodic return=649.1204833984375\n", + "global step=5384192, episodic return=654.7584838867188\n", + "global step=5384192, episodic return=649.7909545898438\n", + "global step=5384192, episodic return=650.4305419921875\n", + "global step=5384192, episodic return=637.7924194335938\n", + "global step=5384192, episodic return=658.6348266601562\n", + "global step=5384192, episodic return=639.9076538085938\n", + "global step=5384192, episodic return=656.0274047851562\n", + "global step=5384192, episodic return=635.0421752929688\n", + "global step=5384192, episodic return=642.6329345703125\n", + "global step=5384192, episodic return=661.1001586914062\n", + "global step=5384192, episodic return=647.0562133789062\n", + "global step=5386240, episodic return=659.093505859375\n", + "global step=5386240, episodic return=675.1519775390625\n", + "global step=5386240, episodic return=677.7027587890625\n", + "global step=5386240, episodic return=646.0975952148438\n", + "global step=5386240, episodic return=641.7628784179688\n", + "global step=5386240, episodic return=649.4417724609375\n", + "global step=5386240, episodic return=640.2510375976562\n", + "global step=5386240, episodic return=651.96044921875\n", + "global step=5386240, episodic return=674.606201171875\n", + "global step=5386240, episodic return=607.7510986328125\n", + "global step=5386240, episodic return=664.805419921875\n", + "global step=5386240, episodic return=656.45751953125\n", + "global step=5386240, episodic return=651.953125\n", + "global step=5386240, episodic return=649.1204223632812\n", + "global step=5388288, episodic return=645.894775390625\n", + "global step=5388288, episodic return=651.505859375\n", + "global step=5388288, episodic return=663.248779296875\n", + "global step=5388288, episodic return=661.5928344726562\n", + "global step=5388288, episodic return=637.6810302734375\n", + "global step=5388288, episodic return=626.6439208984375\n", + "global step=5388288, episodic return=652.1069946289062\n", + "global step=5388288, episodic return=650.6207275390625\n", + "global step=5388288, episodic return=641.3499145507812\n", + "global step=5388288, episodic return=656.8049926757812\n", + "global step=5388288, episodic return=659.0602416992188\n", + "global step=5390336, episodic return=670.957275390625\n", + "global step=5390336, episodic return=668.333251953125\n", + "global step=5390336, episodic return=651.2184448242188\n", + "global step=5390336, episodic return=634.9143676757812\n", + "global step=5390336, episodic return=651.1336669921875\n", + "global step=5390336, episodic return=652.6012573242188\n", + "global step=5390336, episodic return=654.7843017578125\n", + "global step=5390336, episodic return=633.1611938476562\n", + "global step=5390336, episodic return=661.2157592773438\n", + "global step=5390336, episodic return=634.2592163085938\n", + "global step=5390336, episodic return=664.3023681640625\n", + "global step=5390336, episodic return=664.1365966796875\n", + "global step=5390336, episodic return=634.3252563476562\n", + "global step=5390336, episodic return=647.5791625976562\n", + "global step=5390336, episodic return=646.7918090820312\n", + "global step=5390336, episodic return=650.2714233398438\n", + "global step=5390336, episodic return=664.0640869140625\n", + "global step=5390336, episodic return=666.3588256835938\n", + "global step=5390336, episodic return=637.6299438476562\n", + "global step=5390336, episodic return=638.55419921875\n", + "global step=5390336, episodic return=654.4305419921875\n", + "global step=5392384, episodic return=649.2708129882812\n", + "global step=5392384, episodic return=663.2156372070312\n", + "global step=5392384, episodic return=642.5745849609375\n", + "global step=5392384, episodic return=673.0701904296875\n", + "global step=5392384, episodic return=641.3900756835938\n", + "global step=5392384, episodic return=644.8544921875\n", + "global step=5392384, episodic return=632.3756713867188\n", + "global step=5392384, episodic return=647.6381225585938\n", + "global step=5392384, episodic return=669.8671875\n", + "global step=5392384, episodic return=644.9134521484375\n", + "global step=5392384, episodic return=671.9562377929688\n", + "global step=5392384, episodic return=641.1014404296875\n", + "global step=5392384, episodic return=660.243408203125\n", + "global step=5392384, episodic return=658.854248046875\n", + "global step=5392384, episodic return=644.8427124023438\n", + "global step=5394432, episodic return=647.8104858398438\n", + "global step=5394432, episodic return=645.940673828125\n", + "global step=5394432, episodic return=648.1368408203125\n", + "global step=5394432, episodic return=648.3697509765625\n", + "global step=5394432, episodic return=660.0776977539062\n", + "global step=5394432, episodic return=669.8300170898438\n", + "global step=5394432, episodic return=639.9055786132812\n", + "global step=5394432, episodic return=615.0215454101562\n", + "global step=5394432, episodic return=636.947998046875\n", + "global step=5394432, episodic return=643.4022827148438\n", + "global step=5394432, episodic return=654.0009155273438\n", + "global step=5394432, episodic return=659.8786010742188\n", + "global step=5394432, episodic return=651.7516479492188\n", + "global step=5394432, episodic return=659.0674438476562\n", + "global step=5394432, episodic return=645.2130737304688\n", + "global step=5394432, episodic return=668.537109375\n", + "global step=5394432, episodic return=625.361572265625\n", + "global step=5396480, episodic return=647.5220336914062\n", + "global step=5396480, episodic return=656.0357666015625\n", + "global step=5396480, episodic return=633.2909545898438\n", + "global step=5396480, episodic return=651.7939453125\n", + "global step=5396480, episodic return=631.5390625\n", + "global step=5396480, episodic return=647.2857055664062\n", + "global step=5396480, episodic return=657.789306640625\n", + "global step=5396480, episodic return=629.0918579101562\n", + "global step=5396480, episodic return=654.1490478515625\n", + "global step=5396480, episodic return=669.7305908203125\n", + "global step=5396480, episodic return=640.0485229492188\n", + "global step=5396480, episodic return=642.9487915039062\n", + "global step=5398528, episodic return=649.0219116210938\n", + "global step=5398528, episodic return=654.0432739257812\n", + "global step=5398528, episodic return=685.157470703125\n", + "global step=5398528, episodic return=646.3176879882812\n", + "global step=5398528, episodic return=664.5261840820312\n", + "global step=5398528, episodic return=656.9755859375\n", + "global step=5398528, episodic return=667.3662719726562\n", + "global step=5398528, episodic return=656.9861450195312\n", + "global step=5398528, episodic return=667.7031860351562\n", + "global step=5398528, episodic return=659.8545532226562\n", + "global step=5398528, episodic return=663.1589965820312\n", + "global step=5398528, episodic return=644.032958984375\n", + "global step=5398528, episodic return=627.782958984375\n", + "global step=5398528, episodic return=630.1754150390625\n", + "global step=5398528, episodic return=641.2725830078125\n", + "global step=5398528, episodic return=656.2229614257812\n", + "global step=5398528, episodic return=637.2080078125\n", + "global step=5398528, episodic return=653.9671630859375\n", + "global step=5398528, episodic return=660.3834228515625\n", + "global step=5398528, episodic return=643.2293701171875\n", + "global step=5398528, episodic return=658.4185180664062\n", + "global step=5400576, episodic return=651.0989379882812\n", + "global step=5400576, episodic return=661.5361328125\n", + "global step=5400576, episodic return=649.0335083007812\n", + "global step=5400576, episodic return=653.3681640625\n", + "global step=5400576, episodic return=669.9428100585938\n", + "global step=5400576, episodic return=652.7257690429688\n", + "global step=5400576, episodic return=643.211669921875\n", + "global step=5400576, episodic return=642.02783203125\n", + "global step=5400576, episodic return=652.2158203125\n", + "global step=5400576, episodic return=649.88330078125\n", + "global step=5400576, episodic return=641.767822265625\n", + "global step=5400576, episodic return=661.0708618164062\n", + "global step=5400576, episodic return=616.7388305664062\n", + "global step=5400576, episodic return=656.2393188476562\n", + "global step=5400576, episodic return=627.879638671875\n", + "global step=5400576, episodic return=624.684326171875\n", + "global step=5400576, episodic return=649.0869140625\n", + "global step=5400576, episodic return=650.99169921875\n", + "global step=5400576, episodic return=676.9439086914062\n", + "global step=5400576, episodic return=652.3088989257812\n", + "global step=5400576, episodic return=656.9500122070312\n", + "global step=5402624, episodic return=671.0841064453125\n", + "global step=5402624, episodic return=639.2326049804688\n", + "global step=5402624, episodic return=625.2157592773438\n", + "global step=5402624, episodic return=620.942138671875\n", + "global step=5402624, episodic return=657.97607421875\n", + "global step=5402624, episodic return=652.6803588867188\n", + "global step=5402624, episodic return=643.2072143554688\n", + "global step=5402624, episodic return=641.5977783203125\n", + "global step=5402624, episodic return=667.3347778320312\n", + "global step=5402624, episodic return=639.6405029296875\n", + "global step=5402624, episodic return=657.144287109375\n", + "global step=5402624, episodic return=637.9108276367188\n", + "global step=5402624, episodic return=659.3170166015625\n", + "global step=5402624, episodic return=671.0404663085938\n", + "global step=5402624, episodic return=659.4129028320312\n", + "global step=5402624, episodic return=656.6076049804688\n", + "global step=5402624, episodic return=657.609375\n", + "global step=5402624, episodic return=665.417724609375\n", + "global step=5402624, episodic return=667.3348388671875\n", + "global step=5402624, episodic return=635.0133666992188\n", + "global step=5404672, episodic return=628.311279296875\n", + "global step=5404672, episodic return=629.3084716796875\n", + "global step=5404672, episodic return=637.9130249023438\n", + "global step=5404672, episodic return=646.9909057617188\n", + "global step=5404672, episodic return=645.1467895507812\n", + "global step=5404672, episodic return=657.4756469726562\n", + "global step=5404672, episodic return=641.7257690429688\n", + "global step=5404672, episodic return=654.3280029296875\n", + "global step=5404672, episodic return=650.5684204101562\n", + "global step=5404672, episodic return=665.516357421875\n", + "global step=5404672, episodic return=651.892822265625\n", + "global step=5404672, episodic return=672.4924926757812\n", + "global step=5406720, episodic return=659.7628784179688\n", + "global step=5406720, episodic return=679.2900390625\n", + "global step=5406720, episodic return=622.58544921875\n", + "global step=5406720, episodic return=634.6115112304688\n", + "global step=5406720, episodic return=641.5538940429688\n", + "global step=5406720, episodic return=636.5905151367188\n", + "global step=5406720, episodic return=675.3427124023438\n", + "global step=5406720, episodic return=663.44775390625\n", + "global step=5406720, episodic return=649.7901000976562\n", + "global step=5406720, episodic return=655.3831176757812\n", + "global step=5406720, episodic return=658.3955688476562\n", + "global step=5406720, episodic return=654.5751953125\n", + "global step=5406720, episodic return=660.4176635742188\n", + "global step=5406720, episodic return=641.222900390625\n", + "global step=5406720, episodic return=635.0155639648438\n", + "global step=5406720, episodic return=651.8856811523438\n", + "global step=5406720, episodic return=636.2596435546875\n", + "global step=5408768, episodic return=660.14208984375\n", + "global step=5408768, episodic return=672.98583984375\n", + "global step=5408768, episodic return=640.101806640625\n", + "global step=5408768, episodic return=670.6407470703125\n", + "global step=5408768, episodic return=647.6536865234375\n", + "global step=5408768, episodic return=677.7197265625\n", + "global step=5408768, episodic return=666.5308227539062\n", + "global step=5408768, episodic return=663.90478515625\n", + "global step=5408768, episodic return=654.3436889648438\n", + "global step=5410816, episodic return=650.3180541992188\n", + "global step=5410816, episodic return=653.0238037109375\n", + "global step=5410816, episodic return=674.3516235351562\n", + "global step=5410816, episodic return=628.7646484375\n", + "global step=5410816, episodic return=648.28076171875\n", + "global step=5410816, episodic return=651.1844482421875\n", + "global step=5410816, episodic return=657.2916259765625\n", + "global step=5410816, episodic return=651.7542724609375\n", + "global step=5410816, episodic return=658.0971069335938\n", + "global step=5410816, episodic return=661.4319458007812\n", + "global step=5412864, episodic return=650.6425170898438\n", + "global step=5412864, episodic return=647.237548828125\n", + "global step=5412864, episodic return=668.9298706054688\n", + "global step=5412864, episodic return=637.9185180664062\n", + "global step=5412864, episodic return=648.9833984375\n", + "global step=5412864, episodic return=653.9572143554688\n", + "global step=5412864, episodic return=652.1806030273438\n", + "global step=5412864, episodic return=662.6286010742188\n", + "global step=5412864, episodic return=650.3226318359375\n", + "global step=5412864, episodic return=628.43212890625\n", + "global step=5412864, episodic return=672.9818725585938\n", + "global step=5412864, episodic return=656.7131958007812\n", + "global step=5412864, episodic return=653.7696533203125\n", + "global step=5412864, episodic return=641.5389404296875\n", + "global step=5412864, episodic return=666.0158081054688\n", + "global step=5412864, episodic return=618.2352905273438\n", + "global step=5412864, episodic return=646.896484375\n", + "global step=5412864, episodic return=661.0451049804688\n", + "global step=5412864, episodic return=641.5418701171875\n", + "global step=5412864, episodic return=665.1340942382812\n", + "global step=5412864, episodic return=671.147705078125\n", + "global step=5412864, episodic return=631.65087890625\n", + "global step=5412864, episodic return=639.8068237304688\n", + "global step=5414912, episodic return=654.924560546875\n", + "global step=5414912, episodic return=628.3110961914062\n", + "global step=5414912, episodic return=668.5737915039062\n", + "global step=5414912, episodic return=644.4450073242188\n", + "global step=5414912, episodic return=647.0862426757812\n", + "global step=5414912, episodic return=661.8451538085938\n", + "global step=5414912, episodic return=652.7967529296875\n", + "global step=5414912, episodic return=645.7908935546875\n", + "global step=5414912, episodic return=637.6286010742188\n", + "global step=5414912, episodic return=647.7259521484375\n", + "global step=5414912, episodic return=659.3347778320312\n", + "global step=5414912, episodic return=630.944580078125\n", + "global step=5414912, episodic return=645.9857788085938\n", + "global step=5414912, episodic return=663.223876953125\n", + "global step=5416960, episodic return=659.6405639648438\n", + "global step=5416960, episodic return=658.2730712890625\n", + "global step=5416960, episodic return=641.066162109375\n", + "global step=5416960, episodic return=631.5677490234375\n", + "global step=5416960, episodic return=630.686767578125\n", + "global step=5416960, episodic return=661.8360595703125\n", + "global step=5416960, episodic return=681.6634521484375\n", + "global step=5416960, episodic return=627.9531860351562\n", + "global step=5416960, episodic return=636.9281005859375\n", + "global step=5416960, episodic return=653.1804809570312\n", + "global step=5416960, episodic return=643.0778198242188\n", + "global step=5416960, episodic return=678.2634887695312\n", + "global step=5416960, episodic return=653.7982788085938\n", + "global step=5416960, episodic return=655.5298461914062\n", + "global step=5416960, episodic return=662.34228515625\n", + "global step=5416960, episodic return=678.1573486328125\n", + "global step=5416960, episodic return=646.1095581054688\n", + "global step=5419008, episodic return=655.6810913085938\n", + "global step=5419008, episodic return=651.12890625\n", + "global step=5419008, episodic return=645.9691772460938\n", + "global step=5419008, episodic return=647.4193115234375\n", + "global step=5419008, episodic return=656.1422729492188\n", + "global step=5419008, episodic return=644.1402587890625\n", + "global step=5419008, episodic return=651.51611328125\n", + "global step=5419008, episodic return=655.2251586914062\n", + "global step=5419008, episodic return=648.6060180664062\n", + "global step=5419008, episodic return=646.8119506835938\n", + "global step=5419008, episodic return=668.4158325195312\n", + "global step=5419008, episodic return=656.9799194335938\n", + "global step=5419008, episodic return=627.1751708984375\n", + "global step=5419008, episodic return=653.0269775390625\n", + "global step=5419008, episodic return=634.3073120117188\n", + "global step=5419008, episodic return=667.0714721679688\n", + "global step=5419008, episodic return=656.8568725585938\n", + "global step=5419008, episodic return=629.892822265625\n", + "global step=5419008, episodic return=656.540771484375\n", + "global step=5419008, episodic return=674.9035034179688\n", + "global step=5421056, episodic return=671.7471313476562\n", + "global step=5421056, episodic return=662.4395751953125\n", + "global step=5421056, episodic return=650.1529541015625\n", + "global step=5421056, episodic return=633.2774047851562\n", + "global step=5421056, episodic return=647.5321044921875\n", + "global step=5421056, episodic return=640.8740234375\n", + "global step=5421056, episodic return=645.6683349609375\n", + "global step=5421056, episodic return=642.6226196289062\n", + "global step=5421056, episodic return=653.1668701171875\n", + "global step=5421056, episodic return=652.4215087890625\n", + "global step=5421056, episodic return=657.6431884765625\n", + "global step=5421056, episodic return=654.2220458984375\n", + "global step=5421056, episodic return=669.4096069335938\n", + "global step=5421056, episodic return=665.6095581054688\n", + "global step=5421056, episodic return=617.32666015625\n", + "global step=5421056, episodic return=660.373779296875\n", + "global step=5421056, episodic return=641.264404296875\n", + "global step=5421056, episodic return=649.7457885742188\n", + "global step=5421056, episodic return=655.298583984375\n", + "global step=5421056, episodic return=649.226806640625\n", + "global step=5421056, episodic return=637.7843017578125\n", + "global step=5421056, episodic return=683.4597778320312\n", + "global step=5421056, episodic return=656.8694458007812\n", + "global step=5421056, episodic return=638.013671875\n", + "global step=5423104, episodic return=635.3720703125\n", + "global step=5423104, episodic return=670.37548828125\n", + "global step=5423104, episodic return=652.1642456054688\n", + "global step=5423104, episodic return=629.3314819335938\n", + "global step=5423104, episodic return=635.7816772460938\n", + "global step=5423104, episodic return=655.2647705078125\n", + "global step=5423104, episodic return=661.9476318359375\n", + "global step=5423104, episodic return=655.8888549804688\n", + "global step=5423104, episodic return=690.4559326171875\n", + "global step=5423104, episodic return=655.5263671875\n", + "global step=5423104, episodic return=640.1408081054688\n", + "global step=5423104, episodic return=665.495361328125\n", + "global step=5423104, episodic return=661.2188110351562\n", + "global step=5425152, episodic return=655.6698608398438\n", + "global step=5425152, episodic return=643.2498779296875\n", + "global step=5425152, episodic return=636.1671752929688\n", + "global step=5425152, episodic return=645.1129760742188\n", + "global step=5425152, episodic return=650.9987182617188\n", + "global step=5425152, episodic return=639.8086547851562\n", + "global step=5425152, episodic return=651.1172485351562\n", + "global step=5425152, episodic return=634.888916015625\n", + "global step=5425152, episodic return=655.505126953125\n", + "global step=5425152, episodic return=647.3316040039062\n", + "global step=5425152, episodic return=671.5665893554688\n", + "global step=5425152, episodic return=645.96875\n", + "global step=5425152, episodic return=637.189453125\n", + "global step=5425152, episodic return=639.3406372070312\n", + "global step=5425152, episodic return=655.5671997070312\n", + "global step=5425152, episodic return=651.8529663085938\n", + "global step=5425152, episodic return=649.497314453125\n", + "global step=5425152, episodic return=662.8177490234375\n", + "global step=5425152, episodic return=664.1385498046875\n", + "global step=5427200, episodic return=639.6250610351562\n", + "global step=5427200, episodic return=651.59130859375\n", + "global step=5427200, episodic return=658.4192504882812\n", + "global step=5427200, episodic return=670.8770141601562\n", + "global step=5427200, episodic return=662.7140502929688\n", + "global step=5427200, episodic return=663.8593139648438\n", + "global step=5427200, episodic return=655.3798828125\n", + "global step=5427200, episodic return=637.7111206054688\n", + "global step=5427200, episodic return=653.7821655273438\n", + "global step=5427200, episodic return=650.2500610351562\n", + "global step=5427200, episodic return=654.4393920898438\n", + "global step=5427200, episodic return=649.0150756835938\n", + "global step=5427200, episodic return=660.2549438476562\n", + "global step=5427200, episodic return=660.2605590820312\n", + "global step=5429248, episodic return=633.6237182617188\n", + "global step=5429248, episodic return=658.0091552734375\n", + "global step=5429248, episodic return=681.918212890625\n", + "global step=5429248, episodic return=671.6417846679688\n", + "global step=5429248, episodic return=658.351806640625\n", + "global step=5429248, episodic return=654.5900268554688\n", + "global step=5429248, episodic return=674.0303344726562\n", + "global step=5429248, episodic return=638.7446899414062\n", + "global step=5429248, episodic return=670.6520385742188\n", + "global step=5429248, episodic return=641.8510131835938\n", + "global step=5429248, episodic return=666.9024047851562\n", + "global step=5429248, episodic return=667.254638671875\n", + "global step=5429248, episodic return=677.2894897460938\n", + "global step=5429248, episodic return=651.5933227539062\n", + "global step=5429248, episodic return=670.5498657226562\n", + "global step=5429248, episodic return=652.2332763671875\n", + "global step=5429248, episodic return=629.5935668945312\n", + "global step=5429248, episodic return=666.9627685546875\n", + "global step=5431296, episodic return=638.2005615234375\n", + "global step=5431296, episodic return=642.2218627929688\n", + "global step=5431296, episodic return=654.4097290039062\n", + "global step=5431296, episodic return=630.6343994140625\n", + "global step=5431296, episodic return=664.990478515625\n", + "global step=5431296, episodic return=651.0015258789062\n", + "global step=5431296, episodic return=657.6741943359375\n", + "global step=5431296, episodic return=650.0858764648438\n", + "global step=5431296, episodic return=632.0296630859375\n", + "global step=5431296, episodic return=656.1239013671875\n", + "global step=5431296, episodic return=666.2035522460938\n", + "global step=5431296, episodic return=626.5919189453125\n", + "global step=5431296, episodic return=641.2132568359375\n", + "global step=5431296, episodic return=661.745361328125\n", + "global step=5431296, episodic return=652.3909301757812\n", + "global step=5433344, episodic return=678.0219116210938\n", + "global step=5433344, episodic return=672.9654541015625\n", + "global step=5433344, episodic return=656.3138427734375\n", + "global step=5433344, episodic return=639.8603515625\n", + "global step=5433344, episodic return=646.28662109375\n", + "global step=5433344, episodic return=661.48388671875\n", + "global step=5433344, episodic return=598.3916015625\n", + "global step=5433344, episodic return=645.7162475585938\n", + "global step=5433344, episodic return=636.5812377929688\n", + "global step=5433344, episodic return=656.5265502929688\n", + "global step=5433344, episodic return=652.914794921875\n", + "global step=5433344, episodic return=631.5739135742188\n", + "global step=5433344, episodic return=678.0034790039062\n", + "global step=5433344, episodic return=643.3218994140625\n", + "global step=5433344, episodic return=640.1822509765625\n", + "global step=5433344, episodic return=661.38916015625\n", + "global step=5433344, episodic return=665.2380981445312\n", + "global step=5433344, episodic return=657.6908569335938\n", + "global step=5433344, episodic return=665.6420288085938\n", + "global step=5435392, episodic return=658.017333984375\n", + "global step=5435392, episodic return=646.0206298828125\n", + "global step=5435392, episodic return=640.3347778320312\n", + "global step=5435392, episodic return=625.9498291015625\n", + "global step=5435392, episodic return=638.84521484375\n", + "global step=5435392, episodic return=660.360595703125\n", + "global step=5435392, episodic return=634.19140625\n", + "global step=5435392, episodic return=671.5733642578125\n", + "global step=5435392, episodic return=651.7767944335938\n", + "global step=5435392, episodic return=644.6210327148438\n", + "global step=5435392, episodic return=641.1671142578125\n", + "global step=5437440, episodic return=671.797607421875\n", + "global step=5437440, episodic return=663.4096069335938\n", + "global step=5437440, episodic return=642.8765869140625\n", + "global step=5437440, episodic return=690.7932739257812\n", + "global step=5437440, episodic return=635.2080688476562\n", + "global step=5437440, episodic return=636.3703002929688\n", + "global step=5437440, episodic return=651.0858154296875\n", + "global step=5437440, episodic return=668.8438720703125\n", + "global step=5437440, episodic return=642.2779541015625\n", + "global step=5437440, episodic return=637.5067749023438\n", + "global step=5437440, episodic return=652.5956420898438\n", + "global step=5437440, episodic return=648.50537109375\n", + "global step=5437440, episodic return=667.7283935546875\n", + "global step=5437440, episodic return=630.3333129882812\n", + "global step=5437440, episodic return=642.9436645507812\n", + "global step=5437440, episodic return=645.5714721679688\n", + "global step=5439488, episodic return=665.0985107421875\n", + "global step=5439488, episodic return=662.643798828125\n", + "global step=5439488, episodic return=643.754638671875\n", + "global step=5439488, episodic return=665.33349609375\n", + "global step=5439488, episodic return=643.3170776367188\n", + "global step=5439488, episodic return=653.8607177734375\n", + "global step=5439488, episodic return=656.818115234375\n", + "global step=5439488, episodic return=649.7584838867188\n", + "global step=5439488, episodic return=647.4573364257812\n", + "global step=5439488, episodic return=663.8447875976562\n", + "global step=5439488, episodic return=660.4854736328125\n", + "global step=5439488, episodic return=660.6396484375\n", + "global step=5439488, episodic return=661.5296630859375\n", + "global step=5441536, episodic return=666.1368408203125\n", + "global step=5441536, episodic return=656.7535400390625\n", + "global step=5441536, episodic return=646.5296630859375\n", + "global step=5441536, episodic return=629.1110229492188\n", + "global step=5441536, episodic return=650.383056640625\n", + "global step=5441536, episodic return=625.9468383789062\n", + "global step=5441536, episodic return=642.3177490234375\n", + "global step=5441536, episodic return=674.7453002929688\n", + "global step=5441536, episodic return=644.7437744140625\n", + "global step=5441536, episodic return=661.3452758789062\n", + "global step=5441536, episodic return=668.9791259765625\n", + "global step=5441536, episodic return=639.3587036132812\n", + "global step=5441536, episodic return=653.0502319335938\n", + "global step=5441536, episodic return=657.0052490234375\n", + "global step=5441536, episodic return=648.235595703125\n", + "global step=5441536, episodic return=649.628173828125\n", + "global step=5441536, episodic return=663.6798095703125\n", + "global step=5441536, episodic return=663.6679077148438\n", + "global step=5441536, episodic return=639.9293823242188\n", + "global step=5441536, episodic return=664.1114501953125\n", + "global step=5443584, episodic return=630.884033203125\n", + "global step=5443584, episodic return=637.4815673828125\n", + "global step=5443584, episodic return=644.6265258789062\n", + "global step=5443584, episodic return=666.4954833984375\n", + "global step=5443584, episodic return=640.6878662109375\n", + "global step=5443584, episodic return=709.3328857421875\n", + "global step=5443584, episodic return=666.4569091796875\n", + "global step=5443584, episodic return=652.0921020507812\n", + "global step=5443584, episodic return=651.47216796875\n", + "global step=5443584, episodic return=622.6964721679688\n", + "global step=5443584, episodic return=672.0108642578125\n", + "global step=5443584, episodic return=634.0446166992188\n", + "global step=5443584, episodic return=638.3372192382812\n", + "global step=5445632, episodic return=666.7944946289062\n", + "global step=5445632, episodic return=667.0814208984375\n", + "global step=5445632, episodic return=669.5977783203125\n", + "global step=5445632, episodic return=641.3223876953125\n", + "global step=5445632, episodic return=648.8304443359375\n", + "global step=5445632, episodic return=660.0991821289062\n", + "global step=5445632, episodic return=652.2552490234375\n", + "global step=5445632, episodic return=677.6705322265625\n", + "global step=5445632, episodic return=654.1395263671875\n", + "global step=5445632, episodic return=649.5806274414062\n", + "global step=5445632, episodic return=650.2833862304688\n", + "global step=5445632, episodic return=649.7835693359375\n", + "global step=5445632, episodic return=652.007568359375\n", + "global step=5445632, episodic return=641.5185546875\n", + "global step=5445632, episodic return=630.1771850585938\n", + "global step=5447680, episodic return=623.1819458007812\n", + "global step=5447680, episodic return=664.1907348632812\n", + "global step=5447680, episodic return=639.9673461914062\n", + "global step=5447680, episodic return=665.9671630859375\n", + "global step=5447680, episodic return=642.534912109375\n", + "global step=5447680, episodic return=688.06494140625\n", + "global step=5447680, episodic return=671.6522216796875\n", + "global step=5447680, episodic return=650.1976318359375\n", + "global step=5447680, episodic return=660.6277465820312\n", + "global step=5447680, episodic return=663.4810180664062\n", + "global step=5447680, episodic return=658.5546264648438\n", + "global step=5447680, episodic return=652.6502075195312\n", + "global step=5447680, episodic return=657.90869140625\n", + "global step=5449728, episodic return=636.448974609375\n", + "global step=5449728, episodic return=670.5660400390625\n", + "global step=5449728, episodic return=675.0634155273438\n", + "global step=5449728, episodic return=676.0189819335938\n", + "global step=5449728, episodic return=645.076904296875\n", + "global step=5449728, episodic return=659.0321655273438\n", + "global step=5449728, episodic return=650.8124389648438\n", + "global step=5449728, episodic return=651.4718017578125\n", + "global step=5449728, episodic return=636.8396606445312\n", + "global step=5449728, episodic return=649.6992797851562\n", + "global step=5449728, episodic return=667.6057739257812\n", + "global step=5449728, episodic return=655.4327392578125\n", + "global step=5449728, episodic return=646.5087280273438\n", + "global step=5449728, episodic return=642.2650146484375\n", + "global step=5449728, episodic return=650.5243530273438\n", + "global step=5449728, episodic return=673.5322875976562\n", + "global step=5449728, episodic return=655.9801635742188\n", + "global step=5449728, episodic return=673.8591918945312\n", + "global step=5451776, episodic return=641.7682495117188\n", + "global step=5451776, episodic return=644.802490234375\n", + "global step=5451776, episodic return=634.6521606445312\n", + "global step=5451776, episodic return=645.404296875\n", + "global step=5451776, episodic return=616.157958984375\n", + "global step=5451776, episodic return=647.6807861328125\n", + "global step=5451776, episodic return=677.345947265625\n", + "global step=5451776, episodic return=663.447509765625\n", + "global step=5451776, episodic return=668.2625122070312\n", + "global step=5451776, episodic return=655.3141479492188\n", + "global step=5451776, episodic return=659.0442504882812\n", + "global step=5451776, episodic return=648.1957397460938\n", + "global step=5451776, episodic return=646.0668334960938\n", + "global step=5451776, episodic return=654.2276611328125\n", + "global step=5451776, episodic return=678.3909301757812\n", + "global step=5451776, episodic return=638.125244140625\n", + "global step=5453824, episodic return=673.5786743164062\n", + "global step=5453824, episodic return=609.441162109375\n", + "global step=5453824, episodic return=658.0856323242188\n", + "global step=5453824, episodic return=637.5459594726562\n", + "global step=5453824, episodic return=656.0681762695312\n", + "global step=5453824, episodic return=617.7544555664062\n", + "global step=5453824, episodic return=669.870849609375\n", + "global step=5453824, episodic return=660.5857543945312\n", + "global step=5453824, episodic return=659.556884765625\n", + "global step=5453824, episodic return=662.5731811523438\n", + "global step=5453824, episodic return=640.6525268554688\n", + "global step=5453824, episodic return=654.969482421875\n", + "global step=5453824, episodic return=664.201171875\n", + "global step=5453824, episodic return=658.5054321289062\n", + "global step=5453824, episodic return=646.76220703125\n", + "global step=5453824, episodic return=650.5908813476562\n", + "global step=5453824, episodic return=639.0509643554688\n", + "global step=5453824, episodic return=660.4764404296875\n", + "global step=5455872, episodic return=649.4002685546875\n", + "global step=5455872, episodic return=647.0100708007812\n", + "global step=5455872, episodic return=631.05419921875\n", + "global step=5455872, episodic return=638.1433715820312\n", + "global step=5455872, episodic return=651.0020141601562\n", + "global step=5455872, episodic return=644.9548950195312\n", + "global step=5455872, episodic return=631.140380859375\n", + "global step=5455872, episodic return=625.8119506835938\n", + "global step=5455872, episodic return=666.0671997070312\n", + "global step=5457920, episodic return=660.774658203125\n", + "global step=5457920, episodic return=675.3367919921875\n", + "global step=5457920, episodic return=661.143798828125\n", + "global step=5457920, episodic return=650.995849609375\n", + "global step=5457920, episodic return=627.4185791015625\n", + "global step=5457920, episodic return=672.863037109375\n", + "global step=5457920, episodic return=668.4126586914062\n", + "global step=5457920, episodic return=646.9368896484375\n", + "global step=5457920, episodic return=665.2022094726562\n", + "global step=5457920, episodic return=616.2575073242188\n", + "global step=5457920, episodic return=659.1864013671875\n", + "global step=5457920, episodic return=643.90625\n", + "global step=5459968, episodic return=617.8414916992188\n", + "global step=5459968, episodic return=652.4170532226562\n", + "global step=5459968, episodic return=650.0439453125\n", + "global step=5459968, episodic return=679.712890625\n", + "global step=5459968, episodic return=672.0142211914062\n", + "global step=5459968, episodic return=665.3790893554688\n", + "global step=5459968, episodic return=661.47412109375\n", + "global step=5459968, episodic return=643.1256713867188\n", + "global step=5459968, episodic return=652.8685302734375\n", + "global step=5459968, episodic return=672.4534301757812\n", + "global step=5459968, episodic return=663.0951538085938\n", + "global step=5459968, episodic return=668.0152587890625\n", + "global step=5459968, episodic return=652.5924072265625\n", + "global step=5462016, episodic return=670.6751708984375\n", + "global step=5462016, episodic return=636.7354125976562\n", + "global step=5462016, episodic return=639.2864990234375\n", + "global step=5462016, episodic return=663.7869262695312\n", + "global step=5462016, episodic return=661.954833984375\n", + "global step=5462016, episodic return=620.4757080078125\n", + "global step=5462016, episodic return=636.8438720703125\n", + "global step=5462016, episodic return=654.6515502929688\n", + "global step=5462016, episodic return=662.0132446289062\n", + "global step=5462016, episodic return=640.60888671875\n", + "global step=5462016, episodic return=675.1093139648438\n", + "global step=5462016, episodic return=660.2144165039062\n", + "global step=5462016, episodic return=657.3092041015625\n", + "global step=5462016, episodic return=652.744873046875\n", + "global step=5462016, episodic return=649.4248046875\n", + "global step=5464064, episodic return=684.202880859375\n", + "global step=5464064, episodic return=656.7808227539062\n", + "global step=5464064, episodic return=656.5708618164062\n", + "global step=5464064, episodic return=668.3272094726562\n", + "global step=5464064, episodic return=665.6834716796875\n", + "global step=5464064, episodic return=666.5682373046875\n", + "global step=5464064, episodic return=638.0068359375\n", + "global step=5464064, episodic return=619.0043334960938\n", + "global step=5464064, episodic return=635.3265991210938\n", + "global step=5464064, episodic return=648.8935546875\n", + "global step=5464064, episodic return=683.42236328125\n", + "global step=5464064, episodic return=631.759765625\n", + "global step=5464064, episodic return=667.2240600585938\n", + "global step=5464064, episodic return=669.6366577148438\n", + "global step=5464064, episodic return=651.1024780273438\n", + "global step=5464064, episodic return=654.1619262695312\n", + "global step=5464064, episodic return=656.5521240234375\n", + "global step=5464064, episodic return=656.4328002929688\n", + "global step=5464064, episodic return=643.1228637695312\n", + "global step=5464064, episodic return=668.1431274414062\n", + "global step=5464064, episodic return=671.1019287109375\n", + "global step=5466112, episodic return=662.1329345703125\n", + "global step=5466112, episodic return=655.7854614257812\n", + "global step=5466112, episodic return=661.2154541015625\n", + "global step=5466112, episodic return=646.541748046875\n", + "global step=5466112, episodic return=666.4540405273438\n", + "global step=5466112, episodic return=672.1903076171875\n", + "global step=5466112, episodic return=688.1387939453125\n", + "global step=5466112, episodic return=647.5889282226562\n", + "global step=5466112, episodic return=641.2179565429688\n", + "global step=5466112, episodic return=652.2794799804688\n", + "global step=5466112, episodic return=665.4963989257812\n", + "global step=5466112, episodic return=651.3468017578125\n", + "global step=5466112, episodic return=651.9179077148438\n", + "global step=5466112, episodic return=625.7135009765625\n", + "global step=5468160, episodic return=630.1441040039062\n", + "global step=5468160, episodic return=657.1719970703125\n", + "global step=5468160, episodic return=652.0882568359375\n", + "global step=5468160, episodic return=640.4561157226562\n", + "global step=5468160, episodic return=667.1468505859375\n", + "global step=5468160, episodic return=649.416259765625\n", + "global step=5468160, episodic return=683.1842651367188\n", + "global step=5468160, episodic return=651.6135864257812\n", + "global step=5470208, episodic return=637.6339111328125\n", + "global step=5470208, episodic return=650.7540283203125\n", + "global step=5470208, episodic return=662.02880859375\n", + "global step=5470208, episodic return=659.0478515625\n", + "global step=5470208, episodic return=648.7786865234375\n", + "global step=5470208, episodic return=658.8929443359375\n", + "global step=5470208, episodic return=690.72802734375\n", + "global step=5470208, episodic return=650.0307006835938\n", + "global step=5470208, episodic return=659.5006103515625\n", + "global step=5470208, episodic return=662.8017578125\n", + "global step=5470208, episodic return=657.766845703125\n", + "global step=5470208, episodic return=640.4076538085938\n", + "global step=5470208, episodic return=658.082763671875\n", + "global step=5470208, episodic return=685.9844360351562\n", + "global step=5470208, episodic return=674.20458984375\n", + "global step=5472256, episodic return=644.8358764648438\n", + "global step=5472256, episodic return=648.8748779296875\n", + "global step=5472256, episodic return=673.614990234375\n", + "global step=5472256, episodic return=657.8407592773438\n", + "global step=5472256, episodic return=661.990966796875\n", + "global step=5472256, episodic return=665.3036499023438\n", + "global step=5472256, episodic return=665.1132202148438\n", + "global step=5472256, episodic return=637.2472534179688\n", + "global step=5472256, episodic return=673.6731567382812\n", + "global step=5472256, episodic return=631.393310546875\n", + "global step=5472256, episodic return=632.7244873046875\n", + "global step=5472256, episodic return=659.2247924804688\n", + "global step=5474304, episodic return=632.5812377929688\n", + "global step=5474304, episodic return=675.40673828125\n", + "global step=5474304, episodic return=668.5255126953125\n", + "global step=5474304, episodic return=655.0382690429688\n", + "global step=5474304, episodic return=658.7510986328125\n", + "global step=5474304, episodic return=650.4187622070312\n", + "global step=5474304, episodic return=658.12158203125\n", + "global step=5474304, episodic return=659.1210327148438\n", + "global step=5474304, episodic return=656.9143676757812\n", + "global step=5476352, episodic return=661.6602783203125\n", + "global step=5476352, episodic return=683.6360473632812\n", + "global step=5476352, episodic return=660.1632080078125\n", + "global step=5476352, episodic return=659.6204833984375\n", + "global step=5476352, episodic return=645.858154296875\n", + "global step=5476352, episodic return=639.3811645507812\n", + "global step=5476352, episodic return=673.9188842773438\n", + "global step=5478400, episodic return=681.4077758789062\n", + "global step=5478400, episodic return=642.1753540039062\n", + "global step=5478400, episodic return=678.4462280273438\n", + "global step=5478400, episodic return=656.7127685546875\n", + "global step=5478400, episodic return=663.977294921875\n", + "global step=5478400, episodic return=662.8109741210938\n", + "global step=5478400, episodic return=643.8529663085938\n", + "global step=5478400, episodic return=673.7215576171875\n", + "global step=5478400, episodic return=639.1382446289062\n", + "global step=5478400, episodic return=642.0985107421875\n", + "global step=5478400, episodic return=666.020263671875\n", + "global step=5478400, episodic return=648.4843139648438\n", + "global step=5480448, episodic return=671.7219848632812\n", + "global step=5480448, episodic return=641.406982421875\n", + "global step=5480448, episodic return=659.8242797851562\n", + "global step=5480448, episodic return=667.0008544921875\n", + "global step=5480448, episodic return=679.927734375\n", + "global step=5480448, episodic return=677.2550659179688\n", + "global step=5480448, episodic return=627.5455932617188\n", + "global step=5480448, episodic return=687.9776611328125\n", + "global step=5480448, episodic return=671.0738525390625\n", + "global step=5480448, episodic return=645.1312866210938\n", + "global step=5480448, episodic return=674.0473022460938\n", + "global step=5480448, episodic return=678.205078125\n", + "global step=5480448, episodic return=649.6939086914062\n", + "global step=5480448, episodic return=638.3829345703125\n", + "global step=5480448, episodic return=638.1617431640625\n", + "global step=5480448, episodic return=643.192626953125\n", + "global step=5480448, episodic return=635.5606079101562\n", + "global step=5482496, episodic return=651.1319580078125\n", + "global step=5482496, episodic return=651.4247436523438\n", + "global step=5482496, episodic return=679.0109252929688\n", + "global step=5482496, episodic return=642.491455078125\n", + "global step=5482496, episodic return=661.1871948242188\n", + "global step=5482496, episodic return=660.907470703125\n", + "global step=5482496, episodic return=661.29638671875\n", + "global step=5482496, episodic return=654.83349609375\n", + "global step=5482496, episodic return=655.61767578125\n", + "global step=5482496, episodic return=682.7825317382812\n", + "global step=5484544, episodic return=655.1767578125\n", + "global step=5484544, episodic return=661.6452026367188\n", + "global step=5484544, episodic return=696.1006469726562\n", + "global step=5484544, episodic return=657.604736328125\n", + "global step=5484544, episodic return=627.3080444335938\n", + "global step=5484544, episodic return=649.37255859375\n", + "global step=5484544, episodic return=665.0499267578125\n", + "global step=5484544, episodic return=641.80224609375\n", + "global step=5484544, episodic return=676.1060791015625\n", + "global step=5484544, episodic return=647.171142578125\n", + "global step=5486592, episodic return=666.667236328125\n", + "global step=5486592, episodic return=647.6279296875\n", + "global step=5486592, episodic return=658.8152465820312\n", + "global step=5486592, episodic return=675.7327880859375\n", + "global step=5486592, episodic return=681.9180908203125\n", + "global step=5486592, episodic return=664.3280029296875\n", + "global step=5486592, episodic return=656.6431274414062\n", + "global step=5488640, episodic return=683.6553955078125\n", + "global step=5488640, episodic return=633.3016967773438\n", + "global step=5488640, episodic return=650.0502319335938\n", + "global step=5488640, episodic return=659.3150024414062\n", + "global step=5488640, episodic return=642.7844848632812\n", + "global step=5488640, episodic return=669.2860107421875\n", + "global step=5488640, episodic return=650.8131713867188\n", + "global step=5488640, episodic return=652.0596313476562\n", + "global step=5488640, episodic return=663.3699951171875\n", + "global step=5488640, episodic return=671.8345336914062\n", + "global step=5488640, episodic return=671.576904296875\n", + "global step=5490688, episodic return=652.6788330078125\n", + "global step=5490688, episodic return=670.8547973632812\n", + "global step=5490688, episodic return=672.3740234375\n", + "global step=5490688, episodic return=661.0982666015625\n", + "global step=5490688, episodic return=657.9686279296875\n", + "global step=5490688, episodic return=688.4385375976562\n", + "global step=5490688, episodic return=659.1976928710938\n", + "global step=5490688, episodic return=658.5307006835938\n", + "global step=5490688, episodic return=685.5287475585938\n", + "global step=5490688, episodic return=645.7388305664062\n", + "global step=5492736, episodic return=649.563720703125\n", + "global step=5492736, episodic return=682.8734130859375\n", + "global step=5492736, episodic return=656.987060546875\n", + "global step=5492736, episodic return=665.5210571289062\n", + "global step=5492736, episodic return=680.362060546875\n", + "global step=5492736, episodic return=653.1524047851562\n", + "global step=5492736, episodic return=667.2960815429688\n", + "global step=5492736, episodic return=639.339111328125\n", + "global step=5492736, episodic return=651.3911743164062\n", + "global step=5492736, episodic return=665.8854370117188\n", + "global step=5492736, episodic return=656.4740600585938\n", + "global step=5492736, episodic return=657.6788940429688\n", + "global step=5492736, episodic return=682.5155029296875\n", + "global step=5492736, episodic return=676.5139770507812\n", + "global step=5492736, episodic return=657.451416015625\n", + "global step=5492736, episodic return=639.2948608398438\n", + "global step=5492736, episodic return=648.24267578125\n", + "global step=5492736, episodic return=674.6428833007812\n", + "global step=5494784, episodic return=646.2454223632812\n", + "global step=5494784, episodic return=660.4736328125\n", + "global step=5494784, episodic return=636.262939453125\n", + "global step=5494784, episodic return=641.9171752929688\n", + "global step=5494784, episodic return=666.790283203125\n", + "global step=5494784, episodic return=641.73681640625\n", + "global step=5494784, episodic return=637.1810913085938\n", + "global step=5494784, episodic return=678.0884399414062\n", + "global step=5494784, episodic return=668.1648559570312\n", + "global step=5494784, episodic return=664.8406372070312\n", + "global step=5494784, episodic return=644.071044921875\n", + "global step=5494784, episodic return=654.6774291992188\n", + "global step=5494784, episodic return=651.3458862304688\n", + "global step=5494784, episodic return=659.88232421875\n", + "global step=5496832, episodic return=679.4763793945312\n", + "global step=5496832, episodic return=668.4910278320312\n", + "global step=5496832, episodic return=640.7922973632812\n", + "global step=5496832, episodic return=650.4448852539062\n", + "global step=5496832, episodic return=644.6553344726562\n", + "global step=5496832, episodic return=673.9696044921875\n", + "global step=5496832, episodic return=658.4198608398438\n", + "global step=5496832, episodic return=661.4599609375\n", + "global step=5498880, episodic return=652.1111450195312\n", + "global step=5498880, episodic return=661.754150390625\n", + "global step=5498880, episodic return=681.4321899414062\n", + "global step=5498880, episodic return=657.7493286132812\n", + "global step=5500928, episodic return=662.1810302734375\n", + "global step=5500928, episodic return=678.3287353515625\n", + "global step=5500928, episodic return=672.2284545898438\n", + "global step=5500928, episodic return=642.9688720703125\n", + "global step=5500928, episodic return=651.7565307617188\n", + "global step=5500928, episodic return=675.6922607421875\n", + "global step=5500928, episodic return=641.5541381835938\n", + "global step=5500928, episodic return=665.6622924804688\n", + "global step=5500928, episodic return=689.9252319335938\n", + "global step=5502976, episodic return=638.8487548828125\n", + "global step=5502976, episodic return=655.6387329101562\n", + "global step=5502976, episodic return=634.7996215820312\n", + "global step=5502976, episodic return=681.626220703125\n", + "global step=5502976, episodic return=672.5547485351562\n", + "global step=5502976, episodic return=653.46630859375\n", + "global step=5502976, episodic return=656.8294677734375\n", + "global step=5505024, episodic return=653.8366088867188\n", + "global step=5505024, episodic return=674.646484375\n", + "global step=5505024, episodic return=652.6951293945312\n", + "global step=5505024, episodic return=661.89404296875\n", + "global step=5505024, episodic return=636.7474975585938\n", + "global step=5505024, episodic return=676.043701171875\n", + "global step=5505024, episodic return=643.2074584960938\n", + "global step=5505024, episodic return=673.5222778320312\n", + "global step=5505024, episodic return=649.9876098632812\n", + "global step=5507072, episodic return=645.7679443359375\n", + "global step=5507072, episodic return=657.6853637695312\n", + "global step=5507072, episodic return=639.4573364257812\n", + "global step=5509120, episodic return=644.4053344726562\n", + "global step=5509120, episodic return=650.0491943359375\n", + "global step=5509120, episodic return=656.6779174804688\n", + "global step=5509120, episodic return=656.7972412109375\n", + "global step=5509120, episodic return=651.1680297851562\n", + "global step=5509120, episodic return=650.2188110351562\n", + "global step=5511168, episodic return=654.91748046875\n", + "global step=5511168, episodic return=676.0865478515625\n", + "global step=5511168, episodic return=659.2274780273438\n", + "global step=5511168, episodic return=664.5704956054688\n", + "global step=5511168, episodic return=676.5897216796875\n", + "global step=5511168, episodic return=638.6538696289062\n", + "global step=5513216, episodic return=632.3010864257812\n", + "global step=5513216, episodic return=659.83203125\n", + "global step=5513216, episodic return=648.0641479492188\n", + "global step=5513216, episodic return=679.0911865234375\n", + "global step=5513216, episodic return=646.9953002929688\n", + "global step=5513216, episodic return=656.9050903320312\n", + "global step=5513216, episodic return=681.00634765625\n", + "global step=5513216, episodic return=644.4603881835938\n", + "global step=5515264, episodic return=669.864013671875\n", + "global step=5515264, episodic return=675.3816528320312\n", + "global step=5515264, episodic return=669.8899536132812\n", + "global step=5515264, episodic return=678.7455444335938\n", + "global step=5517312, episodic return=640.6010131835938\n", + "global step=5517312, episodic return=667.5966186523438\n", + "global step=5517312, episodic return=674.111083984375\n", + "global step=5519360, episodic return=664.2731323242188\n", + "global step=5519360, episodic return=687.4970703125\n", + "global step=5519360, episodic return=652.7490234375\n", + "global step=5519360, episodic return=657.8057250976562\n", + "global step=5519360, episodic return=655.7486572265625\n", + "global step=5519360, episodic return=680.78369140625\n", + "global step=5519360, episodic return=661.5546264648438\n", + "global step=5521408, episodic return=662.5753784179688\n", + "global step=5521408, episodic return=648.1812133789062\n", + "global step=5521408, episodic return=657.830078125\n", + "global step=5521408, episodic return=682.34130859375\n", + "global step=5521408, episodic return=636.6617431640625\n", + "global step=5523456, episodic return=682.2537841796875\n", + "global step=5523456, episodic return=651.1355590820312\n", + "global step=5523456, episodic return=648.344970703125\n", + "global step=5523456, episodic return=665.97607421875\n", + "global step=5523456, episodic return=675.2222290039062\n", + "global step=5525504, episodic return=659.0867309570312\n", + "global step=5525504, episodic return=676.4420166015625\n", + "global step=5525504, episodic return=661.6785278320312\n", + "global step=5525504, episodic return=646.427490234375\n", + "global step=5525504, episodic return=662.0618286132812\n", + "global step=5525504, episodic return=666.2727661132812\n", + "global step=5525504, episodic return=631.3026123046875\n", + "global step=5525504, episodic return=683.3281860351562\n", + "global step=5527552, episodic return=661.1312866210938\n", + "global step=5527552, episodic return=665.0697021484375\n", + "global step=5527552, episodic return=659.7330932617188\n", + "global step=5527552, episodic return=649.972412109375\n", + "global step=5527552, episodic return=663.4059448242188\n", + "global step=5527552, episodic return=667.923828125\n", + "global step=5527552, episodic return=669.4960327148438\n", + "global step=5529600, episodic return=652.8564453125\n", + "global step=5529600, episodic return=658.7071533203125\n", + "global step=5529600, episodic return=674.4638671875\n", + "global step=5531648, episodic return=677.8433837890625\n", + "global step=5531648, episodic return=683.5333251953125\n", + "global step=5531648, episodic return=650.27587890625\n", + "global step=5531648, episodic return=680.6983032226562\n", + "global step=5531648, episodic return=622.4004516601562\n", + "global step=5533696, episodic return=695.2446899414062\n", + "global step=5533696, episodic return=668.2459716796875\n", + "global step=5533696, episodic return=684.2249755859375\n", + "global step=5533696, episodic return=654.0418701171875\n", + "global step=5533696, episodic return=682.2651977539062\n", + "global step=5533696, episodic return=636.19140625\n", + "global step=5535744, episodic return=679.80078125\n", + "global step=5535744, episodic return=664.85693359375\n", + "global step=5535744, episodic return=667.88037109375\n", + "global step=5535744, episodic return=671.57177734375\n", + "global step=5535744, episodic return=661.8362426757812\n", + "global step=5535744, episodic return=628.8509521484375\n", + "global step=5537792, episodic return=665.539306640625\n", + "global step=5537792, episodic return=658.58056640625\n", + "global step=5537792, episodic return=657.436767578125\n", + "global step=5539840, episodic return=654.9962158203125\n", + "global step=5539840, episodic return=656.7620849609375\n", + "global step=5541888, episodic return=665.4383544921875\n", + "global step=5541888, episodic return=674.8234252929688\n", + "global step=5541888, episodic return=649.8261108398438\n", + "global step=5543936, episodic return=634.3746337890625\n", + "global step=5543936, episodic return=684.3310546875\n", + "global step=5543936, episodic return=635.0811157226562\n", + "global step=5543936, episodic return=653.6550903320312\n", + "global step=5543936, episodic return=650.9890747070312\n", + "global step=5543936, episodic return=672.3865966796875\n", + "global step=5543936, episodic return=660.3223266601562\n", + "global step=5543936, episodic return=648.5859985351562\n", + "global step=5545984, episodic return=682.460205078125\n", + "global step=5545984, episodic return=659.7567749023438\n", + "global step=5545984, episodic return=652.8961791992188\n", + "global step=5548032, episodic return=646.5726928710938\n", + "global step=5548032, episodic return=683.8474731445312\n", + "global step=5548032, episodic return=686.6114501953125\n", + "global step=5548032, episodic return=635.6890869140625\n", + "global step=5548032, episodic return=671.1532592773438\n", + "global step=5548032, episodic return=655.0414428710938\n", + "global step=5548032, episodic return=660.2431640625\n", + "global step=5548032, episodic return=692.1957397460938\n", + "global step=5548032, episodic return=692.1346435546875\n", + "global step=5550080, episodic return=654.2919311523438\n", + "global step=5550080, episodic return=659.2086791992188\n", + "global step=5550080, episodic return=667.6836547851562\n", + "global step=5550080, episodic return=656.64794921875\n", + "global step=5550080, episodic return=663.7359008789062\n", + "global step=5552128, episodic return=644.0745849609375\n", + "global step=5552128, episodic return=660.1632690429688\n", + "global step=5552128, episodic return=696.3209228515625\n", + "global step=5552128, episodic return=667.6421508789062\n", + "global step=5552128, episodic return=673.1542358398438\n", + "global step=5552128, episodic return=673.2673950195312\n", + "global step=5552128, episodic return=637.9109497070312\n", + "global step=5552128, episodic return=657.3926391601562\n", + "global step=5552128, episodic return=677.075439453125\n", + "global step=5554176, episodic return=671.199951171875\n", + "global step=5554176, episodic return=664.7496337890625\n", + "global step=5554176, episodic return=646.130126953125\n", + "global step=5554176, episodic return=664.0917358398438\n", + "global step=5554176, episodic return=662.19189453125\n", + "global step=5556224, episodic return=673.9354858398438\n", + "global step=5556224, episodic return=668.19921875\n", + "global step=5556224, episodic return=655.8701782226562\n", + "global step=5556224, episodic return=682.9170532226562\n", + "global step=5556224, episodic return=673.5067749023438\n", + "global step=5556224, episodic return=688.809326171875\n", + "global step=5556224, episodic return=659.6851806640625\n", + "global step=5558272, episodic return=710.8544921875\n", + "global step=5558272, episodic return=675.3252563476562\n", + "global step=5558272, episodic return=661.8801879882812\n", + "global step=5558272, episodic return=661.458984375\n", + "global step=5558272, episodic return=669.5902099609375\n", + "global step=5558272, episodic return=680.0781860351562\n", + "global step=5560320, episodic return=671.8521728515625\n", + "global step=5560320, episodic return=680.1736450195312\n", + "global step=5560320, episodic return=676.8605346679688\n", + "global step=5560320, episodic return=673.8148193359375\n", + "global step=5560320, episodic return=688.3897094726562\n", + "global step=5560320, episodic return=660.1227416992188\n", + "global step=5560320, episodic return=681.3195190429688\n", + "global step=5562368, episodic return=652.8380126953125\n", + "global step=5562368, episodic return=684.4889526367188\n", + "global step=5562368, episodic return=672.2118530273438\n", + "global step=5562368, episodic return=656.2371826171875\n", + "global step=5562368, episodic return=650.5868530273438\n", + "global step=5562368, episodic return=674.2737426757812\n", + "global step=5562368, episodic return=675.725341796875\n", + "global step=5562368, episodic return=671.8343505859375\n", + "global step=5564416, episodic return=702.6085815429688\n", + "global step=5564416, episodic return=671.322265625\n", + "global step=5564416, episodic return=675.7335205078125\n", + "global step=5564416, episodic return=654.3118896484375\n", + "global step=5564416, episodic return=671.2546997070312\n", + "global step=5564416, episodic return=665.207763671875\n", + "global step=5566464, episodic return=639.7750854492188\n", + "global step=5566464, episodic return=678.89404296875\n", + "global step=5566464, episodic return=687.7205200195312\n", + "global step=5566464, episodic return=682.7208251953125\n", + "global step=5566464, episodic return=682.7235107421875\n", + "global step=5568512, episodic return=680.1627197265625\n", + "global step=5568512, episodic return=663.87646484375\n", + "global step=5570560, episodic return=668.4725952148438\n", + "global step=5570560, episodic return=682.4443969726562\n", + "global step=5570560, episodic return=658.2540893554688\n", + "global step=5570560, episodic return=667.7724609375\n", + "global step=5570560, episodic return=691.6416625976562\n", + "global step=5570560, episodic return=686.912109375\n", + "global step=5570560, episodic return=672.4751586914062\n", + "global step=5570560, episodic return=664.6441040039062\n", + "global step=5570560, episodic return=689.86767578125\n", + "global step=5570560, episodic return=692.4893188476562\n", + "global step=5570560, episodic return=688.7003784179688\n", + "global step=5572608, episodic return=678.4368896484375\n", + "global step=5572608, episodic return=685.5699462890625\n", + "global step=5572608, episodic return=675.0653686523438\n", + "global step=5574656, episodic return=670.7772216796875\n", + "global step=5576704, episodic return=677.3609619140625\n", + "global step=5576704, episodic return=672.2053833007812\n", + "global step=5576704, episodic return=648.9454956054688\n", + "global step=5578752, episodic return=686.0863037109375\n", + "global step=5578752, episodic return=660.8056640625\n", + "global step=5578752, episodic return=690.0095825195312\n", + "global step=5578752, episodic return=644.783203125\n", + "global step=5580800, episodic return=694.33251953125\n", + "global step=5580800, episodic return=664.1519165039062\n", + "global step=5580800, episodic return=672.9151611328125\n", + "global step=5582848, episodic return=654.5418090820312\n", + "global step=5582848, episodic return=643.5238037109375\n", + "global step=5584896, episodic return=659.8057250976562\n", + "global step=5584896, episodic return=688.3983764648438\n", + "global step=5584896, episodic return=671.4625854492188\n", + "global step=5584896, episodic return=671.3360595703125\n", + "global step=5588992, episodic return=662.632080078125\n", + "global step=5588992, episodic return=680.6375732421875\n", + "global step=5588992, episodic return=671.7755126953125\n", + "global step=5588992, episodic return=685.7510986328125\n", + "global step=5588992, episodic return=685.5001220703125\n", + "global step=5591040, episodic return=660.0025634765625\n", + "global step=5591040, episodic return=681.1014404296875\n", + "global step=5591040, episodic return=655.8641357421875\n", + "global step=5591040, episodic return=695.1732788085938\n", + "global step=5593088, episodic return=684.0252685546875\n", + "global step=5593088, episodic return=661.0978393554688\n", + "global step=5593088, episodic return=684.2047729492188\n", + "global step=5595136, episodic return=671.8185424804688\n", + "global step=5597184, episodic return=689.1029052734375\n", + "global step=5597184, episodic return=687.4723510742188\n", + "global step=5597184, episodic return=664.1954345703125\n", + "global step=5597184, episodic return=685.109619140625\n", + "global step=5599232, episodic return=673.963623046875\n", + "global step=5599232, episodic return=686.8953857421875\n", + "global step=5599232, episodic return=694.9274291992188\n", + "global step=5599232, episodic return=705.4550170898438\n", + "global step=5601280, episodic return=670.0244140625\n", + "global step=5601280, episodic return=689.1962280273438\n", + "global step=5601280, episodic return=671.56982421875\n", + "global step=5603328, episodic return=648.5542602539062\n", + "global step=5603328, episodic return=679.97705078125\n", + "global step=5603328, episodic return=650.4292602539062\n", + "global step=5603328, episodic return=644.4473876953125\n", + "global step=5603328, episodic return=699.3473510742188\n", + "global step=5605376, episodic return=667.4135131835938\n", + "global step=5605376, episodic return=700.6199340820312\n", + "global step=5605376, episodic return=664.78173828125\n", + "global step=5605376, episodic return=675.5182495117188\n", + "global step=5607424, episodic return=676.185791015625\n", + "global step=5607424, episodic return=679.6448364257812\n", + "global step=5607424, episodic return=670.9083251953125\n", + "global step=5607424, episodic return=692.26708984375\n", + "global step=5609472, episodic return=675.3060913085938\n", + "global step=5609472, episodic return=682.526611328125\n", + "global step=5609472, episodic return=665.9751586914062\n", + "global step=5609472, episodic return=669.57666015625\n", + "global step=5615616, episodic return=673.8411865234375\n", + "global step=5617664, episodic return=690.6602783203125\n", + "global step=5617664, episodic return=702.8343505859375\n", + "global step=5617664, episodic return=701.455810546875\n", + "global step=5619712, episodic return=676.5774536132812\n", + "global step=5621760, episodic return=694.7864990234375\n", + "global step=5621760, episodic return=672.8134155273438\n", + "global step=5621760, episodic return=681.8941650390625\n", + "global step=5623808, episodic return=675.7550048828125\n", + "global step=5623808, episodic return=663.8819580078125\n", + "global step=5623808, episodic return=653.5048217773438\n", + "global step=5625856, episodic return=679.50927734375\n", + "global step=5625856, episodic return=694.5498046875\n", + "global step=5627904, episodic return=682.4676513671875\n", + "global step=5627904, episodic return=671.620361328125\n", + "global step=5627904, episodic return=651.0093994140625\n", + "global step=5627904, episodic return=672.3909912109375\n", + "global step=5629952, episodic return=665.4486694335938\n", + "global step=5629952, episodic return=679.50732421875\n", + "global step=5632000, episodic return=678.2063598632812\n", + "global step=5632000, episodic return=677.1701049804688\n", + "global step=5632000, episodic return=673.0218505859375\n", + "global step=5634048, episodic return=686.3941040039062\n", + "global step=5634048, episodic return=688.1799926757812\n", + "global step=5634048, episodic return=695.4338989257812\n", + "global step=5636096, episodic return=681.0704345703125\n", + "global step=5636096, episodic return=652.7083129882812\n", + "global step=5638144, episodic return=658.6399536132812\n", + "global step=5638144, episodic return=673.05126953125\n", + "global step=5638144, episodic return=698.3385009765625\n", + "global step=5638144, episodic return=710.8472900390625\n", + "global step=5638144, episodic return=662.466552734375\n", + "global step=5640192, episodic return=670.4371948242188\n", + "global step=5640192, episodic return=676.3840942382812\n", + "global step=5642240, episodic return=682.3845825195312\n", + "global step=5644288, episodic return=684.4217529296875\n", + "global step=5644288, episodic return=685.7406005859375\n", + "global step=5646336, episodic return=688.28515625\n", + "global step=5646336, episodic return=684.6182250976562\n", + "global step=5648384, episodic return=711.1289672851562\n", + "global step=5648384, episodic return=660.6137084960938\n", + "global step=5648384, episodic return=696.742919921875\n", + "global step=5648384, episodic return=708.2692260742188\n", + "global step=5650432, episodic return=655.4158935546875\n", + "global step=5650432, episodic return=696.0501098632812\n", + "global step=5654528, episodic return=688.0280151367188\n", + "global step=5654528, episodic return=686.1016235351562\n", + "global step=5654528, episodic return=690.0330810546875\n", + "global step=5656576, episodic return=688.9498291015625\n", + "global step=5656576, episodic return=637.2540893554688\n", + "global step=5658624, episodic return=696.4306640625\n", + "global step=5658624, episodic return=679.6369018554688\n", + "global step=5660672, episodic return=664.468505859375\n", + "global step=5660672, episodic return=669.37744140625\n", + "global step=5660672, episodic return=647.5250244140625\n", + "global step=5662720, episodic return=679.8740844726562\n", + "global step=5664768, episodic return=692.8564453125\n", + "global step=5666816, episodic return=685.326171875\n", + "global step=5666816, episodic return=668.0960693359375\n", + "global step=5670912, episodic return=702.4814453125\n", + "global step=5675008, episodic return=675.32421875\n", + "global step=5677056, episodic return=678.699951171875\n", + "global step=5677056, episodic return=695.7626342773438\n", + "global step=5679104, episodic return=710.6578369140625\n", + "global step=5681152, episodic return=684.1881713867188\n", + "global step=5685248, episodic return=681.336181640625\n", + "global step=5685248, episodic return=687.658935546875\n", + "global step=5687296, episodic return=697.2864379882812\n", + "global step=5689344, episodic return=677.26953125\n", + "global step=5689344, episodic return=672.488525390625\n", + "global step=5695488, episodic return=675.0376586914062\n", + "global step=5695488, episodic return=670.0471801757812\n", + "global step=5697536, episodic return=708.0\n", + "global step=5699584, episodic return=692.0398559570312\n", + "global step=5703680, episodic return=683.1674194335938\n", + "global step=5703680, episodic return=683.9542236328125\n", + "global step=5703680, episodic return=704.0499877929688\n", + "global step=5703680, episodic return=686.4295654296875\n", + "global step=5705728, episodic return=679.7424926757812\n", + "global step=5705728, episodic return=680.5181884765625\n", + "global step=5705728, episodic return=696.6586303710938\n", + "global step=5705728, episodic return=705.2194213867188\n", + "global step=5707776, episodic return=707.9854736328125\n", + "global step=5713920, episodic return=686.5513916015625\n", + "global step=5715968, episodic return=713.302978515625\n", + "global step=5722112, episodic return=705.9559326171875\n", + "global step=5722112, episodic return=674.3380126953125\n", + "global step=5724160, episodic return=705.1414184570312\n", + "global step=5724160, episodic return=705.0122680664062\n", + "global step=5726208, episodic return=721.8385009765625\n", + "global step=5726208, episodic return=715.0753784179688\n", + "global step=5730304, episodic return=720.0557861328125\n", + "global step=5732352, episodic return=713.16259765625\n", + "global step=5734400, episodic return=675.8552856445312\n", + "global step=5736448, episodic return=688.8203125\n", + "global step=5738496, episodic return=721.3963012695312\n", + "global step=5742592, episodic return=702.544189453125\n", + "global step=5750784, episodic return=709.5284423828125\n", + "global step=5752832, episodic return=707.98291015625\n", + "global step=5756928, episodic return=698.0211791992188\n", + "global step=5758976, episodic return=681.9915161132812\n", + "global step=5765120, episodic return=714.5444946289062\n", + "global step=5769216, episodic return=732.4952392578125\n", + "global step=5773312, episodic return=686.8397216796875\n", + "global step=5773312, episodic return=692.1724243164062\n", + "global step=5779456, episodic return=707.454345703125\n", + "global step=5779456, episodic return=677.2193603515625\n", + "global step=5785600, episodic return=709.9949340820312\n", + "global step=5787648, episodic return=686.5927124023438\n", + "global step=5789696, episodic return=703.0098266601562\n", + "global step=5791744, episodic return=687.03564453125\n", + "global step=5791744, episodic return=695.4403686523438\n", + "global step=5808128, episodic return=680.0552978515625\n", + "global step=5824512, episodic return=698.21435546875\n", + "global step=5824512, episodic return=711.47705078125\n", + "global step=5830656, episodic return=713.2958374023438\n", + "global step=5832704, episodic return=721.8597412109375\n", + "global step=5836800, episodic return=716.2089233398438\n", + "global step=5847040, episodic return=711.4672241210938\n", + "global step=5857280, episodic return=734.914794921875\n", + "global step=5859328, episodic return=714.9051513671875\n", + "global step=5861376, episodic return=687.817138671875\n", + "global step=5861376, episodic return=688.0658569335938\n", + "global step=5863424, episodic return=712.7181396484375\n", + "global step=5867520, episodic return=722.9501953125\n", + "global step=5879808, episodic return=689.0364379882812\n", + "global step=5881856, episodic return=661.64208984375\n", + "global step=5883904, episodic return=713.9913940429688\n", + "global step=5885952, episodic return=723.518310546875\n", + "global step=5888000, episodic return=693.8734130859375\n", + "global step=5890048, episodic return=699.4945068359375\n", + "global step=5896192, episodic return=722.1128540039062\n", + "global step=5896192, episodic return=693.773681640625\n", + "global step=5900288, episodic return=681.9911499023438\n", + "global step=5902336, episodic return=734.6015014648438\n", + "global step=5902336, episodic return=705.7723388671875\n", + "global step=5906432, episodic return=714.9323120117188\n", + "global step=5910528, episodic return=723.46337890625\n", + "global step=5912576, episodic return=705.5323486328125\n", + "global step=5912576, episodic return=681.0409545898438\n", + "global step=5920768, episodic return=689.5345458984375\n", + "global step=5926912, episodic return=731.7037353515625\n", + "global step=5928960, episodic return=703.6165771484375\n", + "global step=5931008, episodic return=712.8334350585938\n", + "global step=5957632, episodic return=728.1602172851562\n", + "global step=5959680, episodic return=701.2373657226562\n", + "global step=5959680, episodic return=696.1721801757812\n", + "global step=5963776, episodic return=735.6233520507812\n", + "global step=5965824, episodic return=731.375\n", + "global step=5967872, episodic return=723.364501953125\n", + "global step=5971968, episodic return=707.306396484375\n", + "global step=5980160, episodic return=694.81005859375\n", + "global step=5982208, episodic return=714.32373046875\n", + "global step=5984256, episodic return=696.8743286132812\n", + "global step=5996544, episodic return=675.85986328125\n", + "global step=5998592, episodic return=720.7848510742188\n", + "global step=6000640, episodic return=690.2400512695312\n", + "global step=6010880, episodic return=733.2532958984375\n", + "global step=6014976, episodic return=737.954833984375\n", + "global step=6017024, episodic return=729.6477661132812\n", + "global step=6027264, episodic return=709.0846557617188\n", + "global step=6031360, episodic return=721.30712890625\n", + "global step=6031360, episodic return=697.4793090820312\n", + "global step=6031360, episodic return=706.3914794921875\n", + "global step=6033408, episodic return=725.058349609375\n", + "global step=6033408, episodic return=704.360595703125\n", + "global step=6039552, episodic return=717.0696411132812\n", + "global step=6041600, episodic return=721.0776977539062\n", + "global step=6047744, episodic return=719.1849365234375\n", + "global step=6047744, episodic return=734.7596435546875\n", + "global step=6047744, episodic return=698.9327392578125\n", + "global step=6051840, episodic return=734.6441650390625\n", + "global step=6053888, episodic return=713.1724853515625\n", + "global step=6053888, episodic return=709.9759521484375\n", + "global step=6055936, episodic return=747.462158203125\n", + "global step=6057984, episodic return=738.6980590820312\n", + "global step=6057984, episodic return=720.8682861328125\n", + "global step=6060032, episodic return=727.655517578125\n", + "global step=6064128, episodic return=716.9547119140625\n", + "global step=6066176, episodic return=742.3087768554688\n", + "global step=6072320, episodic return=740.927490234375\n", + "global step=6076416, episodic return=706.8809814453125\n", + "global step=6080512, episodic return=731.7128295898438\n", + "global step=6082560, episodic return=724.1445922851562\n", + "global step=6082560, episodic return=729.6098022460938\n", + "global step=6084608, episodic return=736.9095458984375\n", + "global step=6084608, episodic return=741.8463745117188\n", + "global step=6086656, episodic return=729.78173828125\n", + "global step=6088704, episodic return=717.8676147460938\n", + "global step=6088704, episodic return=732.9979248046875\n", + "global step=6096896, episodic return=704.968017578125\n", + "global step=6100992, episodic return=739.3814697265625\n", + "global step=6103040, episodic return=738.4063720703125\n", + "global step=6105088, episodic return=716.3533325195312\n", + "global step=6105088, episodic return=750.2461547851562\n", + "global step=6107136, episodic return=738.6483154296875\n", + "global step=6107136, episodic return=726.7732543945312\n", + "global step=6113280, episodic return=720.1683959960938\n", + "global step=6123520, episodic return=716.6312255859375\n", + "global step=6123520, episodic return=702.3466186523438\n", + "global step=6125568, episodic return=750.9983520507812\n", + "global step=6131712, episodic return=753.6801147460938\n", + "global step=6131712, episodic return=755.4566040039062\n", + "global step=6133760, episodic return=747.1787719726562\n", + "global step=6133760, episodic return=726.1113891601562\n", + "global step=6137856, episodic return=715.8564453125\n", + "global step=6141952, episodic return=748.4547729492188\n", + "global step=6144000, episodic return=754.304443359375\n", + "global step=6146048, episodic return=707.3421020507812\n", + "global step=6148096, episodic return=742.13720703125\n", + "global step=6148096, episodic return=743.4979858398438\n", + "global step=6148096, episodic return=761.1455688476562\n", + "global step=6148096, episodic return=741.3549194335938\n", + "global step=6150144, episodic return=711.53515625\n", + "global step=6150144, episodic return=740.7349243164062\n", + "global step=6152192, episodic return=740.7005615234375\n", + "global step=6154240, episodic return=776.6876831054688\n", + "global step=6158336, episodic return=729.2682495117188\n", + "global step=6160384, episodic return=730.5585327148438\n", + "global step=6160384, episodic return=736.7203369140625\n", + "global step=6162432, episodic return=750.2496337890625\n", + "global step=6162432, episodic return=727.4306030273438\n", + "global step=6164480, episodic return=751.0391235351562\n", + "global step=6164480, episodic return=751.1190185546875\n", + "global step=6166528, episodic return=736.70654296875\n", + "global step=6166528, episodic return=768.7679443359375\n", + "global step=6166528, episodic return=743.2691040039062\n", + "global step=6168576, episodic return=730.9605712890625\n", + "global step=6170624, episodic return=733.464599609375\n", + "global step=6172672, episodic return=740.4682006835938\n", + "global step=6174720, episodic return=750.7299194335938\n", + "global step=6176768, episodic return=743.7327270507812\n", + "global step=6178816, episodic return=723.8756713867188\n", + "global step=6178816, episodic return=750.201171875\n", + "global step=6180864, episodic return=732.86376953125\n", + "global step=6182912, episodic return=764.0818481445312\n", + "global step=6187008, episodic return=757.5316162109375\n", + "global step=6191104, episodic return=743.0879516601562\n", + "global step=6193152, episodic return=753.1367797851562\n", + "global step=6195200, episodic return=736.3613891601562\n", + "global step=6195200, episodic return=774.5859375\n", + "global step=6195200, episodic return=742.5094604492188\n", + "global step=6197248, episodic return=739.9970092773438\n", + "global step=6201344, episodic return=742.1480102539062\n", + "global step=6201344, episodic return=722.707275390625\n", + "global step=6205440, episodic return=754.2839965820312\n", + "global step=6207488, episodic return=756.8829956054688\n", + "global step=6207488, episodic return=747.5948486328125\n", + "global step=6211584, episodic return=737.0424194335938\n", + "global step=6213632, episodic return=711.8438720703125\n", + "global step=6215680, episodic return=742.5179443359375\n", + "global step=6217728, episodic return=730.622802734375\n", + "global step=6217728, episodic return=741.4342651367188\n", + "global step=6217728, episodic return=733.0206909179688\n", + "global step=6219776, episodic return=726.9441528320312\n", + "global step=6219776, episodic return=769.1605834960938\n", + "global step=6219776, episodic return=735.6340942382812\n", + "global step=6221824, episodic return=724.5667724609375\n", + "global step=6221824, episodic return=775.0983276367188\n", + "global step=6221824, episodic return=710.6107177734375\n", + "global step=6223872, episodic return=767.1394653320312\n", + "global step=6223872, episodic return=764.3218383789062\n", + "global step=6225920, episodic return=768.496337890625\n", + "global step=6225920, episodic return=777.7797241210938\n", + "global step=6225920, episodic return=756.1823120117188\n", + "global step=6225920, episodic return=725.33251953125\n", + "global step=6227968, episodic return=750.1497802734375\n", + "global step=6227968, episodic return=720.904541015625\n", + "global step=6227968, episodic return=766.6007080078125\n", + "global step=6230016, episodic return=751.5951538085938\n", + "global step=6230016, episodic return=772.5228271484375\n", + "global step=6230016, episodic return=776.1071166992188\n", + "global step=6232064, episodic return=729.4376831054688\n", + "global step=6232064, episodic return=739.4947509765625\n", + "global step=6234112, episodic return=769.6576538085938\n", + "global step=6234112, episodic return=766.4119262695312\n", + "global step=6234112, episodic return=765.4837646484375\n", + "global step=6234112, episodic return=742.6209716796875\n", + "global step=6238208, episodic return=761.5963134765625\n", + "global step=6238208, episodic return=763.4119873046875\n", + "global step=6240256, episodic return=758.050048828125\n", + "global step=6242304, episodic return=762.0091552734375\n", + "global step=6244352, episodic return=774.5103759765625\n", + "global step=6246400, episodic return=758.665771484375\n", + "global step=6246400, episodic return=771.55078125\n", + "global step=6248448, episodic return=759.47314453125\n", + "global step=6248448, episodic return=760.42333984375\n", + "global step=6248448, episodic return=739.9828491210938\n", + "global step=6252544, episodic return=760.3129272460938\n", + "global step=6252544, episodic return=790.003662109375\n", + "global step=6252544, episodic return=741.4217529296875\n", + "global step=6254592, episodic return=760.4512939453125\n", + "global step=6254592, episodic return=761.0535278320312\n", + "global step=6254592, episodic return=788.2449340820312\n", + "global step=6256640, episodic return=747.9393310546875\n", + "global step=6256640, episodic return=777.7383422851562\n", + "global step=6258688, episodic return=754.0650024414062\n", + "global step=6258688, episodic return=766.0073852539062\n", + "global step=6258688, episodic return=776.63037109375\n", + "global step=6260736, episodic return=754.5421752929688\n", + "global step=6260736, episodic return=797.7428588867188\n", + "global step=6260736, episodic return=797.7366333007812\n", + "global step=6260736, episodic return=770.4600830078125\n", + "global step=6262784, episodic return=741.0045166015625\n", + "global step=6262784, episodic return=765.4107666015625\n", + "global step=6264832, episodic return=762.833251953125\n", + "global step=6266880, episodic return=772.2216186523438\n", + "global step=6268928, episodic return=776.2721557617188\n", + "global step=6270976, episodic return=749.000732421875\n", + "global step=6270976, episodic return=754.1708374023438\n", + "global step=6273024, episodic return=766.9967041015625\n", + "global step=6273024, episodic return=769.7785034179688\n", + "global step=6273024, episodic return=758.05517578125\n", + "global step=6275072, episodic return=764.8659057617188\n", + "global step=6275072, episodic return=765.7999267578125\n", + "global step=6275072, episodic return=766.4502563476562\n", + "global step=6275072, episodic return=771.4609985351562\n", + "global step=6275072, episodic return=750.61376953125\n", + "global step=6275072, episodic return=749.3932495117188\n", + "global step=6277120, episodic return=771.5829467773438\n", + "global step=6277120, episodic return=734.1309204101562\n", + "global step=6277120, episodic return=748.6106567382812\n", + "global step=6277120, episodic return=738.0860595703125\n", + "global step=6279168, episodic return=759.6140747070312\n", + "global step=6279168, episodic return=783.3346557617188\n", + "global step=6279168, episodic return=777.61865234375\n", + "global step=6281216, episodic return=774.00048828125\n", + "global step=6281216, episodic return=738.50732421875\n", + "global step=6281216, episodic return=753.697509765625\n", + "global step=6281216, episodic return=759.8079223632812\n", + "global step=6283264, episodic return=771.72802734375\n", + "global step=6283264, episodic return=775.1537475585938\n", + "global step=6283264, episodic return=768.5344848632812\n", + "global step=6283264, episodic return=794.2333984375\n", + "global step=6283264, episodic return=792.4246826171875\n", + "global step=6283264, episodic return=754.265625\n", + "global step=6285312, episodic return=734.0014038085938\n", + "global step=6285312, episodic return=759.8483276367188\n", + "global step=6285312, episodic return=753.7249145507812\n", + "global step=6285312, episodic return=750.6438598632812\n", + "global step=6285312, episodic return=749.8583984375\n", + "global step=6287360, episodic return=768.49169921875\n", + "global step=6287360, episodic return=785.237060546875\n", + "global step=6287360, episodic return=777.958984375\n", + "global step=6287360, episodic return=793.7327270507812\n", + "global step=6287360, episodic return=778.7257080078125\n", + "global step=6289408, episodic return=768.1685180664062\n", + "global step=6289408, episodic return=765.8021240234375\n", + "global step=6289408, episodic return=738.067138671875\n", + "global step=6289408, episodic return=783.2326049804688\n", + "global step=6289408, episodic return=781.2881469726562\n", + "global step=6291456, episodic return=792.5363159179688\n", + "global step=6291456, episodic return=773.1398315429688\n", + "global step=6291456, episodic return=757.5424194335938\n", + "global step=6291456, episodic return=771.0490112304688\n", + "global step=6291456, episodic return=770.7691040039062\n", + "global step=6291456, episodic return=750.6856689453125\n", + "global step=6291456, episodic return=791.6917114257812\n", + "global step=6291456, episodic return=757.635986328125\n", + "global step=6291456, episodic return=811.5560913085938\n", + "global step=6293504, episodic return=763.010498046875\n", + "global step=6293504, episodic return=766.3800659179688\n", + "global step=6295552, episodic return=764.7942504882812\n", + "global step=6295552, episodic return=770.68408203125\n", + "global step=6295552, episodic return=777.7251586914062\n", + "global step=6295552, episodic return=770.1943359375\n", + "global step=6297600, episodic return=767.097900390625\n", + "global step=6297600, episodic return=757.665283203125\n", + "global step=6297600, episodic return=778.684326171875\n", + "global step=6297600, episodic return=738.2866821289062\n", + "global step=6297600, episodic return=763.1580200195312\n", + "global step=6297600, episodic return=741.8016967773438\n", + "global step=6299648, episodic return=776.1603393554688\n", + "global step=6299648, episodic return=789.93408203125\n", + "global step=6299648, episodic return=767.3507690429688\n", + "global step=6301696, episodic return=819.2867431640625\n", + "global step=6301696, episodic return=799.4122924804688\n", + "global step=6301696, episodic return=786.0521240234375\n", + "global step=6301696, episodic return=749.6260375976562\n", + "global step=6301696, episodic return=783.6461181640625\n", + "global step=6303744, episodic return=803.2515258789062\n", + "global step=6303744, episodic return=791.75634765625\n", + "global step=6303744, episodic return=789.571533203125\n", + "global step=6303744, episodic return=755.4964599609375\n", + "global step=6303744, episodic return=755.865478515625\n", + "global step=6305792, episodic return=798.8307495117188\n", + "global step=6305792, episodic return=729.4566650390625\n", + "global step=6305792, episodic return=782.8910522460938\n", + "global step=6307840, episodic return=783.8137817382812\n", + "global step=6307840, episodic return=787.05615234375\n", + "global step=6307840, episodic return=756.7982788085938\n", + "global step=6307840, episodic return=788.6082763671875\n", + "global step=6307840, episodic return=745.1170654296875\n", + "global step=6307840, episodic return=766.633056640625\n", + "global step=6309888, episodic return=820.5869140625\n", + "global step=6309888, episodic return=767.9481811523438\n", + "global step=6309888, episodic return=753.7405395507812\n", + "global step=6309888, episodic return=759.693359375\n", + "global step=6309888, episodic return=741.8193969726562\n", + "global step=6309888, episodic return=769.32763671875\n", + "global step=6309888, episodic return=780.9166259765625\n", + "global step=6309888, episodic return=783.4887084960938\n", + "global step=6311936, episodic return=783.8799438476562\n", + "global step=6311936, episodic return=791.7548828125\n", + "global step=6311936, episodic return=760.3468017578125\n", + "global step=6311936, episodic return=782.1893920898438\n", + "global step=6311936, episodic return=804.7034912109375\n", + "global step=6311936, episodic return=777.023193359375\n", + "global step=6311936, episodic return=782.1552124023438\n", + "global step=6311936, episodic return=766.1578369140625\n", + "global step=6313984, episodic return=796.657470703125\n", + "global step=6313984, episodic return=798.4489135742188\n", + "global step=6313984, episodic return=795.2127075195312\n", + "global step=6313984, episodic return=764.79541015625\n", + "global step=6316032, episodic return=781.6552734375\n", + "global step=6316032, episodic return=782.8536376953125\n", + "global step=6318080, episodic return=756.893310546875\n", + "global step=6318080, episodic return=777.4202880859375\n", + "global step=6318080, episodic return=814.4413452148438\n", + "global step=6320128, episodic return=770.3541259765625\n", + "global step=6322176, episodic return=775.3062133789062\n", + "global step=6322176, episodic return=756.875244140625\n", + "global step=6322176, episodic return=782.6549072265625\n", + "global step=6322176, episodic return=792.7149047851562\n", + "global step=6324224, episodic return=824.7283325195312\n", + "global step=6324224, episodic return=824.06494140625\n", + "global step=6324224, episodic return=814.4784545898438\n", + "global step=6324224, episodic return=754.5562744140625\n", + "global step=6324224, episodic return=758.3040161132812\n", + "global step=6324224, episodic return=753.3589477539062\n", + "global step=6326272, episodic return=778.9252319335938\n", + "global step=6326272, episodic return=793.5120849609375\n", + "global step=6326272, episodic return=795.1439208984375\n", + "global step=6326272, episodic return=826.6188354492188\n", + "global step=6326272, episodic return=790.689208984375\n", + "global step=6326272, episodic return=807.9166870117188\n", + "global step=6326272, episodic return=797.8690795898438\n", + "global step=6326272, episodic return=777.5842895507812\n", + "global step=6328320, episodic return=783.8655395507812\n", + "global step=6328320, episodic return=798.0106201171875\n", + "global step=6328320, episodic return=785.9735107421875\n", + "global step=6328320, episodic return=775.4755859375\n", + "global step=6330368, episodic return=787.8937377929688\n", + "global step=6330368, episodic return=784.7053833007812\n", + "global step=6330368, episodic return=780.3336181640625\n", + "global step=6332416, episodic return=788.4795532226562\n", + "global step=6332416, episodic return=774.4281616210938\n", + "global step=6332416, episodic return=778.6646728515625\n", + "global step=6332416, episodic return=760.0177001953125\n", + "global step=6332416, episodic return=795.1990356445312\n", + "global step=6334464, episodic return=812.608154296875\n", + "global step=6334464, episodic return=783.5596313476562\n", + "global step=6334464, episodic return=807.7328491210938\n", + "global step=6334464, episodic return=794.546875\n", + "global step=6334464, episodic return=800.0762939453125\n", + "global step=6336512, episodic return=791.9926147460938\n", + "global step=6336512, episodic return=797.480712890625\n", + "global step=6336512, episodic return=787.6558227539062\n", + "global step=6336512, episodic return=755.1292724609375\n", + "global step=6336512, episodic return=793.9674682617188\n", + "global step=6336512, episodic return=755.6644287109375\n", + "global step=6336512, episodic return=793.895263671875\n", + "global step=6338560, episodic return=758.3717651367188\n", + "global step=6338560, episodic return=767.6659545898438\n", + "global step=6338560, episodic return=771.4134521484375\n", + "global step=6338560, episodic return=796.2179565429688\n", + "global step=6338560, episodic return=767.3385009765625\n", + "global step=6340608, episodic return=783.3474731445312\n", + "global step=6340608, episodic return=796.78076171875\n", + "global step=6340608, episodic return=800.3324584960938\n", + "global step=6340608, episodic return=799.79833984375\n", + "global step=6340608, episodic return=798.2737426757812\n", + "global step=6340608, episodic return=749.418212890625\n", + "global step=6340608, episodic return=801.6019287109375\n", + "global step=6340608, episodic return=793.1309204101562\n", + "global step=6340608, episodic return=725.0533447265625\n", + "global step=6340608, episodic return=765.7349853515625\n", + "global step=6342656, episodic return=790.9892578125\n", + "global step=6342656, episodic return=798.402587890625\n", + "global step=6342656, episodic return=783.9127197265625\n", + "global step=6342656, episodic return=753.0709228515625\n", + "global step=6342656, episodic return=766.4833984375\n", + "global step=6342656, episodic return=771.7046508789062\n", + "global step=6342656, episodic return=809.5980224609375\n", + "global step=6342656, episodic return=765.5897216796875\n", + "global step=6344704, episodic return=777.3178100585938\n", + "global step=6344704, episodic return=764.6851196289062\n", + "global step=6344704, episodic return=789.0264282226562\n", + "global step=6344704, episodic return=789.79150390625\n", + "global step=6344704, episodic return=802.5970458984375\n", + "global step=6344704, episodic return=769.4923095703125\n", + "global step=6344704, episodic return=778.4425659179688\n", + "global step=6344704, episodic return=785.2703857421875\n", + "global step=6344704, episodic return=802.8592529296875\n", + "global step=6344704, episodic return=772.6168212890625\n", + "global step=6346752, episodic return=815.1051025390625\n", + "global step=6346752, episodic return=801.9844970703125\n", + "global step=6348800, episodic return=782.1439819335938\n", + "global step=6348800, episodic return=785.6345825195312\n", + "global step=6348800, episodic return=804.596435546875\n", + "global step=6348800, episodic return=781.012451171875\n", + "global step=6348800, episodic return=795.9710693359375\n", + "global step=6348800, episodic return=760.2565307617188\n", + "global step=6348800, episodic return=813.0439453125\n", + "global step=6350848, episodic return=777.1629638671875\n", + "global step=6350848, episodic return=792.377685546875\n", + "global step=6350848, episodic return=777.3519897460938\n", + "global step=6350848, episodic return=803.6656494140625\n", + "global step=6350848, episodic return=772.777099609375\n", + "global step=6352896, episodic return=818.2738037109375\n", + "global step=6352896, episodic return=791.7469482421875\n", + "global step=6354944, episodic return=802.8479614257812\n", + "global step=6354944, episodic return=799.363525390625\n", + "global step=6354944, episodic return=815.0745239257812\n", + "global step=6354944, episodic return=796.193359375\n", + "global step=6354944, episodic return=815.9277954101562\n", + "global step=6354944, episodic return=798.1254272460938\n", + "global step=6354944, episodic return=773.87353515625\n", + "global step=6356992, episodic return=796.1134643554688\n", + "global step=6356992, episodic return=811.8114624023438\n", + "global step=6356992, episodic return=804.3458862304688\n", + "global step=6356992, episodic return=790.6751098632812\n", + "global step=6356992, episodic return=797.66796875\n", + "global step=6356992, episodic return=798.47119140625\n", + "global step=6356992, episodic return=795.8390502929688\n", + "global step=6359040, episodic return=798.885498046875\n", + "global step=6359040, episodic return=763.3328247070312\n", + "global step=6359040, episodic return=817.3109741210938\n", + "global step=6359040, episodic return=832.8047485351562\n", + "global step=6359040, episodic return=782.4080200195312\n", + "global step=6359040, episodic return=819.5458984375\n", + "global step=6359040, episodic return=773.9116821289062\n", + "global step=6361088, episodic return=796.8987426757812\n", + "global step=6361088, episodic return=765.5906372070312\n", + "global step=6361088, episodic return=823.6997680664062\n", + "global step=6363136, episodic return=816.5232543945312\n", + "global step=6363136, episodic return=784.029052734375\n", + "global step=6363136, episodic return=793.4202880859375\n", + "global step=6363136, episodic return=774.119140625\n", + "global step=6363136, episodic return=796.268310546875\n", + "global step=6363136, episodic return=799.1658935546875\n", + "global step=6363136, episodic return=770.4551391601562\n", + "global step=6363136, episodic return=785.1884765625\n", + "global step=6365184, episodic return=800.2543334960938\n", + "global step=6365184, episodic return=806.7997436523438\n", + "global step=6365184, episodic return=772.9743041992188\n", + "global step=6365184, episodic return=783.81103515625\n", + "global step=6365184, episodic return=771.16650390625\n", + "global step=6365184, episodic return=810.6618041992188\n", + "global step=6365184, episodic return=806.8837890625\n", + "global step=6365184, episodic return=787.1658935546875\n", + "global step=6365184, episodic return=765.4529418945312\n", + "global step=6365184, episodic return=768.0953979492188\n", + "global step=6365184, episodic return=823.3495483398438\n", + "global step=6367232, episodic return=808.3193969726562\n", + "global step=6367232, episodic return=812.8922119140625\n", + "global step=6367232, episodic return=819.3822631835938\n", + "global step=6367232, episodic return=786.0073852539062\n", + "global step=6367232, episodic return=809.6199951171875\n", + "global step=6367232, episodic return=764.7378540039062\n", + "global step=6367232, episodic return=795.0299682617188\n", + "global step=6369280, episodic return=795.9236450195312\n", + "global step=6369280, episodic return=806.1217041015625\n", + "global step=6369280, episodic return=795.305419921875\n", + "global step=6369280, episodic return=808.54833984375\n", + "global step=6369280, episodic return=822.7273559570312\n", + "global step=6369280, episodic return=816.08203125\n", + "global step=6371328, episodic return=824.7304077148438\n", + "global step=6371328, episodic return=800.1136474609375\n", + "global step=6371328, episodic return=818.5400390625\n", + "global step=6371328, episodic return=811.4578857421875\n", + "global step=6371328, episodic return=800.21533203125\n", + "global step=6371328, episodic return=771.4984741210938\n", + "global step=6371328, episodic return=810.3009643554688\n", + "global step=6373376, episodic return=800.4677734375\n", + "global step=6373376, episodic return=799.1665649414062\n", + "global step=6373376, episodic return=828.7298583984375\n", + "global step=6373376, episodic return=800.036865234375\n", + "global step=6375424, episodic return=798.315673828125\n", + "global step=6375424, episodic return=823.7459716796875\n", + "global step=6375424, episodic return=819.3646850585938\n", + "global step=6375424, episodic return=818.71923828125\n", + "global step=6375424, episodic return=778.452392578125\n", + "global step=6377472, episodic return=794.638916015625\n", + "global step=6377472, episodic return=785.8257446289062\n", + "global step=6377472, episodic return=792.0546875\n", + "global step=6377472, episodic return=794.3427734375\n", + "global step=6377472, episodic return=764.17431640625\n", + "global step=6379520, episodic return=811.4725952148438\n", + "global step=6379520, episodic return=786.7042236328125\n", + "global step=6379520, episodic return=766.6160888671875\n", + "global step=6379520, episodic return=811.4164428710938\n", + "global step=6379520, episodic return=805.6189575195312\n", + "global step=6379520, episodic return=777.8821411132812\n", + "global step=6379520, episodic return=797.6835327148438\n", + "global step=6379520, episodic return=789.9622192382812\n", + "global step=6381568, episodic return=822.071044921875\n", + "global step=6381568, episodic return=795.0199584960938\n", + "global step=6381568, episodic return=816.7708740234375\n", + "global step=6381568, episodic return=811.6760864257812\n", + "global step=6381568, episodic return=801.252685546875\n", + "global step=6381568, episodic return=802.208251953125\n", + "global step=6381568, episodic return=818.8989868164062\n", + "global step=6381568, episodic return=823.7017211914062\n", + "global step=6381568, episodic return=778.3721313476562\n", + "global step=6383616, episodic return=769.4549560546875\n", + "global step=6383616, episodic return=800.675048828125\n", + "global step=6383616, episodic return=812.414794921875\n", + "global step=6383616, episodic return=771.6559448242188\n", + "global step=6383616, episodic return=811.499267578125\n", + "global step=6383616, episodic return=805.0358276367188\n", + "global step=6383616, episodic return=802.1798706054688\n", + "global step=6383616, episodic return=796.1284790039062\n", + "global step=6385664, episodic return=814.6788940429688\n", + "global step=6385664, episodic return=800.755126953125\n", + "global step=6385664, episodic return=821.5167846679688\n", + "global step=6385664, episodic return=785.56103515625\n", + "global step=6385664, episodic return=772.8466186523438\n", + "global step=6385664, episodic return=800.0894165039062\n", + "global step=6385664, episodic return=786.4121704101562\n", + "global step=6387712, episodic return=783.9244384765625\n", + "global step=6387712, episodic return=819.972900390625\n", + "global step=6387712, episodic return=802.6419677734375\n", + "global step=6387712, episodic return=803.4208984375\n", + "global step=6387712, episodic return=775.52392578125\n", + "global step=6387712, episodic return=818.58447265625\n", + "global step=6389760, episodic return=814.8214111328125\n", + "global step=6389760, episodic return=798.0597534179688\n", + "global step=6389760, episodic return=796.4309692382812\n", + "global step=6389760, episodic return=821.102783203125\n", + "global step=6389760, episodic return=760.4276123046875\n", + "global step=6389760, episodic return=785.238525390625\n", + "global step=6389760, episodic return=825.4568481445312\n", + "global step=6389760, episodic return=799.0894775390625\n", + "global step=6389760, episodic return=829.153076171875\n", + "global step=6389760, episodic return=794.376220703125\n", + "global step=6389760, episodic return=808.7775268554688\n", + "global step=6389760, episodic return=766.7705078125\n", + "global step=6389760, episodic return=844.4752197265625\n", + "global step=6389760, episodic return=821.2236328125\n", + "global step=6391808, episodic return=825.2925415039062\n", + "global step=6391808, episodic return=786.9475708007812\n", + "global step=6391808, episodic return=825.2471313476562\n", + "global step=6391808, episodic return=829.0099487304688\n", + "global step=6391808, episodic return=808.3372192382812\n", + "global step=6393856, episodic return=822.3486328125\n", + "global step=6393856, episodic return=809.0399780273438\n", + "global step=6393856, episodic return=815.0964965820312\n", + "global step=6393856, episodic return=820.3286743164062\n", + "global step=6393856, episodic return=814.7469482421875\n", + "global step=6393856, episodic return=801.2971801757812\n", + "global step=6393856, episodic return=796.4222412109375\n", + "global step=6393856, episodic return=812.4480590820312\n", + "global step=6393856, episodic return=834.7606201171875\n", + "global step=6395904, episodic return=805.992919921875\n", + "global step=6395904, episodic return=804.8843994140625\n", + "global step=6395904, episodic return=839.4096069335938\n", + "global step=6395904, episodic return=775.16162109375\n", + "global step=6395904, episodic return=816.55322265625\n", + "global step=6395904, episodic return=801.3923950195312\n", + "global step=6395904, episodic return=774.2658081054688\n", + "global step=6395904, episodic return=811.8790893554688\n", + "global step=6397952, episodic return=801.139404296875\n", + "global step=6397952, episodic return=809.7244262695312\n", + "global step=6397952, episodic return=821.4581298828125\n", + "global step=6397952, episodic return=835.6139526367188\n", + "global step=6397952, episodic return=811.1265869140625\n", + "global step=6397952, episodic return=823.5481567382812\n", + "global step=6397952, episodic return=819.3087158203125\n", + "global step=6397952, episodic return=775.5691528320312\n", + "global step=6397952, episodic return=791.425537109375\n", + "global step=6397952, episodic return=801.1866455078125\n", + "global step=6397952, episodic return=832.835205078125\n", + "global step=6400000, episodic return=856.2940063476562\n", + "global step=6400000, episodic return=795.4202880859375\n", + "global step=6400000, episodic return=776.6839599609375\n", + "global step=6400000, episodic return=770.7938232421875\n", + "global step=6402048, episodic return=837.5380249023438\n", + "global step=6402048, episodic return=807.589111328125\n", + "global step=6402048, episodic return=832.3861694335938\n", + "global step=6402048, episodic return=807.0691528320312\n", + "global step=6402048, episodic return=837.3713989257812\n", + "global step=6402048, episodic return=824.28369140625\n", + "global step=6402048, episodic return=829.57080078125\n", + "global step=6402048, episodic return=810.4824829101562\n", + "global step=6402048, episodic return=842.337158203125\n", + "global step=6402048, episodic return=854.1550903320312\n", + "global step=6404096, episodic return=782.3593139648438\n", + "global step=6404096, episodic return=789.3614501953125\n", + "global step=6404096, episodic return=843.1246337890625\n", + "global step=6404096, episodic return=801.70947265625\n", + "global step=6404096, episodic return=838.1793212890625\n", + "global step=6404096, episodic return=811.271728515625\n", + "global step=6406144, episodic return=799.7837524414062\n", + "global step=6406144, episodic return=826.4227905273438\n", + "global step=6406144, episodic return=825.2109375\n", + "global step=6406144, episodic return=811.5030517578125\n", + "global step=6406144, episodic return=810.4051513671875\n", + "global step=6406144, episodic return=809.5569458007812\n", + "global step=6406144, episodic return=794.00146484375\n", + "global step=6406144, episodic return=812.121826171875\n", + "global step=6406144, episodic return=777.6072998046875\n", + "global step=6406144, episodic return=839.9850463867188\n", + "global step=6406144, episodic return=816.45654296875\n", + "global step=6408192, episodic return=828.2509155273438\n", + "global step=6408192, episodic return=784.057373046875\n", + "global step=6408192, episodic return=802.4189453125\n", + "global step=6408192, episodic return=860.39306640625\n", + "global step=6408192, episodic return=795.9898071289062\n", + "global step=6408192, episodic return=814.8741455078125\n", + "global step=6408192, episodic return=833.8743286132812\n", + "global step=6410240, episodic return=842.915771484375\n", + "global step=6410240, episodic return=839.1412353515625\n", + "global step=6410240, episodic return=805.4717407226562\n", + "global step=6410240, episodic return=829.1359252929688\n", + "global step=6410240, episodic return=825.181884765625\n", + "global step=6410240, episodic return=799.5216064453125\n", + "global step=6412288, episodic return=804.3446044921875\n", + "global step=6412288, episodic return=832.679443359375\n", + "global step=6412288, episodic return=792.9393310546875\n", + "global step=6412288, episodic return=798.905517578125\n", + "global step=6412288, episodic return=837.7491455078125\n", + "global step=6412288, episodic return=844.4115600585938\n", + "global step=6414336, episodic return=824.5755004882812\n", + "global step=6414336, episodic return=831.4253540039062\n", + "global step=6414336, episodic return=786.4922485351562\n", + "global step=6414336, episodic return=786.9246826171875\n", + "global step=6414336, episodic return=800.1504516601562\n", + "global step=6414336, episodic return=824.6823120117188\n", + "global step=6414336, episodic return=805.9043579101562\n", + "global step=6414336, episodic return=822.2899169921875\n", + "global step=6416384, episodic return=832.9346923828125\n", + "global step=6416384, episodic return=820.9020385742188\n", + "global step=6416384, episodic return=805.9825439453125\n", + "global step=6416384, episodic return=819.818115234375\n", + "global step=6416384, episodic return=825.022216796875\n", + "global step=6416384, episodic return=785.8096923828125\n", + "global step=6416384, episodic return=803.6820678710938\n", + "global step=6416384, episodic return=832.5972290039062\n", + "global step=6416384, episodic return=782.0099487304688\n", + "global step=6418432, episodic return=837.2455444335938\n", + "global step=6418432, episodic return=817.7108764648438\n", + "global step=6418432, episodic return=835.907958984375\n", + "global step=6418432, episodic return=840.5694580078125\n", + "global step=6420480, episodic return=796.3351440429688\n", + "global step=6420480, episodic return=824.5929565429688\n", + "global step=6420480, episodic return=791.8881225585938\n", + "global step=6420480, episodic return=797.0288696289062\n", + "global step=6420480, episodic return=781.3546752929688\n", + "global step=6420480, episodic return=857.7545776367188\n", + "global step=6422528, episodic return=843.5852661132812\n", + "global step=6422528, episodic return=817.2484741210938\n", + "global step=6422528, episodic return=837.2865600585938\n", + "global step=6422528, episodic return=834.8627319335938\n", + "global step=6422528, episodic return=830.9452514648438\n", + "global step=6422528, episodic return=825.90966796875\n", + "global step=6422528, episodic return=853.8336181640625\n", + "global step=6422528, episodic return=819.9047241210938\n", + "global step=6422528, episodic return=811.614501953125\n", + "global step=6424576, episodic return=852.67626953125\n", + "global step=6424576, episodic return=850.3848876953125\n", + "global step=6424576, episodic return=800.8526000976562\n", + "global step=6424576, episodic return=820.9122924804688\n", + "global step=6426624, episodic return=839.9072875976562\n", + "global step=6426624, episodic return=802.9290771484375\n", + "global step=6426624, episodic return=839.3982543945312\n", + "global step=6426624, episodic return=806.0748901367188\n", + "global step=6426624, episodic return=851.1871337890625\n", + "global step=6426624, episodic return=834.4370727539062\n", + "global step=6426624, episodic return=801.0206909179688\n", + "global step=6426624, episodic return=808.285400390625\n", + "global step=6426624, episodic return=793.7593994140625\n", + "global step=6428672, episodic return=820.2761840820312\n", + "global step=6428672, episodic return=791.0582885742188\n", + "global step=6428672, episodic return=832.1419067382812\n", + "global step=6428672, episodic return=774.0003051757812\n", + "global step=6428672, episodic return=798.9011840820312\n", + "global step=6428672, episodic return=808.4470825195312\n", + "global step=6428672, episodic return=807.33935546875\n", + "global step=6428672, episodic return=832.3330688476562\n", + "global step=6428672, episodic return=787.57177734375\n", + "global step=6430720, episodic return=816.1729125976562\n", + "global step=6430720, episodic return=832.3327026367188\n", + "global step=6430720, episodic return=838.1064453125\n", + "global step=6432768, episodic return=808.8470458984375\n", + "global step=6432768, episodic return=836.1146240234375\n", + "global step=6432768, episodic return=833.5508422851562\n", + "global step=6432768, episodic return=808.4605102539062\n", + "global step=6432768, episodic return=850.1011962890625\n", + "global step=6432768, episodic return=858.5725708007812\n", + "global step=6432768, episodic return=807.8898315429688\n", + "global step=6432768, episodic return=816.4862670898438\n", + "global step=6432768, episodic return=821.2813110351562\n", + "global step=6432768, episodic return=847.1061401367188\n", + "global step=6434816, episodic return=795.3104858398438\n", + "global step=6434816, episodic return=833.4381103515625\n", + "global step=6434816, episodic return=809.3262329101562\n", + "global step=6434816, episodic return=827.5701293945312\n", + "global step=6436864, episodic return=830.879638671875\n", + "global step=6436864, episodic return=843.1273803710938\n", + "global step=6436864, episodic return=817.0736083984375\n", + "global step=6436864, episodic return=823.7322387695312\n", + "global step=6436864, episodic return=823.6061401367188\n", + "global step=6436864, episodic return=818.5740356445312\n", + "global step=6436864, episodic return=837.16748046875\n", + "global step=6436864, episodic return=771.4888916015625\n", + "global step=6436864, episodic return=823.1049194335938\n", + "global step=6436864, episodic return=840.9359130859375\n", + "global step=6438912, episodic return=811.3355102539062\n", + "global step=6438912, episodic return=782.5120239257812\n", + "global step=6438912, episodic return=804.7822875976562\n", + "global step=6438912, episodic return=847.7243041992188\n", + "global step=6438912, episodic return=829.8409423828125\n", + "global step=6438912, episodic return=849.7649536132812\n", + "global step=6440960, episodic return=876.0399780273438\n", + "global step=6440960, episodic return=823.5205688476562\n", + "global step=6440960, episodic return=829.3189697265625\n", + "global step=6440960, episodic return=801.3516235351562\n", + "global step=6440960, episodic return=847.04736328125\n", + "global step=6440960, episodic return=822.0406494140625\n", + "global step=6440960, episodic return=824.2014770507812\n", + "global step=6440960, episodic return=788.306640625\n", + "global step=6440960, episodic return=837.8374633789062\n", + "global step=6440960, episodic return=780.4906005859375\n", + "global step=6440960, episodic return=831.7816772460938\n", + "global step=6440960, episodic return=842.0763549804688\n", + "global step=6443008, episodic return=840.6868896484375\n", + "global step=6445056, episodic return=804.2305908203125\n", + "global step=6445056, episodic return=804.4066162109375\n", + "global step=6445056, episodic return=846.5402221679688\n", + "global step=6445056, episodic return=788.5663452148438\n", + "global step=6445056, episodic return=853.0194091796875\n", + "global step=6445056, episodic return=853.3465576171875\n", + "global step=6445056, episodic return=824.8900146484375\n", + "global step=6445056, episodic return=847.2118530273438\n", + "global step=6445056, episodic return=785.29248046875\n", + "global step=6447104, episodic return=832.5050659179688\n", + "global step=6447104, episodic return=837.2926635742188\n", + "global step=6447104, episodic return=853.0263671875\n", + "global step=6447104, episodic return=859.369140625\n", + "global step=6449152, episodic return=817.1178588867188\n", + "global step=6449152, episodic return=847.6434326171875\n", + "global step=6449152, episodic return=849.6781005859375\n", + "global step=6449152, episodic return=801.5850830078125\n", + "global step=6449152, episodic return=834.1023559570312\n", + "global step=6451200, episodic return=866.1614990234375\n", + "global step=6451200, episodic return=840.0733032226562\n", + "global step=6451200, episodic return=842.9542236328125\n", + "global step=6451200, episodic return=857.0697631835938\n", + "global step=6451200, episodic return=837.497314453125\n", + "global step=6451200, episodic return=869.824951171875\n", + "global step=6451200, episodic return=888.1192016601562\n", + "global step=6451200, episodic return=832.9493408203125\n", + "global step=6451200, episodic return=864.57666015625\n", + "global step=6451200, episodic return=812.88330078125\n", + "global step=6453248, episodic return=858.2919921875\n", + "global step=6453248, episodic return=844.3792114257812\n", + "global step=6453248, episodic return=830.0118408203125\n", + "global step=6455296, episodic return=832.0629272460938\n", + "global step=6455296, episodic return=845.282470703125\n", + "global step=6455296, episodic return=841.7608032226562\n", + "global step=6455296, episodic return=831.3646240234375\n", + "global step=6455296, episodic return=838.9097900390625\n", + "global step=6455296, episodic return=790.7564697265625\n", + "global step=6455296, episodic return=842.35498046875\n", + "global step=6455296, episodic return=797.491943359375\n", + "global step=6455296, episodic return=814.1085205078125\n", + "global step=6455296, episodic return=818.7584228515625\n", + "global step=6457344, episodic return=815.789794921875\n", + "global step=6457344, episodic return=858.5489501953125\n", + "global step=6457344, episodic return=822.4186401367188\n", + "global step=6457344, episodic return=815.7648315429688\n", + "global step=6457344, episodic return=807.9902954101562\n", + "global step=6457344, episodic return=819.4464721679688\n", + "global step=6457344, episodic return=850.0\n", + "global step=6457344, episodic return=832.8275756835938\n", + "global step=6457344, episodic return=832.8250122070312\n", + "global step=6457344, episodic return=833.5628051757812\n", + "global step=6459392, episodic return=856.1929931640625\n", + "global step=6459392, episodic return=803.1437377929688\n", + "global step=6459392, episodic return=859.6910400390625\n", + "global step=6459392, episodic return=859.373046875\n", + "global step=6459392, episodic return=864.42138671875\n", + "global step=6459392, episodic return=832.0951538085938\n", + "global step=6461440, episodic return=850.7511596679688\n", + "global step=6461440, episodic return=838.0567016601562\n", + "global step=6461440, episodic return=840.4848022460938\n", + "global step=6461440, episodic return=844.5668334960938\n", + "global step=6461440, episodic return=854.6795043945312\n", + "global step=6461440, episodic return=818.1280517578125\n", + "global step=6461440, episodic return=830.33447265625\n", + "global step=6463488, episodic return=902.9922485351562\n", + "global step=6463488, episodic return=847.7601928710938\n", + "global step=6463488, episodic return=861.74169921875\n", + "global step=6463488, episodic return=795.1869506835938\n", + "global step=6463488, episodic return=842.0222778320312\n", + "global step=6463488, episodic return=832.71826171875\n", + "global step=6465536, episodic return=861.3377075195312\n", + "global step=6465536, episodic return=830.1620483398438\n", + "global step=6465536, episodic return=843.9360961914062\n", + "global step=6465536, episodic return=869.024658203125\n", + "global step=6465536, episodic return=832.1290893554688\n", + "global step=6465536, episodic return=854.7349853515625\n", + "global step=6465536, episodic return=856.7715454101562\n", + "global step=6467584, episodic return=876.0838623046875\n", + "global step=6467584, episodic return=891.9293212890625\n", + "global step=6467584, episodic return=828.4393920898438\n", + "global step=6467584, episodic return=803.1456909179688\n", + "global step=6467584, episodic return=843.8858032226562\n", + "global step=6467584, episodic return=786.3843383789062\n", + "global step=6469632, episodic return=857.9402465820312\n", + "global step=6469632, episodic return=824.5681762695312\n", + "global step=6469632, episodic return=839.6173095703125\n", + "global step=6469632, episodic return=847.4564819335938\n", + "global step=6469632, episodic return=808.4017333984375\n", + "global step=6469632, episodic return=823.547607421875\n", + "global step=6469632, episodic return=899.193603515625\n", + "global step=6471680, episodic return=814.2772216796875\n", + "global step=6471680, episodic return=827.2139892578125\n", + "global step=6471680, episodic return=848.875732421875\n", + "global step=6471680, episodic return=815.81640625\n", + "global step=6471680, episodic return=859.11669921875\n", + "global step=6471680, episodic return=803.2342529296875\n", + "global step=6471680, episodic return=834.8397216796875\n", + "global step=6471680, episodic return=859.527099609375\n", + "global step=6473728, episodic return=847.7337646484375\n", + "global step=6473728, episodic return=825.5941162109375\n", + "global step=6473728, episodic return=822.7628173828125\n", + "global step=6473728, episodic return=805.221923828125\n", + "global step=6475776, episodic return=843.4779052734375\n", + "global step=6475776, episodic return=794.65771484375\n", + "global step=6475776, episodic return=849.990234375\n", + "global step=6475776, episodic return=842.704833984375\n", + "global step=6477824, episodic return=841.48095703125\n", + "global step=6477824, episodic return=887.2897338867188\n", + "global step=6477824, episodic return=816.68701171875\n", + "global step=6477824, episodic return=847.7581787109375\n", + "global step=6477824, episodic return=827.4287109375\n", + "global step=6477824, episodic return=822.1266479492188\n", + "global step=6479872, episodic return=852.0726318359375\n", + "global step=6479872, episodic return=825.6896362304688\n", + "global step=6479872, episodic return=865.4979858398438\n", + "global step=6479872, episodic return=841.1969604492188\n", + "global step=6481920, episodic return=845.7754516601562\n", + "global step=6481920, episodic return=831.7968139648438\n", + "global step=6481920, episodic return=872.2249755859375\n", + "global step=6481920, episodic return=857.2996215820312\n", + "global step=6481920, episodic return=851.0135498046875\n", + "global step=6481920, episodic return=815.3280639648438\n", + "global step=6481920, episodic return=854.3690795898438\n", + "global step=6481920, episodic return=858.1563110351562\n", + "global step=6481920, episodic return=802.9954223632812\n", + "global step=6481920, episodic return=866.589111328125\n", + "global step=6483968, episodic return=886.6795043945312\n", + "global step=6483968, episodic return=836.8585815429688\n", + "global step=6483968, episodic return=858.4336547851562\n", + "global step=6483968, episodic return=846.4458618164062\n", + "global step=6483968, episodic return=855.9807739257812\n", + "global step=6483968, episodic return=844.0323486328125\n", + "global step=6483968, episodic return=846.1503295898438\n", + "global step=6483968, episodic return=839.22265625\n", + "global step=6486016, episodic return=836.2534790039062\n", + "global step=6486016, episodic return=818.9160766601562\n", + "global step=6486016, episodic return=828.5784912109375\n", + "global step=6486016, episodic return=866.3111572265625\n", + "global step=6486016, episodic return=829.9591674804688\n", + "global step=6486016, episodic return=844.06884765625\n", + "global step=6486016, episodic return=803.1243286132812\n", + "global step=6486016, episodic return=838.8717041015625\n", + "global step=6486016, episodic return=873.1112670898438\n", + "global step=6486016, episodic return=861.6966552734375\n", + "global step=6488064, episodic return=862.97265625\n", + "global step=6488064, episodic return=826.452392578125\n", + "global step=6488064, episodic return=841.662841796875\n", + "global step=6490112, episodic return=856.2011108398438\n", + "global step=6490112, episodic return=853.0863647460938\n", + "global step=6490112, episodic return=853.6611328125\n", + "global step=6490112, episodic return=869.0017700195312\n", + "global step=6490112, episodic return=861.7000122070312\n", + "global step=6490112, episodic return=858.7259521484375\n", + "global step=6490112, episodic return=819.2246704101562\n", + "global step=6490112, episodic return=860.3539428710938\n", + "global step=6492160, episodic return=864.5136108398438\n", + "global step=6492160, episodic return=830.1611328125\n", + "global step=6492160, episodic return=873.0125732421875\n", + "global step=6492160, episodic return=832.456298828125\n", + "global step=6492160, episodic return=859.5887451171875\n", + "global step=6492160, episodic return=826.1033325195312\n", + "global step=6492160, episodic return=858.1301879882812\n", + "global step=6494208, episodic return=849.5802001953125\n", + "global step=6494208, episodic return=843.2640380859375\n", + "global step=6494208, episodic return=835.1795043945312\n", + "global step=6494208, episodic return=849.759765625\n", + "global step=6494208, episodic return=872.0326538085938\n", + "global step=6494208, episodic return=847.0248413085938\n", + "global step=6494208, episodic return=838.7907104492188\n", + "global step=6494208, episodic return=841.5488891601562\n", + "global step=6494208, episodic return=849.1336669921875\n", + "global step=6494208, episodic return=836.2918090820312\n", + "global step=6496256, episodic return=823.1709594726562\n", + "global step=6496256, episodic return=858.4531860351562\n", + "global step=6496256, episodic return=856.6996459960938\n", + "global step=6496256, episodic return=856.0221557617188\n", + "global step=6498304, episodic return=878.6021728515625\n", + "global step=6498304, episodic return=851.7898559570312\n", + "global step=6498304, episodic return=843.7779541015625\n", + "global step=6498304, episodic return=860.3115234375\n", + "global step=6498304, episodic return=832.7784423828125\n", + "global step=6498304, episodic return=865.6253662109375\n", + "global step=6498304, episodic return=850.1790771484375\n", + "global step=6498304, episodic return=853.2263793945312\n", + "global step=6498304, episodic return=842.456787109375\n", + "global step=6498304, episodic return=855.7826538085938\n", + "global step=6500352, episodic return=834.9606323242188\n", + "global step=6500352, episodic return=873.6217041015625\n", + "global step=6500352, episodic return=858.8126831054688\n", + "global step=6500352, episodic return=872.5307006835938\n", + "global step=6500352, episodic return=852.4719848632812\n", + "global step=6500352, episodic return=866.6414184570312\n", + "global step=6500352, episodic return=850.470458984375\n", + "global step=6500352, episodic return=839.1246337890625\n", + "global step=6500352, episodic return=843.485107421875\n", + "global step=6500352, episodic return=875.4000244140625\n", + "global step=6502400, episodic return=845.117919921875\n", + "global step=6502400, episodic return=855.1466064453125\n", + "global step=6502400, episodic return=843.6600952148438\n", + "global step=6502400, episodic return=838.846435546875\n", + "global step=6502400, episodic return=850.8192138671875\n", + "global step=6502400, episodic return=858.457275390625\n", + "global step=6502400, episodic return=819.32470703125\n", + "global step=6502400, episodic return=842.5823364257812\n", + "global step=6502400, episodic return=889.4405517578125\n", + "global step=6502400, episodic return=846.0403442382812\n", + "global step=6502400, episodic return=841.5142822265625\n", + "global step=6502400, episodic return=866.945068359375\n", + "global step=6504448, episodic return=868.0674438476562\n", + "global step=6504448, episodic return=883.0615844726562\n", + "global step=6504448, episodic return=883.1428833007812\n", + "global step=6504448, episodic return=880.8024291992188\n", + "global step=6504448, episodic return=840.6051635742188\n", + "global step=6504448, episodic return=886.3297729492188\n", + "global step=6504448, episodic return=869.5467529296875\n", + "global step=6506496, episodic return=851.3682250976562\n", + "global step=6506496, episodic return=871.5892944335938\n", + "global step=6506496, episodic return=834.775146484375\n", + "global step=6506496, episodic return=879.539306640625\n", + "global step=6506496, episodic return=857.411865234375\n", + "global step=6506496, episodic return=880.95556640625\n", + "global step=6506496, episodic return=886.7285766601562\n", + "global step=6506496, episodic return=853.7450561523438\n", + "global step=6506496, episodic return=836.8843383789062\n", + "global step=6506496, episodic return=842.0626220703125\n", + "global step=6506496, episodic return=854.7695922851562\n", + "global step=6508544, episodic return=853.4874267578125\n", + "global step=6508544, episodic return=826.6060791015625\n", + "global step=6508544, episodic return=857.1887817382812\n", + "global step=6508544, episodic return=864.310546875\n", + "global step=6508544, episodic return=851.1885375976562\n", + "global step=6510592, episodic return=865.6349487304688\n", + "global step=6510592, episodic return=859.1539306640625\n", + "global step=6510592, episodic return=886.2330322265625\n", + "global step=6510592, episodic return=816.3204956054688\n", + "global step=6510592, episodic return=851.7969970703125\n", + "global step=6512640, episodic return=846.25830078125\n", + "global step=6512640, episodic return=827.1978759765625\n", + "global step=6512640, episodic return=843.287841796875\n", + "global step=6512640, episodic return=875.6865234375\n", + "global step=6512640, episodic return=866.3912353515625\n", + "global step=6512640, episodic return=904.763916015625\n", + "global step=6512640, episodic return=883.4706420898438\n", + "global step=6512640, episodic return=848.5250854492188\n", + "global step=6512640, episodic return=816.8171997070312\n", + "global step=6512640, episodic return=832.7424926757812\n", + "global step=6514688, episodic return=859.4506225585938\n", + "global step=6514688, episodic return=886.4324340820312\n", + "global step=6514688, episodic return=850.7570190429688\n", + "global step=6514688, episodic return=890.3788452148438\n", + "global step=6514688, episodic return=856.7247924804688\n", + "global step=6514688, episodic return=849.2568969726562\n", + "global step=6516736, episodic return=886.6702880859375\n", + "global step=6516736, episodic return=859.3782348632812\n", + "global step=6516736, episodic return=893.8304443359375\n", + "global step=6516736, episodic return=839.8470458984375\n", + "global step=6516736, episodic return=845.0963134765625\n", + "global step=6516736, episodic return=829.5737915039062\n", + "global step=6518784, episodic return=885.3084716796875\n", + "global step=6518784, episodic return=854.5157470703125\n", + "global step=6518784, episodic return=838.588623046875\n", + "global step=6518784, episodic return=835.99072265625\n", + "global step=6518784, episodic return=876.5433959960938\n", + "global step=6518784, episodic return=882.3612670898438\n", + "global step=6518784, episodic return=849.26318359375\n", + "global step=6518784, episodic return=896.80078125\n", + "global step=6518784, episodic return=883.0391845703125\n", + "global step=6518784, episodic return=845.3578491210938\n", + "global step=6518784, episodic return=885.38037109375\n", + "global step=6520832, episodic return=824.6069946289062\n", + "global step=6520832, episodic return=827.1659545898438\n", + "global step=6520832, episodic return=868.5555419921875\n", + "global step=6520832, episodic return=855.118408203125\n", + "global step=6520832, episodic return=892.6412963867188\n", + "global step=6520832, episodic return=884.07421875\n", + "global step=6520832, episodic return=850.7837524414062\n", + "global step=6522880, episodic return=869.4436645507812\n", + "global step=6522880, episodic return=808.8522338867188\n", + "global step=6522880, episodic return=850.8007202148438\n", + "global step=6522880, episodic return=916.24853515625\n", + "global step=6522880, episodic return=830.0948486328125\n", + "global step=6524928, episodic return=914.9222412109375\n", + "global step=6524928, episodic return=874.07275390625\n", + "global step=6524928, episodic return=881.0553588867188\n", + "global step=6524928, episodic return=858.2107543945312\n", + "global step=6524928, episodic return=887.4170532226562\n", + "global step=6524928, episodic return=908.2357788085938\n", + "global step=6524928, episodic return=885.522705078125\n", + "global step=6526976, episodic return=837.8200073242188\n", + "global step=6526976, episodic return=862.4456176757812\n", + "global step=6526976, episodic return=863.683349609375\n", + "global step=6526976, episodic return=885.0227661132812\n", + "global step=6526976, episodic return=917.4214477539062\n", + "global step=6526976, episodic return=840.9696655273438\n", + "global step=6526976, episodic return=806.8417358398438\n", + "global step=6526976, episodic return=900.7545166015625\n", + "global step=6529024, episodic return=866.4846801757812\n", + "global step=6529024, episodic return=877.5823974609375\n", + "global step=6529024, episodic return=884.5664672851562\n", + "global step=6529024, episodic return=885.521728515625\n", + "global step=6529024, episodic return=870.9988403320312\n", + "global step=6529024, episodic return=891.0400390625\n", + "global step=6529024, episodic return=900.4716186523438\n", + "global step=6529024, episodic return=812.8609008789062\n", + "global step=6529024, episodic return=851.87646484375\n", + "global step=6531072, episodic return=875.6912841796875\n", + "global step=6531072, episodic return=843.1316528320312\n", + "global step=6531072, episodic return=847.9089965820312\n", + "global step=6531072, episodic return=856.2742919921875\n", + "global step=6531072, episodic return=864.4906005859375\n", + "global step=6531072, episodic return=858.7274780273438\n", + "global step=6533120, episodic return=888.5089721679688\n", + "global step=6533120, episodic return=869.453125\n", + "global step=6533120, episodic return=818.1314697265625\n", + "global step=6533120, episodic return=855.10791015625\n", + "global step=6533120, episodic return=867.547119140625\n", + "global step=6533120, episodic return=842.81982421875\n", + "global step=6533120, episodic return=881.0857543945312\n", + "global step=6533120, episodic return=842.8178100585938\n", + "global step=6535168, episodic return=857.677001953125\n", + "global step=6535168, episodic return=855.6365966796875\n", + "global step=6535168, episodic return=881.689697265625\n", + "global step=6535168, episodic return=880.656005859375\n", + "global step=6535168, episodic return=877.8817138671875\n", + "global step=6535168, episodic return=851.9302368164062\n", + "global step=6535168, episodic return=910.6665649414062\n", + "global step=6535168, episodic return=875.7110595703125\n", + "global step=6537216, episodic return=869.2958984375\n", + "global step=6537216, episodic return=890.9642333984375\n", + "global step=6537216, episodic return=873.030029296875\n", + "global step=6537216, episodic return=871.5886840820312\n", + "global step=6537216, episodic return=877.7661743164062\n", + "global step=6539264, episodic return=860.1891479492188\n", + "global step=6539264, episodic return=845.0465698242188\n", + "global step=6539264, episodic return=898.9592895507812\n", + "global step=6539264, episodic return=868.7161254882812\n", + "global step=6539264, episodic return=844.9464721679688\n", + "global step=6539264, episodic return=859.6620483398438\n", + "global step=6539264, episodic return=856.9434204101562\n", + "global step=6539264, episodic return=878.8219604492188\n", + "global step=6541312, episodic return=863.58544921875\n", + "global step=6541312, episodic return=886.4329223632812\n", + "global step=6541312, episodic return=873.1472778320312\n", + "global step=6543360, episodic return=894.587890625\n", + "global step=6543360, episodic return=827.0282592773438\n", + "global step=6543360, episodic return=890.5662841796875\n", + "global step=6543360, episodic return=840.6932983398438\n", + "global step=6543360, episodic return=890.6409301757812\n", + "global step=6543360, episodic return=858.59033203125\n", + "global step=6543360, episodic return=905.4797973632812\n", + "global step=6543360, episodic return=843.5009765625\n", + "global step=6543360, episodic return=858.5858154296875\n", + "global step=6545408, episodic return=863.2628784179688\n", + "global step=6545408, episodic return=898.519775390625\n", + "global step=6545408, episodic return=830.1730346679688\n", + "global step=6547456, episodic return=879.0632934570312\n", + "global step=6547456, episodic return=844.4083862304688\n", + "global step=6547456, episodic return=855.7809448242188\n", + "global step=6547456, episodic return=898.7515258789062\n", + "global step=6547456, episodic return=874.3093872070312\n", + "global step=6547456, episodic return=908.7177124023438\n", + "global step=6549504, episodic return=889.3040771484375\n", + "global step=6549504, episodic return=876.73681640625\n", + "global step=6549504, episodic return=893.2398071289062\n", + "global step=6549504, episodic return=894.7457885742188\n", + "global step=6549504, episodic return=901.5113525390625\n", + "global step=6549504, episodic return=891.8287353515625\n", + "global step=6549504, episodic return=856.95947265625\n", + "global step=6549504, episodic return=894.4989624023438\n", + "global step=6549504, episodic return=868.463134765625\n", + "global step=6551552, episodic return=932.6942138671875\n", + "global step=6551552, episodic return=888.193359375\n", + "global step=6551552, episodic return=875.1719360351562\n", + "global step=6551552, episodic return=869.4750366210938\n", + "global step=6551552, episodic return=898.9479370117188\n", + "global step=6551552, episodic return=868.5104370117188\n", + "global step=6551552, episodic return=874.2030029296875\n", + "global step=6551552, episodic return=894.7825927734375\n", + "global step=6551552, episodic return=855.815185546875\n", + "global step=6553600, episodic return=846.7557373046875\n", + "global step=6553600, episodic return=840.8985595703125\n", + "global step=6553600, episodic return=862.5692138671875\n", + "global step=6553600, episodic return=866.7180786132812\n", + "global step=6553600, episodic return=853.0281372070312\n", + "global step=6553600, episodic return=879.212158203125\n", + "global step=6555648, episodic return=875.6143188476562\n", + "global step=6555648, episodic return=879.6812133789062\n", + "global step=6555648, episodic return=894.1636962890625\n", + "global step=6555648, episodic return=844.073486328125\n", + "global step=6555648, episodic return=877.4029541015625\n", + "global step=6555648, episodic return=879.654052734375\n", + "global step=6555648, episodic return=867.7459716796875\n", + "global step=6557696, episodic return=894.1228637695312\n", + "global step=6557696, episodic return=851.3005981445312\n", + "global step=6557696, episodic return=885.8604125976562\n", + "global step=6557696, episodic return=868.9356079101562\n", + "global step=6557696, episodic return=884.2896118164062\n", + "global step=6557696, episodic return=850.8448486328125\n", + "global step=6557696, episodic return=856.0228271484375\n", + "global step=6557696, episodic return=888.7167358398438\n", + "global step=6557696, episodic return=947.6272583007812\n", + "global step=6557696, episodic return=874.194091796875\n", + "global step=6557696, episodic return=869.67919921875\n", + "global step=6557696, episodic return=881.845947265625\n", + "global step=6557696, episodic return=901.6077270507812\n", + "global step=6559744, episodic return=853.168701171875\n", + "global step=6559744, episodic return=869.6792602539062\n", + "global step=6559744, episodic return=877.7594604492188\n", + "global step=6559744, episodic return=891.2711181640625\n", + "global step=6559744, episodic return=842.9860229492188\n", + "global step=6561792, episodic return=883.59130859375\n", + "global step=6561792, episodic return=848.7686157226562\n", + "global step=6561792, episodic return=846.3057861328125\n", + "global step=6561792, episodic return=843.5175170898438\n", + "global step=6561792, episodic return=869.4404296875\n", + "global step=6561792, episodic return=897.9793701171875\n", + "global step=6561792, episodic return=890.3793334960938\n", + "global step=6563840, episodic return=887.0556030273438\n", + "global step=6563840, episodic return=934.103515625\n", + "global step=6563840, episodic return=879.8295288085938\n", + "global step=6563840, episodic return=873.9540405273438\n", + "global step=6565888, episodic return=837.9280395507812\n", + "global step=6565888, episodic return=875.6198120117188\n", + "global step=6565888, episodic return=877.017333984375\n", + "global step=6565888, episodic return=829.599365234375\n", + "global step=6565888, episodic return=916.42041015625\n", + "global step=6565888, episodic return=872.4127807617188\n", + "global step=6567936, episodic return=894.8385009765625\n", + "global step=6567936, episodic return=887.6557006835938\n", + "global step=6567936, episodic return=924.9221801757812\n", + "global step=6567936, episodic return=906.9307250976562\n", + "global step=6567936, episodic return=855.9170532226562\n", + "global step=6567936, episodic return=912.2477416992188\n", + "global step=6569984, episodic return=878.14306640625\n", + "global step=6569984, episodic return=821.0541381835938\n", + "global step=6569984, episodic return=884.0404663085938\n", + "global step=6569984, episodic return=873.964599609375\n", + "global step=6572032, episodic return=880.2186279296875\n", + "global step=6572032, episodic return=920.6946411132812\n", + "global step=6572032, episodic return=877.5122680664062\n", + "global step=6572032, episodic return=927.2913208007812\n", + "global step=6572032, episodic return=904.6141967773438\n", + "global step=6572032, episodic return=916.2882080078125\n", + "global step=6572032, episodic return=869.3834838867188\n", + "global step=6572032, episodic return=902.1371459960938\n", + "global step=6574080, episodic return=912.52294921875\n", + "global step=6574080, episodic return=881.71875\n", + "global step=6574080, episodic return=892.3226928710938\n", + "global step=6574080, episodic return=911.9234008789062\n", + "global step=6574080, episodic return=885.5936889648438\n", + "global step=6574080, episodic return=874.1044921875\n", + "global step=6574080, episodic return=923.5437622070312\n", + "global step=6574080, episodic return=911.8009643554688\n", + "global step=6574080, episodic return=885.888427734375\n", + "global step=6576128, episodic return=886.220947265625\n", + "global step=6576128, episodic return=867.8877563476562\n", + "global step=6576128, episodic return=928.8418579101562\n", + "global step=6576128, episodic return=903.6310424804688\n", + "global step=6576128, episodic return=892.1929321289062\n", + "global step=6576128, episodic return=923.5211181640625\n", + "global step=6576128, episodic return=874.47705078125\n", + "global step=6576128, episodic return=900.8170166015625\n", + "global step=6578176, episodic return=884.67724609375\n", + "global step=6578176, episodic return=917.0308227539062\n", + "global step=6578176, episodic return=918.4052734375\n", + "global step=6578176, episodic return=911.7433471679688\n", + "global step=6578176, episodic return=915.5018920898438\n", + "global step=6578176, episodic return=877.599365234375\n", + "global step=6578176, episodic return=853.1229248046875\n", + "global step=6580224, episodic return=878.4259643554688\n", + "global step=6580224, episodic return=922.8746948242188\n", + "global step=6580224, episodic return=867.1566772460938\n", + "global step=6580224, episodic return=866.167724609375\n", + "global step=6580224, episodic return=895.7221069335938\n", + "global step=6580224, episodic return=906.8572387695312\n", + "global step=6580224, episodic return=879.4669799804688\n", + "global step=6582272, episodic return=922.0012817382812\n", + "global step=6582272, episodic return=921.1506958007812\n", + "global step=6582272, episodic return=903.0137329101562\n", + "global step=6582272, episodic return=914.7575073242188\n", + "global step=6582272, episodic return=855.6993408203125\n", + "global step=6582272, episodic return=895.9747924804688\n", + "global step=6582272, episodic return=875.191650390625\n", + "global step=6582272, episodic return=869.3660278320312\n", + "global step=6584320, episodic return=871.6776123046875\n", + "global step=6584320, episodic return=867.4974975585938\n", + "global step=6584320, episodic return=893.5485229492188\n", + "global step=6584320, episodic return=899.520751953125\n", + "global step=6586368, episodic return=934.85107421875\n", + "global step=6586368, episodic return=926.9488525390625\n", + "global step=6586368, episodic return=950.35400390625\n", + "global step=6586368, episodic return=877.1370239257812\n", + "global step=6586368, episodic return=934.6890869140625\n", + "global step=6586368, episodic return=866.0558471679688\n", + "global step=6588416, episodic return=931.1450805664062\n", + "global step=6588416, episodic return=891.8422241210938\n", + "global step=6588416, episodic return=934.4655151367188\n", + "global step=6588416, episodic return=883.2026977539062\n", + "global step=6588416, episodic return=911.8742065429688\n", + "global step=6590464, episodic return=882.8616333007812\n", + "global step=6590464, episodic return=905.9193725585938\n", + "global step=6590464, episodic return=892.5586547851562\n", + "global step=6592512, episodic return=876.8958740234375\n", + "global step=6592512, episodic return=893.4428100585938\n", + "global step=6592512, episodic return=853.5808715820312\n", + "global step=6592512, episodic return=903.5186157226562\n", + "global step=6592512, episodic return=900.7029418945312\n", + "global step=6592512, episodic return=902.216064453125\n", + "global step=6592512, episodic return=915.5844116210938\n", + "global step=6594560, episodic return=900.4990234375\n", + "global step=6594560, episodic return=836.868408203125\n", + "global step=6594560, episodic return=910.474365234375\n", + "global step=6594560, episodic return=915.6923828125\n", + "global step=6594560, episodic return=905.0509643554688\n", + "global step=6594560, episodic return=929.8973388671875\n", + "global step=6594560, episodic return=896.056396484375\n", + "global step=6596608, episodic return=913.1912231445312\n", + "global step=6596608, episodic return=882.5006103515625\n", + "global step=6596608, episodic return=890.6466674804688\n", + "global step=6596608, episodic return=831.1754150390625\n", + "global step=6596608, episodic return=868.3807983398438\n", + "global step=6596608, episodic return=896.3324584960938\n", + "global step=6598656, episodic return=902.8101196289062\n", + "global step=6598656, episodic return=888.2017822265625\n", + "global step=6598656, episodic return=904.0992431640625\n", + "global step=6598656, episodic return=883.7890625\n", + "global step=6598656, episodic return=913.8651733398438\n", + "global step=6600704, episodic return=881.2239990234375\n", + "global step=6600704, episodic return=887.9288940429688\n", + "global step=6600704, episodic return=883.3518676757812\n", + "global step=6600704, episodic return=828.9346313476562\n", + "global step=6600704, episodic return=867.9063720703125\n", + "global step=6600704, episodic return=914.6832275390625\n", + "global step=6600704, episodic return=904.9437255859375\n", + "global step=6600704, episodic return=941.2996826171875\n", + "global step=6600704, episodic return=941.822998046875\n", + "global step=6602752, episodic return=900.014404296875\n", + "global step=6602752, episodic return=918.3141479492188\n", + "global step=6602752, episodic return=945.0338134765625\n", + "global step=6602752, episodic return=888.1868896484375\n", + "global step=6602752, episodic return=901.0875244140625\n", + "global step=6604800, episodic return=880.6929931640625\n", + "global step=6604800, episodic return=943.6748046875\n", + "global step=6604800, episodic return=881.0479125976562\n", + "global step=6604800, episodic return=938.069091796875\n", + "global step=6604800, episodic return=906.0308837890625\n", + "global step=6606848, episodic return=881.507568359375\n", + "global step=6606848, episodic return=906.1814575195312\n", + "global step=6606848, episodic return=890.1824951171875\n", + "global step=6606848, episodic return=937.5231323242188\n", + "global step=6606848, episodic return=876.1292114257812\n", + "global step=6606848, episodic return=936.4052734375\n", + "global step=6606848, episodic return=910.5340576171875\n", + "global step=6608896, episodic return=839.059814453125\n", + "global step=6608896, episodic return=932.633544921875\n", + "global step=6608896, episodic return=911.7124633789062\n", + "global step=6610944, episodic return=920.9716796875\n", + "global step=6610944, episodic return=913.7569580078125\n", + "global step=6610944, episodic return=958.5925903320312\n", + "global step=6610944, episodic return=918.4351196289062\n", + "global step=6610944, episodic return=873.0179443359375\n", + "global step=6612992, episodic return=902.4808959960938\n", + "global step=6612992, episodic return=893.51611328125\n", + "global step=6612992, episodic return=920.3141479492188\n", + "global step=6612992, episodic return=940.8923950195312\n", + "global step=6612992, episodic return=895.62109375\n", + "global step=6615040, episodic return=936.2205810546875\n", + "global step=6615040, episodic return=923.0357666015625\n", + "global step=6615040, episodic return=906.6859741210938\n", + "global step=6615040, episodic return=916.5126342773438\n", + "global step=6615040, episodic return=914.86328125\n", + "global step=6615040, episodic return=869.44775390625\n", + "global step=6615040, episodic return=913.2228393554688\n", + "global step=6617088, episodic return=954.9461059570312\n", + "global step=6617088, episodic return=925.0276489257812\n", + "global step=6617088, episodic return=951.8533325195312\n", + "global step=6617088, episodic return=881.341796875\n", + "global step=6617088, episodic return=897.1109619140625\n", + "global step=6617088, episodic return=918.2723388671875\n", + "global step=6617088, episodic return=928.2423706054688\n", + "global step=6617088, episodic return=908.4906616210938\n", + "global step=6619136, episodic return=944.912353515625\n", + "global step=6619136, episodic return=912.3482055664062\n", + "global step=6619136, episodic return=887.0565185546875\n", + "global step=6619136, episodic return=897.9443359375\n", + "global step=6619136, episodic return=900.2719116210938\n", + "global step=6621184, episodic return=937.9666137695312\n", + "global step=6621184, episodic return=893.4136962890625\n", + "global step=6621184, episodic return=944.655029296875\n", + "global step=6621184, episodic return=948.3953857421875\n", + "global step=6621184, episodic return=895.2166748046875\n", + "global step=6621184, episodic return=916.7979736328125\n", + "global step=6621184, episodic return=939.3258056640625\n", + "global step=6621184, episodic return=847.4779663085938\n", + "global step=6621184, episodic return=930.78369140625\n", + "global step=6621184, episodic return=944.8460083007812\n", + "global step=6621184, episodic return=877.7816162109375\n", + "global step=6623232, episodic return=942.739501953125\n", + "global step=6623232, episodic return=935.4196166992188\n", + "global step=6623232, episodic return=900.0888671875\n", + "global step=6623232, episodic return=897.2506103515625\n", + "global step=6623232, episodic return=1000.3655395507812\n", + "global step=6623232, episodic return=880.3566284179688\n", + "global step=6625280, episodic return=907.061767578125\n", + "global step=6625280, episodic return=947.8951416015625\n", + "global step=6625280, episodic return=893.7442016601562\n", + "global step=6627328, episodic return=933.9490966796875\n", + "global step=6627328, episodic return=929.389892578125\n", + "global step=6627328, episodic return=919.64404296875\n", + "global step=6627328, episodic return=950.2413330078125\n", + "global step=6627328, episodic return=921.9755859375\n", + "global step=6627328, episodic return=917.7089233398438\n", + "global step=6627328, episodic return=904.3466796875\n", + "global step=6629376, episodic return=918.11328125\n", + "global step=6629376, episodic return=941.5508422851562\n", + "global step=6629376, episodic return=936.6813354492188\n", + "global step=6629376, episodic return=952.1824340820312\n", + "global step=6629376, episodic return=908.0228881835938\n", + "global step=6629376, episodic return=922.9322509765625\n", + "global step=6629376, episodic return=929.4788208007812\n", + "global step=6631424, episodic return=908.0617065429688\n", + "global step=6631424, episodic return=925.8812866210938\n", + "global step=6631424, episodic return=952.2489013671875\n", + "global step=6631424, episodic return=952.5267333984375\n", + "global step=6631424, episodic return=932.6272583007812\n", + "global step=6633472, episodic return=877.4329833984375\n", + "global step=6633472, episodic return=938.75341796875\n", + "global step=6633472, episodic return=910.7199096679688\n", + "global step=6633472, episodic return=902.481201171875\n", + "global step=6633472, episodic return=926.4500122070312\n", + "global step=6635520, episodic return=966.5253295898438\n", + "global step=6635520, episodic return=945.4765014648438\n", + "global step=6637568, episodic return=925.9110107421875\n", + "global step=6637568, episodic return=926.0866088867188\n", + "global step=6637568, episodic return=890.2706909179688\n", + "global step=6637568, episodic return=949.3909912109375\n", + "global step=6637568, episodic return=901.675537109375\n", + "global step=6637568, episodic return=939.04150390625\n", + "global step=6639616, episodic return=919.447265625\n", + "global step=6639616, episodic return=918.3031616210938\n", + "global step=6641664, episodic return=949.4813842773438\n", + "global step=6641664, episodic return=929.7134399414062\n", + "global step=6641664, episodic return=887.033935546875\n", + "global step=6641664, episodic return=922.1771240234375\n", + "global step=6641664, episodic return=959.0828857421875\n", + "global step=6641664, episodic return=920.8228149414062\n", + "global step=6641664, episodic return=910.6989135742188\n", + "global step=6641664, episodic return=908.7217407226562\n", + "global step=6641664, episodic return=938.4462280273438\n", + "global step=6643712, episodic return=945.85302734375\n", + "global step=6643712, episodic return=942.4076538085938\n", + "global step=6643712, episodic return=913.4879760742188\n", + "global step=6643712, episodic return=952.144287109375\n", + "global step=6645760, episodic return=904.7321166992188\n", + "global step=6645760, episodic return=943.4322509765625\n", + "global step=6645760, episodic return=925.9974975585938\n", + "global step=6645760, episodic return=938.6973876953125\n", + "global step=6647808, episodic return=929.6287841796875\n", + "global step=6647808, episodic return=927.7750854492188\n", + "global step=6647808, episodic return=919.598388671875\n", + "global step=6649856, episodic return=959.2732543945312\n", + "global step=6649856, episodic return=931.8894653320312\n", + "global step=6649856, episodic return=951.581298828125\n", + "global step=6649856, episodic return=946.21044921875\n", + "global step=6649856, episodic return=922.0979614257812\n", + "global step=6649856, episodic return=949.783203125\n", + "global step=6651904, episodic return=953.421630859375\n", + "global step=6651904, episodic return=916.2260131835938\n", + "global step=6651904, episodic return=945.5776977539062\n", + "global step=6651904, episodic return=940.3726196289062\n", + "global step=6651904, episodic return=933.36083984375\n", + "global step=6653952, episodic return=949.4544677734375\n", + "global step=6653952, episodic return=884.10986328125\n", + "global step=6653952, episodic return=966.6310424804688\n", + "global step=6653952, episodic return=971.9533081054688\n", + "global step=6653952, episodic return=954.3195190429688\n", + "global step=6653952, episodic return=927.9298095703125\n", + "global step=6656000, episodic return=887.807373046875\n", + "global step=6656000, episodic return=952.8494873046875\n", + "global step=6656000, episodic return=899.8383178710938\n", + "global step=6656000, episodic return=985.2987670898438\n", + "global step=6656000, episodic return=934.6466674804688\n", + "global step=6658048, episodic return=900.6243896484375\n", + "global step=6658048, episodic return=921.5823974609375\n", + "global step=6658048, episodic return=980.2606201171875\n", + "global step=6658048, episodic return=890.214111328125\n", + "global step=6658048, episodic return=940.7874145507812\n", + "global step=6660096, episodic return=965.0686645507812\n", + "global step=6660096, episodic return=929.8804321289062\n", + "global step=6660096, episodic return=945.5182495117188\n", + "global step=6660096, episodic return=916.2582397460938\n", + "global step=6660096, episodic return=951.8858032226562\n", + "global step=6662144, episodic return=934.313232421875\n", + "global step=6662144, episodic return=953.5574951171875\n", + "global step=6662144, episodic return=954.9163818359375\n", + "global step=6662144, episodic return=874.6529541015625\n", + "global step=6662144, episodic return=966.8050537109375\n", + "global step=6662144, episodic return=982.691162109375\n", + "global step=6662144, episodic return=874.7874145507812\n", + "global step=6662144, episodic return=963.89892578125\n", + "global step=6664192, episodic return=951.297607421875\n", + "global step=6664192, episodic return=927.3070678710938\n", + "global step=6664192, episodic return=914.9938354492188\n", + "global step=6666240, episodic return=943.568603515625\n", + "global step=6666240, episodic return=919.3336181640625\n", + "global step=6666240, episodic return=925.93505859375\n", + "global step=6666240, episodic return=940.3621826171875\n", + "global step=6666240, episodic return=949.5782470703125\n", + "global step=6668288, episodic return=952.7105102539062\n", + "global step=6668288, episodic return=909.7137451171875\n", + "global step=6668288, episodic return=985.0743408203125\n", + "global step=6668288, episodic return=923.2593994140625\n", + "global step=6668288, episodic return=957.6714477539062\n", + "global step=6670336, episodic return=975.3619384765625\n", + "global step=6670336, episodic return=960.152099609375\n", + "global step=6670336, episodic return=921.4264526367188\n", + "global step=6672384, episodic return=955.2479858398438\n", + "global step=6672384, episodic return=990.5233154296875\n", + "global step=6674432, episodic return=975.393798828125\n", + "global step=6674432, episodic return=934.101806640625\n", + "global step=6674432, episodic return=950.9021606445312\n", + "global step=6674432, episodic return=974.0991821289062\n", + "global step=6676480, episodic return=951.4146118164062\n", + "global step=6676480, episodic return=881.029296875\n", + "global step=6676480, episodic return=928.3003540039062\n", + "global step=6678528, episodic return=931.0242919921875\n", + "global step=6678528, episodic return=951.4408569335938\n", + "global step=6680576, episodic return=949.0994262695312\n", + "global step=6682624, episodic return=941.9432373046875\n", + "global step=6682624, episodic return=946.8746337890625\n", + "global step=6682624, episodic return=952.4991455078125\n", + "global step=6682624, episodic return=940.9498901367188\n", + "global step=6684672, episodic return=933.4745483398438\n", + "global step=6684672, episodic return=955.3919067382812\n", + "global step=6684672, episodic return=956.2999877929688\n", + "global step=6686720, episodic return=933.2175903320312\n", + "global step=6686720, episodic return=922.25634765625\n", + "global step=6686720, episodic return=951.9622802734375\n", + "global step=6686720, episodic return=943.5944213867188\n", + "global step=6686720, episodic return=945.7984619140625\n", + "global step=6688768, episodic return=970.3145751953125\n", + "global step=6688768, episodic return=956.7197265625\n", + "global step=6688768, episodic return=981.5635986328125\n", + "global step=6688768, episodic return=946.5006103515625\n", + "global step=6690816, episodic return=969.318359375\n", + "global step=6690816, episodic return=972.1948852539062\n", + "global step=6690816, episodic return=1005.0596313476562\n", + "global step=6690816, episodic return=959.1278076171875\n", + "global step=6690816, episodic return=914.2703247070312\n", + "global step=6690816, episodic return=953.0504150390625\n", + "global step=6692864, episodic return=913.6471557617188\n", + "global step=6694912, episodic return=1026.1617431640625\n", + "global step=6694912, episodic return=972.8765258789062\n", + "global step=6694912, episodic return=966.1234741210938\n", + "global step=6696960, episodic return=987.6475219726562\n", + "global step=6696960, episodic return=977.3358154296875\n", + "global step=6696960, episodic return=967.9932250976562\n", + "global step=6696960, episodic return=930.287109375\n", + "global step=6699008, episodic return=971.1063232421875\n", + "global step=6699008, episodic return=939.5669555664062\n", + "global step=6701056, episodic return=970.01904296875\n", + "global step=6701056, episodic return=945.3231201171875\n", + "global step=6701056, episodic return=947.7874755859375\n", + "global step=6701056, episodic return=941.7525634765625\n", + "global step=6701056, episodic return=938.162353515625\n", + "global step=6703104, episodic return=999.8333740234375\n", + "global step=6703104, episodic return=982.7095947265625\n", + "global step=6703104, episodic return=975.8417358398438\n", + "global step=6703104, episodic return=951.4052734375\n", + "global step=6703104, episodic return=943.8019409179688\n", + "global step=6705152, episodic return=895.633544921875\n", + "global step=6705152, episodic return=984.2860107421875\n", + "global step=6707200, episodic return=962.330810546875\n", + "global step=6707200, episodic return=995.0355834960938\n", + "global step=6707200, episodic return=920.937255859375\n", + "global step=6709248, episodic return=903.0442504882812\n", + "global step=6709248, episodic return=982.3380737304688\n", + "global step=6711296, episodic return=956.7378540039062\n", + "global step=6711296, episodic return=997.7171630859375\n", + "global step=6711296, episodic return=972.7247314453125\n", + "global step=6713344, episodic return=1012.1381225585938\n", + "global step=6713344, episodic return=956.7783203125\n", + "global step=6713344, episodic return=926.4798583984375\n", + "global step=6713344, episodic return=976.2796630859375\n", + "global step=6713344, episodic return=978.5514526367188\n", + "global step=6715392, episodic return=969.9027709960938\n", + "global step=6715392, episodic return=955.328369140625\n", + "global step=6717440, episodic return=914.24560546875\n", + "global step=6717440, episodic return=1004.2158813476562\n", + "global step=6717440, episodic return=945.2633666992188\n", + "global step=6719488, episodic return=971.9410400390625\n", + "global step=6719488, episodic return=990.1248779296875\n", + "global step=6719488, episodic return=991.9822387695312\n", + "global step=6719488, episodic return=937.1939697265625\n", + "global step=6721536, episodic return=959.2603149414062\n", + "global step=6721536, episodic return=998.99365234375\n", + "global step=6721536, episodic return=906.8584594726562\n", + "global step=6721536, episodic return=977.1561889648438\n", + "global step=6721536, episodic return=958.68408203125\n", + "global step=6723584, episodic return=989.783447265625\n", + "global step=6723584, episodic return=975.3775634765625\n", + "global step=6723584, episodic return=1014.9022216796875\n", + "global step=6725632, episodic return=1000.6513061523438\n", + "global step=6725632, episodic return=978.7608032226562\n", + "global step=6725632, episodic return=961.010498046875\n", + "global step=6725632, episodic return=950.273193359375\n", + "global step=6725632, episodic return=980.7384033203125\n", + "global step=6727680, episodic return=932.6133422851562\n", + "global step=6727680, episodic return=973.5931396484375\n", + "global step=6729728, episodic return=961.3733520507812\n", + "global step=6729728, episodic return=1002.5459594726562\n", + "global step=6731776, episodic return=1004.2724609375\n", + "global step=6731776, episodic return=1008.3229370117188\n", + "global step=6731776, episodic return=987.8637084960938\n", + "global step=6731776, episodic return=1003.9322509765625\n", + "global step=6731776, episodic return=994.7860107421875\n", + "global step=6733824, episodic return=964.787353515625\n", + "global step=6733824, episodic return=996.2493896484375\n", + "global step=6733824, episodic return=1020.1160278320312\n", + "global step=6733824, episodic return=1036.131591796875\n", + "global step=6733824, episodic return=913.1530151367188\n", + "global step=6735872, episodic return=926.1563110351562\n", + "global step=6735872, episodic return=996.33203125\n", + "global step=6735872, episodic return=1004.5343017578125\n", + "global step=6735872, episodic return=1007.4409790039062\n", + "global step=6737920, episodic return=979.8909301757812\n", + "global step=6737920, episodic return=984.8150024414062\n", + "global step=6737920, episodic return=990.2942504882812\n", + "global step=6737920, episodic return=950.3905029296875\n", + "global step=6739968, episodic return=1009.5869750976562\n", + "global step=6742016, episodic return=977.8797607421875\n", + "global step=6744064, episodic return=1021.8468627929688\n", + "global step=6744064, episodic return=970.4013061523438\n", + "global step=6744064, episodic return=945.911376953125\n", + "global step=6746112, episodic return=917.961181640625\n", + "global step=6746112, episodic return=983.5731201171875\n", + "global step=6748160, episodic return=978.8053588867188\n", + "global step=6748160, episodic return=1002.2706298828125\n", + "global step=6748160, episodic return=965.2777709960938\n", + "global step=6748160, episodic return=1011.815673828125\n", + "global step=6748160, episodic return=977.5421142578125\n", + "global step=6748160, episodic return=1006.4820556640625\n", + "global step=6748160, episodic return=993.8486328125\n", + "global step=6748160, episodic return=972.2317504882812\n", + "global step=6750208, episodic return=1002.380615234375\n", + "global step=6750208, episodic return=1065.2462158203125\n", + "global step=6752256, episodic return=986.2449340820312\n", + "global step=6752256, episodic return=1010.222900390625\n", + "global step=6752256, episodic return=1001.97314453125\n", + "global step=6752256, episodic return=966.734130859375\n", + "global step=6752256, episodic return=986.5474853515625\n", + "global step=6752256, episodic return=940.8760375976562\n", + "global step=6752256, episodic return=1004.819091796875\n", + "global step=6754304, episodic return=972.95947265625\n", + "global step=6756352, episodic return=1018.7001342773438\n", + "global step=6756352, episodic return=979.5381469726562\n", + "global step=6756352, episodic return=975.7837524414062\n", + "global step=6756352, episodic return=990.34912109375\n", + "global step=6756352, episodic return=984.469970703125\n", + "global step=6758400, episodic return=989.6168212890625\n", + "global step=6758400, episodic return=950.7413330078125\n", + "global step=6758400, episodic return=1005.5142822265625\n", + "global step=6760448, episodic return=1005.277587890625\n", + "global step=6760448, episodic return=1064.389892578125\n", + "global step=6762496, episodic return=1023.9776611328125\n", + "global step=6762496, episodic return=934.32470703125\n", + "global step=6762496, episodic return=939.51123046875\n", + "global step=6764544, episodic return=1025.8792724609375\n", + "global step=6764544, episodic return=1036.63916015625\n", + "global step=6764544, episodic return=989.23291015625\n", + "global step=6764544, episodic return=965.4385986328125\n", + "global step=6764544, episodic return=1063.390625\n", + "global step=6766592, episodic return=965.2151489257812\n", + "global step=6768640, episodic return=959.7335815429688\n", + "global step=6768640, episodic return=1037.75048828125\n", + "global step=6768640, episodic return=936.61572265625\n", + "global step=6770688, episodic return=1052.09423828125\n", + "global step=6772736, episodic return=1012.3924560546875\n", + "global step=6774784, episodic return=996.1161499023438\n", + "global step=6774784, episodic return=1017.4476928710938\n", + "global step=6776832, episodic return=970.5007934570312\n", + "global step=6776832, episodic return=1022.2978515625\n", + "global step=6778880, episodic return=1080.40576171875\n", + "global step=6780928, episodic return=1011.14892578125\n", + "global step=6780928, episodic return=927.8258056640625\n", + "global step=6782976, episodic return=955.3046875\n", + "global step=6782976, episodic return=989.86669921875\n", + "global step=6782976, episodic return=998.7626342773438\n", + "global step=6782976, episodic return=1027.1556396484375\n", + "global step=6785024, episodic return=1043.795654296875\n", + "global step=6785024, episodic return=1029.7333984375\n", + "global step=6785024, episodic return=1024.277587890625\n", + "global step=6787072, episodic return=950.9130249023438\n", + "global step=6787072, episodic return=1024.4794921875\n", + "global step=6787072, episodic return=970.6744995117188\n", + "global step=6789120, episodic return=999.062255859375\n", + "global step=6789120, episodic return=1043.579833984375\n", + "global step=6789120, episodic return=977.7495727539062\n", + "global step=6789120, episodic return=1012.2733764648438\n", + "global step=6791168, episodic return=985.7689208984375\n", + "global step=6793216, episodic return=1075.4671630859375\n", + "global step=6793216, episodic return=982.74560546875\n", + "global step=6793216, episodic return=1031.5404052734375\n", + "global step=6793216, episodic return=1084.5767822265625\n", + "global step=6793216, episodic return=970.3788452148438\n", + "global step=6793216, episodic return=983.4163818359375\n", + "global step=6795264, episodic return=1032.3172607421875\n", + "global step=6797312, episodic return=1030.9071044921875\n", + "global step=6799360, episodic return=1026.3778076171875\n", + "global step=6801408, episodic return=1051.0126953125\n", + "global step=6803456, episodic return=998.9862670898438\n", + "global step=6805504, episodic return=1056.5162353515625\n", + "global step=6807552, episodic return=1055.4989013671875\n", + "global step=6809600, episodic return=1068.69384765625\n", + "global step=6809600, episodic return=1017.0411376953125\n", + "global step=6811648, episodic return=1049.092529296875\n", + "global step=6811648, episodic return=975.3673095703125\n", + "global step=6813696, episodic return=1023.9686889648438\n", + "global step=6813696, episodic return=1005.78271484375\n", + "global step=6815744, episodic return=1011.3323364257812\n", + "global step=6817792, episodic return=1015.806884765625\n", + "global step=6817792, episodic return=1018.1406860351562\n", + "global step=6819840, episodic return=1010.46044921875\n", + "global step=6819840, episodic return=966.0632934570312\n", + "global step=6819840, episodic return=1062.0670166015625\n", + "global step=6819840, episodic return=1072.166748046875\n", + "global step=6821888, episodic return=995.53369140625\n", + "global step=6821888, episodic return=978.3075561523438\n", + "global step=6821888, episodic return=1040.1549072265625\n", + "global step=6823936, episodic return=1062.70947265625\n", + "global step=6823936, episodic return=1060.9345703125\n", + "global step=6825984, episodic return=1059.538818359375\n", + "global step=6825984, episodic return=1016.2996215820312\n", + "global step=6828032, episodic return=1068.9256591796875\n", + "global step=6828032, episodic return=1041.638427734375\n", + "global step=6828032, episodic return=1060.1439208984375\n", + "global step=6830080, episodic return=1001.9028930664062\n", + "global step=6830080, episodic return=1025.543212890625\n", + "global step=6832128, episodic return=1047.058837890625\n", + "global step=6834176, episodic return=943.7861938476562\n", + "global step=6834176, episodic return=1103.6361083984375\n", + "global step=6834176, episodic return=945.7862548828125\n", + "global step=6834176, episodic return=1101.2454833984375\n", + "global step=6836224, episodic return=1000.5855712890625\n", + "global step=6838272, episodic return=1090.8443603515625\n", + "global step=6838272, episodic return=996.3483276367188\n", + "global step=6840320, episodic return=1063.2247314453125\n", + "global step=6840320, episodic return=1059.182373046875\n", + "global step=6840320, episodic return=1102.6138916015625\n", + "global step=6842368, episodic return=1004.9878540039062\n", + "global step=6842368, episodic return=998.5120239257812\n", + "global step=6844416, episodic return=1073.758056640625\n", + "global step=6844416, episodic return=977.2240600585938\n", + "global step=6846464, episodic return=1075.9039306640625\n", + "global step=6846464, episodic return=1016.1027221679688\n", + "global step=6846464, episodic return=1051.5950927734375\n", + "global step=6846464, episodic return=1041.675048828125\n", + "global step=6848512, episodic return=1061.0325927734375\n", + "global step=6848512, episodic return=1065.6429443359375\n", + "global step=6850560, episodic return=1030.1510009765625\n", + "global step=6852608, episodic return=1120.1865234375\n", + "global step=6852608, episodic return=1050.0609130859375\n", + "global step=6852608, episodic return=1018.5906372070312\n", + "global step=6852608, episodic return=1056.682861328125\n", + "global step=6854656, episodic return=1025.318115234375\n", + "global step=6856704, episodic return=1069.2945556640625\n", + "global step=6856704, episodic return=1097.998291015625\n", + "global step=6856704, episodic return=1067.44775390625\n", + "global step=6856704, episodic return=1088.0159912109375\n", + "global step=6860800, episodic return=1066.9130859375\n", + "global step=6862848, episodic return=1097.875244140625\n", + "global step=6864896, episodic return=1023.7799682617188\n", + "global step=6871040, episodic return=1025.6893310546875\n", + "global step=6873088, episodic return=1021.074462890625\n", + "global step=6873088, episodic return=1135.75927734375\n", + "global step=6875136, episodic return=1114.445556640625\n", + "global step=6875136, episodic return=990.1983642578125\n", + "global step=6875136, episodic return=1109.1817626953125\n", + "global step=6877184, episodic return=1014.1607666015625\n", + "global step=6877184, episodic return=1100.0184326171875\n", + "global step=6877184, episodic return=1106.1549072265625\n", + "global step=6879232, episodic return=1026.176513671875\n", + "global step=6881280, episodic return=1100.0203857421875\n", + "global step=6885376, episodic return=1063.1292724609375\n", + "global step=6889472, episodic return=940.070068359375\n", + "global step=6889472, episodic return=1040.462646484375\n", + "global step=6891520, episodic return=963.2062377929688\n", + "global step=6893568, episodic return=1112.3583984375\n", + "global step=6895616, episodic return=1101.9205322265625\n", + "global step=6895616, episodic return=1150.5789794921875\n", + "global step=6899712, episodic return=1080.05224609375\n", + "global step=6899712, episodic return=1116.3516845703125\n", + "global step=6901760, episodic return=1023.2434692382812\n", + "global step=6903808, episodic return=1104.66162109375\n", + "global step=6905856, episodic return=1075.49072265625\n", + "global step=6907904, episodic return=1126.4014892578125\n", + "global step=6907904, episodic return=1095.690185546875\n", + "global step=6909952, episodic return=1005.717041015625\n", + "global step=6909952, episodic return=1094.0118408203125\n", + "global step=6909952, episodic return=1145.0340576171875\n", + "global step=6912000, episodic return=1153.7135009765625\n", + "global step=6912000, episodic return=1122.516357421875\n", + "global step=6914048, episodic return=1084.347900390625\n", + "global step=6914048, episodic return=1179.7113037109375\n", + "global step=6916096, episodic return=1113.4923095703125\n", + "global step=6916096, episodic return=1136.132080078125\n", + "global step=6918144, episodic return=1119.39990234375\n", + "global step=6922240, episodic return=1056.12109375\n", + "global step=6922240, episodic return=1137.7406005859375\n", + "global step=6922240, episodic return=1085.887451171875\n", + "global step=6924288, episodic return=1140.0595703125\n", + "global step=6926336, episodic return=1112.58935546875\n", + "global step=6930432, episodic return=1098.8563232421875\n", + "global step=6930432, episodic return=1109.3270263671875\n", + "global step=6930432, episodic return=1155.0687255859375\n", + "global step=6932480, episodic return=1173.9368896484375\n", + "global step=6934528, episodic return=1175.9521484375\n", + "global step=6934528, episodic return=1133.0079345703125\n", + "global step=6936576, episodic return=1167.8629150390625\n", + "global step=6936576, episodic return=1145.78466796875\n", + "global step=6940672, episodic return=1062.9638671875\n", + "global step=6940672, episodic return=1180.1134033203125\n", + "global step=6942720, episodic return=1138.6353759765625\n", + "global step=6944768, episodic return=1099.9183349609375\n", + "global step=6946816, episodic return=1048.759033203125\n", + "global step=6946816, episodic return=1085.009521484375\n", + "global step=6948864, episodic return=1156.4053955078125\n", + "global step=6950912, episodic return=1155.392333984375\n", + "global step=6952960, episodic return=1154.5946044921875\n", + "global step=6955008, episodic return=1178.2845458984375\n", + "global step=6959104, episodic return=1025.7586669921875\n", + "global step=6959104, episodic return=1080.1912841796875\n", + "global step=6959104, episodic return=1152.9537353515625\n", + "global step=6959104, episodic return=1144.1788330078125\n", + "global step=6961152, episodic return=1095.38232421875\n", + "global step=6965248, episodic return=1108.3035888671875\n", + "global step=6965248, episodic return=1114.28076171875\n", + "global step=6965248, episodic return=1059.7054443359375\n", + "global step=6967296, episodic return=1137.1361083984375\n", + "global step=6971392, episodic return=1124.6708984375\n", + "global step=6973440, episodic return=1145.36328125\n", + "global step=6973440, episodic return=1082.8721923828125\n", + "global step=6973440, episodic return=1211.981201171875\n", + "global step=6979584, episodic return=1197.9632568359375\n", + "global step=6979584, episodic return=1189.4385986328125\n", + "global step=6979584, episodic return=1212.7860107421875\n", + "global step=6979584, episodic return=1172.3724365234375\n", + "global step=6985728, episodic return=1060.573486328125\n", + "global step=6989824, episodic return=1115.7855224609375\n", + "global step=6989824, episodic return=1186.1087646484375\n", + "global step=6991872, episodic return=1176.5499267578125\n", + "global step=6993920, episodic return=1115.37109375\n", + "global step=6995968, episodic return=1146.77490234375\n", + "global step=6998016, episodic return=1122.470947265625\n", + "global step=6998016, episodic return=1125.4857177734375\n", + "global step=7002112, episodic return=1102.1805419921875\n", + "global step=7002112, episodic return=1141.05322265625\n", + "global step=7004160, episodic return=1140.568603515625\n", + "global step=7006208, episodic return=1155.301025390625\n", + "global step=7006208, episodic return=1199.58544921875\n", + "global step=7006208, episodic return=1159.1619873046875\n", + "global step=7006208, episodic return=1136.5220947265625\n", + "global step=7006208, episodic return=1179.394775390625\n", + "global step=7008256, episodic return=1275.861328125\n", + "global step=7010304, episodic return=1189.510986328125\n", + "global step=7012352, episodic return=1137.9759521484375\n", + "global step=7014400, episodic return=1200.23193359375\n", + "global step=7018496, episodic return=1168.1046142578125\n", + "global step=7022592, episodic return=1175.29833984375\n", + "global step=7024640, episodic return=1186.76416015625\n", + "global step=7026688, episodic return=1225.68896484375\n", + "global step=7026688, episodic return=1208.47802734375\n", + "global step=7030784, episodic return=1220.2373046875\n", + "global step=7034880, episodic return=1234.63671875\n", + "global step=7036928, episodic return=1198.2091064453125\n", + "global step=7036928, episodic return=1144.652099609375\n", + "global step=7036928, episodic return=1148.590576171875\n", + "global step=7038976, episodic return=1224.2584228515625\n", + "global step=7041024, episodic return=1183.678955078125\n", + "global step=7043072, episodic return=1227.0499267578125\n", + "global step=7043072, episodic return=1105.6197509765625\n", + "global step=7043072, episodic return=1205.09765625\n", + "global step=7051264, episodic return=1236.3934326171875\n", + "global step=7051264, episodic return=1230.831787109375\n", + "global step=7051264, episodic return=1165.1090087890625\n", + "global step=7053312, episodic return=1260.91162109375\n", + "global step=7053312, episodic return=1277.24755859375\n", + "global step=7055360, episodic return=1181.6083984375\n", + "global step=7059456, episodic return=1184.239013671875\n", + "global step=7061504, episodic return=1280.3533935546875\n", + "global step=7065600, episodic return=1183.0250244140625\n", + "global step=7067648, episodic return=1248.305908203125\n", + "global step=7069696, episodic return=1248.4112548828125\n", + "global step=7071744, episodic return=1161.1627197265625\n", + "global step=7071744, episodic return=1208.2625732421875\n", + "global step=7071744, episodic return=1263.1614990234375\n", + "global step=7073792, episodic return=1271.0335693359375\n", + "global step=7073792, episodic return=1131.9488525390625\n", + "global step=7075840, episodic return=1198.148193359375\n", + "global step=7077888, episodic return=1199.8035888671875\n", + "global step=7079936, episodic return=1224.128662109375\n", + "global step=7079936, episodic return=1206.8094482421875\n", + "global step=7079936, episodic return=1267.657958984375\n", + "global step=7081984, episodic return=1259.399658203125\n", + "global step=7086080, episodic return=1281.6444091796875\n", + "global step=7092224, episodic return=1325.3956298828125\n", + "global step=7096320, episodic return=1308.0823974609375\n", + "global step=7096320, episodic return=1315.4462890625\n", + "global step=7096320, episodic return=1287.054931640625\n", + "global step=7102464, episodic return=1267.3267822265625\n", + "global step=7104512, episodic return=1253.3177490234375\n", + "global step=7106560, episodic return=1113.5458984375\n", + "global step=7106560, episodic return=1281.5826416015625\n", + "global step=7108608, episodic return=1218.9324951171875\n", + "global step=7110656, episodic return=1235.357421875\n", + "global step=7110656, episodic return=1229.897705078125\n", + "global step=7114752, episodic return=1150.41552734375\n", + "global step=7114752, episodic return=1210.9873046875\n", + "global step=7116800, episodic return=1277.5545654296875\n", + "global step=7116800, episodic return=1234.9384765625\n", + "global step=7116800, episodic return=1260.8511962890625\n", + "global step=7118848, episodic return=1297.6927490234375\n", + "global step=7118848, episodic return=1207.4207763671875\n", + "global step=7118848, episodic return=1225.6724853515625\n", + "global step=7120896, episodic return=1303.878173828125\n", + "global step=7120896, episodic return=1253.689453125\n", + "global step=7120896, episodic return=1207.2557373046875\n", + "global step=7122944, episodic return=1225.5299072265625\n", + "global step=7129088, episodic return=1270.796630859375\n", + "global step=7129088, episodic return=1185.0400390625\n", + "global step=7133184, episodic return=1310.921875\n", + "global step=7135232, episodic return=1276.0565185546875\n", + "global step=7135232, episodic return=1263.137451171875\n", + "global step=7137280, episodic return=1259.774658203125\n", + "global step=7149568, episodic return=1239.428466796875\n", + "global step=7149568, episodic return=1207.5263671875\n", + "global step=7149568, episodic return=1287.71484375\n", + "global step=7153664, episodic return=1229.5338134765625\n", + "global step=7157760, episodic return=1305.4921875\n", + "global step=7157760, episodic return=1248.22021484375\n", + "global step=7161856, episodic return=1274.1236572265625\n", + "global step=7161856, episodic return=1250.612548828125\n", + "global step=7168000, episodic return=1360.87646484375\n", + "global step=7170048, episodic return=1326.3946533203125\n", + "global step=7174144, episodic return=1235.1307373046875\n", + "global step=7174144, episodic return=1059.2265625\n", + "global step=7176192, episodic return=1344.6322021484375\n", + "global step=7176192, episodic return=1209.84326171875\n", + "global step=7178240, episodic return=1145.454833984375\n", + "global step=7178240, episodic return=1357.76318359375\n", + "global step=7178240, episodic return=1332.6357421875\n", + "global step=7180288, episodic return=1296.654296875\n", + "global step=7180288, episodic return=1203.6982421875\n", + "global step=7182336, episodic return=1326.2645263671875\n", + "global step=7186432, episodic return=1309.628173828125\n", + "global step=7198720, episodic return=1260.669921875\n", + "global step=7198720, episodic return=1260.6083984375\n", + "global step=7200768, episodic return=1238.1474609375\n", + "global step=7206912, episodic return=1329.36572265625\n", + "global step=7208960, episodic return=1265.9066162109375\n", + "global step=7211008, episodic return=1381.7437744140625\n", + "global step=7211008, episodic return=1280.6004638671875\n", + "global step=7217152, episodic return=1285.8675537109375\n", + "global step=7223296, episodic return=1245.570556640625\n", + "global step=7225344, episodic return=1304.6995849609375\n", + "global step=7225344, episodic return=1302.464599609375\n", + "global step=7229440, episodic return=1398.6236572265625\n", + "global step=7233536, episodic return=1291.18798828125\n", + "global step=7233536, episodic return=1355.074951171875\n", + "global step=7233536, episodic return=1260.654541015625\n", + "global step=7249920, episodic return=1212.078125\n", + "global step=7258112, episodic return=1222.229736328125\n", + "global step=7258112, episodic return=1439.94287109375\n", + "global step=7264256, episodic return=1351.221435546875\n", + "global step=7264256, episodic return=1293.7918701171875\n", + "global step=7264256, episodic return=1427.797607421875\n", + "global step=7264256, episodic return=1308.714111328125\n", + "global step=7270400, episodic return=1310.9940185546875\n", + "global step=7274496, episodic return=1396.4266357421875\n", + "global step=7274496, episodic return=1284.036376953125\n", + "global step=7276544, episodic return=1026.008056640625\n", + "global step=7276544, episodic return=1317.313720703125\n", + "global step=7276544, episodic return=1338.3297119140625\n", + "global step=7276544, episodic return=1379.6236572265625\n", + "global step=7278592, episodic return=1327.2525634765625\n", + "global step=7282688, episodic return=1418.0618896484375\n", + "global step=7288832, episodic return=1296.8411865234375\n", + "global step=7292928, episodic return=1444.668701171875\n", + "global step=7299072, episodic return=1319.6419677734375\n", + "global step=7305216, episodic return=1484.7152099609375\n", + "global step=7307264, episodic return=1123.9659423828125\n", + "global step=7313408, episodic return=1466.1429443359375\n", + "global step=7313408, episodic return=1413.935302734375\n", + "global step=7323648, episodic return=1381.4609375\n", + "global step=7323648, episodic return=1359.133544921875\n", + "global step=7327744, episodic return=1383.0784912109375\n", + "global step=7327744, episodic return=1330.126708984375\n", + "global step=7327744, episodic return=1425.9984130859375\n", + "global step=7329792, episodic return=1349.9781494140625\n", + "global step=7342080, episodic return=1258.919189453125\n", + "global step=7348224, episodic return=1348.7437744140625\n", + "global step=7348224, episodic return=1393.2960205078125\n", + "global step=7348224, episodic return=1422.31005859375\n", + "global step=7350272, episodic return=1405.400146484375\n", + "global step=7360512, episodic return=1420.7242431640625\n", + "global step=7362560, episodic return=1444.6082763671875\n", + "global step=7364608, episodic return=1444.253173828125\n", + "global step=7368704, episodic return=1038.9373779296875\n", + "global step=7372800, episodic return=1445.96435546875\n", + "global step=7374848, episodic return=1489.8240966796875\n", + "global step=7380992, episodic return=1496.29736328125\n", + "global step=7389184, episodic return=1579.316650390625\n", + "global step=7391232, episodic return=1447.0130615234375\n", + "global step=7397376, episodic return=1491.63623046875\n", + "global step=7407616, episodic return=1048.539794921875\n", + "global step=7411712, episodic return=1330.1546630859375\n", + "global step=7413760, episodic return=1443.8004150390625\n", + "global step=7415808, episodic return=1500.108154296875\n", + "global step=7415808, episodic return=1497.1619873046875\n", + "global step=7417856, episodic return=1531.904052734375\n", + "global step=7419904, episodic return=1358.9886474609375\n", + "global step=7421952, episodic return=1514.3397216796875\n", + "global step=7421952, episodic return=1454.797607421875\n", + "global step=7421952, episodic return=1278.6361083984375\n", + "global step=7434240, episodic return=1295.98046875\n", + "global step=7438336, episodic return=1475.82568359375\n", + "global step=7440384, episodic return=1481.670654296875\n", + "global step=7440384, episodic return=1511.274658203125\n", + "global step=7440384, episodic return=1478.0567626953125\n", + "global step=7446528, episodic return=1436.4056396484375\n", + "global step=7456768, episodic return=1406.77783203125\n", + "global step=7456768, episodic return=1522.07421875\n", + "global step=7462912, episodic return=1086.456787109375\n", + "global step=7481344, episodic return=1531.8577880859375\n", + "global step=7481344, episodic return=1495.804443359375\n", + "global step=7483392, episodic return=1471.4561767578125\n", + "global step=7495680, episodic return=1253.5838623046875\n", + "global step=7497728, episodic return=1144.7115478515625\n", + "global step=7497728, episodic return=1541.48828125\n", + "global step=7499776, episodic return=1245.003662109375\n", + "global step=7505920, episodic return=1557.304443359375\n", + "global step=7512064, episodic return=1437.1943359375\n", + "global step=7514112, episodic return=1590.18896484375\n", + "global step=7518208, episodic return=1682.1610107421875\n", + "global step=7534592, episodic return=1438.1766357421875\n", + "global step=7540736, episodic return=1487.7423095703125\n", + "global step=7540736, episodic return=1596.6260986328125\n", + "global step=7542784, episodic return=1661.7540283203125\n", + "global step=7544832, episodic return=1672.973876953125\n", + "global step=7565312, episodic return=1664.9527587890625\n", + "global step=7569408, episodic return=1299.7562255859375\n", + "global step=7579648, episodic return=1623.6298828125\n", + "global step=7591936, episodic return=1645.3177490234375\n", + "global step=7591936, episodic return=1641.4007568359375\n", + "global step=7596032, episodic return=1674.9561767578125\n", + "global step=7598080, episodic return=1651.2384033203125\n", + "global step=7598080, episodic return=1631.192138671875\n", + "global step=7600128, episodic return=1603.783447265625\n", + "global step=7600128, episodic return=1496.2147216796875\n", + "global step=7600128, episodic return=998.1741333007812\n", + "global step=7604224, episodic return=1574.8375244140625\n", + "global step=7604224, episodic return=1506.2489013671875\n", + "global step=7604224, episodic return=1601.130126953125\n", + "global step=7606272, episodic return=1622.749267578125\n", + "global step=7608320, episodic return=1585.02783203125\n", + "global step=7608320, episodic return=1634.4830322265625\n", + "global step=7610368, episodic return=1567.232177734375\n", + "global step=7614464, episodic return=1589.51220703125\n", + "global step=7614464, episodic return=1641.1405029296875\n", + "global step=7618560, episodic return=1661.6259765625\n", + "global step=7618560, episodic return=1640.8026123046875\n", + "global step=7618560, episodic return=1635.2794189453125\n", + "global step=7618560, episodic return=1284.32568359375\n", + "global step=7624704, episodic return=1530.81982421875\n", + "global step=7624704, episodic return=1576.0118408203125\n", + "global step=7626752, episodic return=1668.220703125\n", + "global step=7628800, episodic return=1237.52001953125\n", + "global step=7628800, episodic return=1663.5850830078125\n", + "global step=7632896, episodic return=1551.0614013671875\n", + "global step=7639040, episodic return=1624.689697265625\n", + "global step=7639040, episodic return=1673.6488037109375\n", + "global step=7645184, episodic return=926.6263427734375\n", + "global step=7647232, episodic return=1620.332275390625\n", + "global step=7651328, episodic return=1599.2913818359375\n", + "global step=7651328, episodic return=1599.7640380859375\n", + "global step=7653376, episodic return=1635.9195556640625\n", + "global step=7657472, episodic return=1595.68115234375\n", + "global step=7657472, episodic return=1615.3699951171875\n", + "global step=7659520, episodic return=982.2562866210938\n", + "global step=7665664, episodic return=1591.128662109375\n", + "global step=7665664, episodic return=1660.6121826171875\n", + "global step=7669760, episodic return=1582.0428466796875\n", + "global step=7669760, episodic return=1633.7227783203125\n", + "global step=7671808, episodic return=1215.7001953125\n", + "global step=7671808, episodic return=1567.192138671875\n", + "global step=7673856, episodic return=1161.37109375\n", + "global step=7675904, episodic return=1610.63525390625\n", + "global step=7677952, episodic return=1621.23681640625\n", + "global step=7680000, episodic return=1609.10986328125\n", + "global step=7682048, episodic return=1276.9339599609375\n", + "global step=7682048, episodic return=1627.30224609375\n", + "global step=7682048, episodic return=1655.7027587890625\n", + "global step=7682048, episodic return=1402.449462890625\n", + "global step=7684096, episodic return=1624.437255859375\n", + "global step=7686144, episodic return=1614.6134033203125\n", + "global step=7686144, episodic return=1639.833984375\n", + "global step=7686144, episodic return=1663.0240478515625\n", + "global step=7688192, episodic return=1056.6761474609375\n", + "global step=7688192, episodic return=1617.927001953125\n", + "global step=7702528, episodic return=1573.9100341796875\n", + "global step=7704576, episodic return=1638.5108642578125\n", + "global step=7706624, episodic return=1616.2125244140625\n", + "global step=7708672, episodic return=1600.7196044921875\n", + "global step=7710720, episodic return=1588.29296875\n", + "global step=7712768, episodic return=1627.233154296875\n", + "global step=7714816, episodic return=1595.8966064453125\n", + "global step=7714816, episodic return=1621.7171630859375\n", + "global step=7716864, episodic return=1330.3641357421875\n", + "global step=7718912, episodic return=1299.9527587890625\n", + "global step=7718912, episodic return=1579.1923828125\n", + "global step=7720960, episodic return=883.0933227539062\n", + "global step=7723008, episodic return=1597.1436767578125\n", + "global step=7725056, episodic return=1033.1357421875\n", + "global step=7729152, episodic return=1597.7783203125\n", + "global step=7729152, episodic return=1619.8592529296875\n", + "global step=7731200, episodic return=1342.0357666015625\n", + "global step=7733248, episodic return=1662.4615478515625\n", + "global step=7735296, episodic return=1653.1414794921875\n", + "global step=7737344, episodic return=1592.6298828125\n", + "global step=7743488, episodic return=1591.2933349609375\n", + "global step=7743488, episodic return=1646.28955078125\n", + "global step=7745536, episodic return=1604.95654296875\n", + "global step=7747584, episodic return=1630.516357421875\n", + "global step=7751680, episodic return=1604.4693603515625\n", + "global step=7751680, episodic return=1574.9478759765625\n", + "global step=7751680, episodic return=1607.1693115234375\n", + "global step=7753728, episodic return=1616.2510986328125\n", + "global step=7755776, episodic return=1663.5833740234375\n", + "global step=7763968, episodic return=1577.5706787109375\n", + "global step=7770112, episodic return=1638.8519287109375\n", + "global step=7770112, episodic return=945.4449462890625\n", + "global step=7770112, episodic return=1191.0548095703125\n", + "global step=7772160, episodic return=1585.5635986328125\n", + "global step=7774208, episodic return=1117.7259521484375\n", + "global step=7778304, episodic return=1603.1837158203125\n", + "global step=7780352, episodic return=1145.3173828125\n", + "global step=7782400, episodic return=971.487548828125\n", + "global step=7782400, episodic return=1573.2547607421875\n", + "global step=7784448, episodic return=1595.4234619140625\n", + "global step=7790592, episodic return=1145.168212890625\n", + "global step=7790592, episodic return=1567.5528564453125\n", + "global step=7798784, episodic return=1590.6656494140625\n", + "global step=7800832, episodic return=982.859375\n", + "global step=7800832, episodic return=1569.6463623046875\n", + "global step=7800832, episodic return=1606.812255859375\n", + "global step=7804928, episodic return=1600.1729736328125\n", + "global step=7809024, episodic return=1200.4588623046875\n", + "global step=7813120, episodic return=1599.4085693359375\n", + "global step=7817216, episodic return=1638.1973876953125\n", + "global step=7817216, episodic return=1066.7354736328125\n", + "global step=7819264, episodic return=1107.9208984375\n", + "global step=7819264, episodic return=1255.956298828125\n", + "global step=7821312, episodic return=1243.3968505859375\n", + "global step=7821312, episodic return=1605.965087890625\n", + "global step=7821312, episodic return=1592.1619873046875\n", + "global step=7825408, episodic return=1612.5067138671875\n", + "global step=7825408, episodic return=1179.03125\n", + "global step=7827456, episodic return=1575.151123046875\n", + "global step=7829504, episodic return=1066.73974609375\n", + "global step=7833600, episodic return=1570.742431640625\n", + "global step=7835648, episodic return=1107.936279296875\n", + "global step=7835648, episodic return=1562.6641845703125\n", + "global step=7835648, episodic return=1563.8648681640625\n", + "global step=7835648, episodic return=1032.1749267578125\n", + "global step=7837696, episodic return=1272.4058837890625\n", + "global step=7837696, episodic return=1579.004638671875\n", + "global step=7839744, episodic return=1636.81591796875\n", + "global step=7856128, episodic return=1584.69873046875\n", + "global step=7860224, episodic return=1270.2373046875\n", + "global step=7860224, episodic return=1265.5169677734375\n", + "global step=7860224, episodic return=1158.8514404296875\n", + "global step=7866368, episodic return=1229.21337890625\n", + "global step=7872512, episodic return=1310.6964111328125\n", + "global step=7872512, episodic return=1550.854736328125\n", + "global step=7872512, episodic return=1202.8607177734375\n", + "global step=7872512, episodic return=1633.8797607421875\n", + "global step=7878656, episodic return=1635.0244140625\n", + "global step=7880704, episodic return=1592.2852783203125\n", + "global step=7880704, episodic return=1235.3424072265625\n", + "global step=7880704, episodic return=1202.935546875\n", + "global step=7884800, episodic return=1183.8533935546875\n", + "global step=7884800, episodic return=1579.947021484375\n", + "global step=7886848, episodic return=1232.213623046875\n", + "global step=7886848, episodic return=1299.4447021484375\n", + "global step=7888896, episodic return=1161.0499267578125\n", + "global step=7890944, episodic return=1285.522705078125\n", + "global step=7890944, episodic return=1162.3173828125\n", + "global step=7895040, episodic return=1577.221923828125\n", + "global step=7895040, episodic return=1196.3916015625\n", + "global step=7905280, episodic return=1447.5631103515625\n", + "global step=7905280, episodic return=1195.537109375\n", + "global step=7905280, episodic return=1326.66455078125\n", + "global step=7907328, episodic return=1586.54541015625\n", + "global step=7909376, episodic return=1578.5189208984375\n", + "global step=7909376, episodic return=1060.988525390625\n", + "global step=7909376, episodic return=1621.1202392578125\n", + "global step=7911424, episodic return=1599.2957763671875\n", + "global step=7913472, episodic return=1427.29638671875\n", + "global step=7917568, episodic return=1109.0950927734375\n", + "global step=7919616, episodic return=1360.8294677734375\n", + "global step=7921664, episodic return=1307.9263916015625\n", + "global step=7925760, episodic return=1121.4822998046875\n", + "global step=7927808, episodic return=1594.93798828125\n", + "global step=7927808, episodic return=1142.0771484375\n", + "global step=7929856, episodic return=1421.4840087890625\n", + "global step=7933952, episodic return=1366.2626953125\n", + "global step=7933952, episodic return=1575.5189208984375\n", + "global step=7936000, episodic return=1602.5352783203125\n", + "global step=7936000, episodic return=1069.385009765625\n", + "global step=7938048, episodic return=1581.2867431640625\n", + "global step=7940096, episodic return=1315.989501953125\n", + "global step=7942144, episodic return=1278.6942138671875\n", + "global step=7944192, episodic return=1663.9351806640625\n", + "global step=7944192, episodic return=1116.6873779296875\n", + "global step=7946240, episodic return=1269.0714111328125\n", + "global step=7948288, episodic return=1587.76220703125\n", + "global step=7950336, episodic return=1655.0338134765625\n", + "global step=7952384, episodic return=1071.1083984375\n", + "global step=7954432, episodic return=1619.7843017578125\n", + "global step=7960576, episodic return=1602.307861328125\n", + "global step=7968768, episodic return=1214.757568359375\n", + "global step=7968768, episodic return=1623.2955322265625\n", + "global step=7972864, episodic return=1092.4962158203125\n", + "global step=7974912, episodic return=1635.7203369140625\n", + "global step=7976960, episodic return=1578.68603515625\n", + "global step=7979008, episodic return=1603.96240234375\n", + "global step=7979008, episodic return=1124.9498291015625\n", + "global step=7981056, episodic return=1220.886962890625\n", + "global step=7985152, episodic return=1391.5093994140625\n", + "global step=7987200, episodic return=1180.587158203125\n", + "global step=7993344, episodic return=1280.0748291015625\n", + "global step=7995392, episodic return=1457.09521484375\n", + "global step=8001536, episodic return=1229.77294921875\n", + "global step=8005632, episodic return=1640.8485107421875\n", + "global step=8007680, episodic return=1656.0411376953125\n", + "global step=8007680, episodic return=1604.7515869140625\n", + "global step=8007680, episodic return=1167.054443359375\n", + "global step=8009728, episodic return=1131.9844970703125\n", + "global step=8009728, episodic return=1246.3970947265625\n", + "global step=8011776, episodic return=1595.7158203125\n", + "global step=8015872, episodic return=1587.56494140625\n", + "global step=8015872, episodic return=1636.2196044921875\n", + "global step=8017920, episodic return=1298.4942626953125\n", + "global step=8019968, episodic return=1588.357666015625\n", + "global step=8019968, episodic return=1019.4998168945312\n", + "global step=8019968, episodic return=1268.8167724609375\n", + "global step=8022016, episodic return=1292.76806640625\n", + "global step=8026112, episodic return=1120.48193359375\n", + "global step=8026112, episodic return=1316.1282958984375\n", + "global step=8028160, episodic return=1616.2974853515625\n", + "global step=8030208, episodic return=1588.5594482421875\n", + "global step=8032256, episodic return=1237.4122314453125\n", + "global step=8038400, episodic return=1252.1527099609375\n", + "global step=8040448, episodic return=1279.0750732421875\n", + "global step=8042496, episodic return=1182.5478515625\n", + "global step=8042496, episodic return=1530.41650390625\n", + "global step=8042496, episodic return=1319.0687255859375\n", + "global step=8044544, episodic return=1217.98388671875\n", + "global step=8044544, episodic return=1583.4219970703125\n", + "global step=8046592, episodic return=1196.0958251953125\n", + "global step=8046592, episodic return=1263.5328369140625\n", + "global step=8048640, episodic return=1098.2965087890625\n", + "global step=8048640, episodic return=1211.1988525390625\n", + "global step=8048640, episodic return=1574.397705078125\n", + "global step=8050688, episodic return=1412.1630859375\n", + "global step=8054784, episodic return=1494.5421142578125\n", + "global step=8054784, episodic return=1377.029541015625\n", + "global step=8054784, episodic return=1237.3358154296875\n", + "global step=8056832, episodic return=1329.5255126953125\n", + "global step=8056832, episodic return=1355.0162353515625\n", + "global step=8058880, episodic return=1163.4686279296875\n", + "global step=8058880, episodic return=1612.1329345703125\n", + "global step=8060928, episodic return=1244.20068359375\n", + "global step=8062976, episodic return=1575.0906982421875\n", + "global step=8065024, episodic return=1625.8558349609375\n", + "global step=8067072, episodic return=1357.8858642578125\n", + "global step=8071168, episodic return=1181.0745849609375\n", + "global step=8075264, episodic return=1306.3980712890625\n", + "global step=8077312, episodic return=1007.4174194335938\n", + "global step=8077312, episodic return=1277.19921875\n", + "global step=8077312, episodic return=1419.8927001953125\n", + "global step=8079360, episodic return=1216.7822265625\n", + "global step=8079360, episodic return=1080.6932373046875\n", + "global step=8079360, episodic return=1574.468994140625\n", + "global step=8079360, episodic return=1597.892333984375\n", + "global step=8081408, episodic return=1402.5621337890625\n", + "global step=8081408, episodic return=1610.2484130859375\n", + "global step=8081408, episodic return=1190.0494384765625\n", + "global step=8081408, episodic return=1569.6038818359375\n", + "global step=8083456, episodic return=1077.585693359375\n", + "global step=8083456, episodic return=1455.6929931640625\n", + "global step=8083456, episodic return=1310.3743896484375\n", + "global step=8085504, episodic return=1304.5899658203125\n", + "global step=8087552, episodic return=1080.2371826171875\n", + "global step=8087552, episodic return=1302.4361572265625\n", + "global step=8087552, episodic return=1161.492919921875\n", + "global step=8087552, episodic return=1300.7060546875\n", + "global step=8089600, episodic return=1590.7635498046875\n", + "global step=8089600, episodic return=1280.5169677734375\n", + "global step=8089600, episodic return=1009.9568481445312\n", + "global step=8091648, episodic return=1340.9969482421875\n", + "global step=8091648, episodic return=1039.6578369140625\n", + "global step=8091648, episodic return=1069.192626953125\n", + "global step=8093696, episodic return=1351.237548828125\n", + "global step=8093696, episodic return=1347.76416015625\n", + "global step=8095744, episodic return=1579.46044921875\n", + "global step=8095744, episodic return=1422.5751953125\n", + "global step=8095744, episodic return=1623.4910888671875\n", + "global step=8095744, episodic return=1081.0614013671875\n", + "global step=8097792, episodic return=1403.8203125\n", + "global step=8099840, episodic return=1665.3408203125\n", + "global step=8099840, episodic return=1039.2811279296875\n", + "global step=8101888, episodic return=1583.84375\n", + "global step=8101888, episodic return=1585.3604736328125\n", + "global step=8103936, episodic return=1304.0489501953125\n", + "global step=8103936, episodic return=1227.7491455078125\n", + "global step=8103936, episodic return=1605.8033447265625\n", + "global step=8105984, episodic return=1633.3372802734375\n", + "global step=8108032, episodic return=1292.087646484375\n", + "global step=8108032, episodic return=1379.9678955078125\n", + "global step=8108032, episodic return=1431.7227783203125\n", + "global step=8110080, episodic return=1248.4337158203125\n", + "global step=8110080, episodic return=1287.6658935546875\n", + "global step=8110080, episodic return=1577.196533203125\n", + "global step=8112128, episodic return=1583.764892578125\n", + "global step=8112128, episodic return=1261.5419921875\n", + "global step=8112128, episodic return=1097.5855712890625\n", + "global step=8114176, episodic return=1584.3101806640625\n", + "global step=8116224, episodic return=1386.1075439453125\n", + "global step=8118272, episodic return=1567.6932373046875\n", + "global step=8120320, episodic return=1182.2086181640625\n", + "global step=8120320, episodic return=1596.7459716796875\n", + "global step=8124416, episodic return=1370.31201171875\n", + "global step=8124416, episodic return=1225.178466796875\n", + "global step=8124416, episodic return=1225.0111083984375\n", + "global step=8124416, episodic return=1551.38671875\n", + "global step=8126464, episodic return=1283.9930419921875\n", + "global step=8126464, episodic return=1392.268310546875\n", + "global step=8130560, episodic return=1135.1427001953125\n", + "global step=8130560, episodic return=1375.9224853515625\n", + "global step=8130560, episodic return=1601.5364990234375\n", + "global step=8130560, episodic return=1206.8128662109375\n", + "global step=8132608, episodic return=1276.2840576171875\n", + "global step=8132608, episodic return=1168.043701171875\n", + "global step=8132608, episodic return=849.842041015625\n", + "global step=8132608, episodic return=1598.6170654296875\n", + "global step=8134656, episodic return=1608.9593505859375\n", + "global step=8134656, episodic return=1049.5430908203125\n", + "global step=8136704, episodic return=1463.9940185546875\n", + "global step=8136704, episodic return=1596.70751953125\n", + "global step=8136704, episodic return=1274.2666015625\n", + "global step=8136704, episodic return=1585.74609375\n", + "global step=8138752, episodic return=1122.433349609375\n", + "global step=8138752, episodic return=1202.100341796875\n", + "global step=8138752, episodic return=1439.794189453125\n", + "global step=8138752, episodic return=1357.5177001953125\n", + "global step=8140800, episodic return=1219.8546142578125\n", + "global step=8140800, episodic return=1162.9342041015625\n", + "global step=8140800, episodic return=1268.1962890625\n", + "global step=8140800, episodic return=1314.7630615234375\n", + "global step=8142848, episodic return=1232.43310546875\n", + "global step=8144896, episodic return=1590.06494140625\n", + "global step=8144896, episodic return=1126.6343994140625\n", + "global step=8146944, episodic return=1394.4453125\n", + "global step=8148992, episodic return=1610.4375\n", + "global step=8151040, episodic return=1588.259521484375\n", + "global step=8153088, episodic return=1345.6591796875\n", + "global step=8153088, episodic return=1606.140380859375\n", + "global step=8153088, episodic return=1612.0572509765625\n", + "global step=8155136, episodic return=1613.6358642578125\n", + "global step=8155136, episodic return=1611.46484375\n", + "global step=8157184, episodic return=1312.28466796875\n", + "global step=8157184, episodic return=1427.914306640625\n", + "global step=8159232, episodic return=1442.9990234375\n", + "global step=8159232, episodic return=1406.5191650390625\n", + "global step=8161280, episodic return=1049.9404296875\n", + "global step=8161280, episodic return=1585.30712890625\n", + "global step=8161280, episodic return=1564.7249755859375\n", + "global step=8163328, episodic return=1341.253662109375\n", + "global step=8165376, episodic return=1269.291015625\n", + "global step=8165376, episodic return=1436.416748046875\n", + "global step=8167424, episodic return=1225.150146484375\n", + "global step=8167424, episodic return=1486.6483154296875\n", + "global step=8167424, episodic return=1477.1015625\n", + "global step=8167424, episodic return=1299.3411865234375\n", + "global step=8171520, episodic return=1604.18505859375\n", + "global step=8171520, episodic return=1611.5545654296875\n", + "global step=8171520, episodic return=1281.4410400390625\n", + "global step=8173568, episodic return=1426.5260009765625\n", + "global step=8175616, episodic return=1356.15966796875\n", + "global step=8179712, episodic return=1634.6790771484375\n", + "global step=8179712, episodic return=1336.44384765625\n", + "global step=8179712, episodic return=1593.7607421875\n", + "global step=8181760, episodic return=1584.5946044921875\n", + "global step=8183808, episodic return=1416.36328125\n", + "global step=8185856, episodic return=1333.678466796875\n", + "global step=8185856, episodic return=1455.5699462890625\n", + "global step=8185856, episodic return=1351.9969482421875\n", + "global step=8187904, episodic return=1162.7841796875\n", + "global step=8187904, episodic return=1203.4705810546875\n", + "global step=8189952, episodic return=1384.329345703125\n", + "global step=8189952, episodic return=1634.0552978515625\n", + "global step=8192000, episodic return=1586.5062255859375\n", + "global step=8192000, episodic return=1370.564208984375\n", + "global step=8194048, episodic return=1303.7279052734375\n", + "global step=8194048, episodic return=1538.559814453125\n", + "global step=8194048, episodic return=1632.3516845703125\n", + "global step=8196096, episodic return=1440.68017578125\n", + "global step=8196096, episodic return=1588.667236328125\n", + "global step=8196096, episodic return=1682.39697265625\n", + "global step=8196096, episodic return=1628.2762451171875\n", + "global step=8196096, episodic return=1464.446044921875\n", + "global step=8196096, episodic return=1615.1329345703125\n", + "global step=8196096, episodic return=1316.1688232421875\n", + "global step=8198144, episodic return=1334.744384765625\n", + "global step=8198144, episodic return=1334.2529296875\n", + "global step=8198144, episodic return=1613.3656005859375\n", + "global step=8200192, episodic return=1630.5391845703125\n", + "global step=8202240, episodic return=1616.5535888671875\n", + "global step=8204288, episodic return=1450.9852294921875\n", + "global step=8206336, episodic return=1426.15478515625\n", + "global step=8206336, episodic return=1367.7305908203125\n", + "global step=8206336, episodic return=1584.31982421875\n", + "global step=8208384, episodic return=1187.125732421875\n", + "global step=8208384, episodic return=1602.2418212890625\n", + "global step=8208384, episodic return=1032.80029296875\n", + "global step=8208384, episodic return=1289.5517578125\n", + "global step=8210432, episodic return=1622.8095703125\n", + "global step=8210432, episodic return=1623.8902587890625\n", + "global step=8212480, episodic return=1622.1641845703125\n", + "global step=8212480, episodic return=1599.1793212890625\n", + "global step=8212480, episodic return=1328.9140625\n", + "global step=8214528, episodic return=1423.133544921875\n", + "global step=8214528, episodic return=1610.091796875\n", + "global step=8214528, episodic return=1625.1224365234375\n", + "global step=8214528, episodic return=1613.8192138671875\n", + "global step=8214528, episodic return=1287.7222900390625\n", + "global step=8214528, episodic return=1051.4482421875\n", + "global step=8216576, episodic return=1019.1279907226562\n", + "global step=8218624, episodic return=1232.5540771484375\n", + "global step=8218624, episodic return=1328.78564453125\n", + "global step=8218624, episodic return=1605.2554931640625\n", + "global step=8220672, episodic return=1176.452880859375\n", + "global step=8220672, episodic return=1338.3558349609375\n", + "global step=8220672, episodic return=1661.232177734375\n", + "global step=8220672, episodic return=1497.614990234375\n", + "global step=8222720, episodic return=1403.1697998046875\n", + "global step=8222720, episodic return=1612.091796875\n", + "global step=8224768, episodic return=1528.3173828125\n", + "global step=8224768, episodic return=1486.495361328125\n", + "global step=8226816, episodic return=1285.7171630859375\n", + "global step=8226816, episodic return=1579.799072265625\n", + "global step=8226816, episodic return=1589.287841796875\n", + "global step=8228864, episodic return=1467.35498046875\n", + "global step=8228864, episodic return=1590.506591796875\n", + "global step=8230912, episodic return=1275.4102783203125\n", + "global step=8230912, episodic return=1605.616943359375\n", + "global step=8230912, episodic return=1324.4678955078125\n", + "global step=8235008, episodic return=1601.24072265625\n", + "global step=8235008, episodic return=1432.0833740234375\n", + "global step=8237056, episodic return=1499.7423095703125\n", + "global step=8237056, episodic return=1121.720703125\n", + "global step=8237056, episodic return=1395.5792236328125\n", + "global step=8239104, episodic return=1424.5576171875\n", + "global step=8239104, episodic return=1619.9171142578125\n", + "global step=8239104, episodic return=1335.818359375\n", + "global step=8241152, episodic return=1608.7620849609375\n", + "global step=8243200, episodic return=1587.2691650390625\n", + "global step=8243200, episodic return=1606.23095703125\n", + "global step=8243200, episodic return=1611.2376708984375\n", + "global step=8245248, episodic return=1226.7806396484375\n", + "global step=8245248, episodic return=1617.67333984375\n", + "global step=8249344, episodic return=1455.632080078125\n", + "global step=8249344, episodic return=1028.047607421875\n", + "global step=8249344, episodic return=1585.1922607421875\n", + "global step=8251392, episodic return=1139.6312255859375\n", + "global step=8251392, episodic return=1447.186279296875\n", + "global step=8251392, episodic return=1613.3382568359375\n", + "global step=8251392, episodic return=1293.130615234375\n", + "global step=8253440, episodic return=908.7754516601562\n", + "global step=8253440, episodic return=1369.9520263671875\n", + "global step=8253440, episodic return=1281.597412109375\n", + "global step=8255488, episodic return=1379.248291015625\n", + "global step=8257536, episodic return=1151.1983642578125\n", + "global step=8257536, episodic return=1504.5279541015625\n", + "global step=8259584, episodic return=1632.2579345703125\n", + "global step=8259584, episodic return=1340.6873779296875\n", + "global step=8259584, episodic return=1436.4144287109375\n", + "global step=8259584, episodic return=1286.2861328125\n", + "global step=8261632, episodic return=1394.404052734375\n", + "global step=8261632, episodic return=1574.8193359375\n", + "global step=8261632, episodic return=1597.17236328125\n", + "global step=8263680, episodic return=1233.376708984375\n", + "global step=8265728, episodic return=1603.541015625\n", + "global step=8265728, episodic return=1598.578369140625\n", + "global step=8265728, episodic return=1147.8292236328125\n", + "global step=8265728, episodic return=1622.340087890625\n", + "global step=8267776, episodic return=1615.9854736328125\n", + "global step=8267776, episodic return=1605.771240234375\n", + "global step=8269824, episodic return=1654.54638671875\n", + "global step=8269824, episodic return=985.1827392578125\n", + "global step=8269824, episodic return=1615.07275390625\n", + "global step=8269824, episodic return=1449.0257568359375\n", + "global step=8269824, episodic return=1595.7496337890625\n", + "global step=8269824, episodic return=1395.7615966796875\n", + "global step=8269824, episodic return=1335.7711181640625\n", + "global step=8271872, episodic return=1607.5355224609375\n", + "global step=8271872, episodic return=1396.2449951171875\n", + "global step=8271872, episodic return=1535.0863037109375\n", + "global step=8271872, episodic return=1465.3314208984375\n", + "global step=8273920, episodic return=1592.0047607421875\n", + "global step=8273920, episodic return=1592.621826171875\n", + "global step=8273920, episodic return=1606.368408203125\n", + "global step=8275968, episodic return=1625.34375\n", + "global step=8275968, episodic return=1591.340576171875\n", + "global step=8275968, episodic return=1541.60546875\n", + "global step=8275968, episodic return=1466.476806640625\n", + "global step=8275968, episodic return=1644.3642578125\n", + "global step=8278016, episodic return=1635.8531494140625\n", + "global step=8278016, episodic return=1612.9029541015625\n", + "global step=8278016, episodic return=1601.2652587890625\n", + "global step=8280064, episodic return=1594.6834716796875\n", + "global step=8280064, episodic return=1637.283203125\n", + "global step=8280064, episodic return=1470.554443359375\n", + "global step=8280064, episodic return=1228.156982421875\n", + "global step=8282112, episodic return=1595.6256103515625\n", + "global step=8282112, episodic return=1606.923583984375\n", + "global step=8282112, episodic return=1212.775390625\n", + "global step=8282112, episodic return=1508.51513671875\n", + "global step=8282112, episodic return=1641.198974609375\n", + "global step=8282112, episodic return=1621.017578125\n", + "global step=8286208, episodic return=1605.75\n", + "global step=8286208, episodic return=1457.9222412109375\n", + "global step=8286208, episodic return=1434.4991455078125\n", + "global step=8286208, episodic return=1154.6466064453125\n", + "global step=8288256, episodic return=1559.9779052734375\n", + "global step=8288256, episodic return=1461.0894775390625\n", + "global step=8288256, episodic return=1611.968017578125\n", + "global step=8288256, episodic return=1539.9656982421875\n", + "global step=8290304, episodic return=1602.78466796875\n", + "global step=8290304, episodic return=1382.115966796875\n", + "global step=8290304, episodic return=1368.1871337890625\n", + "global step=8292352, episodic return=1471.962646484375\n", + "global step=8292352, episodic return=1613.0352783203125\n", + "global step=8294400, episodic return=949.1354370117188\n", + "global step=8294400, episodic return=1535.4471435546875\n", + "global step=8294400, episodic return=1621.1329345703125\n", + "global step=8296448, episodic return=1612.4112548828125\n", + "global step=8296448, episodic return=1619.4732666015625\n", + "global step=8296448, episodic return=1490.519775390625\n", + "global step=8296448, episodic return=1634.8140869140625\n", + "global step=8296448, episodic return=1003.080078125\n", + "global step=8296448, episodic return=1453.523681640625\n", + "global step=8298496, episodic return=1691.8056640625\n", + "global step=8298496, episodic return=1276.284912109375\n", + "global step=8298496, episodic return=1427.026611328125\n", + "global step=8300544, episodic return=1613.0223388671875\n", + "global step=8300544, episodic return=1590.806640625\n", + "global step=8300544, episodic return=1493.75927734375\n", + "global step=8300544, episodic return=1636.992431640625\n", + "global step=8302592, episodic return=1652.0897216796875\n", + "global step=8302592, episodic return=1613.00732421875\n", + "global step=8302592, episodic return=1469.18603515625\n", + "global step=8302592, episodic return=1613.09375\n", + "global step=8304640, episodic return=1603.210205078125\n", + "global step=8304640, episodic return=1615.1219482421875\n", + "global step=8306688, episodic return=1595.2724609375\n", + "global step=8306688, episodic return=1605.926513671875\n", + "global step=8306688, episodic return=1615.3648681640625\n", + "global step=8308736, episodic return=1602.7291259765625\n", + "global step=8308736, episodic return=1181.9696044921875\n", + "global step=8308736, episodic return=1614.8958740234375\n", + "global step=8308736, episodic return=1612.649658203125\n", + "global step=8308736, episodic return=1633.701416015625\n", + "global step=8310784, episodic return=1625.1636962890625\n", + "global step=8312832, episodic return=1671.9822998046875\n", + "global step=8314880, episodic return=1638.634765625\n", + "global step=8316928, episodic return=1546.10986328125\n", + "global step=8316928, episodic return=1641.6722412109375\n", + "global step=8318976, episodic return=1621.4190673828125\n", + "global step=8318976, episodic return=1633.1544189453125\n", + "global step=8321024, episodic return=1462.0975341796875\n", + "global step=8321024, episodic return=1089.5977783203125\n", + "global step=8321024, episodic return=1617.4085693359375\n", + "global step=8321024, episodic return=1191.0538330078125\n", + "global step=8321024, episodic return=1606.2073974609375\n", + "global step=8321024, episodic return=1603.6671142578125\n", + "global step=8323072, episodic return=1418.4041748046875\n", + "global step=8323072, episodic return=1639.669677734375\n", + "global step=8323072, episodic return=1624.724853515625\n", + "global step=8323072, episodic return=1613.6163330078125\n", + "global step=8323072, episodic return=1617.26953125\n", + "global step=8323072, episodic return=1637.2440185546875\n", + "global step=8325120, episodic return=1616.8179931640625\n", + "global step=8325120, episodic return=1626.8319091796875\n", + "global step=8325120, episodic return=1368.9625244140625\n", + "global step=8325120, episodic return=1636.1676025390625\n", + "global step=8327168, episodic return=1237.8846435546875\n", + "global step=8327168, episodic return=1659.208984375\n", + "global step=8327168, episodic return=1597.193115234375\n", + "global step=8327168, episodic return=1595.41748046875\n", + "global step=8327168, episodic return=1619.891357421875\n", + "global step=8329216, episodic return=1347.2208251953125\n", + "global step=8329216, episodic return=1480.7840576171875\n", + "global step=8329216, episodic return=1619.7679443359375\n", + "global step=8329216, episodic return=1622.586669921875\n", + "global step=8329216, episodic return=1609.992919921875\n", + "global step=8329216, episodic return=1415.382080078125\n", + "global step=8331264, episodic return=1620.6602783203125\n", + "global step=8331264, episodic return=1688.2100830078125\n", + "global step=8331264, episodic return=1645.717041015625\n", + "global step=8331264, episodic return=1624.008056640625\n", + "global step=8331264, episodic return=1430.641845703125\n", + "global step=8333312, episodic return=1636.793212890625\n", + "global step=8333312, episodic return=1644.4365234375\n", + "global step=8335360, episodic return=1374.269775390625\n", + "global step=8335360, episodic return=1614.5467529296875\n", + "global step=8335360, episodic return=1645.32421875\n", + "global step=8335360, episodic return=1640.851318359375\n", + "global step=8335360, episodic return=1415.5107421875\n", + "global step=8335360, episodic return=1607.2584228515625\n", + "global step=8335360, episodic return=1618.3006591796875\n", + "global step=8337408, episodic return=1607.697265625\n", + "global step=8337408, episodic return=1591.873291015625\n", + "global step=8337408, episodic return=1398.357421875\n", + "global step=8337408, episodic return=1644.8917236328125\n", + "global step=8337408, episodic return=1656.2076416015625\n", + "global step=8337408, episodic return=1398.171630859375\n", + "global step=8337408, episodic return=1643.1044921875\n", + "global step=8339456, episodic return=1143.1031494140625\n", + "global step=8339456, episodic return=1432.32470703125\n", + "global step=8339456, episodic return=1611.8370361328125\n", + "global step=8339456, episodic return=1609.8922119140625\n", + "global step=8339456, episodic return=1634.8924560546875\n", + "global step=8339456, episodic return=1610.1156005859375\n", + "global step=8339456, episodic return=1522.173095703125\n", + "global step=8339456, episodic return=1606.5281982421875\n", + "global step=8339456, episodic return=1619.7425537109375\n", + "global step=8339456, episodic return=1609.5794677734375\n", + "global step=8339456, episodic return=1609.8472900390625\n", + "global step=8339456, episodic return=1593.724853515625\n", + "global step=8341504, episodic return=1619.018798828125\n", + "global step=8343552, episodic return=1627.3372802734375\n", + "global step=8343552, episodic return=1054.6148681640625\n", + "global step=8343552, episodic return=1632.4156494140625\n", + "global step=8345600, episodic return=1629.62109375\n", + "global step=8345600, episodic return=1659.2857666015625\n", + "global step=8345600, episodic return=1638.3770751953125\n", + "global step=8345600, episodic return=1604.014404296875\n", + "global step=8347648, episodic return=1602.2957763671875\n", + "global step=8347648, episodic return=1605.5511474609375\n", + "global step=8347648, episodic return=1532.52490234375\n", + "global step=8347648, episodic return=1249.614501953125\n", + "global step=8349696, episodic return=1624.1019287109375\n", + "global step=8349696, episodic return=1589.1678466796875\n", + "global step=8349696, episodic return=1448.5279541015625\n", + "global step=8349696, episodic return=1604.8741455078125\n", + "global step=8349696, episodic return=1626.7247314453125\n", + "global step=8349696, episodic return=1660.3519287109375\n", + "global step=8351744, episodic return=1604.699462890625\n", + "global step=8351744, episodic return=1616.5252685546875\n", + "global step=8351744, episodic return=1601.523681640625\n", + "global step=8351744, episodic return=1631.9373779296875\n", + "global step=8351744, episodic return=1658.8731689453125\n", + "global step=8353792, episodic return=1602.15185546875\n", + "global step=8353792, episodic return=1601.1607666015625\n", + "global step=8353792, episodic return=1345.947998046875\n", + "global step=8353792, episodic return=1355.110107421875\n", + "global step=8355840, episodic return=1187.88232421875\n", + "global step=8355840, episodic return=1625.3336181640625\n", + "global step=8355840, episodic return=1670.1015625\n", + "global step=8355840, episodic return=1611.7239990234375\n", + "global step=8355840, episodic return=1611.8594970703125\n", + "global step=8357888, episodic return=1615.6300048828125\n", + "global step=8357888, episodic return=1667.4921875\n", + "global step=8357888, episodic return=1623.621826171875\n", + "global step=8357888, episodic return=1616.95947265625\n", + "global step=8357888, episodic return=1622.0545654296875\n", + "global step=8357888, episodic return=1611.68798828125\n", + "global step=8357888, episodic return=1641.120361328125\n", + "global step=8359936, episodic return=1632.536376953125\n", + "global step=8359936, episodic return=1614.933837890625\n", + "global step=8359936, episodic return=1656.63623046875\n", + "global step=8359936, episodic return=1450.0537109375\n", + "global step=8359936, episodic return=1674.781005859375\n", + "global step=8359936, episodic return=1466.245849609375\n", + "global step=8359936, episodic return=1594.4559326171875\n", + "global step=8361984, episodic return=1616.793701171875\n", + "global step=8361984, episodic return=1605.5504150390625\n", + "global step=8361984, episodic return=1649.252197265625\n", + "global step=8361984, episodic return=1625.79296875\n", + "global step=8364032, episodic return=1179.5872802734375\n", + "global step=8364032, episodic return=1358.28271484375\n", + "global step=8364032, episodic return=1284.9869384765625\n", + "global step=8364032, episodic return=1142.8564453125\n", + "global step=8364032, episodic return=1596.2952880859375\n", + "global step=8366080, episodic return=1611.6634521484375\n", + "global step=8366080, episodic return=1581.4932861328125\n", + "global step=8366080, episodic return=1606.46435546875\n", + "global step=8366080, episodic return=1609.4163818359375\n", + "global step=8366080, episodic return=1550.3070068359375\n", + "global step=8366080, episodic return=1499.05908203125\n", + "global step=8368128, episodic return=1636.92138671875\n", + "global step=8368128, episodic return=1371.3968505859375\n", + "global step=8368128, episodic return=1591.223876953125\n", + "global step=8370176, episodic return=1593.1982421875\n", + "global step=8370176, episodic return=1488.980712890625\n", + "global step=8370176, episodic return=1511.625244140625\n", + "global step=8370176, episodic return=1632.125244140625\n", + "global step=8370176, episodic return=1651.3514404296875\n", + "global step=8370176, episodic return=1318.0145263671875\n", + "global step=8370176, episodic return=1613.8677978515625\n", + "global step=8370176, episodic return=1665.6002197265625\n", + "global step=8372224, episodic return=1607.8369140625\n", + "global step=8372224, episodic return=1613.58837890625\n", + "global step=8372224, episodic return=1624.3475341796875\n", + "global step=8372224, episodic return=989.1537475585938\n", + "global step=8372224, episodic return=1627.8931884765625\n", + "global step=8372224, episodic return=1365.8369140625\n", + "global step=8374272, episodic return=1598.270263671875\n", + "global step=8374272, episodic return=1604.077880859375\n", + "global step=8374272, episodic return=1609.6256103515625\n", + "global step=8374272, episodic return=1336.6693115234375\n", + "global step=8374272, episodic return=1659.1910400390625\n", + "global step=8374272, episodic return=1617.636474609375\n", + "global step=8374272, episodic return=1604.50390625\n", + "global step=8374272, episodic return=1609.10888671875\n", + "global step=8376320, episodic return=857.6618041992188\n", + "global step=8376320, episodic return=1627.8594970703125\n", + "global step=8376320, episodic return=1515.5933837890625\n", + "global step=8376320, episodic return=1615.5340576171875\n", + "global step=8376320, episodic return=1469.3092041015625\n", + "global step=8376320, episodic return=1628.3758544921875\n", + "global step=8376320, episodic return=1665.477294921875\n", + "global step=8378368, episodic return=1612.4771728515625\n", + "global step=8378368, episodic return=1397.669189453125\n", + "global step=8378368, episodic return=1619.7137451171875\n", + "global step=8378368, episodic return=1426.256103515625\n", + "global step=8378368, episodic return=1530.41796875\n", + "global step=8378368, episodic return=1209.6168212890625\n", + "global step=8378368, episodic return=1380.875732421875\n", + "global step=8380416, episodic return=1616.39306640625\n", + "global step=8380416, episodic return=1181.2357177734375\n", + "global step=8380416, episodic return=1650.8177490234375\n", + "global step=8380416, episodic return=1614.07470703125\n", + "global step=8380416, episodic return=1612.777099609375\n", + "global step=8380416, episodic return=1464.53857421875\n", + "global step=8382464, episodic return=1606.7420654296875\n", + "global step=8382464, episodic return=956.90966796875\n", + "global step=8382464, episodic return=1601.105224609375\n", + "global step=8382464, episodic return=1602.035888671875\n", + "global step=8382464, episodic return=1672.4520263671875\n", + "global step=8382464, episodic return=1602.3641357421875\n", + "global step=8384512, episodic return=1604.1917724609375\n", + "global step=8384512, episodic return=1599.249755859375\n", + "global step=8384512, episodic return=1615.4259033203125\n", + "global step=8384512, episodic return=1607.9202880859375\n", + "global step=8386560, episodic return=1605.613525390625\n", + "global step=8386560, episodic return=1628.687255859375\n", + "global step=8386560, episodic return=1624.88916015625\n", + "global step=8386560, episodic return=1604.219482421875\n", + "global step=8386560, episodic return=1608.2935791015625\n", + "global step=8386560, episodic return=1500.9613037109375\n", + "global step=8386560, episodic return=1633.0650634765625\n", + "global step=8386560, episodic return=1604.44580078125\n", + "global step=8388608, episodic return=1673.81640625\n", + "global step=8388608, episodic return=1658.40576171875\n", + "global step=8388608, episodic return=1615.6116943359375\n", + "global step=8388608, episodic return=1605.486572265625\n", + "global step=8388608, episodic return=1621.3546142578125\n", + "global step=8388608, episodic return=1620.6541748046875\n", + "global step=8388608, episodic return=1412.278076171875\n", + "global step=8388608, episodic return=1610.0931396484375\n", + "global step=8388608, episodic return=1636.0382080078125\n", + "global step=8390656, episodic return=1663.7088623046875\n", + "global step=8390656, episodic return=1615.9378662109375\n", + "global step=8390656, episodic return=1608.7833251953125\n", + "global step=8390656, episodic return=1641.177001953125\n", + "global step=8390656, episodic return=1624.480224609375\n", + "global step=8390656, episodic return=1646.0550537109375\n", + "global step=8392704, episodic return=1628.8243408203125\n", + "global step=8392704, episodic return=1613.372314453125\n", + "global step=8392704, episodic return=1633.381591796875\n", + "global step=8392704, episodic return=1605.697265625\n", + "global step=8392704, episodic return=1641.6312255859375\n", + "global step=8392704, episodic return=1608.019287109375\n", + "global step=8392704, episodic return=1611.6619873046875\n", + "global step=8392704, episodic return=1623.8824462890625\n", + "global step=8392704, episodic return=1630.4776611328125\n", + "global step=8392704, episodic return=1631.31396484375\n", + "global step=8394752, episodic return=1623.305908203125\n", + "global step=8394752, episodic return=1595.0487060546875\n", + "global step=8396800, episodic return=1373.58447265625\n", + "global step=8396800, episodic return=1621.4090576171875\n", + "global step=8396800, episodic return=1621.15185546875\n", + "global step=8396800, episodic return=1671.4776611328125\n", + "global step=8396800, episodic return=1610.917236328125\n", + "global step=8398848, episodic return=1629.1552734375\n", + "global step=8398848, episodic return=1604.0267333984375\n", + "global step=8398848, episodic return=1618.665283203125\n", + "global step=8398848, episodic return=1660.2261962890625\n", + "global step=8398848, episodic return=1613.262939453125\n", + "global step=8398848, episodic return=1503.3050537109375\n", + "global step=8400896, episodic return=1609.1519775390625\n", + "global step=8400896, episodic return=1671.1854248046875\n", + "global step=8402944, episodic return=1532.5577392578125\n", + "global step=8402944, episodic return=1601.0081787109375\n", + "global step=8402944, episodic return=1622.6549072265625\n", + "global step=8402944, episodic return=1668.7503662109375\n", + "global step=8402944, episodic return=1692.4913330078125\n", + "global step=8402944, episodic return=1614.7677001953125\n", + "global step=8402944, episodic return=1626.2613525390625\n", + "global step=8404992, episodic return=1621.4158935546875\n", + "global step=8404992, episodic return=1615.8408203125\n", + "global step=8404992, episodic return=1621.1396484375\n", + "global step=8404992, episodic return=1614.6859130859375\n", + "global step=8404992, episodic return=1639.1619873046875\n", + "global step=8407040, episodic return=1612.931884765625\n", + "global step=8407040, episodic return=1634.390380859375\n", + "global step=8407040, episodic return=1386.553955078125\n", + "global step=8407040, episodic return=1632.9866943359375\n", + "global step=8407040, episodic return=1617.9381103515625\n", + "global step=8407040, episodic return=1651.128173828125\n", + "global step=8409088, episodic return=1640.7547607421875\n", + "global step=8409088, episodic return=1620.744140625\n", + "global step=8409088, episodic return=1604.0811767578125\n", + "global step=8409088, episodic return=1609.9007568359375\n", + "global step=8411136, episodic return=1608.164794921875\n", + "global step=8411136, episodic return=1629.97119140625\n", + "global step=8411136, episodic return=1146.76904296875\n", + "global step=8411136, episodic return=1254.6539306640625\n", + "global step=8411136, episodic return=1598.8482666015625\n", + "global step=8411136, episodic return=1606.85107421875\n", + "global step=8411136, episodic return=1612.6549072265625\n", + "global step=8411136, episodic return=1608.6580810546875\n", + "global step=8411136, episodic return=1602.18212890625\n", + "global step=8413184, episodic return=1164.546875\n", + "global step=8413184, episodic return=1614.5318603515625\n", + "global step=8413184, episodic return=1605.080322265625\n", + "global step=8413184, episodic return=1599.22705078125\n", + "global step=8413184, episodic return=1651.3575439453125\n", + "global step=8413184, episodic return=1628.337890625\n", + "global step=8413184, episodic return=1619.35986328125\n", + "global step=8413184, episodic return=1609.655029296875\n", + "global step=8413184, episodic return=1617.349853515625\n", + "global step=8413184, episodic return=1644.439453125\n", + "global step=8413184, episodic return=1060.7313232421875\n", + "global step=8413184, episodic return=1614.498779296875\n", + "global step=8415232, episodic return=1610.1441650390625\n", + "global step=8415232, episodic return=1671.76708984375\n", + "global step=8415232, episodic return=1201.0535888671875\n", + "global step=8415232, episodic return=1636.0206298828125\n", + "global step=8415232, episodic return=1344.3194580078125\n", + "global step=8415232, episodic return=1618.6270751953125\n", + "global step=8415232, episodic return=1603.6622314453125\n", + "global step=8415232, episodic return=1648.96484375\n", + "global step=8415232, episodic return=1633.9979248046875\n", + "global step=8417280, episodic return=1601.99169921875\n", + "global step=8417280, episodic return=1640.401611328125\n", + "global step=8417280, episodic return=1604.4814453125\n", + "global step=8417280, episodic return=1617.3084716796875\n", + "global step=8417280, episodic return=1617.3800048828125\n", + "global step=8419328, episodic return=1662.4718017578125\n", + "global step=8419328, episodic return=1588.15283203125\n", + "global step=8419328, episodic return=1619.896484375\n", + "global step=8419328, episodic return=1654.8497314453125\n", + "global step=8419328, episodic return=1636.8900146484375\n", + "global step=8421376, episodic return=1567.87451171875\n", + "global step=8421376, episodic return=1603.769287109375\n", + "global step=8421376, episodic return=1470.21728515625\n", + "global step=8421376, episodic return=1577.385009765625\n", + "global step=8421376, episodic return=1618.212646484375\n", + "global step=8421376, episodic return=1614.699462890625\n", + "global step=8421376, episodic return=1598.657958984375\n", + "global step=8423424, episodic return=1612.6397705078125\n", + "global step=8423424, episodic return=1597.90185546875\n", + "global step=8423424, episodic return=1670.1253662109375\n", + "global step=8423424, episodic return=1621.613525390625\n", + "global step=8423424, episodic return=1638.7052001953125\n", + "global step=8425472, episodic return=1627.33935546875\n", + "global step=8425472, episodic return=1596.2818603515625\n", + "global step=8425472, episodic return=1613.8116455078125\n", + "global step=8425472, episodic return=1623.3731689453125\n", + "global step=8427520, episodic return=1639.347900390625\n", + "global step=8427520, episodic return=1618.336669921875\n", + "global step=8427520, episodic return=1613.40673828125\n", + "global step=8427520, episodic return=1612.8662109375\n", + "global step=8427520, episodic return=1619.783935546875\n", + "global step=8427520, episodic return=1620.1287841796875\n", + "global step=8427520, episodic return=1382.126708984375\n", + "global step=8429568, episodic return=1428.122802734375\n", + "global step=8429568, episodic return=1645.1925048828125\n", + "global step=8429568, episodic return=1616.7080078125\n", + "global step=8429568, episodic return=1614.72216796875\n", + "global step=8429568, episodic return=1626.6787109375\n", + "global step=8429568, episodic return=1612.70654296875\n", + "global step=8429568, episodic return=21.233747482299805\n", + "global step=8429568, episodic return=1658.899169921875\n", + "global step=8431616, episodic return=1621.5313720703125\n", + "global step=8431616, episodic return=1650.79736328125\n", + "global step=8431616, episodic return=1614.134033203125\n", + "global step=8431616, episodic return=1642.925048828125\n", + "global step=8431616, episodic return=1615.301025390625\n", + "global step=8433664, episodic return=1548.4110107421875\n", + "global step=8433664, episodic return=1610.443359375\n", + "global step=8433664, episodic return=1601.2882080078125\n", + "global step=8433664, episodic return=1549.999267578125\n", + "global step=8433664, episodic return=1621.27880859375\n", + "global step=8433664, episodic return=1660.189453125\n", + "global step=8433664, episodic return=1627.604736328125\n", + "global step=8435712, episodic return=1609.5701904296875\n", + "global step=8435712, episodic return=1625.76220703125\n", + "global step=8435712, episodic return=1653.2811279296875\n", + "global step=8435712, episodic return=1671.5101318359375\n", + "global step=8435712, episodic return=1619.612060546875\n", + "global step=8437760, episodic return=1614.1641845703125\n", + "global step=8437760, episodic return=1654.4879150390625\n", + "global step=8437760, episodic return=1625.49560546875\n", + "global step=8437760, episodic return=1613.5938720703125\n", + "global step=8437760, episodic return=1633.954345703125\n", + "global step=8437760, episodic return=1627.1031494140625\n", + "global step=8437760, episodic return=1602.9610595703125\n", + "global step=8437760, episodic return=1620.9598388671875\n", + "global step=8437760, episodic return=1642.91943359375\n", + "global step=8437760, episodic return=1688.35595703125\n", + "global step=8437760, episodic return=1622.37939453125\n", + "global step=8437760, episodic return=1625.618896484375\n", + "global step=8439808, episodic return=1658.2520751953125\n", + "global step=8439808, episodic return=1080.957275390625\n", + "global step=8439808, episodic return=1627.2349853515625\n", + "global step=8439808, episodic return=1611.0054931640625\n", + "global step=8441856, episodic return=1602.0208740234375\n", + "global step=8441856, episodic return=1610.4544677734375\n", + "global step=8441856, episodic return=1624.0787353515625\n", + "global step=8441856, episodic return=1623.6256103515625\n", + "global step=8441856, episodic return=1594.49853515625\n", + "global step=8441856, episodic return=1609.1209716796875\n", + "global step=8443904, episodic return=1613.1148681640625\n", + "global step=8443904, episodic return=1605.6268310546875\n", + "global step=8443904, episodic return=1602.6278076171875\n", + "global step=8443904, episodic return=1614.057861328125\n", + "global step=8443904, episodic return=1618.08740234375\n", + "global step=8443904, episodic return=1625.7364501953125\n", + "global step=8443904, episodic return=1631.5084228515625\n", + "global step=8445952, episodic return=1629.2891845703125\n", + "global step=8445952, episodic return=1604.697021484375\n", + "global step=8445952, episodic return=1616.5762939453125\n", + "global step=8445952, episodic return=1608.278564453125\n", + "global step=8445952, episodic return=1637.0064697265625\n", + "global step=8445952, episodic return=1623.9453125\n", + "global step=8445952, episodic return=1645.8956298828125\n", + "global step=8445952, episodic return=1336.369384765625\n", + "global step=8445952, episodic return=1639.1591796875\n", + "global step=8445952, episodic return=1607.1737060546875\n", + "global step=8448000, episodic return=1608.5338134765625\n", + "global step=8448000, episodic return=1666.2623291015625\n", + "global step=8448000, episodic return=1609.076904296875\n", + "global step=8450048, episodic return=1632.457763671875\n", + "global step=8450048, episodic return=1612.9561767578125\n", + "global step=8450048, episodic return=1611.055419921875\n", + "global step=8450048, episodic return=1626.2808837890625\n", + "global step=8450048, episodic return=1605.341552734375\n", + "global step=8450048, episodic return=1608.2203369140625\n", + "global step=8450048, episodic return=1673.9420166015625\n", + "global step=8450048, episodic return=1634.9166259765625\n", + "global step=8452096, episodic return=1617.8043212890625\n", + "global step=8452096, episodic return=1624.4754638671875\n", + "global step=8452096, episodic return=1614.9774169921875\n", + "global step=8452096, episodic return=1613.3963623046875\n", + "global step=8452096, episodic return=1608.333984375\n", + "global step=8452096, episodic return=1619.5623779296875\n", + "global step=8454144, episodic return=1164.0216064453125\n", + "global step=8454144, episodic return=1646.916259765625\n", + "global step=8454144, episodic return=1638.3095703125\n", + "global step=8454144, episodic return=1618.5355224609375\n", + "global step=8454144, episodic return=1589.91259765625\n", + "global step=8454144, episodic return=1530.8529052734375\n", + "global step=8454144, episodic return=1436.9051513671875\n", + "global step=8454144, episodic return=1462.8983154296875\n", + "global step=8454144, episodic return=1623.16552734375\n", + "global step=8454144, episodic return=1620.983154296875\n", + "global step=8456192, episodic return=1616.0635986328125\n", + "global step=8456192, episodic return=1624.0244140625\n", + "global step=8456192, episodic return=1615.246337890625\n", + "global step=8456192, episodic return=1635.7220458984375\n", + "global step=8456192, episodic return=1618.0985107421875\n", + "global step=8456192, episodic return=1614.4415283203125\n", + "global step=8458240, episodic return=1612.875732421875\n", + "global step=8458240, episodic return=1630.59326171875\n", + "global step=8458240, episodic return=1501.916015625\n", + "global step=8458240, episodic return=1609.1761474609375\n", + "global step=8458240, episodic return=1596.294677734375\n", + "global step=8460288, episodic return=1623.0833740234375\n", + "global step=8460288, episodic return=1053.61474609375\n", + "global step=8460288, episodic return=1664.940185546875\n", + "global step=8460288, episodic return=1596.1219482421875\n", + "global step=8460288, episodic return=1616.51513671875\n", + "global step=8460288, episodic return=1624.47705078125\n", + "global step=8462336, episodic return=1614.014404296875\n", + "global step=8462336, episodic return=1623.14013671875\n", + "global step=8462336, episodic return=1627.1011962890625\n", + "global step=8462336, episodic return=1630.76953125\n", + "global step=8462336, episodic return=1619.176025390625\n", + "global step=8464384, episodic return=1603.8048095703125\n", + "global step=8464384, episodic return=1626.806640625\n", + "global step=8464384, episodic return=1614.7921142578125\n", + "global step=8464384, episodic return=1619.029296875\n", + "global step=8464384, episodic return=1605.5426025390625\n", + "global step=8464384, episodic return=1685.0943603515625\n", + "global step=8466432, episodic return=1631.6827392578125\n", + "global step=8466432, episodic return=1679.1898193359375\n", + "global step=8466432, episodic return=1605.366943359375\n", + "global step=8466432, episodic return=1629.0478515625\n", + "global step=8466432, episodic return=1626.585205078125\n", + "global step=8468480, episodic return=1640.9244384765625\n", + "global step=8468480, episodic return=1614.60302734375\n", + "global step=8468480, episodic return=1623.4461669921875\n", + "global step=8468480, episodic return=1468.9105224609375\n", + "global step=8468480, episodic return=1621.118408203125\n", + "global step=8468480, episodic return=1638.4873046875\n", + "global step=8470528, episodic return=1642.26611328125\n", + "global step=8470528, episodic return=1474.9031982421875\n", + "global step=8470528, episodic return=1615.3719482421875\n", + "global step=8470528, episodic return=1640.6201171875\n", + "global step=8470528, episodic return=1628.1519775390625\n", + "global step=8470528, episodic return=1621.346435546875\n", + "global step=8472576, episodic return=1616.320068359375\n", + "global step=8472576, episodic return=1626.0977783203125\n", + "global step=8472576, episodic return=1623.844482421875\n", + "global step=8472576, episodic return=1592.841796875\n", + "global step=8474624, episodic return=1629.6978759765625\n", + "global step=8474624, episodic return=1609.484375\n", + "global step=8474624, episodic return=1620.336181640625\n", + "global step=8474624, episodic return=1607.9466552734375\n", + "global step=8474624, episodic return=1610.125732421875\n", + "global step=8474624, episodic return=1624.0504150390625\n", + "global step=8476672, episodic return=1611.6214599609375\n", + "global step=8476672, episodic return=1134.6552734375\n", + "global step=8476672, episodic return=1608.2904052734375\n", + "global step=8476672, episodic return=1622.1903076171875\n", + "global step=8476672, episodic return=1634.471435546875\n", + "global step=8476672, episodic return=1628.310791015625\n", + "global step=8476672, episodic return=1627.3336181640625\n", + "global step=8476672, episodic return=1619.590576171875\n", + "global step=8476672, episodic return=1630.9349365234375\n", + "global step=8476672, episodic return=1615.08984375\n", + "global step=8478720, episodic return=1611.245361328125\n", + "global step=8478720, episodic return=1624.1641845703125\n", + "global step=8480768, episodic return=1602.5653076171875\n", + "global step=8480768, episodic return=1638.1656494140625\n", + "global step=8480768, episodic return=1606.4598388671875\n", + "global step=8480768, episodic return=1621.6666259765625\n", + "global step=8482816, episodic return=1609.4666748046875\n", + "global step=8482816, episodic return=1614.740966796875\n", + "global step=8484864, episodic return=1626.3109130859375\n", + "global step=8484864, episodic return=1610.826416015625\n", + "global step=8484864, episodic return=1633.660400390625\n", + "global step=8484864, episodic return=1673.6854248046875\n", + "global step=8484864, episodic return=1658.8067626953125\n", + "global step=8484864, episodic return=1296.922119140625\n", + "global step=8484864, episodic return=1643.3310546875\n", + "global step=8486912, episodic return=1615.559814453125\n", + "global step=8486912, episodic return=1606.898193359375\n", + "global step=8486912, episodic return=1611.6708984375\n", + "global step=8486912, episodic return=1649.2138671875\n", + "global step=8488960, episodic return=1631.8594970703125\n", + "global step=8488960, episodic return=1598.90478515625\n", + "global step=8488960, episodic return=1617.8055419921875\n", + "global step=8488960, episodic return=1680.459228515625\n", + "global step=8488960, episodic return=1602.5877685546875\n", + "global step=8488960, episodic return=1620.8367919921875\n", + "global step=8488960, episodic return=1612.648681640625\n", + "global step=8488960, episodic return=1615.0413818359375\n", + "global step=8488960, episodic return=1612.94482421875\n", + "global step=8491008, episodic return=1616.629638671875\n", + "global step=8491008, episodic return=1630.7655029296875\n", + "global step=8493056, episodic return=1598.874267578125\n", + "global step=8493056, episodic return=1616.144287109375\n", + "global step=8493056, episodic return=1613.5439453125\n", + "global step=8493056, episodic return=1600.670654296875\n", + "global step=8493056, episodic return=1632.5341796875\n", + "global step=8493056, episodic return=1617.2711181640625\n", + "global step=8495104, episodic return=1611.962158203125\n", + "global step=8495104, episodic return=1541.2139892578125\n", + "global step=8495104, episodic return=1662.2403564453125\n", + "global step=8495104, episodic return=1600.7086181640625\n", + "global step=8497152, episodic return=1609.0576171875\n", + "global step=8497152, episodic return=1546.779296875\n", + "global step=8497152, episodic return=1603.9088134765625\n", + "global step=8497152, episodic return=1623.1287841796875\n", + "global step=8499200, episodic return=1634.054443359375\n", + "global step=8499200, episodic return=1613.78369140625\n", + "global step=8499200, episodic return=1610.5267333984375\n", + "global step=8499200, episodic return=1614.806884765625\n", + "global step=8499200, episodic return=1632.660888671875\n", + "global step=8499200, episodic return=1670.7305908203125\n", + "global step=8499200, episodic return=1617.3370361328125\n", + "global step=8499200, episodic return=1627.2257080078125\n", + "global step=8501248, episodic return=1586.87451171875\n", + "global step=8501248, episodic return=1619.460205078125\n", + "global step=8503296, episodic return=1619.54443359375\n", + "global step=8503296, episodic return=1621.66162109375\n", + "global step=8503296, episodic return=1627.3204345703125\n", + "global step=8503296, episodic return=1607.907958984375\n", + "global step=8503296, episodic return=1619.38134765625\n", + "global step=8503296, episodic return=1653.5372314453125\n", + "global step=8503296, episodic return=1633.661376953125\n", + "global step=8503296, episodic return=1618.4207763671875\n", + "global step=8503296, episodic return=1643.890625\n", + "global step=8505344, episodic return=1598.71533203125\n", + "global step=8505344, episodic return=1611.43505859375\n", + "global step=8505344, episodic return=1622.557373046875\n", + "global step=8505344, episodic return=1633.3463134765625\n", + "global step=8505344, episodic return=1642.2452392578125\n", + "global step=8505344, episodic return=989.735107421875\n", + "global step=8505344, episodic return=1668.314453125\n", + "global step=8507392, episodic return=1631.9810791015625\n", + "global step=8507392, episodic return=1617.9720458984375\n", + "global step=8507392, episodic return=1609.0443115234375\n", + "global step=8507392, episodic return=1621.0255126953125\n", + "global step=8507392, episodic return=1615.9796142578125\n", + "global step=8507392, episodic return=1625.8173828125\n", + "global step=8509440, episodic return=1669.6064453125\n", + "global step=8509440, episodic return=1605.1529541015625\n", + "global step=8509440, episodic return=1573.8338623046875\n", + "global step=8509440, episodic return=1616.1876220703125\n", + "global step=8509440, episodic return=1642.082763671875\n", + "global step=8509440, episodic return=1614.0341796875\n", + "global step=8511488, episodic return=1617.263427734375\n", + "global step=8511488, episodic return=1628.9443359375\n", + "global step=8511488, episodic return=1606.4373779296875\n", + "global step=8511488, episodic return=1637.08544921875\n", + "global step=8511488, episodic return=1660.03515625\n", + "global step=8511488, episodic return=1639.0712890625\n", + "global step=8513536, episodic return=1611.5521240234375\n", + "global step=8513536, episodic return=25.437837600708008\n", + "global step=8513536, episodic return=1622.5958251953125\n", + "global step=8513536, episodic return=1630.8575439453125\n", + "global step=8513536, episodic return=1618.20654296875\n", + "global step=8515584, episodic return=1621.2691650390625\n", + "global step=8515584, episodic return=1626.189208984375\n", + "global step=8515584, episodic return=1617.4398193359375\n", + "global step=8515584, episodic return=1622.123291015625\n", + "global step=8515584, episodic return=1640.20556640625\n", + "global step=8515584, episodic return=1613.3900146484375\n", + "global step=8517632, episodic return=1628.4852294921875\n", + "global step=8517632, episodic return=1616.8768310546875\n", + "global step=8517632, episodic return=1617.093994140625\n", + "global step=8517632, episodic return=1624.1427001953125\n", + "global step=8517632, episodic return=1604.6817626953125\n", + "global step=8519680, episodic return=1666.8660888671875\n", + "global step=8519680, episodic return=1624.279052734375\n", + "global step=8519680, episodic return=1640.3956298828125\n", + "global step=8519680, episodic return=1603.840576171875\n", + "global step=8519680, episodic return=1613.597900390625\n", + "global step=8519680, episodic return=1690.6934814453125\n", + "global step=8521728, episodic return=1612.4019775390625\n", + "global step=8521728, episodic return=1618.061279296875\n", + "global step=8521728, episodic return=1638.3504638671875\n", + "global step=8523776, episodic return=1621.838623046875\n", + "global step=8523776, episodic return=1598.98095703125\n", + "global step=8523776, episodic return=1633.900634765625\n", + "global step=8523776, episodic return=1615.8603515625\n", + "global step=8523776, episodic return=1608.64794921875\n", + "global step=8525824, episodic return=1609.60595703125\n", + "global step=8525824, episodic return=1612.8328857421875\n", + "global step=8525824, episodic return=1626.1380615234375\n", + "global step=8525824, episodic return=1663.1807861328125\n", + "global step=8525824, episodic return=1599.5494384765625\n", + "global step=8527872, episodic return=1625.915771484375\n", + "global step=8527872, episodic return=1609.92822265625\n", + "global step=8527872, episodic return=1637.655517578125\n", + "global step=8529920, episodic return=1618.4005126953125\n", + "global step=8529920, episodic return=1623.7059326171875\n", + "global step=8529920, episodic return=1656.435546875\n", + "global step=8529920, episodic return=1644.8568115234375\n", + "global step=8529920, episodic return=1618.6285400390625\n", + "global step=8529920, episodic return=1617.3099365234375\n", + "global step=8531968, episodic return=1616.1123046875\n", + "global step=8531968, episodic return=1611.6962890625\n", + "global step=8531968, episodic return=1624.2662353515625\n", + "global step=8531968, episodic return=1611.26123046875\n", + "global step=8531968, episodic return=1625.41650390625\n", + "global step=8534016, episodic return=1634.79736328125\n", + "global step=8534016, episodic return=1627.5977783203125\n", + "global step=8534016, episodic return=1609.7994384765625\n", + "global step=8534016, episodic return=1627.3485107421875\n", + "global step=8534016, episodic return=1623.671875\n", + "global step=8534016, episodic return=1622.038818359375\n", + "global step=8534016, episodic return=1617.3167724609375\n", + "global step=8534016, episodic return=1619.8125\n", + "global step=8534016, episodic return=1616.8033447265625\n", + "global step=8536064, episodic return=1607.5831298828125\n", + "global step=8536064, episodic return=1628.2613525390625\n", + "global step=8538112, episodic return=1646.2108154296875\n", + "global step=8538112, episodic return=1615.366455078125\n", + "global step=8538112, episodic return=1606.3231201171875\n", + "global step=8538112, episodic return=1622.1934814453125\n", + "global step=8538112, episodic return=1615.2666015625\n", + "global step=8538112, episodic return=1616.53759765625\n", + "global step=8540160, episodic return=1622.232421875\n", + "global step=8540160, episodic return=1694.0057373046875\n", + "global step=8540160, episodic return=1639.6956787109375\n", + "global step=8540160, episodic return=1611.697998046875\n", + "global step=8542208, episodic return=1644.912841796875\n", + "global step=8542208, episodic return=1609.9085693359375\n", + "global step=8542208, episodic return=1635.187255859375\n", + "global step=8542208, episodic return=1623.8282470703125\n", + "global step=8542208, episodic return=1596.463623046875\n", + "global step=8542208, episodic return=1595.288818359375\n", + "global step=8542208, episodic return=1624.360107421875\n", + "global step=8544256, episodic return=1611.23046875\n", + "global step=8544256, episodic return=1620.153564453125\n", + "global step=8544256, episodic return=1629.7069091796875\n", + "global step=8544256, episodic return=1613.6363525390625\n", + "global step=8546304, episodic return=1610.224853515625\n", + "global step=8546304, episodic return=1611.8663330078125\n", + "global step=8546304, episodic return=1652.976318359375\n", + "global step=8546304, episodic return=1620.829833984375\n", + "global step=8546304, episodic return=1605.1610107421875\n", + "global step=8546304, episodic return=1619.1588134765625\n", + "global step=8546304, episodic return=1612.0712890625\n", + "global step=8548352, episodic return=1670.1466064453125\n", + "global step=8548352, episodic return=1615.7755126953125\n", + "global step=8548352, episodic return=1621.462890625\n", + "global step=8548352, episodic return=1645.4052734375\n", + "global step=8548352, episodic return=1628.05322265625\n", + "global step=8548352, episodic return=1607.7459716796875\n", + "global step=8550400, episodic return=1618.8121337890625\n", + "global step=8550400, episodic return=1632.2957763671875\n", + "global step=8550400, episodic return=1646.104248046875\n", + "global step=8550400, episodic return=1608.7774658203125\n", + "global step=8550400, episodic return=1603.3466796875\n", + "global step=8550400, episodic return=1618.722412109375\n", + "global step=8550400, episodic return=1635.567626953125\n", + "global step=8550400, episodic return=1623.219482421875\n", + "global step=8550400, episodic return=1617.31201171875\n", + "global step=8550400, episodic return=1605.7230224609375\n", + "global step=8552448, episodic return=1627.225830078125\n", + "global step=8552448, episodic return=1657.6134033203125\n", + "global step=8552448, episodic return=1624.08056640625\n", + "global step=8552448, episodic return=1618.7281494140625\n", + "global step=8552448, episodic return=1616.175537109375\n", + "global step=8554496, episodic return=1614.224853515625\n", + "global step=8554496, episodic return=1690.5098876953125\n", + "global step=8554496, episodic return=1622.6900634765625\n", + "global step=8554496, episodic return=1637.941650390625\n", + "global step=8554496, episodic return=1607.9735107421875\n", + "global step=8554496, episodic return=1613.358154296875\n", + "global step=8554496, episodic return=1614.14599609375\n", + "global step=8554496, episodic return=1639.1729736328125\n", + "global step=8556544, episodic return=1602.5634765625\n", + "global step=8556544, episodic return=1618.4056396484375\n", + "global step=8556544, episodic return=1640.7119140625\n", + "global step=8558592, episodic return=1622.3526611328125\n", + "global step=8558592, episodic return=1624.2750244140625\n", + "global step=8558592, episodic return=1614.2342529296875\n", + "global step=8558592, episodic return=1617.2200927734375\n", + "global step=8560640, episodic return=1639.656982421875\n", + "global step=8560640, episodic return=1670.5623779296875\n", + "global step=8560640, episodic return=1609.99462890625\n", + "global step=8560640, episodic return=1614.7548828125\n", + "global step=8560640, episodic return=1615.7872314453125\n", + "global step=8560640, episodic return=1605.13134765625\n", + "global step=8560640, episodic return=1612.2156982421875\n", + "global step=8560640, episodic return=1637.4654541015625\n", + "global step=8562688, episodic return=1636.008544921875\n", + "global step=8562688, episodic return=1620.14794921875\n", + "global step=8562688, episodic return=1605.414794921875\n", + "global step=8564736, episodic return=1607.8829345703125\n", + "global step=8564736, episodic return=1674.6654052734375\n", + "global step=8564736, episodic return=1629.763671875\n", + "global step=8564736, episodic return=1624.81005859375\n", + "global step=8564736, episodic return=1617.11865234375\n", + "global step=8566784, episodic return=1596.6485595703125\n", + "global step=8566784, episodic return=1623.49560546875\n", + "global step=8566784, episodic return=1636.6480712890625\n", + "global step=8566784, episodic return=1539.518310546875\n", + "global step=8566784, episodic return=1618.333251953125\n", + "global step=8566784, episodic return=1633.840087890625\n", + "global step=8566784, episodic return=1616.65185546875\n", + "global step=8566784, episodic return=1616.2725830078125\n", + "global step=8566784, episodic return=1635.43798828125\n", + "global step=8568832, episodic return=1637.3330078125\n", + "global step=8568832, episodic return=1607.1826171875\n", + "global step=8568832, episodic return=1684.7265625\n", + "global step=8568832, episodic return=1618.02392578125\n", + "global step=8568832, episodic return=1606.245361328125\n", + "global step=8568832, episodic return=1616.9490966796875\n", + "global step=8570880, episodic return=1688.0745849609375\n", + "global step=8570880, episodic return=1587.6171875\n", + "global step=8570880, episodic return=1674.0316162109375\n", + "global step=8570880, episodic return=1622.240966796875\n", + "global step=8570880, episodic return=1621.352783203125\n", + "global step=8572928, episodic return=1645.0672607421875\n", + "global step=8572928, episodic return=1613.393798828125\n", + "global step=8572928, episodic return=1604.0550537109375\n", + "global step=8572928, episodic return=1624.0592041015625\n", + "global step=8572928, episodic return=1626.06005859375\n", + "global step=8574976, episodic return=1619.93798828125\n", + "global step=8574976, episodic return=1343.887939453125\n", + "global step=8574976, episodic return=1612.6824951171875\n", + "global step=8574976, episodic return=1642.09912109375\n", + "global step=8574976, episodic return=1635.3770751953125\n", + "global step=8574976, episodic return=1622.3538818359375\n", + "global step=8574976, episodic return=1617.1934814453125\n", + "global step=8574976, episodic return=1625.568115234375\n", + "global step=8577024, episodic return=1629.24560546875\n", + "global step=8577024, episodic return=1623.278076171875\n", + "global step=8577024, episodic return=1616.901123046875\n", + "global step=8577024, episodic return=1608.42138671875\n", + "global step=8577024, episodic return=1622.083984375\n", + "global step=8577024, episodic return=1620.294189453125\n", + "global step=8577024, episodic return=1620.057373046875\n", + "global step=8577024, episodic return=1416.4403076171875\n", + "global step=8577024, episodic return=1625.5919189453125\n", + "global step=8577024, episodic return=1625.5367431640625\n", + "global step=8579072, episodic return=1603.0570068359375\n", + "global step=8579072, episodic return=1610.0093994140625\n", + "global step=8579072, episodic return=1651.6820068359375\n", + "global step=8581120, episodic return=1626.6849365234375\n", + "global step=8581120, episodic return=1613.3790283203125\n", + "global step=8581120, episodic return=1619.1905517578125\n", + "global step=8581120, episodic return=1621.3253173828125\n", + "global step=8581120, episodic return=1631.0845947265625\n", + "global step=8583168, episodic return=1619.9599609375\n", + "global step=8583168, episodic return=1642.228515625\n", + "global step=8583168, episodic return=1620.09326171875\n", + "global step=8583168, episodic return=1624.1380615234375\n", + "global step=8583168, episodic return=1606.3729248046875\n", + "global step=8583168, episodic return=1606.706298828125\n", + "global step=8583168, episodic return=1610.4022216796875\n", + "global step=8585216, episodic return=1632.714111328125\n", + "global step=8585216, episodic return=1642.619140625\n", + "global step=8585216, episodic return=1606.31494140625\n", + "global step=8585216, episodic return=1625.3446044921875\n", + "global step=8587264, episodic return=1643.848388671875\n", + "global step=8587264, episodic return=1612.17333984375\n", + "global step=8587264, episodic return=1625.4969482421875\n", + "global step=8587264, episodic return=1617.6458740234375\n", + "global step=8587264, episodic return=1612.4794921875\n", + "global step=8587264, episodic return=1646.0535888671875\n", + "global step=8587264, episodic return=1602.782958984375\n", + "global step=8589312, episodic return=1621.6480712890625\n", + "global step=8591360, episodic return=1616.2467041015625\n", + "global step=8591360, episodic return=1611.2335205078125\n", + "global step=8591360, episodic return=1612.602783203125\n", + "global step=8591360, episodic return=1616.551025390625\n", + "global step=8591360, episodic return=1610.82568359375\n", + "global step=8591360, episodic return=1627.2598876953125\n", + "global step=8593408, episodic return=1622.5811767578125\n", + "global step=8593408, episodic return=1620.2156982421875\n", + "global step=8595456, episodic return=1647.1343994140625\n", + "global step=8595456, episodic return=1619.7939453125\n", + "global step=8595456, episodic return=1610.4720458984375\n", + "global step=8595456, episodic return=1615.05322265625\n", + "global step=8595456, episodic return=1661.402587890625\n", + "global step=8597504, episodic return=1632.3837890625\n", + "global step=8597504, episodic return=1619.53662109375\n", + "global step=8597504, episodic return=1623.641845703125\n", + "global step=8597504, episodic return=1611.623779296875\n", + "global step=8597504, episodic return=1618.918212890625\n", + "global step=8597504, episodic return=1661.82275390625\n", + "global step=8597504, episodic return=1633.51904296875\n", + "global step=8597504, episodic return=1617.5740966796875\n", + "global step=8599552, episodic return=1599.181640625\n", + "global step=8599552, episodic return=1612.4371337890625\n", + "global step=8599552, episodic return=1636.434814453125\n", + "global step=8599552, episodic return=1616.7667236328125\n", + "global step=8599552, episodic return=1636.1064453125\n", + "global step=8599552, episodic return=1608.9559326171875\n", + "global step=8601600, episodic return=1629.4241943359375\n", + "global step=8601600, episodic return=1644.8218994140625\n", + "global step=8601600, episodic return=1622.605712890625\n", + "global step=8601600, episodic return=1633.6546630859375\n", + "global step=8601600, episodic return=1613.691650390625\n", + "global step=8603648, episodic return=1615.529541015625\n", + "global step=8603648, episodic return=1610.735107421875\n", + "global step=8603648, episodic return=1608.4853515625\n", + "global step=8603648, episodic return=1627.072265625\n", + "global step=8603648, episodic return=1622.56640625\n", + "global step=8605696, episodic return=1641.36279296875\n", + "global step=8605696, episodic return=1635.1728515625\n", + "global step=8605696, episodic return=1628.402587890625\n", + "global step=8605696, episodic return=1653.397705078125\n", + "global step=8605696, episodic return=1624.1956787109375\n", + "global step=8605696, episodic return=1607.6580810546875\n", + "global step=8605696, episodic return=1602.289306640625\n", + "global step=8605696, episodic return=1620.99169921875\n", + "global step=8605696, episodic return=1610.744140625\n", + "global step=8605696, episodic return=1605.1981201171875\n", + "global step=8607744, episodic return=1618.3468017578125\n", + "global step=8607744, episodic return=1625.52880859375\n", + "global step=8607744, episodic return=1623.16259765625\n", + "global step=8607744, episodic return=1617.8465576171875\n", + "global step=8609792, episodic return=1615.4498291015625\n", + "global step=8609792, episodic return=1628.5384521484375\n", + "global step=8609792, episodic return=1658.4820556640625\n", + "global step=8609792, episodic return=1633.159912109375\n", + "global step=8609792, episodic return=1666.646240234375\n", + "global step=8609792, episodic return=1622.849365234375\n", + "global step=8609792, episodic return=1623.7374267578125\n", + "global step=8611840, episodic return=1608.5921630859375\n", + "global step=8611840, episodic return=1618.5130615234375\n", + "global step=8613888, episodic return=1630.7974853515625\n", + "global step=8613888, episodic return=1638.7469482421875\n", + "global step=8613888, episodic return=1637.753173828125\n", + "global step=8613888, episodic return=1620.619873046875\n", + "global step=8613888, episodic return=1611.3731689453125\n", + "global step=8615936, episodic return=1608.42529296875\n", + "global step=8615936, episodic return=1608.7833251953125\n", + "global step=8615936, episodic return=1641.6690673828125\n", + "global step=8617984, episodic return=1634.674560546875\n", + "global step=8617984, episodic return=1615.1943359375\n", + "global step=8617984, episodic return=1611.8515625\n", + "global step=8617984, episodic return=1614.4583740234375\n", + "global step=8620032, episodic return=1611.798583984375\n", + "global step=8620032, episodic return=1610.7247314453125\n", + "global step=8620032, episodic return=1644.7454833984375\n", + "global step=8620032, episodic return=1619.90478515625\n", + "global step=8620032, episodic return=1620.3575439453125\n", + "global step=8622080, episodic return=1657.389892578125\n", + "global step=8622080, episodic return=1649.0045166015625\n", + "global step=8622080, episodic return=1599.3916015625\n", + "global step=8622080, episodic return=1613.8231201171875\n", + "global step=8622080, episodic return=1629.4815673828125\n", + "global step=8622080, episodic return=1639.3631591796875\n", + "global step=8624128, episodic return=1621.2230224609375\n", + "global step=8624128, episodic return=1631.473388671875\n", + "global step=8624128, episodic return=1629.970947265625\n", + "global step=8624128, episodic return=1638.7830810546875\n", + "global step=8624128, episodic return=1610.339111328125\n", + "global step=8624128, episodic return=1617.177490234375\n", + "global step=8626176, episodic return=1605.2469482421875\n", + "global step=8626176, episodic return=1634.4835205078125\n", + "global step=8626176, episodic return=1609.863525390625\n", + "global step=8626176, episodic return=1615.6453857421875\n", + "global step=8626176, episodic return=1625.55029296875\n", + "global step=8626176, episodic return=1608.818115234375\n", + "global step=8628224, episodic return=1606.7158203125\n", + "global step=8628224, episodic return=1612.0863037109375\n", + "global step=8628224, episodic return=1614.9871826171875\n", + "global step=8628224, episodic return=1606.662353515625\n", + "global step=8628224, episodic return=1619.0975341796875\n", + "global step=8630272, episodic return=1643.7249755859375\n", + "global step=8630272, episodic return=1620.0552978515625\n", + "global step=8630272, episodic return=1615.0184326171875\n", + "global step=8632320, episodic return=1614.12548828125\n", + "global step=8632320, episodic return=1641.7923583984375\n", + "global step=8632320, episodic return=1621.0792236328125\n", + "global step=8632320, episodic return=1609.0528564453125\n", + "global step=8634368, episodic return=1618.5421142578125\n", + "global step=8634368, episodic return=1638.3775634765625\n", + "global step=8634368, episodic return=1616.570068359375\n", + "global step=8634368, episodic return=1668.3873291015625\n", + "global step=8636416, episodic return=1640.1971435546875\n", + "global step=8636416, episodic return=1640.4654541015625\n", + "global step=8636416, episodic return=1270.547119140625\n", + "global step=8636416, episodic return=1619.668212890625\n", + "global step=8638464, episodic return=1612.0855712890625\n", + "global step=8638464, episodic return=1615.314208984375\n", + "global step=8638464, episodic return=1633.826416015625\n", + "global step=8640512, episodic return=1613.159423828125\n", + "global step=8640512, episodic return=1629.505615234375\n", + "global step=8640512, episodic return=1613.072021484375\n", + "global step=8640512, episodic return=1615.5823974609375\n", + "global step=8640512, episodic return=1635.129150390625\n", + "global step=8642560, episodic return=1617.4801025390625\n", + "global step=8642560, episodic return=1629.3720703125\n", + "global step=8642560, episodic return=1619.341796875\n", + "global step=8642560, episodic return=1648.9996337890625\n", + "global step=8642560, episodic return=1687.6617431640625\n", + "global step=8642560, episodic return=1629.10693359375\n", + "global step=8642560, episodic return=1615.035400390625\n", + "global step=8644608, episodic return=1611.51025390625\n", + "global step=8644608, episodic return=1628.2022705078125\n", + "global step=8644608, episodic return=1664.6861572265625\n", + "global step=8644608, episodic return=1615.982421875\n", + "global step=8646656, episodic return=1652.47607421875\n", + "global step=8646656, episodic return=1619.3729248046875\n", + "global step=8648704, episodic return=1627.901611328125\n", + "global step=8648704, episodic return=1609.984130859375\n", + "global step=8648704, episodic return=1614.380859375\n", + "global step=8648704, episodic return=1638.9630126953125\n", + "global step=8648704, episodic return=1671.6768798828125\n", + "global step=8648704, episodic return=1620.45458984375\n", + "global step=8648704, episodic return=1614.0576171875\n", + "global step=8648704, episodic return=1649.2320556640625\n", + "global step=8650752, episodic return=1605.9852294921875\n", + "global step=8650752, episodic return=1629.215087890625\n", + "global step=8650752, episodic return=1619.4549560546875\n", + "global step=8652800, episodic return=1621.9268798828125\n", + "global step=8652800, episodic return=1653.1361083984375\n", + "global step=8652800, episodic return=1617.77685546875\n", + "global step=8652800, episodic return=1621.6279296875\n", + "global step=8652800, episodic return=1664.099609375\n", + "global step=8654848, episodic return=1679.32373046875\n", + "global step=8654848, episodic return=1619.9993896484375\n", + "global step=8654848, episodic return=1612.986328125\n", + "global step=8654848, episodic return=1624.7244873046875\n", + "global step=8654848, episodic return=1613.0931396484375\n", + "global step=8654848, episodic return=1642.2734375\n", + "global step=8656896, episodic return=1624.678955078125\n", + "global step=8656896, episodic return=1614.532958984375\n", + "global step=8656896, episodic return=1626.69775390625\n", + "global step=8656896, episodic return=1588.648193359375\n", + "global step=8658944, episodic return=1620.472412109375\n", + "global step=8658944, episodic return=1629.598388671875\n", + "global step=8658944, episodic return=1618.3851318359375\n", + "global step=8658944, episodic return=1605.80810546875\n", + "global step=8658944, episodic return=1643.4482421875\n", + "global step=8660992, episodic return=1610.12060546875\n", + "global step=8660992, episodic return=1616.6278076171875\n", + "global step=8660992, episodic return=1652.4794921875\n", + "global step=8663040, episodic return=1712.9468994140625\n", + "global step=8663040, episodic return=1635.0318603515625\n", + "global step=8663040, episodic return=1623.6767578125\n", + "global step=8663040, episodic return=1645.766845703125\n", + "global step=8663040, episodic return=1656.2115478515625\n", + "global step=8665088, episodic return=1623.08056640625\n", + "global step=8665088, episodic return=1621.53857421875\n", + "global step=8665088, episodic return=1614.4686279296875\n", + "global step=8665088, episodic return=1612.7872314453125\n", + "global step=8667136, episodic return=1610.41162109375\n", + "global step=8667136, episodic return=1629.993896484375\n", + "global step=8667136, episodic return=1613.0589599609375\n", + "global step=8667136, episodic return=1656.681884765625\n", + "global step=8669184, episodic return=1618.933837890625\n", + "global step=8669184, episodic return=1615.8072509765625\n", + "global step=8669184, episodic return=1669.6710205078125\n", + "global step=8669184, episodic return=1627.468994140625\n", + "global step=8669184, episodic return=1619.983642578125\n", + "global step=8669184, episodic return=1633.4962158203125\n", + "global step=8669184, episodic return=1612.8297119140625\n", + "global step=8669184, episodic return=1640.5946044921875\n", + "global step=8669184, episodic return=1609.08154296875\n", + "global step=8669184, episodic return=1623.3668212890625\n", + "global step=8669184, episodic return=1612.3759765625\n", + "global step=8671232, episodic return=1631.6890869140625\n", + "global step=8671232, episodic return=1663.9188232421875\n", + "global step=8671232, episodic return=1645.6802978515625\n", + "global step=8671232, episodic return=1638.2823486328125\n", + "global step=8671232, episodic return=1639.388916015625\n", + "global step=8673280, episodic return=1624.3677978515625\n", + "global step=8673280, episodic return=1671.8140869140625\n", + "global step=8673280, episodic return=1611.931884765625\n", + "global step=8675328, episodic return=1623.0792236328125\n", + "global step=8675328, episodic return=1614.147705078125\n", + "global step=8675328, episodic return=1623.0819091796875\n", + "global step=8675328, episodic return=1648.1619873046875\n", + "global step=8675328, episodic return=1617.6953125\n", + "global step=8675328, episodic return=1624.88427734375\n", + "global step=8677376, episodic return=1633.3133544921875\n", + "global step=8677376, episodic return=1641.4742431640625\n", + "global step=8677376, episodic return=1636.1361083984375\n", + "global step=8677376, episodic return=1618.7769775390625\n", + "global step=8679424, episodic return=1617.2330322265625\n", + "global step=8679424, episodic return=1612.3018798828125\n", + "global step=8679424, episodic return=1617.85009765625\n", + "global step=8679424, episodic return=1608.2735595703125\n", + "global step=8681472, episodic return=1644.50732421875\n", + "global step=8681472, episodic return=1630.526611328125\n", + "global step=8681472, episodic return=1686.528076171875\n", + "global step=8681472, episodic return=1632.503173828125\n", + "global step=8681472, episodic return=1632.4124755859375\n", + "global step=8683520, episodic return=1623.90771484375\n", + "global step=8683520, episodic return=1619.75341796875\n", + "global step=8685568, episodic return=1617.8590087890625\n", + "global step=8685568, episodic return=1629.9952392578125\n", + "global step=8685568, episodic return=1625.2393798828125\n", + "global step=8685568, episodic return=1622.0498046875\n", + "global step=8687616, episodic return=1621.28759765625\n", + "global step=8687616, episodic return=1607.050048828125\n", + "global step=8689664, episodic return=1616.361572265625\n", + "global step=8689664, episodic return=1666.676513671875\n", + "global step=8689664, episodic return=1616.2374267578125\n", + "global step=8689664, episodic return=1607.475830078125\n", + "global step=8689664, episodic return=1614.4185791015625\n", + "global step=8689664, episodic return=1635.700927734375\n", + "global step=8689664, episodic return=1613.5521240234375\n", + "global step=8691712, episodic return=1628.2542724609375\n", + "global step=8691712, episodic return=1624.1549072265625\n", + "global step=8691712, episodic return=1631.38330078125\n", + "global step=8691712, episodic return=1609.776611328125\n", + "global step=8693760, episodic return=1697.572998046875\n", + "global step=8693760, episodic return=1495.917724609375\n", + "global step=8693760, episodic return=1612.777099609375\n", + "global step=8695808, episodic return=1617.2174072265625\n", + "global step=8695808, episodic return=1622.450927734375\n", + "global step=8695808, episodic return=1605.5748291015625\n", + "global step=8697856, episodic return=1641.5706787109375\n", + "global step=8697856, episodic return=1612.1944580078125\n", + "global step=8697856, episodic return=1622.5679931640625\n", + "global step=8697856, episodic return=1636.2420654296875\n", + "global step=8697856, episodic return=1607.40576171875\n", + "global step=8697856, episodic return=1615.29052734375\n", + "global step=8699904, episodic return=1609.719482421875\n", + "global step=8699904, episodic return=1632.6219482421875\n", + "global step=8699904, episodic return=1660.97900390625\n", + "global step=8699904, episodic return=1631.743408203125\n", + "global step=8701952, episodic return=1599.9552001953125\n", + "global step=8701952, episodic return=1653.8433837890625\n", + "global step=8701952, episodic return=1624.1085205078125\n", + "global step=8701952, episodic return=1631.4466552734375\n", + "global step=8701952, episodic return=1625.338623046875\n", + "global step=8701952, episodic return=1654.792724609375\n", + "global step=8704000, episodic return=1603.5185546875\n", + "global step=8704000, episodic return=1618.976806640625\n", + "global step=8704000, episodic return=1616.3834228515625\n", + "global step=8704000, episodic return=1625.46044921875\n", + "global step=8706048, episodic return=1615.2801513671875\n", + "global step=8706048, episodic return=1624.2132568359375\n", + "global step=8706048, episodic return=1639.2760009765625\n", + "global step=8706048, episodic return=1652.438720703125\n", + "global step=8706048, episodic return=1630.5950927734375\n", + "global step=8708096, episodic return=1607.12548828125\n", + "global step=8708096, episodic return=1616.529296875\n", + "global step=8708096, episodic return=1614.15771484375\n", + "global step=8708096, episodic return=1604.03564453125\n", + "global step=8710144, episodic return=1628.7657470703125\n", + "global step=8710144, episodic return=1618.8436279296875\n", + "global step=8710144, episodic return=1608.88427734375\n", + "global step=8710144, episodic return=1673.4368896484375\n", + "global step=8710144, episodic return=1621.156005859375\n", + "global step=8710144, episodic return=1687.2578125\n", + "global step=8712192, episodic return=1622.846923828125\n", + "global step=8712192, episodic return=1618.478515625\n", + "global step=8712192, episodic return=1623.5352783203125\n", + "global step=8714240, episodic return=1614.6507568359375\n", + "global step=8714240, episodic return=1628.2125244140625\n", + "global step=8714240, episodic return=1643.29345703125\n", + "global step=8714240, episodic return=1624.114501953125\n", + "global step=8714240, episodic return=1622.23876953125\n", + "global step=8716288, episodic return=1617.496337890625\n", + "global step=8716288, episodic return=1621.065185546875\n", + "global step=8716288, episodic return=1619.715087890625\n", + "global step=8716288, episodic return=1616.5145263671875\n", + "global step=8716288, episodic return=1615.7047119140625\n", + "global step=8718336, episodic return=1609.758544921875\n", + "global step=8718336, episodic return=1627.478759765625\n", + "global step=8718336, episodic return=1686.7626953125\n", + "global step=8720384, episodic return=1636.4134521484375\n", + "global step=8720384, episodic return=1618.781982421875\n", + "global step=8722432, episodic return=1616.7735595703125\n", + "global step=8722432, episodic return=1624.4866943359375\n", + "global step=8722432, episodic return=1606.264892578125\n", + "global step=8724480, episodic return=1629.2120361328125\n", + "global step=8724480, episodic return=1629.9466552734375\n", + "global step=8724480, episodic return=1620.644287109375\n", + "global step=8726528, episodic return=1644.096923828125\n", + "global step=8728576, episodic return=1632.7628173828125\n", + "global step=8730624, episodic return=1613.9954833984375\n", + "global step=8730624, episodic return=1688.88525390625\n", + "global step=8730624, episodic return=1606.2418212890625\n", + "global step=8732672, episodic return=1623.9046630859375\n", + "global step=8732672, episodic return=1620.3978271484375\n", + "global step=8734720, episodic return=1623.594482421875\n", + "global step=8734720, episodic return=1610.992919921875\n", + "global step=8734720, episodic return=1627.978271484375\n", + "global step=8734720, episodic return=1605.9095458984375\n", + "global step=8736768, episodic return=1706.1971435546875\n", + "global step=8736768, episodic return=1607.8267822265625\n", + "global step=8736768, episodic return=1620.8525390625\n", + "global step=8736768, episodic return=1655.86669921875\n", + "global step=8738816, episodic return=1618.822021484375\n", + "global step=8742912, episodic return=1629.2386474609375\n", + "global step=8742912, episodic return=1635.6488037109375\n", + "global step=8742912, episodic return=1648.892333984375\n", + "global step=8744960, episodic return=1608.5250244140625\n", + "global step=8744960, episodic return=1549.8175048828125\n", + "global step=8744960, episodic return=1617.8017578125\n", + "global step=8744960, episodic return=1659.6973876953125\n", + "global step=8747008, episodic return=1624.2576904296875\n", + "global step=8747008, episodic return=1636.719970703125\n", + "global step=8749056, episodic return=1608.9124755859375\n", + "global step=8749056, episodic return=1616.4566650390625\n", + "global step=8749056, episodic return=1625.0845947265625\n", + "global step=8749056, episodic return=1653.5126953125\n", + "global step=8751104, episodic return=1613.3896484375\n", + "global step=8751104, episodic return=1622.85498046875\n", + "global step=8751104, episodic return=1671.1219482421875\n", + "global step=8753152, episodic return=1617.275634765625\n", + "global step=8755200, episodic return=1658.88330078125\n", + "global step=8755200, episodic return=1603.5455322265625\n", + "global step=8755200, episodic return=1631.4571533203125\n", + "global step=8759296, episodic return=1637.2183837890625\n", + "global step=8759296, episodic return=25.826175689697266\n", + "global step=8759296, episodic return=1628.977294921875\n", + "global step=8759296, episodic return=1632.270263671875\n", + "global step=8761344, episodic return=1616.406982421875\n", + "global step=8761344, episodic return=1609.3642578125\n", + "global step=8761344, episodic return=1613.3807373046875\n", + "global step=8761344, episodic return=1625.0157470703125\n", + "global step=8761344, episodic return=1605.3421630859375\n", + "global step=8763392, episodic return=1621.8873291015625\n", + "global step=8765440, episodic return=1657.13818359375\n", + "global step=8765440, episodic return=1616.3763427734375\n", + "global step=8765440, episodic return=1652.0634765625\n", + "global step=8767488, episodic return=1656.5582275390625\n", + "global step=8767488, episodic return=1648.55126953125\n", + "global step=8769536, episodic return=1624.58056640625\n", + "global step=8769536, episodic return=1629.0216064453125\n", + "global step=8769536, episodic return=1608.6119384765625\n", + "global step=8769536, episodic return=1626.1884765625\n", + "global step=8769536, episodic return=1609.37158203125\n", + "global step=8771584, episodic return=1614.1158447265625\n", + "global step=8773632, episodic return=1625.0804443359375\n", + "global step=8773632, episodic return=1614.850341796875\n", + "global step=8773632, episodic return=1636.094482421875\n", + "global step=8773632, episodic return=1613.3095703125\n", + "global step=8775680, episodic return=1605.6514892578125\n", + "global step=8777728, episodic return=1625.8380126953125\n", + "global step=8779776, episodic return=1621.529296875\n", + "global step=8779776, episodic return=1621.1011962890625\n", + "global step=8779776, episodic return=1619.5576171875\n", + "global step=8779776, episodic return=1659.4425048828125\n", + "global step=8779776, episodic return=1626.4598388671875\n", + "global step=8781824, episodic return=1639.0858154296875\n", + "global step=8781824, episodic return=1615.2994384765625\n", + "global step=8783872, episodic return=1667.275390625\n", + "global step=8783872, episodic return=1620.48828125\n", + "global step=8783872, episodic return=1618.1510009765625\n", + "global step=8785920, episodic return=1635.9864501953125\n", + "global step=8785920, episodic return=1623.6580810546875\n", + "global step=8785920, episodic return=1623.3692626953125\n", + "global step=8787968, episodic return=1623.2509765625\n", + "global step=8790016, episodic return=1613.9390869140625\n", + "global step=8792064, episodic return=1628.77197265625\n", + "global step=8792064, episodic return=1641.8092041015625\n", + "global step=8792064, episodic return=1671.168212890625\n", + "global step=8794112, episodic return=1631.5361328125\n", + "global step=8794112, episodic return=1613.2354736328125\n", + "global step=8796160, episodic return=1617.984130859375\n", + "global step=8796160, episodic return=1649.4056396484375\n", + "global step=8796160, episodic return=1616.1580810546875\n", + "global step=8796160, episodic return=1621.4161376953125\n", + "global step=8796160, episodic return=1637.8797607421875\n", + "global step=8796160, episodic return=1636.4022216796875\n", + "global step=8796160, episodic return=1641.1260986328125\n", + "global step=8798208, episodic return=1625.8177490234375\n", + "global step=8800256, episodic return=1635.799560546875\n", + "global step=8800256, episodic return=1632.8358154296875\n", + "global step=8800256, episodic return=1628.5377197265625\n", + "global step=8800256, episodic return=1630.142578125\n", + "global step=8800256, episodic return=1629.2247314453125\n", + "global step=8800256, episodic return=1602.0927734375\n", + "global step=8800256, episodic return=1633.1307373046875\n", + "global step=8802304, episodic return=1612.113525390625\n", + "global step=8804352, episodic return=1631.1455078125\n", + "global step=8804352, episodic return=1622.756103515625\n", + "global step=8804352, episodic return=1629.3624267578125\n", + "global step=8804352, episodic return=1611.3897705078125\n", + "global step=8804352, episodic return=1651.06201171875\n", + "global step=8806400, episodic return=1623.3646240234375\n", + "global step=8806400, episodic return=1611.3463134765625\n", + "global step=8806400, episodic return=1628.1800537109375\n", + "global step=8808448, episodic return=1642.2774658203125\n", + "global step=8808448, episodic return=1634.771484375\n", + "global step=8810496, episodic return=1623.4931640625\n", + "global step=8810496, episodic return=1613.2122802734375\n", + "global step=8812544, episodic return=1617.296875\n", + "global step=8812544, episodic return=1652.06591796875\n", + "global step=8812544, episodic return=1610.14892578125\n", + "global step=8812544, episodic return=1666.0908203125\n", + "global step=8814592, episodic return=1614.934326171875\n", + "global step=8816640, episodic return=1628.2757568359375\n", + "global step=8816640, episodic return=1633.472412109375\n", + "global step=8816640, episodic return=1637.687255859375\n", + "global step=8820736, episodic return=1619.2550048828125\n", + "global step=8822784, episodic return=1636.176513671875\n", + "global step=8822784, episodic return=1658.3232421875\n", + "global step=8824832, episodic return=1712.4075927734375\n", + "global step=8824832, episodic return=1620.8182373046875\n", + "global step=8826880, episodic return=1643.4713134765625\n", + "global step=8828928, episodic return=1633.4945068359375\n", + "global step=8830976, episodic return=1645.0333251953125\n", + "global step=8830976, episodic return=1619.0596923828125\n", + "global step=8830976, episodic return=1628.88916015625\n", + "global step=8833024, episodic return=1617.7552490234375\n", + "global step=8833024, episodic return=1624.2423095703125\n", + "global step=8833024, episodic return=1624.239013671875\n", + "global step=8835072, episodic return=1633.0413818359375\n", + "global step=8835072, episodic return=1625.2620849609375\n", + "global step=8835072, episodic return=1613.9862060546875\n", + "global step=8837120, episodic return=1638.9537353515625\n", + "global step=8837120, episodic return=1616.3172607421875\n", + "global step=8837120, episodic return=1617.4449462890625\n", + "global step=8837120, episodic return=1624.04638671875\n", + "global step=8839168, episodic return=1626.875\n", + "global step=8841216, episodic return=1623.009521484375\n", + "global step=8841216, episodic return=1623.17822265625\n", + "global step=8841216, episodic return=1637.40234375\n", + "global step=8841216, episodic return=1627.8770751953125\n", + "global step=8841216, episodic return=1626.1749267578125\n", + "global step=8843264, episodic return=1624.5166015625\n", + "global step=8845312, episodic return=1625.2115478515625\n", + "global step=8847360, episodic return=1626.3504638671875\n", + "global step=8851456, episodic return=1622.146728515625\n", + "global step=8853504, episodic return=1616.5784912109375\n", + "global step=8857600, episodic return=1644.3260498046875\n", + "global step=8859648, episodic return=1622.514404296875\n", + "global step=8859648, episodic return=1617.75537109375\n", + "global step=8861696, episodic return=1614.65478515625\n", + "global step=8861696, episodic return=1646.46337890625\n", + "global step=8863744, episodic return=1619.362548828125\n", + "global step=8865792, episodic return=1622.701171875\n", + "global step=8867840, episodic return=1624.5985107421875\n", + "global step=8867840, episodic return=1614.192626953125\n", + "global step=8869888, episodic return=1623.2486572265625\n", + "global step=8869888, episodic return=1623.581298828125\n", + "global step=8871936, episodic return=1666.0211181640625\n", + "global step=8873984, episodic return=1627.148681640625\n", + "global step=8873984, episodic return=1624.348876953125\n", + "global step=8876032, episodic return=1625.099609375\n", + "global step=8878080, episodic return=1647.703125\n", + "global step=8878080, episodic return=1629.296142578125\n", + "global step=8880128, episodic return=1625.827880859375\n", + "global step=8882176, episodic return=1624.4454345703125\n", + "global step=8882176, episodic return=1635.535400390625\n", + "global step=8882176, episodic return=1629.7130126953125\n", + "global step=8884224, episodic return=1616.1097412109375\n", + "global step=8886272, episodic return=1613.33203125\n", + "global step=8886272, episodic return=1634.2357177734375\n", + "global step=8888320, episodic return=1621.5596923828125\n", + "global step=8888320, episodic return=1665.259033203125\n", + "global step=8888320, episodic return=1637.55517578125\n", + "global step=8890368, episodic return=1618.550537109375\n", + "global step=8890368, episodic return=1620.3511962890625\n", + "global step=8892416, episodic return=1624.67626953125\n", + "global step=8892416, episodic return=1617.694580078125\n", + "global step=8894464, episodic return=1628.113525390625\n", + "global step=8894464, episodic return=1653.4461669921875\n", + "global step=8894464, episodic return=1612.31494140625\n", + "global step=8896512, episodic return=1617.7418212890625\n", + "global step=8896512, episodic return=1624.971435546875\n", + "global step=8898560, episodic return=1630.57177734375\n", + "global step=8900608, episodic return=1621.267822265625\n", + "global step=8900608, episodic return=1631.54150390625\n", + "global step=8904704, episodic return=1658.3216552734375\n", + "global step=8904704, episodic return=1626.951416015625\n", + "global step=8904704, episodic return=1620.399169921875\n", + "global step=8904704, episodic return=1653.2733154296875\n", + "global step=8910848, episodic return=1627.8077392578125\n", + "global step=8912896, episodic return=1630.9921875\n", + "global step=8919040, episodic return=1667.0555419921875\n", + "global step=8921088, episodic return=1641.0653076171875\n", + "global step=8921088, episodic return=1637.12548828125\n", + "global step=8923136, episodic return=1631.740478515625\n", + "global step=8923136, episodic return=1628.0599365234375\n", + "global step=8925184, episodic return=1616.153564453125\n", + "global step=8925184, episodic return=1502.3348388671875\n", + "global step=8925184, episodic return=1644.58984375\n", + "global step=8929280, episodic return=1632.02978515625\n", + "global step=8933376, episodic return=1635.58984375\n", + "global step=8937472, episodic return=1633.439208984375\n", + "global step=8937472, episodic return=1631.002685546875\n", + "global step=8939520, episodic return=1623.274658203125\n", + "global step=8941568, episodic return=1646.8897705078125\n", + "global step=8943616, episodic return=1627.9993896484375\n", + "global step=8947712, episodic return=1629.9949951171875\n", + "global step=8949760, episodic return=1639.5311279296875\n", + "global step=8953856, episodic return=1663.7685546875\n", + "global step=8955904, episodic return=1638.352783203125\n", + "global step=8955904, episodic return=1640.9417724609375\n", + "global step=8957952, episodic return=1649.318603515625\n", + "global step=8957952, episodic return=1709.258056640625\n", + "global step=8957952, episodic return=1663.808349609375\n", + "global step=8960000, episodic return=1618.3443603515625\n", + "global step=8962048, episodic return=1663.4290771484375\n", + "global step=8964096, episodic return=1653.73193359375\n", + "global step=8966144, episodic return=1649.1468505859375\n", + "global step=8970240, episodic return=1652.1859130859375\n", + "global step=8970240, episodic return=1623.12255859375\n", + "global step=8972288, episodic return=1671.1539306640625\n", + "global step=8974336, episodic return=1634.232177734375\n", + "global step=8978432, episodic return=1627.101318359375\n", + "global step=8978432, episodic return=1625.7864990234375\n", + "global step=8978432, episodic return=1656.197265625\n", + "global step=8982528, episodic return=1629.7286376953125\n", + "global step=8982528, episodic return=1627.4156494140625\n", + "global step=8984576, episodic return=1639.2325439453125\n", + "global step=8984576, episodic return=1644.19384765625\n", + "global step=8988672, episodic return=1630.779052734375\n", + "global step=8988672, episodic return=1653.7239990234375\n", + "global step=8988672, episodic return=1322.4093017578125\n", + "global step=8992768, episodic return=1647.3912353515625\n", + "global step=8994816, episodic return=1627.7296142578125\n", + "global step=8996864, episodic return=1647.6053466796875\n", + "global step=8998912, episodic return=1640.8660888671875\n", + "global step=9000960, episodic return=1715.475341796875\n", + "global step=9003008, episodic return=1633.3172607421875\n", + "global step=9007104, episodic return=1630.7088623046875\n", + "global step=9007104, episodic return=1627.6898193359375\n", + "global step=9007104, episodic return=1630.2332763671875\n", + "global step=9007104, episodic return=1634.4755859375\n", + "global step=9009152, episodic return=1633.66357421875\n", + "global step=9013248, episodic return=1645.17529296875\n", + "global step=9013248, episodic return=1622.5875244140625\n", + "global step=9013248, episodic return=1649.0672607421875\n", + "global step=9015296, episodic return=1659.0655517578125\n", + "global step=9019392, episodic return=1620.920166015625\n", + "global step=9021440, episodic return=1628.280029296875\n", + "global step=9021440, episodic return=1638.8731689453125\n", + "global step=9021440, episodic return=1651.4853515625\n", + "global step=9027584, episodic return=1620.0272216796875\n", + "global step=9027584, episodic return=1646.236083984375\n", + "global step=9027584, episodic return=1622.906494140625\n", + "global step=9033728, episodic return=1646.5040283203125\n", + "global step=9035776, episodic return=28.562053680419922\n", + "global step=9037824, episodic return=1625.9293212890625\n", + "global step=9039872, episodic return=1644.8525390625\n", + "global step=9041920, episodic return=1633.630126953125\n", + "global step=9043968, episodic return=1643.832763671875\n", + "global step=9046016, episodic return=1641.7716064453125\n", + "global step=9046016, episodic return=1637.5771484375\n", + "global step=9050112, episodic return=1640.607666015625\n", + "global step=9050112, episodic return=1632.98974609375\n", + "global step=9052160, episodic return=1638.8558349609375\n", + "global step=9054208, episodic return=1651.583984375\n", + "global step=9054208, episodic return=1645.1331787109375\n", + "global step=9054208, episodic return=1636.2669677734375\n", + "global step=9054208, episodic return=1646.8048095703125\n", + "global step=9056256, episodic return=1661.4554443359375\n", + "global step=9058304, episodic return=1636.7034912109375\n", + "global step=9060352, episodic return=1641.46142578125\n", + "global step=9062400, episodic return=1643.558349609375\n", + "global step=9066496, episodic return=1137.408203125\n", + "global step=9066496, episodic return=1627.2352294921875\n", + "global step=9068544, episodic return=785.8861694335938\n", + "global step=9070592, episodic return=1656.552978515625\n", + "global step=9072640, episodic return=1650.7537841796875\n", + "global step=9074688, episodic return=1630.250244140625\n", + "global step=9074688, episodic return=1633.281494140625\n", + "global step=9078784, episodic return=1655.46484375\n", + "global step=9084928, episodic return=1649.545654296875\n", + "global step=9084928, episodic return=1632.0660400390625\n", + "global step=9086976, episodic return=1094.205322265625\n", + "global step=9086976, episodic return=1645.568115234375\n", + "global step=9089024, episodic return=28.219585418701172\n", + "global step=9091072, episodic return=1645.8802490234375\n", + "global step=9091072, episodic return=1673.46337890625\n", + "global step=9093120, episodic return=28.867294311523438\n", + "global step=9095168, episodic return=900.1397705078125\n", + "global step=9099264, episodic return=1647.66357421875\n", + "global step=9099264, episodic return=1642.70361328125\n", + "global step=9099264, episodic return=1640.2490234375\n", + "global step=9101312, episodic return=1200.772216796875\n", + "global step=9101312, episodic return=1653.4210205078125\n", + "global step=9101312, episodic return=1635.6705322265625\n", + "global step=9103360, episodic return=1281.76513671875\n", + "global step=9103360, episodic return=31.859254837036133\n", + "global step=9107456, episodic return=1642.424560546875\n", + "global step=9109504, episodic return=1631.274169921875\n", + "global step=9113600, episodic return=28.457324981689453\n", + "global step=9113600, episodic return=1666.4688720703125\n", + "global step=9117696, episodic return=1633.052978515625\n", + "global step=9119744, episodic return=1693.9659423828125\n", + "global step=9119744, episodic return=1632.859619140625\n", + "global step=9119744, episodic return=1630.28759765625\n", + "global step=9119744, episodic return=1653.8712158203125\n", + "global step=9119744, episodic return=975.2499389648438\n", + "global step=9121792, episodic return=1655.8426513671875\n", + "global step=9121792, episodic return=1666.9898681640625\n", + "global step=9125888, episodic return=1649.96875\n", + "global step=9127936, episodic return=1640.349853515625\n", + "global step=9127936, episodic return=1648.6099853515625\n", + "global step=9127936, episodic return=1742.75634765625\n", + "global step=9129984, episodic return=1634.732421875\n", + "global step=9129984, episodic return=1127.6776123046875\n", + "global step=9140224, episodic return=1647.6680908203125\n", + "global step=9144320, episodic return=1648.862548828125\n", + "global step=9144320, episodic return=1691.30224609375\n", + "global step=9144320, episodic return=1677.96728515625\n", + "global step=9150464, episodic return=1640.6434326171875\n", + "global step=9150464, episodic return=972.9257202148438\n", + "global step=9154560, episodic return=1642.46923828125\n", + "global step=9154560, episodic return=1681.1929931640625\n", + "global step=9156608, episodic return=789.8358154296875\n", + "global step=9156608, episodic return=1660.281005859375\n", + "global step=9158656, episodic return=1642.5845947265625\n", + "global step=9158656, episodic return=1687.11962890625\n", + "global step=9162752, episodic return=1007.427978515625\n", + "global step=9162752, episodic return=1637.41796875\n", + "global step=9164800, episodic return=1653.28662109375\n", + "global step=9164800, episodic return=1672.9609375\n", + "global step=9164800, episodic return=1426.515869140625\n", + "global step=9168896, episodic return=869.4463500976562\n", + "global step=9168896, episodic return=819.9230346679688\n", + "global step=9168896, episodic return=1647.892333984375\n", + "global step=9168896, episodic return=1644.4888916015625\n", + "global step=9168896, episodic return=1634.0980224609375\n", + "global step=9170944, episodic return=1651.242919921875\n", + "global step=9177088, episodic return=1638.101318359375\n", + "global step=9177088, episodic return=1631.61572265625\n", + "global step=9179136, episodic return=957.4384765625\n", + "global step=9179136, episodic return=774.1614990234375\n", + "global step=9181184, episodic return=967.6196899414062\n", + "global step=9181184, episodic return=1660.8109130859375\n", + "global step=9181184, episodic return=904.3805541992188\n", + "global step=9183232, episodic return=1036.958251953125\n", + "global step=9183232, episodic return=1658.581787109375\n", + "global step=9183232, episodic return=1672.901611328125\n", + "global step=9185280, episodic return=1652.9915771484375\n", + "global step=9195520, episodic return=1003.3201293945312\n", + "global step=9195520, episodic return=831.5402221679688\n", + "global step=9197568, episodic return=1641.2635498046875\n", + "global step=9197568, episodic return=1636.08251953125\n", + "global step=9197568, episodic return=1642.0731201171875\n", + "global step=9199616, episodic return=791.3449096679688\n", + "global step=9201664, episodic return=1650.80615234375\n", + "global step=9203712, episodic return=1419.7503662109375\n", + "global step=9205760, episodic return=831.5560913085938\n", + "global step=9205760, episodic return=1634.2569580078125\n", + "global step=9205760, episodic return=1623.811767578125\n", + "global step=9209856, episodic return=1652.2474365234375\n", + "global step=9209856, episodic return=1633.2735595703125\n", + "global step=9211904, episodic return=1118.5283203125\n", + "global step=9216000, episodic return=1627.13818359375\n", + "global step=9218048, episodic return=822.434326171875\n", + "global step=9218048, episodic return=1635.304931640625\n", + "global step=9218048, episodic return=755.1443481445312\n", + "global step=9220096, episodic return=924.1401977539062\n", + "global step=9222144, episodic return=1681.368896484375\n", + "global step=9222144, episodic return=1680.71630859375\n", + "global step=9224192, episodic return=1644.5299072265625\n", + "global step=9226240, episodic return=1665.292724609375\n", + "global step=9226240, episodic return=1642.7978515625\n", + "global step=9226240, episodic return=1666.4107666015625\n", + "global step=9228288, episodic return=1646.7147216796875\n", + "global step=9228288, episodic return=1650.3602294921875\n", + "global step=9230336, episodic return=1639.7242431640625\n", + "global step=9232384, episodic return=825.1770629882812\n", + "global step=9234432, episodic return=1655.17724609375\n", + "global step=9238528, episodic return=1577.985107421875\n", + "global step=9242624, episodic return=793.0538330078125\n", + "global step=9244672, episodic return=943.1989135742188\n", + "global step=9246720, episodic return=1260.7403564453125\n", + "global step=9246720, episodic return=1657.153564453125\n", + "global step=9246720, episodic return=1642.1396484375\n", + "global step=9248768, episodic return=1642.7705078125\n", + "global step=9254912, episodic return=1067.262451171875\n", + "global step=9254912, episodic return=1681.513916015625\n", + "global step=9256960, episodic return=1630.78662109375\n", + "global step=9256960, episodic return=1049.358154296875\n", + "global step=9259008, episodic return=1662.8797607421875\n", + "global step=9259008, episodic return=1433.451416015625\n", + "global step=9259008, episodic return=1639.5599365234375\n", + "global step=9265152, episodic return=1631.158203125\n", + "global step=9265152, episodic return=1096.5213623046875\n", + "global step=9265152, episodic return=1203.24169921875\n", + "global step=9265152, episodic return=787.6124877929688\n", + "global step=9271296, episodic return=1642.5631103515625\n", + "global step=9271296, episodic return=688.8878173828125\n", + "global step=9271296, episodic return=1045.3211669921875\n", + "global step=9273344, episodic return=1676.080810546875\n", + "global step=9273344, episodic return=1717.990234375\n", + "global step=9277440, episodic return=1644.6204833984375\n", + "global step=9279488, episodic return=1006.1044921875\n", + "global step=9281536, episodic return=1630.733642578125\n", + "global step=9281536, episodic return=1645.895751953125\n", + "global step=9281536, episodic return=1652.8328857421875\n", + "global step=9283584, episodic return=789.570556640625\n", + "global step=9283584, episodic return=1155.428955078125\n", + "global step=9289728, episodic return=938.6489868164062\n", + "global step=9291776, episodic return=1024.9293212890625\n", + "global step=9291776, episodic return=843.4671630859375\n", + "global step=9293824, episodic return=1251.2779541015625\n", + "global step=9293824, episodic return=1518.3980712890625\n", + "global step=9295872, episodic return=1535.5233154296875\n", + "global step=9295872, episodic return=990.8154907226562\n", + "global step=9297920, episodic return=1652.69384765625\n", + "global step=9306112, episodic return=1629.3616943359375\n", + "global step=9310208, episodic return=1062.114990234375\n", + "global step=9310208, episodic return=1361.6298828125\n", + "global step=9310208, episodic return=781.12890625\n", + "global step=9312256, episodic return=1629.3802490234375\n", + "global step=9312256, episodic return=989.44287109375\n", + "global step=9312256, episodic return=1653.8759765625\n", + "global step=9312256, episodic return=1634.96240234375\n", + "global step=9312256, episodic return=1679.088623046875\n", + "global step=9314304, episodic return=901.6598510742188\n", + "global step=9318400, episodic return=1654.1124267578125\n", + "global step=9322496, episodic return=1642.7139892578125\n", + "global step=9322496, episodic return=1388.2857666015625\n", + "global step=9324544, episodic return=1651.9288330078125\n", + "global step=9324544, episodic return=1637.6453857421875\n", + "global step=9324544, episodic return=1632.252197265625\n", + "global step=9326592, episodic return=1651.020263671875\n", + "global step=9330688, episodic return=1677.3480224609375\n", + "global step=9332736, episodic return=1299.7347412109375\n", + "global step=9334784, episodic return=1006.3536987304688\n", + "global step=9336832, episodic return=25.451026916503906\n", + "global step=9336832, episodic return=1651.0035400390625\n", + "global step=9338880, episodic return=744.9476318359375\n", + "global step=9338880, episodic return=835.025390625\n", + "global step=9340928, episodic return=1662.6517333984375\n", + "global step=9340928, episodic return=969.3428955078125\n", + "global step=9342976, episodic return=31.15941047668457\n", + "global step=9347072, episodic return=1652.4293212890625\n", + "global step=9349120, episodic return=1311.27099609375\n", + "global step=9351168, episodic return=761.449951171875\n", + "global step=9351168, episodic return=1641.1395263671875\n", + "global step=9353216, episodic return=1655.8638916015625\n", + "global step=9355264, episodic return=1489.22705078125\n", + "global step=9355264, episodic return=1655.3570556640625\n", + "global step=9359360, episodic return=765.3128662109375\n", + "global step=9361408, episodic return=1686.1893310546875\n", + "global step=9361408, episodic return=1628.9404296875\n", + "global step=9361408, episodic return=1037.1497802734375\n", + "global step=9361408, episodic return=929.8163452148438\n", + "global step=9363456, episodic return=873.2208862304688\n", + "global step=9371648, episodic return=1676.475341796875\n", + "global step=9373696, episodic return=1520.925537109375\n", + "global step=9375744, episodic return=1667.3828125\n", + "global step=9375744, episodic return=1675.2923583984375\n", + "global step=9375744, episodic return=1377.0921630859375\n", + "global step=9375744, episodic return=1640.7718505859375\n", + "global step=9377792, episodic return=1626.877685546875\n", + "global step=9381888, episodic return=915.662109375\n", + "global step=9390080, episodic return=794.4508666992188\n", + "global step=9390080, episodic return=1128.9112548828125\n", + "global step=9390080, episodic return=843.3342895507812\n", + "global step=9390080, episodic return=1631.6251220703125\n", + "global step=9396224, episodic return=1634.73193359375\n", + "global step=9396224, episodic return=1652.5406494140625\n", + "global step=9396224, episodic return=1056.9891357421875\n", + "global step=9398272, episodic return=846.7438354492188\n", + "global step=9398272, episodic return=1677.57470703125\n", + "global step=9404416, episodic return=977.6270751953125\n", + "global step=9408512, episodic return=1636.37060546875\n", + "global step=9410560, episodic return=1333.211669921875\n", + "global step=9410560, episodic return=988.3806762695312\n", + "global step=9410560, episodic return=1642.5009765625\n", + "global step=9412608, episodic return=1232.5303955078125\n", + "global step=9412608, episodic return=1627.2186279296875\n", + "global step=9416704, episodic return=1642.2069091796875\n", + "global step=9418752, episodic return=839.022705078125\n", + "global step=9420800, episodic return=1680.37841796875\n", + "global step=9422848, episodic return=1634.6123046875\n", + "global step=9428992, episodic return=1663.39501953125\n", + "global step=9428992, episodic return=1367.5233154296875\n", + "global step=9433088, episodic return=931.3529052734375\n", + "global step=9439232, episodic return=1642.6253662109375\n", + "global step=9441280, episodic return=986.6072387695312\n", + "global step=9443328, episodic return=1032.5557861328125\n", + "global step=9445376, episodic return=897.3206787109375\n", + "global step=9445376, episodic return=937.6266479492188\n", + "global step=9445376, episodic return=1641.722412109375\n", + "global step=9451520, episodic return=1119.7645263671875\n", + "global step=9451520, episodic return=1256.078857421875\n", + "global step=9459712, episodic return=1635.74755859375\n", + "global step=9461760, episodic return=1643.0546875\n", + "global step=9463808, episodic return=1680.7222900390625\n", + "global step=9465856, episodic return=1655.66943359375\n", + "global step=9467904, episodic return=1633.7286376953125\n", + "global step=9467904, episodic return=1070.0821533203125\n", + "global step=9469952, episodic return=1645.5069580078125\n", + "global step=9469952, episodic return=1635.3853759765625\n", + "global step=9469952, episodic return=1641.4898681640625\n", + "global step=9472000, episodic return=1128.8270263671875\n", + "global step=9482240, episodic return=895.4254150390625\n", + "global step=9482240, episodic return=1679.96826171875\n", + "global step=9484288, episodic return=1115.9755859375\n", + "global step=9486336, episodic return=1655.331298828125\n", + "global step=9488384, episodic return=1682.068115234375\n", + "global step=9488384, episodic return=1640.3846435546875\n", + "global step=9488384, episodic return=1664.6424560546875\n", + "global step=9490432, episodic return=1002.1218872070312\n", + "global step=9492480, episodic return=1601.3912353515625\n", + "global step=9498624, episodic return=880.0859375\n", + "global step=9502720, episodic return=1164.273193359375\n", + "global step=9504768, episodic return=1653.1749267578125\n", + "global step=9504768, episodic return=1644.0283203125\n", + "global step=9506816, episodic return=1001.427001953125\n", + "global step=9512960, episodic return=1513.160400390625\n", + "global step=9517056, episodic return=914.0792236328125\n", + "global step=9529344, episodic return=1636.144287109375\n", + "global step=9529344, episodic return=1638.8828125\n", + "global step=9531392, episodic return=1686.7015380859375\n", + "global step=9533440, episodic return=1225.14453125\n", + "global step=9537536, episodic return=1161.032958984375\n", + "global step=9543680, episodic return=1680.2403564453125\n", + "global step=9545728, episodic return=1636.5460205078125\n", + "global step=9553920, episodic return=1661.269287109375\n", + "global step=9558016, episodic return=32.80186080932617\n", + "global step=9560064, episodic return=1684.9539794921875\n", + "global step=9566208, episodic return=1647.9925537109375\n", + "global step=9572352, episodic return=1143.2691650390625\n", + "global step=9582592, episodic return=1660.9522705078125\n", + "global step=9588736, episodic return=1710.977783203125\n", + "global step=9590784, episodic return=1678.33056640625\n", + "global step=9590784, episodic return=1626.190673828125\n", + "global step=9590784, episodic return=814.0107421875\n", + "global step=9592832, episodic return=1652.5360107421875\n", + "global step=9596928, episodic return=958.4368286132812\n", + "global step=9613312, episodic return=1662.3695068359375\n", + "global step=9617408, episodic return=1654.544677734375\n", + "global step=9619456, episodic return=916.7803955078125\n", + "global step=9627648, episodic return=1674.1326904296875\n", + "global step=9631744, episodic return=1034.0040283203125\n", + "global step=9639936, episodic return=1656.0250244140625\n", + "global step=9639936, episodic return=1672.4495849609375\n", + "global step=9644032, episodic return=1664.5152587890625\n", + "global step=9644032, episodic return=1282.12744140625\n", + "global step=9646080, episodic return=1644.278076171875\n", + "global step=9648128, episodic return=1635.6268310546875\n", + "global step=9648128, episodic return=1646.8013916015625\n", + "global step=9648128, episodic return=1655.69775390625\n", + "global step=9652224, episodic return=1648.343505859375\n", + "global step=9652224, episodic return=1663.93505859375\n", + "global step=9654272, episodic return=1658.752197265625\n", + "global step=9656320, episodic return=1685.3599853515625\n", + "global step=9656320, episodic return=1695.942138671875\n", + "global step=9656320, episodic return=1375.612060546875\n", + "global step=9658368, episodic return=1667.7320556640625\n", + "global step=9662464, episodic return=1658.158203125\n", + "global step=9662464, episodic return=1286.0555419921875\n", + "global step=9662464, episodic return=1000.87255859375\n", + "global step=9666560, episodic return=1738.3460693359375\n", + "global step=9666560, episodic return=1629.944580078125\n", + "global step=9666560, episodic return=1628.4036865234375\n", + "global step=9666560, episodic return=1665.0\n", + "global step=9672704, episodic return=1345.6947021484375\n", + "global step=9672704, episodic return=1661.946533203125\n", + "global step=9674752, episodic return=1647.2548828125\n", + "global step=9676800, episodic return=1649.41845703125\n", + "global step=9680896, episodic return=1643.275390625\n", + "global step=9687040, episodic return=1647.1337890625\n", + "global step=9687040, episodic return=1674.3399658203125\n", + "global step=9693184, episodic return=1639.36474609375\n", + "global step=9697280, episodic return=925.39501953125\n", + "global step=9699328, episodic return=1644.6068115234375\n", + "global step=9699328, episodic return=1666.055908203125\n", + "global step=9701376, episodic return=1642.9365234375\n", + "global step=9705472, episodic return=1683.5809326171875\n", + "global step=9705472, episodic return=1650.1761474609375\n", + "global step=9707520, episodic return=1644.7763671875\n", + "global step=9711616, episodic return=1229.5728759765625\n", + "global step=9713664, episodic return=1654.5892333984375\n", + "global step=9713664, episodic return=1646.8170166015625\n", + "global step=9717760, episodic return=1650.9559326171875\n", + "global step=9717760, episodic return=1659.2119140625\n", + "global step=9719808, episodic return=1653.25537109375\n", + "global step=9719808, episodic return=1686.0079345703125\n", + "global step=9721856, episodic return=1661.888671875\n", + "global step=9725952, episodic return=1673.0338134765625\n", + "global step=9728000, episodic return=1652.700439453125\n", + "global step=9730048, episodic return=983.1799926757812\n", + "global step=9730048, episodic return=1668.1513671875\n", + "global step=9730048, episodic return=1653.408447265625\n", + "global step=9730048, episodic return=1646.2772216796875\n", + "global step=9732096, episodic return=1680.0384521484375\n", + "global step=9734144, episodic return=1663.933349609375\n", + "global step=9734144, episodic return=1669.8380126953125\n", + "global step=9734144, episodic return=1660.1317138671875\n", + "global step=9736192, episodic return=1635.2679443359375\n", + "global step=9736192, episodic return=1656.4189453125\n", + "global step=9740288, episodic return=1315.2230224609375\n", + "global step=9748480, episodic return=1083.376220703125\n", + "global step=9750528, episodic return=1527.4820556640625\n", + "global step=9750528, episodic return=1650.2510986328125\n", + "global step=9752576, episodic return=1684.811767578125\n", + "global step=9754624, episodic return=1656.4698486328125\n", + "global step=9760768, episodic return=1201.4085693359375\n", + "global step=9762816, episodic return=1670.02978515625\n", + "global step=9762816, episodic return=1644.0433349609375\n", + "global step=9764864, episodic return=1671.0032958984375\n", + "global step=9766912, episodic return=1648.35302734375\n", + "global step=9766912, episodic return=1660.8238525390625\n", + "global step=9768960, episodic return=1096.5277099609375\n", + "global step=9768960, episodic return=1662.677490234375\n", + "global step=9771008, episodic return=1675.8082275390625\n", + "global step=9773056, episodic return=1693.29150390625\n", + "global step=9775104, episodic return=1629.173583984375\n", + "global step=9777152, episodic return=1653.188720703125\n", + "global step=9779200, episodic return=1664.3543701171875\n", + "global step=9781248, episodic return=1657.246337890625\n", + "global step=9783296, episodic return=1671.5714111328125\n", + "global step=9785344, episodic return=1677.4276123046875\n", + "global step=9791488, episodic return=1657.22998046875\n", + "global step=9791488, episodic return=1660.3228759765625\n", + "global step=9793536, episodic return=1652.3089599609375\n", + "global step=9795584, episodic return=1651.9019775390625\n", + "global step=9799680, episodic return=1661.472412109375\n", + "global step=9801728, episodic return=1345.8516845703125\n", + "global step=9803776, episodic return=1666.5963134765625\n", + "global step=9818112, episodic return=1650.0350341796875\n", + "global step=9818112, episodic return=1677.9927978515625\n", + "global step=9818112, episodic return=903.0245361328125\n", + "global step=9818112, episodic return=1673.9473876953125\n", + "global step=9820160, episodic return=1672.893798828125\n", + "global step=9822208, episodic return=1660.8604736328125\n", + "global step=9826304, episodic return=1426.49365234375\n", + "global step=9826304, episodic return=1675.1126708984375\n", + "global step=9828352, episodic return=1306.704345703125\n", + "global step=9828352, episodic return=1655.6527099609375\n", + "global step=9830400, episodic return=1122.1015625\n", + "global step=9830400, episodic return=1674.91748046875\n", + "global step=9832448, episodic return=1655.509033203125\n", + "global step=9836544, episodic return=1217.724609375\n", + "global step=9838592, episodic return=1683.6832275390625\n", + "global step=9838592, episodic return=1671.682861328125\n", + "global step=9842688, episodic return=1186.2572021484375\n", + "global step=9846784, episodic return=1659.1795654296875\n", + "global step=9848832, episodic return=1662.7188720703125\n", + "global step=9848832, episodic return=1677.1177978515625\n", + "global step=9852928, episodic return=1657.0645751953125\n", + "global step=9857024, episodic return=1682.69287109375\n", + "global step=9857024, episodic return=1066.748291015625\n", + "global step=9857024, episodic return=909.4924926757812\n", + "global step=9861120, episodic return=1669.3643798828125\n", + "global step=9865216, episodic return=1658.243408203125\n", + "global step=9865216, episodic return=1711.2191162109375\n", + "global step=9867264, episodic return=1689.2381591796875\n", + "global step=9867264, episodic return=1673.9161376953125\n", + "global step=9869312, episodic return=1679.8046875\n", + "global step=9869312, episodic return=1672.293701171875\n", + "global step=9869312, episodic return=1743.81201171875\n", + "global step=9871360, episodic return=816.3950805664062\n", + "global step=9873408, episodic return=1663.1517333984375\n", + "global step=9873408, episodic return=1663.57958984375\n", + "global step=9875456, episodic return=1673.0252685546875\n", + "global step=9877504, episodic return=1699.2392578125\n", + "global step=9883648, episodic return=1665.1192626953125\n", + "global step=9883648, episodic return=1656.614501953125\n", + "global step=9883648, episodic return=1668.60498046875\n", + "global step=9883648, episodic return=1656.0413818359375\n", + "global step=9885696, episodic return=1651.7054443359375\n", + "global step=9887744, episodic return=1658.6766357421875\n", + "global step=9902080, episodic return=1337.5965576171875\n", + "global step=9904128, episodic return=1658.0302734375\n", + "global step=9904128, episodic return=848.2355346679688\n", + "global step=9908224, episodic return=1673.2923583984375\n", + "global step=9908224, episodic return=1640.796875\n", + "global step=9910272, episodic return=1216.9007568359375\n", + "global step=9914368, episodic return=1657.096923828125\n", + "global step=9920512, episodic return=1656.4443359375\n", + "global step=9920512, episodic return=1654.8302001953125\n", + "global step=9920512, episodic return=1702.6593017578125\n", + "global step=9920512, episodic return=945.7277221679688\n", + "global step=9920512, episodic return=1673.1259765625\n", + "global step=9926656, episodic return=1688.6085205078125\n", + "global step=9928704, episodic return=1709.1773681640625\n", + "global step=9928704, episodic return=1650.0113525390625\n", + "global step=9932800, episodic return=1692.9346923828125\n", + "global step=9932800, episodic return=1674.369140625\n", + "global step=9934848, episodic return=1676.75634765625\n", + "global step=9936896, episodic return=1682.1575927734375\n", + "global step=9943040, episodic return=1669.8519287109375\n", + "global step=9953280, episodic return=1697.4932861328125\n", + "global step=9953280, episodic return=1724.9005126953125\n", + "global step=9953280, episodic return=1644.0091552734375\n", + "global step=9955328, episodic return=1683.0198974609375\n", + "global step=9957376, episodic return=1661.7744140625\n", + "global step=9957376, episodic return=1668.981689453125\n", + "global step=9959424, episodic return=1690.138427734375\n", + "global step=9961472, episodic return=1680.9488525390625\n", + "global step=9965568, episodic return=1686.154296875\n", + "global step=9967616, episodic return=1699.708251953125\n", + "global step=9973760, episodic return=1028.8453369140625\n", + "global step=9975808, episodic return=1666.7039794921875\n", + "global step=9975808, episodic return=973.1827392578125\n", + "global step=9975808, episodic return=1649.2657470703125\n", + "global step=9977856, episodic return=1673.79931640625\n", + "global step=9981952, episodic return=1648.6900634765625\n", + "global step=9981952, episodic return=921.1467895507812\n", + "global step=9984000, episodic return=1229.0118408203125\n", + "global step=9984000, episodic return=1667.53857421875\n", + "global step=9986048, episodic return=1674.1151123046875\n", + "global step=9988096, episodic return=1676.946044921875\n", + "global step=9990144, episodic return=1659.3321533203125\n", + "global step=9992192, episodic return=1698.243896484375\n", + "global step=9992192, episodic return=1672.6512451171875\n", + "global step=9994240, episodic return=1676.508544921875\n", + "global step=9998336, episodic return=1679.3096923828125\n", + "global step=10002432, episodic return=1652.6085205078125\n", + "global step=10008576, episodic return=1751.4066162109375\n", + "global step=10012672, episodic return=1349.5885009765625\n", + "global step=10016768, episodic return=1690.17041015625\n", + "global step=10020864, episodic return=1661.947998046875\n", + "global step=10022912, episodic return=1668.1077880859375\n", + "global step=10024960, episodic return=1670.808349609375\n", + "global step=10027008, episodic return=1675.7554931640625\n", + "global step=10029056, episodic return=1668.96533203125\n", + "global step=10035200, episodic return=1658.149169921875\n", + "global step=10041344, episodic return=1661.9110107421875\n", + "global step=10043392, episodic return=1690.4871826171875\n", + "global step=10047488, episodic return=1520.188232421875\n", + "global step=10051584, episodic return=1155.9141845703125\n", + "global step=10053632, episodic return=1669.0238037109375\n", + "global step=10055680, episodic return=1699.35791015625\n", + "global step=10055680, episodic return=1685.7935791015625\n", + "global step=10057728, episodic return=1696.9808349609375\n", + "global step=10057728, episodic return=1690.9375\n", + "global step=10059776, episodic return=1676.984619140625\n", + "global step=10063872, episodic return=1697.4019775390625\n", + "global step=10063872, episodic return=1679.8681640625\n", + "global step=10067968, episodic return=1685.455078125\n", + "global step=10067968, episodic return=1686.2176513671875\n", + "global step=10067968, episodic return=1674.546630859375\n", + "global step=10067968, episodic return=1278.5328369140625\n", + "global step=10070016, episodic return=1057.6600341796875\n", + "global step=10070016, episodic return=1684.272216796875\n", + "global step=10074112, episodic return=1685.8492431640625\n", + "global step=10074112, episodic return=1691.8489990234375\n", + "global step=10076160, episodic return=1729.1956787109375\n", + "global step=10080256, episodic return=1684.1309814453125\n", + "global step=10082304, episodic return=1353.6466064453125\n", + "global step=10084352, episodic return=1059.608642578125\n", + "global step=10086400, episodic return=1696.1185302734375\n", + "global step=10090496, episodic return=1685.0841064453125\n", + "global step=10090496, episodic return=1676.365478515625\n", + "global step=10092544, episodic return=1706.1168212890625\n", + "global step=10092544, episodic return=1685.29248046875\n", + "global step=10092544, episodic return=1303.3819580078125\n", + "global step=10094592, episodic return=1699.52490234375\n", + "global step=10094592, episodic return=1716.6556396484375\n", + "global step=10096640, episodic return=1708.7379150390625\n", + "global step=10096640, episodic return=1714.1517333984375\n", + "global step=10096640, episodic return=1702.2860107421875\n", + "global step=10098688, episodic return=1664.4857177734375\n", + "global step=10098688, episodic return=1707.34765625\n", + "global step=10100736, episodic return=1644.432861328125\n", + "global step=10102784, episodic return=1684.5927734375\n", + "global step=10102784, episodic return=1674.7464599609375\n", + "global step=10104832, episodic return=1686.0576171875\n", + "global step=10104832, episodic return=1238.64111328125\n", + "global step=10104832, episodic return=1684.222900390625\n", + "global step=10106880, episodic return=1695.796630859375\n", + "global step=10108928, episodic return=1687.416748046875\n", + "global step=10110976, episodic return=1684.114013671875\n", + "global step=10113024, episodic return=1697.59228515625\n", + "global step=10117120, episodic return=1371.42822265625\n", + "global step=10119168, episodic return=1690.7529296875\n", + "global step=10125312, episodic return=1607.4547119140625\n", + "global step=10125312, episodic return=1668.038330078125\n", + "global step=10127360, episodic return=1673.2493896484375\n", + "global step=10127360, episodic return=1685.458740234375\n", + "global step=10127360, episodic return=1676.49365234375\n", + "global step=10127360, episodic return=1702.482666015625\n", + "global step=10129408, episodic return=1711.614501953125\n", + "global step=10129408, episodic return=1672.1026611328125\n", + "global step=10131456, episodic return=1741.2769775390625\n", + "global step=10131456, episodic return=1096.6087646484375\n", + "global step=10131456, episodic return=1666.7318115234375\n", + "global step=10131456, episodic return=1689.07470703125\n", + "global step=10133504, episodic return=1692.5543212890625\n", + "global step=10135552, episodic return=1681.3045654296875\n", + "global step=10135552, episodic return=1731.15673828125\n", + "global step=10135552, episodic return=1680.4119873046875\n", + "global step=10135552, episodic return=1682.2794189453125\n", + "global step=10137600, episodic return=1714.95654296875\n", + "global step=10139648, episodic return=1692.859130859375\n", + "global step=10139648, episodic return=1722.1243896484375\n", + "global step=10141696, episodic return=1692.167236328125\n", + "global step=10143744, episodic return=1705.403076171875\n", + "global step=10143744, episodic return=1692.44970703125\n", + "global step=10145792, episodic return=1685.05712890625\n", + "global step=10147840, episodic return=1688.3621826171875\n", + "global step=10147840, episodic return=1725.451171875\n", + "global step=10149888, episodic return=1682.8966064453125\n", + "global step=10151936, episodic return=1729.5697021484375\n", + "global step=10151936, episodic return=1703.822509765625\n", + "global step=10151936, episodic return=1752.208740234375\n", + "global step=10153984, episodic return=1713.6314697265625\n", + "global step=10156032, episodic return=1729.13232421875\n", + "global step=10156032, episodic return=1710.2457275390625\n", + "global step=10158080, episodic return=1680.5074462890625\n", + "global step=10158080, episodic return=1691.1217041015625\n", + "global step=10158080, episodic return=1678.58544921875\n", + "global step=10160128, episodic return=1690.3583984375\n", + "global step=10160128, episodic return=1698.952880859375\n", + "global step=10162176, episodic return=1695.5179443359375\n", + "global step=10164224, episodic return=1675.530029296875\n", + "global step=10166272, episodic return=1695.69482421875\n", + "global step=10168320, episodic return=1722.6163330078125\n", + "global step=10168320, episodic return=1681.8848876953125\n", + "global step=10172416, episodic return=1719.9439697265625\n", + "global step=10172416, episodic return=1709.287109375\n", + "global step=10172416, episodic return=1720.316162109375\n", + "global step=10174464, episodic return=1745.16845703125\n", + "global step=10174464, episodic return=1690.1507568359375\n", + "global step=10178560, episodic return=1704.1663818359375\n", + "global step=10178560, episodic return=1683.3206787109375\n", + "global step=10178560, episodic return=1727.3304443359375\n", + "global step=10180608, episodic return=1697.19384765625\n", + "global step=10180608, episodic return=1696.7738037109375\n", + "global step=10180608, episodic return=1685.092041015625\n", + "global step=10180608, episodic return=1715.6558837890625\n", + "global step=10182656, episodic return=1745.3199462890625\n", + "global step=10184704, episodic return=1683.6956787109375\n", + "global step=10184704, episodic return=1752.9859619140625\n", + "global step=10184704, episodic return=1689.9449462890625\n", + "global step=10186752, episodic return=1683.660888671875\n", + "global step=10186752, episodic return=1703.7503662109375\n", + "global step=10186752, episodic return=1733.0211181640625\n", + "global step=10188800, episodic return=1697.9686279296875\n", + "global step=10188800, episodic return=1715.228759765625\n", + "global step=10188800, episodic return=1684.986083984375\n", + "global step=10192896, episodic return=1707.105712890625\n", + "global step=10194944, episodic return=1711.40380859375\n", + "global step=10196992, episodic return=1699.7244873046875\n", + "global step=10199040, episodic return=1737.6761474609375\n", + "global step=10201088, episodic return=1704.0504150390625\n", + "global step=10201088, episodic return=1707.22607421875\n", + "global step=10201088, episodic return=1718.4202880859375\n", + "global step=10203136, episodic return=1721.6734619140625\n", + "global step=10203136, episodic return=1748.0953369140625\n", + "global step=10205184, episodic return=1699.8363037109375\n", + "global step=10207232, episodic return=1690.784423828125\n", + "global step=10207232, episodic return=1689.019287109375\n", + "global step=10209280, episodic return=1690.0062255859375\n", + "global step=10209280, episodic return=1697.1837158203125\n", + "global step=10211328, episodic return=1709.1888427734375\n", + "global step=10213376, episodic return=1694.204345703125\n", + "global step=10213376, episodic return=1713.752685546875\n", + "global step=10215424, episodic return=1731.180908203125\n", + "global step=10215424, episodic return=1693.4931640625\n", + "global step=10219520, episodic return=1686.9044189453125\n", + "global step=10219520, episodic return=1749.5645751953125\n", + "global step=10219520, episodic return=1729.31591796875\n", + "global step=10223616, episodic return=1710.4501953125\n", + "global step=10227712, episodic return=1705.5458984375\n", + "global step=10227712, episodic return=1700.944091796875\n", + "global step=10227712, episodic return=1703.2686767578125\n", + "global step=10229760, episodic return=1695.5316162109375\n", + "global step=10231808, episodic return=1707.631103515625\n", + "global step=10233856, episodic return=1704.360107421875\n", + "global step=10233856, episodic return=1811.0625\n", + "global step=10233856, episodic return=1717.8055419921875\n", + "global step=10235904, episodic return=1703.7843017578125\n", + "global step=10235904, episodic return=1720.4083251953125\n", + "global step=10237952, episodic return=1726.1585693359375\n", + "global step=10240000, episodic return=1688.8310546875\n", + "global step=10242048, episodic return=1706.4246826171875\n", + "global step=10242048, episodic return=1733.4117431640625\n", + "global step=10244096, episodic return=1707.6116943359375\n", + "global step=10244096, episodic return=1714.86572265625\n", + "global step=10244096, episodic return=1706.7056884765625\n", + "global step=10244096, episodic return=1690.7310791015625\n", + "global step=10244096, episodic return=1692.01953125\n", + "global step=10246144, episodic return=1701.19873046875\n", + "global step=10246144, episodic return=1735.6365966796875\n", + "global step=10250240, episodic return=1694.1142578125\n", + "global step=10252288, episodic return=1700.7318115234375\n", + "global step=10254336, episodic return=1702.33056640625\n", + "global step=10254336, episodic return=1702.4766845703125\n", + "global step=10254336, episodic return=1700.278076171875\n", + "global step=10256384, episodic return=1702.620849609375\n", + "global step=10256384, episodic return=1689.75830078125\n", + "global step=10256384, episodic return=1699.5858154296875\n", + "global step=10256384, episodic return=1706.64404296875\n", + "global step=10256384, episodic return=953.9091796875\n", + "global step=10258432, episodic return=1723.497802734375\n", + "global step=10258432, episodic return=1700.708740234375\n", + "global step=10260480, episodic return=1706.36767578125\n", + "global step=10260480, episodic return=1734.1651611328125\n", + "global step=10262528, episodic return=1719.89697265625\n", + "global step=10262528, episodic return=1708.766357421875\n", + "global step=10262528, episodic return=1713.885498046875\n", + "global step=10262528, episodic return=1716.80322265625\n", + "global step=10262528, episodic return=1697.7152099609375\n", + "global step=10262528, episodic return=1684.242919921875\n", + "global step=10264576, episodic return=1699.3668212890625\n", + "global step=10266624, episodic return=1718.73095703125\n", + "global step=10266624, episodic return=1404.5145263671875\n", + "global step=10266624, episodic return=1697.5257568359375\n", + "global step=10266624, episodic return=1691.993408203125\n", + "global step=10268672, episodic return=1706.6373291015625\n", + "global step=10268672, episodic return=1722.95849609375\n", + "global step=10268672, episodic return=1713.6744384765625\n", + "global step=10268672, episodic return=1685.1480712890625\n", + "global step=10270720, episodic return=1734.5833740234375\n", + "global step=10270720, episodic return=1701.199951171875\n", + "global step=10272768, episodic return=1706.34423828125\n", + "global step=10272768, episodic return=1694.8743896484375\n", + "global step=10274816, episodic return=1694.1842041015625\n", + "global step=10274816, episodic return=1709.6959228515625\n", + "global step=10274816, episodic return=1493.1573486328125\n", + "global step=10276864, episodic return=1738.9019775390625\n", + "global step=10276864, episodic return=1705.615966796875\n", + "global step=10278912, episodic return=1700.463623046875\n", + "global step=10278912, episodic return=1698.9462890625\n", + "global step=10278912, episodic return=1735.7119140625\n", + "global step=10283008, episodic return=1692.09716796875\n", + "global step=10283008, episodic return=1697.984619140625\n", + "global step=10285056, episodic return=1710.7108154296875\n", + "global step=10285056, episodic return=1716.25\n", + "global step=10287104, episodic return=1707.5394287109375\n", + "global step=10287104, episodic return=1694.643310546875\n", + "global step=10287104, episodic return=1723.845703125\n", + "global step=10289152, episodic return=1707.9742431640625\n", + "global step=10291200, episodic return=1705.12060546875\n", + "global step=10291200, episodic return=1701.319091796875\n", + "global step=10291200, episodic return=1694.37548828125\n", + "global step=10293248, episodic return=1705.8160400390625\n", + "global step=10293248, episodic return=1715.0604248046875\n", + "global step=10297344, episodic return=1726.005615234375\n", + "global step=10297344, episodic return=1718.425048828125\n", + "global step=10299392, episodic return=1767.7113037109375\n", + "global step=10299392, episodic return=1756.6522216796875\n", + "global step=10299392, episodic return=1695.9278564453125\n", + "global step=10301440, episodic return=1702.96142578125\n", + "global step=10301440, episodic return=1700.6021728515625\n", + "global step=10301440, episodic return=1717.8585205078125\n", + "global step=10303488, episodic return=1714.65673828125\n", + "global step=10305536, episodic return=1738.3541259765625\n", + "global step=10307584, episodic return=1717.647216796875\n", + "global step=10307584, episodic return=1738.319091796875\n", + "global step=10307584, episodic return=1709.164794921875\n", + "global step=10307584, episodic return=1674.457763671875\n", + "global step=10307584, episodic return=1746.2744140625\n", + "global step=10309632, episodic return=1733.687744140625\n", + "global step=10309632, episodic return=1734.147216796875\n", + "global step=10309632, episodic return=1732.24365234375\n", + "global step=10311680, episodic return=1718.339111328125\n", + "global step=10313728, episodic return=1713.4072265625\n", + "global step=10313728, episodic return=1720.57080078125\n", + "global step=10313728, episodic return=1275.54541015625\n", + "global step=10315776, episodic return=1735.8582763671875\n", + "global step=10315776, episodic return=1713.4307861328125\n", + "global step=10317824, episodic return=1716.812255859375\n", + "global step=10317824, episodic return=1769.4827880859375\n", + "global step=10317824, episodic return=1717.1363525390625\n", + "global step=10317824, episodic return=1708.7711181640625\n", + "global step=10319872, episodic return=1711.119140625\n", + "global step=10319872, episodic return=1719.2879638671875\n", + "global step=10319872, episodic return=1711.3070068359375\n", + "global step=10319872, episodic return=1712.5455322265625\n", + "global step=10321920, episodic return=1709.71044921875\n", + "global step=10321920, episodic return=1696.7913818359375\n", + "global step=10321920, episodic return=1756.3753662109375\n", + "global step=10323968, episodic return=1705.2587890625\n", + "global step=10323968, episodic return=1707.9952392578125\n", + "global step=10323968, episodic return=1717.1806640625\n", + "global step=10323968, episodic return=1731.397705078125\n", + "global step=10323968, episodic return=1832.3153076171875\n", + "global step=10326016, episodic return=1709.3717041015625\n", + "global step=10326016, episodic return=1701.4793701171875\n", + "global step=10328064, episodic return=1727.3885498046875\n", + "global step=10328064, episodic return=1711.9525146484375\n", + "global step=10328064, episodic return=1699.6058349609375\n", + "global step=10330112, episodic return=1731.5888671875\n", + "global step=10330112, episodic return=1729.1387939453125\n", + "global step=10330112, episodic return=1707.7254638671875\n", + "global step=10330112, episodic return=1714.6778564453125\n", + "global step=10330112, episodic return=1725.875732421875\n", + "global step=10330112, episodic return=1547.3980712890625\n", + "global step=10334208, episodic return=1720.1177978515625\n", + "global step=10334208, episodic return=1733.4755859375\n", + "global step=10334208, episodic return=1707.45068359375\n", + "global step=10334208, episodic return=1704.0164794921875\n", + "global step=10336256, episodic return=1725.0101318359375\n", + "global step=10336256, episodic return=1709.6104736328125\n", + "global step=10336256, episodic return=1732.6038818359375\n", + "global step=10338304, episodic return=1732.8988037109375\n", + "global step=10338304, episodic return=1701.3282470703125\n", + "global step=10340352, episodic return=1717.8765869140625\n", + "global step=10340352, episodic return=1722.520263671875\n", + "global step=10342400, episodic return=1731.5687255859375\n", + "global step=10342400, episodic return=1719.098876953125\n", + "global step=10342400, episodic return=1721.611572265625\n", + "global step=10344448, episodic return=1709.00732421875\n", + "global step=10344448, episodic return=1698.04638671875\n", + "global step=10344448, episodic return=1785.42724609375\n", + "global step=10346496, episodic return=1713.95654296875\n", + "global step=10346496, episodic return=1717.23193359375\n", + "global step=10346496, episodic return=1701.788330078125\n", + "global step=10348544, episodic return=1705.57275390625\n", + "global step=10348544, episodic return=896.3455200195312\n", + "global step=10348544, episodic return=1775.541259765625\n", + "global step=10348544, episodic return=1726.7559814453125\n", + "global step=10348544, episodic return=1732.685302734375\n", + "global step=10350592, episodic return=1708.208251953125\n", + "global step=10350592, episodic return=1701.7540283203125\n", + "global step=10350592, episodic return=1695.5452880859375\n", + "global step=10350592, episodic return=1692.498779296875\n", + "global step=10352640, episodic return=1707.15380859375\n", + "global step=10352640, episodic return=1708.6185302734375\n", + "global step=10354688, episodic return=1708.984375\n", + "global step=10354688, episodic return=1727.8203125\n", + "global step=10356736, episodic return=1718.91064453125\n", + "global step=10356736, episodic return=1727.455078125\n", + "global step=10356736, episodic return=1702.5096435546875\n", + "global step=10356736, episodic return=1771.2977294921875\n", + "global step=10356736, episodic return=1735.486572265625\n", + "global step=10358784, episodic return=1712.5172119140625\n", + "global step=10360832, episodic return=1730.8717041015625\n", + "global step=10362880, episodic return=1714.3607177734375\n", + "global step=10364928, episodic return=1713.7476806640625\n", + "global step=10364928, episodic return=1708.5587158203125\n", + "global step=10366976, episodic return=1715.9678955078125\n", + "global step=10366976, episodic return=1701.3873291015625\n", + "global step=10366976, episodic return=1647.626953125\n", + "global step=10369024, episodic return=1722.7178955078125\n", + "global step=10369024, episodic return=1715.7393798828125\n", + "global step=10369024, episodic return=1745.30859375\n", + "global step=10369024, episodic return=1721.9293212890625\n", + "global step=10371072, episodic return=1729.7750244140625\n", + "global step=10371072, episodic return=1706.7972412109375\n", + "global step=10371072, episodic return=1704.5804443359375\n", + "global step=10371072, episodic return=1725.69970703125\n", + "global step=10371072, episodic return=1717.2706298828125\n", + "global step=10371072, episodic return=1729.7874755859375\n", + "global step=10373120, episodic return=1706.4818115234375\n", + "global step=10373120, episodic return=1720.55517578125\n", + "global step=10373120, episodic return=1707.71728515625\n", + "global step=10373120, episodic return=1718.491943359375\n", + "global step=10375168, episodic return=1706.36279296875\n", + "global step=10375168, episodic return=1732.112060546875\n", + "global step=10375168, episodic return=1717.038818359375\n", + "global step=10375168, episodic return=1702.2113037109375\n", + "global step=10377216, episodic return=1683.3719482421875\n", + "global step=10377216, episodic return=1719.3704833984375\n", + "global step=10377216, episodic return=1704.544189453125\n", + "global step=10377216, episodic return=1719.8165283203125\n", + "global step=10377216, episodic return=1705.240234375\n", + "global step=10377216, episodic return=1712.316650390625\n", + "global step=10379264, episodic return=1697.01806640625\n", + "global step=10379264, episodic return=1696.532958984375\n", + "global step=10379264, episodic return=1715.5731201171875\n", + "global step=10379264, episodic return=1719.3446044921875\n", + "global step=10379264, episodic return=1707.3641357421875\n", + "global step=10381312, episodic return=1710.63232421875\n", + "global step=10381312, episodic return=1711.54541015625\n", + "global step=10383360, episodic return=1700.4205322265625\n", + "global step=10383360, episodic return=1707.298095703125\n", + "global step=10383360, episodic return=1705.927001953125\n", + "global step=10383360, episodic return=1715.1805419921875\n", + "global step=10383360, episodic return=1719.3511962890625\n", + "global step=10383360, episodic return=1704.0419921875\n", + "global step=10383360, episodic return=1719.6815185546875\n", + "global step=10385408, episodic return=1713.0076904296875\n", + "global step=10385408, episodic return=1704.595458984375\n", + "global step=10385408, episodic return=1721.9075927734375\n", + "global step=10385408, episodic return=1700.49755859375\n", + "global step=10385408, episodic return=1706.3828125\n", + "global step=10385408, episodic return=1720.7633056640625\n", + "global step=10385408, episodic return=1722.9063720703125\n", + "global step=10387456, episodic return=1718.2149658203125\n", + "global step=10387456, episodic return=1717.7169189453125\n", + "global step=10387456, episodic return=1752.509033203125\n", + "global step=10387456, episodic return=1734.2933349609375\n", + "global step=10387456, episodic return=1780.531005859375\n", + "global step=10387456, episodic return=1703.2557373046875\n", + "global step=10387456, episodic return=1700.7177734375\n", + "global step=10387456, episodic return=1741.2784423828125\n", + "global step=10387456, episodic return=1690.461669921875\n", + "global step=10387456, episodic return=1689.878662109375\n", + "global step=10387456, episodic return=1695.059814453125\n", + "global step=10387456, episodic return=1710.1533203125\n", + "global step=10389504, episodic return=1706.93505859375\n", + "global step=10391552, episodic return=1715.593505859375\n", + "global step=10391552, episodic return=1722.1654052734375\n", + "global step=10393600, episodic return=1705.5845947265625\n", + "global step=10393600, episodic return=1701.466064453125\n", + "global step=10393600, episodic return=1703.0390625\n", + "global step=10395648, episodic return=1718.0584716796875\n", + "global step=10395648, episodic return=1714.88232421875\n", + "global step=10395648, episodic return=1716.3619384765625\n", + "global step=10395648, episodic return=1702.3868408203125\n", + "global step=10397696, episodic return=1701.052001953125\n", + "global step=10397696, episodic return=1709.554443359375\n", + "global step=10397696, episodic return=1717.0308837890625\n", + "global step=10397696, episodic return=1710.138671875\n", + "global step=10397696, episodic return=1709.8043212890625\n", + "global step=10397696, episodic return=1727.6932373046875\n", + "global step=10399744, episodic return=1749.8795166015625\n", + "global step=10399744, episodic return=1727.50927734375\n", + "global step=10399744, episodic return=1714.3870849609375\n", + "global step=10399744, episodic return=1715.2774658203125\n", + "global step=10399744, episodic return=1740.41943359375\n", + "global step=10401792, episodic return=1701.082763671875\n", + "global step=10401792, episodic return=1730.902099609375\n", + "global step=10401792, episodic return=1699.6890869140625\n", + "global step=10401792, episodic return=1720.9061279296875\n", + "global step=10403840, episodic return=1713.5872802734375\n", + "global step=10403840, episodic return=1702.5838623046875\n", + "global step=10403840, episodic return=1710.5233154296875\n", + "global step=10403840, episodic return=1703.5921630859375\n", + "global step=10403840, episodic return=1716.40869140625\n", + "global step=10405888, episodic return=1721.291259765625\n", + "global step=10405888, episodic return=1761.81884765625\n", + "global step=10405888, episodic return=1735.3533935546875\n", + "global step=10405888, episodic return=1709.022216796875\n", + "global step=10405888, episodic return=1722.2403564453125\n", + "global step=10405888, episodic return=1716.151611328125\n", + "global step=10407936, episodic return=1717.0894775390625\n", + "global step=10407936, episodic return=1753.649658203125\n", + "global step=10407936, episodic return=1702.921630859375\n", + "global step=10407936, episodic return=1696.8671875\n", + "global step=10407936, episodic return=1690.0667724609375\n", + "global step=10407936, episodic return=1699.653076171875\n", + "global step=10407936, episodic return=1709.496826171875\n", + "global step=10409984, episodic return=1698.929931640625\n", + "global step=10409984, episodic return=1721.94921875\n", + "global step=10409984, episodic return=1718.16162109375\n", + "global step=10409984, episodic return=1699.39990234375\n", + "global step=10412032, episodic return=1707.531005859375\n", + "global step=10412032, episodic return=1705.2025146484375\n", + "global step=10412032, episodic return=1699.86181640625\n", + "global step=10412032, episodic return=1720.2584228515625\n", + "global step=10414080, episodic return=1725.01123046875\n", + "global step=10414080, episodic return=1705.6160888671875\n", + "global step=10414080, episodic return=1713.6329345703125\n", + "global step=10414080, episodic return=1705.7022705078125\n", + "global step=10414080, episodic return=1726.2041015625\n", + "global step=10414080, episodic return=1701.593505859375\n", + "global step=10416128, episodic return=1699.3922119140625\n", + "global step=10416128, episodic return=1743.8309326171875\n", + "global step=10416128, episodic return=1724.103515625\n", + "global step=10418176, episodic return=1700.9219970703125\n", + "global step=10418176, episodic return=1701.9599609375\n", + "global step=10418176, episodic return=1706.2591552734375\n", + "global step=10418176, episodic return=1701.215576171875\n", + "global step=10418176, episodic return=1701.8201904296875\n", + "global step=10418176, episodic return=1712.4300537109375\n", + "global step=10418176, episodic return=1713.3712158203125\n", + "global step=10418176, episodic return=1719.84814453125\n", + "global step=10420224, episodic return=1717.2921142578125\n", + "global step=10420224, episodic return=1719.63720703125\n", + "global step=10420224, episodic return=1733.863037109375\n", + "global step=10420224, episodic return=1709.57763671875\n", + "global step=10420224, episodic return=1704.3548583984375\n", + "global step=10422272, episodic return=1720.097412109375\n", + "global step=10422272, episodic return=1737.1026611328125\n", + "global step=10422272, episodic return=1712.220947265625\n", + "global step=10422272, episodic return=1709.408203125\n", + "global step=10422272, episodic return=1703.1080322265625\n", + "global step=10422272, episodic return=1711.4493408203125\n", + "global step=10422272, episodic return=1695.8077392578125\n", + "global step=10424320, episodic return=1721.1876220703125\n", + "global step=10424320, episodic return=1710.607177734375\n", + "global step=10424320, episodic return=1703.182373046875\n", + "global step=10424320, episodic return=1718.1114501953125\n", + "global step=10424320, episodic return=1729.21826171875\n", + "global step=10424320, episodic return=1703.2464599609375\n", + "global step=10426368, episodic return=1732.1497802734375\n", + "global step=10426368, episodic return=1705.5980224609375\n", + "global step=10426368, episodic return=1708.3748779296875\n", + "global step=10426368, episodic return=1713.5927734375\n", + "global step=10426368, episodic return=1729.6876220703125\n", + "global step=10426368, episodic return=1710.9400634765625\n", + "global step=10428416, episodic return=1725.0325927734375\n", + "global step=10428416, episodic return=1697.18115234375\n", + "global step=10428416, episodic return=1705.91064453125\n", + "global step=10428416, episodic return=1723.276123046875\n", + "global step=10428416, episodic return=1728.3441162109375\n", + "global step=10428416, episodic return=1703.658447265625\n", + "global step=10430464, episodic return=1719.04150390625\n", + "global step=10430464, episodic return=1719.6494140625\n", + "global step=10430464, episodic return=1715.36083984375\n", + "global step=10430464, episodic return=1691.804443359375\n", + "global step=10432512, episodic return=1703.3726806640625\n", + "global step=10432512, episodic return=1712.07373046875\n", + "global step=10432512, episodic return=1701.1845703125\n", + "global step=10434560, episodic return=1699.828857421875\n", + "global step=10434560, episodic return=1708.4674072265625\n", + "global step=10434560, episodic return=1720.0919189453125\n", + "global step=10434560, episodic return=1713.4189453125\n", + "global step=10434560, episodic return=1703.3067626953125\n", + "global step=10434560, episodic return=1689.390869140625\n", + "global step=10434560, episodic return=1717.01904296875\n", + "global step=10436608, episodic return=1741.6640625\n", + "global step=10436608, episodic return=1738.840576171875\n", + "global step=10436608, episodic return=1709.761962890625\n", + "global step=10436608, episodic return=1724.370361328125\n", + "global step=10436608, episodic return=1706.4674072265625\n", + "global step=10436608, episodic return=1698.1612548828125\n", + "global step=10436608, episodic return=1715.064697265625\n", + "global step=10436608, episodic return=1704.1749267578125\n", + "global step=10436608, episodic return=1709.94091796875\n", + "global step=10438656, episodic return=1732.0338134765625\n", + "global step=10438656, episodic return=1720.7777099609375\n", + "global step=10438656, episodic return=1708.1273193359375\n", + "global step=10438656, episodic return=1710.08544921875\n", + "global step=10440704, episodic return=1806.67724609375\n", + "global step=10440704, episodic return=1705.314208984375\n", + "global step=10440704, episodic return=1714.6954345703125\n", + "global step=10440704, episodic return=1703.842529296875\n", + "global step=10440704, episodic return=1735.58544921875\n", + "global step=10440704, episodic return=1710.82275390625\n", + "global step=10440704, episodic return=1723.80322265625\n", + "global step=10440704, episodic return=1718.6407470703125\n", + "global step=10440704, episodic return=1702.9820556640625\n", + "global step=10442752, episodic return=1748.9736328125\n", + "global step=10442752, episodic return=1713.776123046875\n", + "global step=10444800, episodic return=1708.1771240234375\n", + "global step=10444800, episodic return=1703.267578125\n", + "global step=10444800, episodic return=1734.762939453125\n", + "global step=10444800, episodic return=1707.8468017578125\n", + "global step=10444800, episodic return=1723.460205078125\n", + "global step=10446848, episodic return=1697.3990478515625\n", + "global step=10446848, episodic return=1742.5135498046875\n", + "global step=10446848, episodic return=1727.6871337890625\n", + "global step=10446848, episodic return=1713.219482421875\n", + "global step=10446848, episodic return=1744.169677734375\n", + "global step=10446848, episodic return=1708.145263671875\n", + "global step=10448896, episodic return=1716.943359375\n", + "global step=10448896, episodic return=1723.7608642578125\n", + "global step=10450944, episodic return=1714.6326904296875\n", + "global step=10450944, episodic return=1704.2232666015625\n", + "global step=10450944, episodic return=37.28822326660156\n", + "global step=10450944, episodic return=1693.4027099609375\n", + "global step=10450944, episodic return=1712.56591796875\n", + "global step=10450944, episodic return=1705.390625\n", + "global step=10450944, episodic return=1705.0989990234375\n", + "global step=10450944, episodic return=1710.4820556640625\n", + "global step=10452992, episodic return=1707.0286865234375\n", + "global step=10452992, episodic return=1726.0863037109375\n", + "global step=10452992, episodic return=1711.0721435546875\n", + "global step=10452992, episodic return=1710.7164306640625\n", + "global step=10452992, episodic return=1705.26806640625\n", + "global step=10455040, episodic return=1691.255859375\n", + "global step=10455040, episodic return=1715.1763916015625\n", + "global step=10455040, episodic return=1706.4227294921875\n", + "global step=10455040, episodic return=1708.07470703125\n", + "global step=10455040, episodic return=1729.6165771484375\n", + "global step=10457088, episodic return=1714.8477783203125\n", + "global step=10457088, episodic return=1705.6280517578125\n", + "global step=10457088, episodic return=1707.7015380859375\n", + "global step=10457088, episodic return=1710.7021484375\n", + "global step=10459136, episodic return=1712.283935546875\n", + "global step=10459136, episodic return=1700.8447265625\n", + "global step=10459136, episodic return=1719.81884765625\n", + "global step=10459136, episodic return=1718.2921142578125\n", + "global step=10459136, episodic return=1717.1085205078125\n", + "global step=10459136, episodic return=37.15384292602539\n", + "global step=10459136, episodic return=1710.527587890625\n", + "global step=10459136, episodic return=1700.5843505859375\n", + "global step=10459136, episodic return=1746.0247802734375\n", + "global step=10461184, episodic return=1704.260009765625\n", + "global step=10461184, episodic return=1695.84619140625\n", + "global step=10461184, episodic return=1712.8956298828125\n", + "global step=10461184, episodic return=1708.31640625\n", + "global step=10461184, episodic return=1714.846435546875\n", + "global step=10461184, episodic return=1753.9246826171875\n", + "global step=10461184, episodic return=1730.698974609375\n", + "global step=10461184, episodic return=1704.43896484375\n", + "global step=10461184, episodic return=1722.0628662109375\n", + "global step=10461184, episodic return=1692.3035888671875\n", + "global step=10461184, episodic return=1703.88671875\n", + "global step=10461184, episodic return=1708.140869140625\n", + "global step=10463232, episodic return=1740.7091064453125\n", + "global step=10463232, episodic return=1759.630859375\n", + "global step=10463232, episodic return=1707.6336669921875\n", + "global step=10463232, episodic return=1704.1661376953125\n", + "global step=10463232, episodic return=1691.8365478515625\n", + "global step=10463232, episodic return=1724.599853515625\n", + "global step=10463232, episodic return=1711.7740478515625\n", + "global step=10463232, episodic return=1715.9390869140625\n", + "global step=10463232, episodic return=1692.587646484375\n", + "global step=10465280, episodic return=1705.8582763671875\n", + "global step=10465280, episodic return=1691.748291015625\n", + "global step=10465280, episodic return=1704.8875732421875\n", + "global step=10465280, episodic return=1725.84375\n", + "global step=10465280, episodic return=1695.44287109375\n", + "global step=10467328, episodic return=1707.5469970703125\n", + "global step=10467328, episodic return=1726.3341064453125\n", + "global step=10467328, episodic return=1710.147705078125\n", + "global step=10467328, episodic return=1694.6572265625\n", + "global step=10469376, episodic return=1709.90576171875\n", + "global step=10469376, episodic return=1747.899169921875\n", + "global step=10469376, episodic return=1700.4639892578125\n", + "global step=10469376, episodic return=1718.261962890625\n", + "global step=10469376, episodic return=1724.3414306640625\n", + "global step=10471424, episodic return=1713.1912841796875\n", + "global step=10471424, episodic return=1721.97412109375\n", + "global step=10471424, episodic return=1720.2977294921875\n", + "global step=10471424, episodic return=1712.3045654296875\n", + "global step=10471424, episodic return=1722.8795166015625\n", + "global step=10473472, episodic return=1703.4788818359375\n", + "global step=10473472, episodic return=1725.426513671875\n", + "global step=10473472, episodic return=1712.377197265625\n", + "global step=10475520, episodic return=1706.01220703125\n", + "global step=10475520, episodic return=1704.0718994140625\n", + "global step=10475520, episodic return=1738.516845703125\n", + "global step=10475520, episodic return=1736.3759765625\n", + "global step=10475520, episodic return=1712.9832763671875\n", + "global step=10475520, episodic return=1718.0799560546875\n", + "global step=10475520, episodic return=1711.2547607421875\n", + "global step=10477568, episodic return=1736.0867919921875\n", + "global step=10477568, episodic return=1716.092041015625\n", + "global step=10477568, episodic return=1709.325439453125\n", + "global step=10477568, episodic return=1740.894775390625\n", + "global step=10477568, episodic return=1714.2135009765625\n", + "global step=10477568, episodic return=1702.0987548828125\n", + "global step=10477568, episodic return=1718.5079345703125\n", + "global step=10479616, episodic return=1723.425048828125\n", + "global step=10479616, episodic return=1732.857177734375\n", + "global step=10479616, episodic return=1745.90771484375\n", + "global step=10479616, episodic return=1718.2723388671875\n", + "global step=10479616, episodic return=1702.9847412109375\n", + "global step=10481664, episodic return=1699.369873046875\n", + "global step=10481664, episodic return=1733.36572265625\n", + "global step=10481664, episodic return=1709.4962158203125\n", + "global step=10481664, episodic return=1742.649658203125\n", + "global step=10481664, episodic return=1711.093994140625\n", + "global step=10481664, episodic return=1707.024169921875\n", + "global step=10481664, episodic return=1722.228759765625\n", + "global step=10483712, episodic return=1708.93408203125\n", + "global step=10483712, episodic return=1709.4520263671875\n", + "global step=10483712, episodic return=1726.590087890625\n", + "global step=10483712, episodic return=1701.885498046875\n", + "global step=10483712, episodic return=1719.2576904296875\n", + "global step=10485760, episodic return=1709.02392578125\n", + "global step=10485760, episodic return=1702.951416015625\n", + "global step=10485760, episodic return=1719.0987548828125\n", + "global step=10485760, episodic return=1703.56201171875\n", + "global step=10485760, episodic return=1720.8426513671875\n", + "global step=10485760, episodic return=1703.4041748046875\n", + "global step=10485760, episodic return=1726.6136474609375\n", + "global step=10485760, episodic return=1739.0582275390625\n", + "global step=10485760, episodic return=1704.881591796875\n", + "global step=10485760, episodic return=1706.9700927734375\n", + "global step=10485760, episodic return=1721.230712890625\n", + "global step=10485760, episodic return=1739.628662109375\n", + "global step=10487808, episodic return=1701.3387451171875\n", + "global step=10487808, episodic return=1724.83251953125\n", + "global step=10487808, episodic return=1696.9462890625\n", + "global step=10487808, episodic return=1713.6329345703125\n", + "global step=10489856, episodic return=1700.495849609375\n", + "global step=10489856, episodic return=1703.2177734375\n", + "global step=10489856, episodic return=1706.96484375\n", + "global step=10489856, episodic return=1727.0152587890625\n", + "global step=10489856, episodic return=1731.4296875\n", + "global step=10489856, episodic return=1714.48486328125\n", + "global step=10491904, episodic return=1694.1016845703125\n", + "global step=10491904, episodic return=1695.5477294921875\n", + "global step=10491904, episodic return=1700.163818359375\n", + "global step=10491904, episodic return=1719.2427978515625\n", + "global step=10491904, episodic return=1732.9471435546875\n", + "global step=10491904, episodic return=1701.4635009765625\n", + "global step=10491904, episodic return=1723.2725830078125\n", + "global step=10493952, episodic return=1720.9993896484375\n", + "global step=10493952, episodic return=1694.6353759765625\n", + "global step=10493952, episodic return=1703.875244140625\n", + "global step=10493952, episodic return=1695.0806884765625\n", + "global step=10493952, episodic return=1729.73095703125\n", + "global step=10493952, episodic return=1713.6292724609375\n", + "global step=10493952, episodic return=1713.936767578125\n", + "global step=10493952, episodic return=1706.9171142578125\n", + "global step=10493952, episodic return=1706.6304931640625\n", + "global step=10496000, episodic return=1715.9443359375\n", + "global step=10496000, episodic return=1706.0526123046875\n", + "global step=10496000, episodic return=1708.51025390625\n", + "global step=10498048, episodic return=1731.4693603515625\n", + "global step=10498048, episodic return=1716.3958740234375\n", + "global step=10498048, episodic return=1704.622802734375\n", + "global step=10498048, episodic return=1692.85498046875\n", + "global step=10498048, episodic return=1688.542236328125\n", + "global step=10498048, episodic return=1720.342041015625\n", + "global step=10498048, episodic return=1706.058837890625\n", + "global step=10500096, episodic return=1715.316162109375\n", + "global step=10500096, episodic return=1705.7972412109375\n", + "global step=10500096, episodic return=1711.8116455078125\n", + "global step=10500096, episodic return=1703.13671875\n", + "global step=10500096, episodic return=1740.60791015625\n", + "global step=10500096, episodic return=1713.427734375\n", + "global step=10502144, episodic return=1697.62109375\n", + "global step=10502144, episodic return=1712.7412109375\n", + "global step=10502144, episodic return=1697.6873779296875\n", + "global step=10502144, episodic return=1712.2763671875\n", + "global step=10502144, episodic return=1692.3284912109375\n", + "global step=10502144, episodic return=1712.706298828125\n", + "global step=10502144, episodic return=1699.6943359375\n", + "global step=10502144, episodic return=1724.108154296875\n", + "global step=10502144, episodic return=1708.4061279296875\n", + "global step=10502144, episodic return=1703.6968994140625\n", + "global step=10504192, episodic return=1710.923095703125\n", + "global step=10504192, episodic return=1700.6776123046875\n", + "global step=10504192, episodic return=1710.29248046875\n", + "global step=10504192, episodic return=1711.4755859375\n", + "global step=10504192, episodic return=1713.559814453125\n", + "global step=10504192, episodic return=1699.7139892578125\n", + "global step=10506240, episodic return=1698.4501953125\n", + "global step=10506240, episodic return=1733.6063232421875\n", + "global step=10506240, episodic return=1738.4005126953125\n", + "global step=10506240, episodic return=1708.0718994140625\n", + "global step=10506240, episodic return=1721.9842529296875\n", + "global step=10508288, episodic return=1729.4932861328125\n", + "global step=10508288, episodic return=1715.9254150390625\n", + "global step=10508288, episodic return=1703.4326171875\n", + "global step=10508288, episodic return=1710.650634765625\n", + "global step=10508288, episodic return=1695.9378662109375\n", + "global step=10508288, episodic return=1715.9029541015625\n", + "global step=10510336, episodic return=1700.2371826171875\n", + "global step=10510336, episodic return=1700.2095947265625\n", + "global step=10510336, episodic return=1718.023681640625\n", + "global step=10510336, episodic return=1709.306884765625\n", + "global step=10510336, episodic return=1700.980224609375\n", + "global step=10512384, episodic return=1705.2095947265625\n", + "global step=10512384, episodic return=1721.004150390625\n", + "global step=10512384, episodic return=1724.742919921875\n", + "global step=10512384, episodic return=1715.48974609375\n", + "global step=10512384, episodic return=1723.3975830078125\n", + "global step=10512384, episodic return=1775.35107421875\n", + "global step=10514432, episodic return=1699.3226318359375\n", + "global step=10514432, episodic return=1720.633056640625\n", + "global step=10514432, episodic return=1719.9464111328125\n", + "global step=10514432, episodic return=1696.5430908203125\n", + "global step=10514432, episodic return=1718.349365234375\n", + "global step=10516480, episodic return=1717.744384765625\n", + "global step=10516480, episodic return=1721.5072021484375\n", + "global step=10516480, episodic return=1709.3671875\n", + "global step=10516480, episodic return=1712.96044921875\n", + "global step=10516480, episodic return=1695.9583740234375\n", + "global step=10516480, episodic return=1711.8079833984375\n", + "global step=10518528, episodic return=1685.9178466796875\n", + "global step=10518528, episodic return=1711.612060546875\n", + "global step=10518528, episodic return=1710.763671875\n", + "global step=10518528, episodic return=1715.4925537109375\n", + "global step=10518528, episodic return=1719.9857177734375\n", + "global step=10520576, episodic return=1715.1207275390625\n", + "global step=10520576, episodic return=1710.007080078125\n", + "global step=10520576, episodic return=1698.10986328125\n", + "global step=10520576, episodic return=1724.472412109375\n", + "global step=10522624, episodic return=1707.9906005859375\n", + "global step=10522624, episodic return=1727.445556640625\n", + "global step=10522624, episodic return=1712.8399658203125\n", + "global step=10522624, episodic return=1732.6759033203125\n", + "global step=10522624, episodic return=1699.652099609375\n", + "global step=10522624, episodic return=1708.850341796875\n", + "global step=10524672, episodic return=1705.789794921875\n", + "global step=10524672, episodic return=1717.4217529296875\n", + "global step=10524672, episodic return=1705.62841796875\n", + "global step=10524672, episodic return=1704.5980224609375\n", + "global step=10524672, episodic return=1732.049560546875\n", + "global step=10524672, episodic return=1712.799072265625\n", + "global step=10524672, episodic return=1712.35791015625\n", + "global step=10524672, episodic return=1767.806884765625\n", + "global step=10524672, episodic return=1730.1734619140625\n", + "global step=10526720, episodic return=1715.884033203125\n", + "global step=10526720, episodic return=1723.2908935546875\n", + "global step=10528768, episodic return=1704.0765380859375\n", + "global step=10528768, episodic return=1690.74755859375\n", + "global step=10528768, episodic return=1726.72900390625\n", + "global step=10528768, episodic return=1719.3121337890625\n", + "global step=10530816, episodic return=1706.6923828125\n", + "global step=10530816, episodic return=1715.59326171875\n", + "global step=10530816, episodic return=521.3760986328125\n", + "global step=10532864, episodic return=1721.6392822265625\n", + "global step=10532864, episodic return=1707.3292236328125\n", + "global step=10532864, episodic return=1714.093017578125\n", + "global step=10532864, episodic return=1720.659912109375\n", + "global step=10532864, episodic return=1717.8504638671875\n", + "global step=10532864, episodic return=1703.4432373046875\n", + "global step=10534912, episodic return=1707.3587646484375\n", + "global step=10534912, episodic return=1702.25927734375\n", + "global step=10534912, episodic return=1719.3995361328125\n", + "global step=10534912, episodic return=1704.276611328125\n", + "global step=10536960, episodic return=1712.5970458984375\n", + "global step=10536960, episodic return=1722.866455078125\n", + "global step=10536960, episodic return=1707.485595703125\n", + "global step=10536960, episodic return=1720.752197265625\n", + "global step=10536960, episodic return=1735.8466796875\n", + "global step=10536960, episodic return=1734.403076171875\n", + "global step=10536960, episodic return=1721.47216796875\n", + "global step=10536960, episodic return=1697.8997802734375\n", + "global step=10539008, episodic return=1710.7869873046875\n", + "global step=10539008, episodic return=1715.257568359375\n", + "global step=10541056, episodic return=1719.478759765625\n", + "global step=10541056, episodic return=1713.89013671875\n", + "global step=10541056, episodic return=1706.429931640625\n", + "global step=10541056, episodic return=1703.1173095703125\n", + "global step=10541056, episodic return=1720.9224853515625\n", + "global step=10541056, episodic return=1717.246337890625\n", + "global step=10543104, episodic return=1715.40625\n", + "global step=10543104, episodic return=1704.148681640625\n", + "global step=10543104, episodic return=1712.901123046875\n", + "global step=10543104, episodic return=1703.064697265625\n", + "global step=10545152, episodic return=1711.980712890625\n", + "global step=10545152, episodic return=1694.8138427734375\n", + "global step=10545152, episodic return=1707.8648681640625\n", + "global step=10547200, episodic return=1713.086181640625\n", + "global step=10547200, episodic return=1722.458984375\n", + "global step=10547200, episodic return=1691.4329833984375\n", + "global step=10547200, episodic return=1727.639404296875\n", + "global step=10547200, episodic return=1726.45556640625\n", + "global step=10547200, episodic return=1704.682373046875\n", + "global step=10547200, episodic return=1710.4105224609375\n", + "global step=10549248, episodic return=1704.806884765625\n", + "global step=10549248, episodic return=1698.6561279296875\n", + "global step=10551296, episodic return=1707.3272705078125\n", + "global step=10551296, episodic return=1721.01953125\n", + "global step=10551296, episodic return=1733.920166015625\n", + "global step=10551296, episodic return=1707.921630859375\n", + "global step=10551296, episodic return=1693.54443359375\n", + "global step=10551296, episodic return=1704.7098388671875\n", + "global step=10551296, episodic return=1706.2015380859375\n", + "global step=10551296, episodic return=1728.4146728515625\n", + "global step=10551296, episodic return=1710.3302001953125\n", + "global step=10553344, episodic return=1705.2349853515625\n", + "global step=10553344, episodic return=1711.53955078125\n", + "global step=10553344, episodic return=1714.5548095703125\n", + "global step=10553344, episodic return=1716.19677734375\n", + "global step=10553344, episodic return=1720.94482421875\n", + "global step=10553344, episodic return=1696.034423828125\n", + "global step=10555392, episodic return=1722.4771728515625\n", + "global step=10555392, episodic return=1734.3226318359375\n", + "global step=10555392, episodic return=1735.4608154296875\n", + "global step=10555392, episodic return=1717.0933837890625\n", + "global step=10555392, episodic return=1701.98046875\n", + "global step=10555392, episodic return=1703.2894287109375\n", + "global step=10557440, episodic return=1688.58935546875\n", + "global step=10557440, episodic return=1717.600830078125\n", + "global step=10557440, episodic return=1722.103271484375\n", + "global step=10557440, episodic return=1704.243408203125\n", + "global step=10557440, episodic return=1712.856201171875\n", + "global step=10559488, episodic return=1710.21533203125\n", + "global step=10559488, episodic return=1719.857666015625\n", + "global step=10559488, episodic return=1702.5223388671875\n", + "global step=10559488, episodic return=1723.926513671875\n", + "global step=10559488, episodic return=1713.22412109375\n", + "global step=10559488, episodic return=1692.010009765625\n", + "global step=10561536, episodic return=1708.38525390625\n", + "global step=10561536, episodic return=1721.0286865234375\n", + "global step=10561536, episodic return=1697.36865234375\n", + "global step=10561536, episodic return=1718.244873046875\n", + "global step=10563584, episodic return=1713.1824951171875\n", + "global step=10563584, episodic return=1713.3094482421875\n", + "global step=10563584, episodic return=1705.2271728515625\n", + "global step=10563584, episodic return=1720.8084716796875\n", + "global step=10563584, episodic return=1702.4857177734375\n", + "global step=10563584, episodic return=1691.5733642578125\n", + "global step=10565632, episodic return=1750.697021484375\n", + "global step=10565632, episodic return=1696.9462890625\n", + "global step=10565632, episodic return=1735.1368408203125\n", + "global step=10565632, episodic return=1716.196044921875\n", + "global step=10565632, episodic return=1700.8214111328125\n", + "global step=10567680, episodic return=1702.4571533203125\n", + "global step=10567680, episodic return=1716.2083740234375\n", + "global step=10567680, episodic return=1712.9613037109375\n", + "global step=10567680, episodic return=1712.1551513671875\n", + "global step=10567680, episodic return=1700.1148681640625\n", + "global step=10567680, episodic return=1729.027587890625\n", + "global step=10569728, episodic return=1720.4693603515625\n", + "global step=10569728, episodic return=1692.2186279296875\n", + "global step=10569728, episodic return=1711.15673828125\n", + "global step=10571776, episodic return=1699.8707275390625\n", + "global step=10571776, episodic return=1713.611083984375\n", + "global step=10571776, episodic return=1724.0355224609375\n", + "global step=10571776, episodic return=1703.8135986328125\n", + "global step=10573824, episodic return=1720.898681640625\n", + "global step=10573824, episodic return=1726.5655517578125\n", + "global step=10573824, episodic return=1723.6883544921875\n", + "global step=10573824, episodic return=1718.391845703125\n", + "global step=10573824, episodic return=1724.384765625\n", + "global step=10575872, episodic return=1705.4248046875\n", + "global step=10575872, episodic return=1711.5325927734375\n", + "global step=10575872, episodic return=1727.6629638671875\n", + "global step=10577920, episodic return=1717.53369140625\n", + "global step=10577920, episodic return=1710.83154296875\n", + "global step=10577920, episodic return=1705.43798828125\n", + "global step=10577920, episodic return=1714.008544921875\n", + "global step=10577920, episodic return=1706.856201171875\n", + "global step=10577920, episodic return=1701.41015625\n", + "global step=10579968, episodic return=1710.323974609375\n", + "global step=10579968, episodic return=1706.156005859375\n", + "global step=10579968, episodic return=1718.7222900390625\n", + "global step=10579968, episodic return=1720.11767578125\n", + "global step=10579968, episodic return=1708.7889404296875\n", + "global step=10582016, episodic return=1701.6334228515625\n", + "global step=10582016, episodic return=1698.227294921875\n", + "global step=10582016, episodic return=1741.8115234375\n", + "global step=10582016, episodic return=1705.373046875\n", + "global step=10582016, episodic return=1695.0302734375\n", + "global step=10582016, episodic return=1725.72216796875\n", + "global step=10582016, episodic return=1723.1697998046875\n", + "global step=10582016, episodic return=1709.7142333984375\n", + "global step=10584064, episodic return=1731.7510986328125\n", + "global step=10584064, episodic return=1711.67724609375\n", + "global step=10586112, episodic return=1600.2413330078125\n", + "global step=10586112, episodic return=1699.84765625\n", + "global step=10586112, episodic return=1724.144775390625\n", + "global step=10586112, episodic return=1700.0003662109375\n", + "global step=10586112, episodic return=1707.322998046875\n", + "global step=10586112, episodic return=1748.2518310546875\n", + "global step=10586112, episodic return=1695.509033203125\n", + "global step=10588160, episodic return=1705.026123046875\n", + "global step=10588160, episodic return=1707.2158203125\n", + "global step=10588160, episodic return=1708.1451416015625\n", + "global step=10588160, episodic return=1710.9976806640625\n", + "global step=10590208, episodic return=588.1597900390625\n", + "global step=10590208, episodic return=1716.7088623046875\n", + "global step=10590208, episodic return=1717.1126708984375\n", + "global step=10590208, episodic return=1708.81201171875\n", + "global step=10590208, episodic return=1703.098876953125\n", + "global step=10590208, episodic return=1692.3013916015625\n", + "global step=10590208, episodic return=1708.1846923828125\n", + "global step=10590208, episodic return=1713.568603515625\n", + "global step=10592256, episodic return=1710.147705078125\n", + "global step=10592256, episodic return=1686.621337890625\n", + "global step=10592256, episodic return=1692.6151123046875\n", + "global step=10592256, episodic return=1711.7835693359375\n", + "global step=10594304, episodic return=1728.360107421875\n", + "global step=10594304, episodic return=1713.0029296875\n", + "global step=10594304, episodic return=1698.2916259765625\n", + "global step=10594304, episodic return=1713.931884765625\n", + "global step=10594304, episodic return=1705.37841796875\n", + "global step=10594304, episodic return=1755.48779296875\n", + "global step=10594304, episodic return=1734.6845703125\n", + "global step=10596352, episodic return=1696.0494384765625\n", + "global step=10596352, episodic return=1717.469482421875\n", + "global step=10596352, episodic return=1709.4027099609375\n", + "global step=10596352, episodic return=1706.905517578125\n", + "global step=10596352, episodic return=1721.6888427734375\n", + "global step=10596352, episodic return=1699.1673583984375\n", + "global step=10598400, episodic return=1695.1790771484375\n", + "global step=10598400, episodic return=1698.3863525390625\n", + "global step=10598400, episodic return=1714.4586181640625\n", + "global step=10598400, episodic return=1715.720458984375\n", + "global step=10598400, episodic return=1708.6837158203125\n", + "global step=10598400, episodic return=1699.970703125\n", + "global step=10598400, episodic return=1722.0711669921875\n", + "global step=10598400, episodic return=1702.5452880859375\n", + "global step=10598400, episodic return=1709.5875244140625\n", + "global step=10598400, episodic return=1722.555419921875\n", + "global step=10600448, episodic return=1755.0009765625\n", + "global step=10600448, episodic return=1702.3497314453125\n", + "global step=10600448, episodic return=1704.533935546875\n", + "global step=10600448, episodic return=1684.632080078125\n", + "global step=10600448, episodic return=1715.3983154296875\n", + "global step=10602496, episodic return=1703.47265625\n", + "global step=10602496, episodic return=1711.2708740234375\n", + "global step=10602496, episodic return=1695.6727294921875\n", + "global step=10602496, episodic return=1741.537109375\n", + "global step=10602496, episodic return=1713.1873779296875\n", + "global step=10602496, episodic return=1723.5616455078125\n", + "global step=10602496, episodic return=1714.2569580078125\n", + "global step=10602496, episodic return=1710.936767578125\n", + "global step=10604544, episodic return=1717.09130859375\n", + "global step=10604544, episodic return=1711.8270263671875\n", + "global step=10604544, episodic return=1692.6746826171875\n", + "global step=10606592, episodic return=1707.1048583984375\n", + "global step=10606592, episodic return=1699.8392333984375\n", + "global step=10606592, episodic return=1715.8275146484375\n", + "global step=10606592, episodic return=1708.56689453125\n", + "global step=10608640, episodic return=1704.2418212890625\n", + "global step=10608640, episodic return=1753.7703857421875\n", + "global step=10608640, episodic return=1720.48291015625\n", + "global step=10608640, episodic return=1696.878173828125\n", + "global step=10608640, episodic return=1685.62744140625\n", + "global step=10608640, episodic return=1755.9967041015625\n", + "global step=10608640, episodic return=1694.3856201171875\n", + "global step=10608640, episodic return=1710.3885498046875\n", + "global step=10610688, episodic return=1703.9793701171875\n", + "global step=10610688, episodic return=1689.1737060546875\n", + "global step=10610688, episodic return=1725.5474853515625\n", + "global step=10612736, episodic return=1716.902587890625\n", + "global step=10612736, episodic return=1726.2625732421875\n", + "global step=10612736, episodic return=1729.107666015625\n", + "global step=10612736, episodic return=1686.7198486328125\n", + "global step=10612736, episodic return=1732.385986328125\n", + "global step=10614784, episodic return=1727.98291015625\n", + "global step=10614784, episodic return=1711.929931640625\n", + "global step=10614784, episodic return=1702.0640869140625\n", + "global step=10614784, episodic return=1702.8414306640625\n", + "global step=10614784, episodic return=1711.266845703125\n", + "global step=10614784, episodic return=1724.3531494140625\n", + "global step=10614784, episodic return=1700.9375\n", + "global step=10614784, episodic return=1703.2347412109375\n", + "global step=10614784, episodic return=1707.524169921875\n", + "global step=10616832, episodic return=1702.7701416015625\n", + "global step=10616832, episodic return=1700.68896484375\n", + "global step=10616832, episodic return=1713.3690185546875\n", + "global step=10616832, episodic return=1716.46240234375\n", + "global step=10616832, episodic return=1705.9576416015625\n", + "global step=10616832, episodic return=1700.166259765625\n", + "global step=10618880, episodic return=1708.0594482421875\n", + "global step=10618880, episodic return=1735.055908203125\n", + "global step=10618880, episodic return=1700.886962890625\n", + "global step=10618880, episodic return=1691.401123046875\n", + "global step=10618880, episodic return=1720.0684814453125\n", + "global step=10620928, episodic return=1716.36474609375\n", + "global step=10620928, episodic return=1702.03955078125\n", + "global step=10620928, episodic return=1700.68017578125\n", + "global step=10620928, episodic return=1696.3321533203125\n", + "global step=10620928, episodic return=1717.2647705078125\n", + "global step=10622976, episodic return=1718.859619140625\n", + "global step=10622976, episodic return=1708.8043212890625\n", + "global step=10622976, episodic return=1700.4202880859375\n", + "global step=10622976, episodic return=1701.950439453125\n", + "global step=10622976, episodic return=1740.657958984375\n", + "global step=10622976, episodic return=1707.2703857421875\n", + "global step=10622976, episodic return=1717.0975341796875\n", + "global step=10625024, episodic return=1750.54541015625\n", + "global step=10625024, episodic return=1708.3505859375\n", + "global step=10625024, episodic return=1721.6796875\n", + "global step=10625024, episodic return=1716.2470703125\n", + "global step=10625024, episodic return=1700.9293212890625\n", + "global step=10625024, episodic return=1702.272216796875\n", + "global step=10625024, episodic return=1707.093017578125\n", + "global step=10625024, episodic return=1680.263427734375\n", + "global step=10625024, episodic return=1722.432373046875\n", + "global step=10625024, episodic return=1690.146484375\n", + "global step=10627072, episodic return=1710.6885986328125\n", + "global step=10627072, episodic return=1712.664306640625\n", + "global step=10629120, episodic return=1682.5223388671875\n", + "global step=10629120, episodic return=1708.66162109375\n", + "global step=10629120, episodic return=1702.466796875\n", + "global step=10629120, episodic return=1688.2874755859375\n", + "global step=10629120, episodic return=1702.27099609375\n", + "global step=10631168, episodic return=1683.5799560546875\n", + "global step=10631168, episodic return=1705.2220458984375\n", + "global step=10631168, episodic return=1708.061279296875\n", + "global step=10631168, episodic return=1707.2984619140625\n", + "global step=10631168, episodic return=1713.3760986328125\n", + "global step=10631168, episodic return=1695.2489013671875\n", + "global step=10633216, episodic return=1708.546875\n", + "global step=10633216, episodic return=1702.991943359375\n", + "global step=10633216, episodic return=1702.67919921875\n", + "global step=10633216, episodic return=1713.6854248046875\n", + "global step=10635264, episodic return=1724.795654296875\n", + "global step=10635264, episodic return=1709.590087890625\n", + "global step=10635264, episodic return=1690.7698974609375\n", + "global step=10635264, episodic return=1709.82470703125\n", + "global step=10635264, episodic return=1713.074951171875\n", + "global step=10635264, episodic return=1705.6844482421875\n", + "global step=10635264, episodic return=1698.92578125\n", + "global step=10637312, episodic return=1702.8006591796875\n", + "global step=10639360, episodic return=1704.379638671875\n", + "global step=10639360, episodic return=1731.324462890625\n", + "global step=10639360, episodic return=1704.605712890625\n", + "global step=10639360, episodic return=1732.5849609375\n", + "global step=10639360, episodic return=1709.0665283203125\n", + "global step=10641408, episodic return=1703.892333984375\n", + "global step=10641408, episodic return=1719.740966796875\n", + "global step=10643456, episodic return=1699.9591064453125\n", + "global step=10643456, episodic return=1711.1434326171875\n", + "global step=10643456, episodic return=1716.4761962890625\n", + "global step=10643456, episodic return=1709.7398681640625\n", + "global step=10643456, episodic return=1715.4847412109375\n", + "global step=10645504, episodic return=1726.254638671875\n", + "global step=10645504, episodic return=1675.669189453125\n", + "global step=10645504, episodic return=1715.257080078125\n", + "global step=10645504, episodic return=1704.643310546875\n", + "global step=10645504, episodic return=1715.9024658203125\n", + "global step=10645504, episodic return=1712.3533935546875\n", + "global step=10645504, episodic return=1702.640869140625\n", + "global step=10645504, episodic return=1685.7421875\n", + "global step=10647552, episodic return=1745.691162109375\n", + "global step=10647552, episodic return=1651.822265625\n", + "global step=10647552, episodic return=1697.7852783203125\n", + "global step=10647552, episodic return=1700.479248046875\n", + "global step=10647552, episodic return=1678.6856689453125\n", + "global step=10647552, episodic return=1704.641845703125\n", + "global step=10649600, episodic return=1698.4459228515625\n", + "global step=10649600, episodic return=1681.087890625\n", + "global step=10649600, episodic return=1712.145751953125\n", + "global step=10649600, episodic return=1704.1898193359375\n", + "global step=10649600, episodic return=1700.34716796875\n", + "global step=10651648, episodic return=1639.7615966796875\n", + "global step=10651648, episodic return=1712.2469482421875\n", + "global step=10651648, episodic return=1655.4678955078125\n", + "global step=10651648, episodic return=1715.968505859375\n", + "global step=10651648, episodic return=1699.2872314453125\n", + "global step=10653696, episodic return=1702.5179443359375\n", + "global step=10653696, episodic return=1703.893310546875\n", + "global step=10653696, episodic return=1684.6014404296875\n", + "global step=10653696, episodic return=1707.5799560546875\n", + "global step=10653696, episodic return=1699.975830078125\n", + "global step=10653696, episodic return=1706.0067138671875\n", + "global step=10653696, episodic return=1705.1185302734375\n", + "global step=10653696, episodic return=1707.3409423828125\n", + "global step=10653696, episodic return=1682.26513671875\n", + "global step=10653696, episodic return=1719.3883056640625\n", + "global step=10655744, episodic return=1686.2281494140625\n", + "global step=10655744, episodic return=1706.9588623046875\n", + "global step=10655744, episodic return=37.31168746948242\n", + "global step=10655744, episodic return=1707.081298828125\n", + "global step=10655744, episodic return=1706.6055908203125\n", + "global step=10657792, episodic return=1709.968994140625\n", + "global step=10657792, episodic return=1683.7593994140625\n", + "global step=10657792, episodic return=1715.6812744140625\n", + "global step=10657792, episodic return=1697.3834228515625\n", + "global step=10657792, episodic return=1713.6678466796875\n", + "global step=10657792, episodic return=1714.27880859375\n", + "global step=10657792, episodic return=1683.890869140625\n", + "global step=10659840, episodic return=1698.0145263671875\n", + "global step=10659840, episodic return=1706.9959716796875\n", + "global step=10661888, episodic return=1701.7562255859375\n", + "global step=10661888, episodic return=1653.8309326171875\n", + "global step=10661888, episodic return=1689.5615234375\n", + "global step=10661888, episodic return=1706.159423828125\n", + "global step=10661888, episodic return=1710.9388427734375\n", + "global step=10663936, episodic return=1751.741943359375\n", + "global step=10663936, episodic return=1698.8094482421875\n", + "global step=10663936, episodic return=1684.1627197265625\n", + "global step=10665984, episodic return=1759.190185546875\n", + "global step=10665984, episodic return=1703.42333984375\n", + "global step=10665984, episodic return=1690.288818359375\n", + "global step=10665984, episodic return=1699.1497802734375\n", + "global step=10668032, episodic return=1718.4583740234375\n", + "global step=10668032, episodic return=1709.0699462890625\n", + "global step=10668032, episodic return=1703.5196533203125\n", + "global step=10668032, episodic return=1676.177978515625\n", + "global step=10668032, episodic return=1684.3255615234375\n", + "global step=10670080, episodic return=1671.1478271484375\n", + "global step=10670080, episodic return=1702.0767822265625\n", + "global step=10670080, episodic return=1688.6751708984375\n", + "global step=10670080, episodic return=1710.8909912109375\n", + "global step=10670080, episodic return=1722.2772216796875\n", + "global step=10670080, episodic return=1699.41064453125\n", + "global step=10672128, episodic return=1706.8182373046875\n", + "global step=10672128, episodic return=1674.3331298828125\n", + "global step=10672128, episodic return=1717.767578125\n", + "global step=10672128, episodic return=1693.5596923828125\n", + "global step=10672128, episodic return=1704.663818359375\n", + "global step=10674176, episodic return=1703.695068359375\n", + "global step=10674176, episodic return=1709.016357421875\n", + "global step=10674176, episodic return=1702.4371337890625\n", + "global step=10674176, episodic return=1724.702392578125\n", + "global step=10674176, episodic return=1697.3814697265625\n", + "global step=10674176, episodic return=1686.400390625\n", + "global step=10676224, episodic return=1704.546630859375\n", + "global step=10676224, episodic return=1686.206298828125\n", + "global step=10676224, episodic return=1708.9930419921875\n", + "global step=10676224, episodic return=1636.1260986328125\n", + "global step=10678272, episodic return=1721.8377685546875\n", + "global step=10678272, episodic return=1681.8135986328125\n", + "global step=10678272, episodic return=1675.958984375\n", + "global step=10680320, episodic return=1686.5220947265625\n", + "global step=10680320, episodic return=1689.0916748046875\n", + "global step=10680320, episodic return=1687.9197998046875\n", + "global step=10680320, episodic return=1674.91845703125\n", + "global step=10680320, episodic return=1705.403076171875\n", + "global step=10682368, episodic return=1686.4337158203125\n", + "global step=10682368, episodic return=1701.4512939453125\n", + "global step=10682368, episodic return=1714.450439453125\n", + "global step=10684416, episodic return=1715.680908203125\n", + "global step=10684416, episodic return=1695.729248046875\n", + "global step=10684416, episodic return=1678.6322021484375\n", + "global step=10684416, episodic return=1686.944580078125\n", + "global step=10686464, episodic return=1696.5347900390625\n", + "global step=10686464, episodic return=1708.7325439453125\n", + "global step=10686464, episodic return=1718.613525390625\n", + "global step=10688512, episodic return=1713.8001708984375\n", + "global step=10688512, episodic return=1673.0694580078125\n", + "global step=10688512, episodic return=1672.5283203125\n", + "global step=10688512, episodic return=1699.220703125\n", + "global step=10688512, episodic return=1695.91748046875\n", + "global step=10690560, episodic return=1709.7620849609375\n", + "global step=10690560, episodic return=1707.6627197265625\n", + "global step=10690560, episodic return=1719.180419921875\n", + "global step=10690560, episodic return=1689.606201171875\n", + "global step=10690560, episodic return=1667.2486572265625\n", + "global step=10690560, episodic return=1706.6385498046875\n", + "global step=10690560, episodic return=1690.0372314453125\n", + "global step=10692608, episodic return=1706.80810546875\n", + "global step=10692608, episodic return=1701.9739990234375\n", + "global step=10692608, episodic return=1653.493408203125\n", + "global step=10692608, episodic return=1709.3272705078125\n", + "global step=10694656, episodic return=1714.3927001953125\n", + "global step=10694656, episodic return=1671.1993408203125\n", + "global step=10696704, episodic return=1708.8421630859375\n", + "global step=10696704, episodic return=1695.384521484375\n", + "global step=10696704, episodic return=1718.1041259765625\n", + "global step=10696704, episodic return=1683.622802734375\n", + "global step=10696704, episodic return=1689.7650146484375\n", + "global step=10696704, episodic return=1674.6319580078125\n", + "global step=10696704, episodic return=1715.18408203125\n", + "global step=10696704, episodic return=1718.71044921875\n", + "global step=10698752, episodic return=1716.7205810546875\n", + "global step=10698752, episodic return=1711.0369873046875\n", + "global step=10698752, episodic return=1709.6304931640625\n", + "global step=10700800, episodic return=1625.748779296875\n", + "global step=10700800, episodic return=1730.771240234375\n", + "global step=10700800, episodic return=1661.2489013671875\n", + "global step=10700800, episodic return=1543.938232421875\n", + "global step=10700800, episodic return=1690.763916015625\n", + "global step=10702848, episodic return=1668.5057373046875\n", + "global step=10702848, episodic return=1723.7000732421875\n", + "global step=10702848, episodic return=1660.8421630859375\n", + "global step=10702848, episodic return=1707.704833984375\n", + "global step=10702848, episodic return=1663.374267578125\n", + "global step=10704896, episodic return=1676.151611328125\n", + "global step=10704896, episodic return=1709.5555419921875\n", + "global step=10704896, episodic return=1652.0250244140625\n", + "global step=10704896, episodic return=1695.4508056640625\n", + "global step=10706944, episodic return=1697.1845703125\n", + "global step=10706944, episodic return=1693.7440185546875\n", + "global step=10706944, episodic return=1706.0938720703125\n", + "global step=10706944, episodic return=1645.525634765625\n", + "global step=10706944, episodic return=1709.166015625\n", + "global step=10708992, episodic return=1663.082275390625\n", + "global step=10708992, episodic return=1715.405517578125\n", + "global step=10708992, episodic return=1682.3719482421875\n", + "global step=10711040, episodic return=1699.965087890625\n", + "global step=10711040, episodic return=1701.0255126953125\n", + "global step=10711040, episodic return=1680.2840576171875\n", + "global step=10711040, episodic return=1685.2772216796875\n", + "global step=10711040, episodic return=1679.502685546875\n", + "global step=10713088, episodic return=1709.82373046875\n", + "global step=10713088, episodic return=1693.5086669921875\n", + "global step=10713088, episodic return=1694.1190185546875\n", + "global step=10713088, episodic return=1701.4136962890625\n", + "global step=10715136, episodic return=1695.2274169921875\n", + "global step=10715136, episodic return=1693.81982421875\n", + "global step=10715136, episodic return=1706.70361328125\n", + "global step=10715136, episodic return=1710.578369140625\n", + "global step=10717184, episodic return=1717.1319580078125\n", + "global step=10717184, episodic return=1700.0218505859375\n", + "global step=10717184, episodic return=1667.4114990234375\n", + "global step=10717184, episodic return=1707.411865234375\n", + "global step=10717184, episodic return=1675.0419921875\n", + "global step=10717184, episodic return=1672.1866455078125\n", + "global step=10717184, episodic return=1702.286865234375\n", + "global step=10717184, episodic return=1679.00732421875\n", + "global step=10717184, episodic return=1713.5426025390625\n", + "global step=10717184, episodic return=1689.8194580078125\n", + "global step=10717184, episodic return=1685.3154296875\n", + "global step=10719232, episodic return=1684.287841796875\n", + "global step=10719232, episodic return=1718.398681640625\n", + "global step=10719232, episodic return=1697.2969970703125\n", + "global step=10719232, episodic return=1688.6024169921875\n", + "global step=10719232, episodic return=1695.5146484375\n", + "global step=10721280, episodic return=1695.20849609375\n", + "global step=10721280, episodic return=1695.8140869140625\n", + "global step=10721280, episodic return=1715.5843505859375\n", + "global step=10723328, episodic return=1717.009033203125\n", + "global step=10723328, episodic return=1715.716064453125\n", + "global step=10723328, episodic return=1718.0074462890625\n", + "global step=10723328, episodic return=1695.3604736328125\n", + "global step=10723328, episodic return=1717.9532470703125\n", + "global step=10723328, episodic return=1706.789306640625\n", + "global step=10725376, episodic return=1692.4083251953125\n", + "global step=10725376, episodic return=1657.9290771484375\n", + "global step=10725376, episodic return=1680.8695068359375\n", + "global step=10725376, episodic return=1711.70556640625\n", + "global step=10727424, episodic return=1705.0997314453125\n", + "global step=10727424, episodic return=1718.9844970703125\n", + "global step=10727424, episodic return=1582.1939697265625\n", + "global step=10727424, episodic return=1655.746337890625\n", + "global step=10729472, episodic return=1695.7791748046875\n", + "global step=10729472, episodic return=1695.7967529296875\n", + "global step=10729472, episodic return=1690.6943359375\n", + "global step=10729472, episodic return=1722.0567626953125\n", + "global step=10729472, episodic return=1704.02099609375\n", + "global step=10731520, episodic return=1709.0943603515625\n", + "global step=10731520, episodic return=1712.8353271484375\n", + "global step=10733568, episodic return=1689.1861572265625\n", + "global step=10733568, episodic return=1697.915283203125\n", + "global step=10733568, episodic return=1704.3863525390625\n", + "global step=10733568, episodic return=1669.0689697265625\n", + "global step=10735616, episodic return=1693.8389892578125\n", + "global step=10735616, episodic return=1722.8665771484375\n", + "global step=10737664, episodic return=1713.4417724609375\n", + "global step=10737664, episodic return=1743.642822265625\n", + "global step=10737664, episodic return=1694.738037109375\n", + "global step=10737664, episodic return=1676.490478515625\n", + "global step=10737664, episodic return=1703.3663330078125\n", + "global step=10737664, episodic return=1715.608154296875\n", + "global step=10737664, episodic return=1702.7911376953125\n", + "global step=10739712, episodic return=1711.3109130859375\n", + "global step=10739712, episodic return=1738.89208984375\n", + "global step=10739712, episodic return=1696.0943603515625\n", + "global step=10741760, episodic return=1702.6993408203125\n", + "global step=10741760, episodic return=1704.5418701171875\n", + "global step=10741760, episodic return=1698.354736328125\n", + "global step=10743808, episodic return=1642.7738037109375\n", + "global step=10743808, episodic return=1720.1243896484375\n", + "global step=10743808, episodic return=1705.6260986328125\n", + "global step=10745856, episodic return=1698.630615234375\n", + "global step=10745856, episodic return=1677.242919921875\n", + "global step=10745856, episodic return=1695.9307861328125\n", + "global step=10745856, episodic return=1700.6383056640625\n", + "global step=10745856, episodic return=1673.8880615234375\n", + "global step=10745856, episodic return=823.6014404296875\n", + "global step=10745856, episodic return=1707.9952392578125\n", + "global step=10747904, episodic return=1692.9456787109375\n", + "global step=10747904, episodic return=1696.03125\n", + "global step=10747904, episodic return=1697.971435546875\n", + "global step=10747904, episodic return=1667.6207275390625\n", + "global step=10749952, episodic return=1693.6441650390625\n", + "global step=10749952, episodic return=1665.1806640625\n", + "global step=10749952, episodic return=1733.00439453125\n", + "global step=10749952, episodic return=1719.0267333984375\n", + "global step=10749952, episodic return=1695.3204345703125\n", + "global step=10749952, episodic return=1702.5322265625\n", + "global step=10752000, episodic return=1699.275390625\n", + "global step=10752000, episodic return=1698.2386474609375\n", + "global step=10752000, episodic return=1710.3216552734375\n", + "global step=10752000, episodic return=1689.292724609375\n", + "global step=10754048, episodic return=1712.7188720703125\n", + "global step=10754048, episodic return=1706.421142578125\n", + "global step=10754048, episodic return=1811.826904296875\n", + "global step=10754048, episodic return=1706.183349609375\n", + "global step=10754048, episodic return=1716.7052001953125\n", + "global step=10756096, episodic return=1695.7333984375\n", + "global step=10756096, episodic return=1711.873046875\n", + "global step=10756096, episodic return=1714.2423095703125\n", + "global step=10756096, episodic return=1699.769287109375\n", + "global step=10758144, episodic return=1694.6259765625\n", + "global step=10758144, episodic return=1700.3433837890625\n", + "global step=10758144, episodic return=1722.57861328125\n", + "global step=10758144, episodic return=1690.111083984375\n", + "global step=10758144, episodic return=1711.27587890625\n", + "global step=10758144, episodic return=1714.4327392578125\n", + "global step=10760192, episodic return=1691.2169189453125\n", + "global step=10760192, episodic return=1712.5614013671875\n", + "global step=10760192, episodic return=1700.24609375\n", + "global step=10762240, episodic return=1661.42041015625\n", + "global step=10762240, episodic return=1638.0272216796875\n", + "global step=10762240, episodic return=1605.7647705078125\n", + "global step=10762240, episodic return=1698.71240234375\n", + "global step=10762240, episodic return=1715.700439453125\n", + "global step=10764288, episodic return=1703.75341796875\n", + "global step=10764288, episodic return=1722.15478515625\n", + "global step=10764288, episodic return=1732.6822509765625\n", + "global step=10764288, episodic return=1683.5089111328125\n", + "global step=10766336, episodic return=1686.34814453125\n", + "global step=10766336, episodic return=1670.5860595703125\n", + "global step=10766336, episodic return=1714.5640869140625\n", + "global step=10768384, episodic return=1714.6851806640625\n", + "global step=10770432, episodic return=1757.4443359375\n", + "global step=10770432, episodic return=1719.7747802734375\n", + "global step=10770432, episodic return=1693.548095703125\n", + "global step=10772480, episodic return=1687.368408203125\n", + "global step=10772480, episodic return=1716.1566162109375\n", + "global step=10772480, episodic return=350.7288818359375\n", + "global step=10772480, episodic return=1713.1429443359375\n", + "global step=10774528, episodic return=1722.267333984375\n", + "global step=10776576, episodic return=1694.772705078125\n", + "global step=10778624, episodic return=1749.2486572265625\n", + "global step=10778624, episodic return=1717.089599609375\n", + "global step=10778624, episodic return=1727.0811767578125\n", + "global step=10780672, episodic return=1719.778564453125\n", + "global step=10780672, episodic return=1692.9141845703125\n", + "global step=10782720, episodic return=1691.7794189453125\n", + "global step=10782720, episodic return=1719.683349609375\n", + "global step=10782720, episodic return=1709.705078125\n", + "global step=10784768, episodic return=1694.466796875\n", + "global step=10784768, episodic return=1768.5223388671875\n", + "global step=10784768, episodic return=1686.2197265625\n", + "global step=10784768, episodic return=1717.047607421875\n", + "global step=10786816, episodic return=1744.3804931640625\n", + "global step=10790912, episodic return=1715.568603515625\n", + "global step=10790912, episodic return=1757.872314453125\n", + "global step=10790912, episodic return=1699.708740234375\n", + "global step=10792960, episodic return=1697.1407470703125\n", + "global step=10792960, episodic return=1730.0765380859375\n", + "global step=10795008, episodic return=1704.5946044921875\n", + "global step=10795008, episodic return=1703.550048828125\n", + "global step=10797056, episodic return=1727.7008056640625\n", + "global step=10797056, episodic return=1723.41015625\n", + "global step=10797056, episodic return=1698.17431640625\n", + "global step=10797056, episodic return=1677.177978515625\n", + "global step=10799104, episodic return=1738.940185546875\n", + "global step=10799104, episodic return=1723.2078857421875\n", + "global step=10799104, episodic return=1723.8172607421875\n", + "global step=10801152, episodic return=1720.8292236328125\n", + "global step=10803200, episodic return=1728.0711669921875\n", + "global step=10803200, episodic return=1715.5125732421875\n", + "global step=10803200, episodic return=1696.1068115234375\n", + "global step=10807296, episodic return=1703.8966064453125\n", + "global step=10807296, episodic return=1711.9725341796875\n", + "global step=10807296, episodic return=1720.3465576171875\n", + "global step=10807296, episodic return=1705.13623046875\n", + "global step=10809344, episodic return=1708.2215576171875\n", + "global step=10809344, episodic return=1726.3765869140625\n", + "global step=10809344, episodic return=1676.4542236328125\n", + "global step=10809344, episodic return=1724.40771484375\n", + "global step=10809344, episodic return=1712.634521484375\n", + "global step=10811392, episodic return=1698.0352783203125\n", + "global step=10813440, episodic return=1692.9185791015625\n", + "global step=10813440, episodic return=1734.4012451171875\n", + "global step=10813440, episodic return=1726.863037109375\n", + "global step=10815488, episodic return=1719.769775390625\n", + "global step=10815488, episodic return=1709.93994140625\n", + "global step=10817536, episodic return=1756.15283203125\n", + "global step=10817536, episodic return=1690.4512939453125\n", + "global step=10817536, episodic return=1714.8475341796875\n", + "global step=10817536, episodic return=1722.5809326171875\n", + "global step=10817536, episodic return=1710.67626953125\n", + "global step=10819584, episodic return=1699.3975830078125\n", + "global step=10821632, episodic return=1725.5157470703125\n", + "global step=10821632, episodic return=1674.81298828125\n", + "global step=10821632, episodic return=1702.93603515625\n", + "global step=10823680, episodic return=1715.54931640625\n", + "global step=10825728, episodic return=1687.346435546875\n", + "global step=10827776, episodic return=1709.4423828125\n", + "global step=10827776, episodic return=1701.920654296875\n", + "global step=10827776, episodic return=1451.833251953125\n", + "global step=10827776, episodic return=1727.761474609375\n", + "global step=10827776, episodic return=1709.712158203125\n", + "global step=10829824, episodic return=1710.22802734375\n", + "global step=10829824, episodic return=1729.40625\n", + "global step=10831872, episodic return=1634.517578125\n", + "global step=10831872, episodic return=1710.1939697265625\n", + "global step=10831872, episodic return=1692.8818359375\n", + "global step=10833920, episodic return=1821.3009033203125\n", + "global step=10833920, episodic return=1776.358154296875\n", + "global step=10833920, episodic return=1737.557861328125\n", + "global step=10835968, episodic return=1716.4925537109375\n", + "global step=10835968, episodic return=475.896484375\n", + "global step=10838016, episodic return=1713.0472412109375\n", + "global step=10840064, episodic return=1719.5107421875\n", + "global step=10840064, episodic return=1717.7659912109375\n", + "global step=10840064, episodic return=1715.5277099609375\n", + "global step=10842112, episodic return=1741.60693359375\n", + "global step=10842112, episodic return=1690.748779296875\n", + "global step=10844160, episodic return=1705.8974609375\n", + "global step=10844160, episodic return=1693.2869873046875\n", + "global step=10844160, episodic return=1693.3670654296875\n", + "global step=10844160, episodic return=1719.788818359375\n", + "global step=10844160, episodic return=1713.0255126953125\n", + "global step=10846208, episodic return=1692.421630859375\n", + "global step=10848256, episodic return=1708.3994140625\n", + "global step=10848256, episodic return=1719.4920654296875\n", + "global step=10848256, episodic return=1712.9927978515625\n", + "global step=10848256, episodic return=1765.908447265625\n", + "global step=10848256, episodic return=1705.5362548828125\n", + "global step=10848256, episodic return=1732.9215087890625\n", + "global step=10848256, episodic return=1722.1156005859375\n", + "global step=10850304, episodic return=1772.73876953125\n", + "global step=10852352, episodic return=1692.5084228515625\n", + "global step=10852352, episodic return=1686.317626953125\n", + "global step=10852352, episodic return=1706.11328125\n", + "global step=10852352, episodic return=1695.7501220703125\n", + "global step=10852352, episodic return=1714.9818115234375\n", + "global step=10852352, episodic return=1737.0325927734375\n", + "global step=10854400, episodic return=1696.2728271484375\n", + "global step=10854400, episodic return=1680.223388671875\n", + "global step=10856448, episodic return=1697.0911865234375\n", + "global step=10856448, episodic return=1771.381591796875\n", + "global step=10858496, episodic return=1715.0400390625\n", + "global step=10858496, episodic return=1749.1649169921875\n", + "global step=10860544, episodic return=1711.3052978515625\n", + "global step=10860544, episodic return=1720.6551513671875\n", + "global step=10860544, episodic return=1713.001953125\n", + "global step=10860544, episodic return=1730.6494140625\n", + "global step=10862592, episodic return=1700.382568359375\n", + "global step=10864640, episodic return=1716.99462890625\n", + "global step=10864640, episodic return=1734.577392578125\n", + "global step=10864640, episodic return=1680.1175537109375\n", + "global step=10868736, episodic return=1698.5797119140625\n", + "global step=10870784, episodic return=1706.696533203125\n", + "global step=10870784, episodic return=1701.5518798828125\n", + "global step=10870784, episodic return=1757.3900146484375\n", + "global step=10872832, episodic return=916.1990966796875\n", + "global step=10872832, episodic return=1677.90869140625\n", + "global step=10872832, episodic return=1689.81396484375\n", + "global step=10874880, episodic return=1702.484619140625\n", + "global step=10876928, episodic return=1708.865234375\n", + "global step=10878976, episodic return=1699.321533203125\n", + "global step=10878976, episodic return=1712.3924560546875\n", + "global step=10878976, episodic return=1738.2032470703125\n", + "global step=10881024, episodic return=1719.0902099609375\n", + "global step=10881024, episodic return=1736.8353271484375\n", + "global step=10881024, episodic return=1710.225830078125\n", + "global step=10883072, episodic return=1675.6226806640625\n", + "global step=10883072, episodic return=1705.9649658203125\n", + "global step=10883072, episodic return=1714.21728515625\n", + "global step=10885120, episodic return=1720.4454345703125\n", + "global step=10885120, episodic return=509.4604187011719\n", + "global step=10885120, episodic return=1712.3863525390625\n", + "global step=10885120, episodic return=1671.235107421875\n", + "global step=10885120, episodic return=1712.5552978515625\n", + "global step=10887168, episodic return=490.42962646484375\n", + "global step=10887168, episodic return=1665.5028076171875\n", + "global step=10889216, episodic return=1703.6988525390625\n", + "global step=10889216, episodic return=527.112548828125\n", + "global step=10889216, episodic return=1686.12109375\n", + "global step=10889216, episodic return=1715.968505859375\n", + "global step=10889216, episodic return=1683.6431884765625\n", + "global step=10889216, episodic return=1738.4013671875\n", + "global step=10893312, episodic return=1680.58447265625\n", + "global step=10893312, episodic return=568.3418579101562\n", + "global step=10895360, episodic return=1729.0615234375\n", + "global step=10899456, episodic return=1701.28564453125\n", + "global step=10901504, episodic return=1682.4813232421875\n", + "global step=10905600, episodic return=1243.1243896484375\n", + "global step=10905600, episodic return=1718.7906494140625\n", + "global step=10907648, episodic return=1726.69677734375\n", + "global step=10907648, episodic return=1688.6103515625\n", + "global step=10907648, episodic return=545.9923095703125\n", + "global step=10909696, episodic return=519.8607788085938\n", + "global step=10909696, episodic return=1706.8843994140625\n", + "global step=10909696, episodic return=1710.64306640625\n", + "global step=10911744, episodic return=1692.8065185546875\n", + "global step=10913792, episodic return=1745.5888671875\n", + "global step=10915840, episodic return=1697.597412109375\n", + "global step=10915840, episodic return=1686.912841796875\n", + "global step=10917888, episodic return=1686.119140625\n", + "global step=10917888, episodic return=1699.2694091796875\n", + "global step=10919936, episodic return=1711.103271484375\n", + "global step=10921984, episodic return=1712.952880859375\n", + "global step=10921984, episodic return=1688.3804931640625\n", + "global step=10924032, episodic return=1675.05517578125\n", + "global step=10926080, episodic return=1696.254150390625\n", + "global step=10926080, episodic return=1721.869140625\n", + "global step=10930176, episodic return=1711.323486328125\n", + "global step=10930176, episodic return=1694.146240234375\n", + "global step=10930176, episodic return=1694.7813720703125\n", + "global step=10932224, episodic return=1703.85205078125\n", + "global step=10934272, episodic return=1705.898681640625\n", + "global step=10934272, episodic return=1693.671630859375\n", + "global step=10934272, episodic return=531.34423828125\n", + "global step=10936320, episodic return=1709.4169921875\n", + "global step=10936320, episodic return=1700.401611328125\n", + "global step=10936320, episodic return=1689.670654296875\n", + "global step=10938368, episodic return=563.5225219726562\n", + "global step=10938368, episodic return=1694.6461181640625\n", + "global step=10938368, episodic return=554.1504516601562\n", + "global step=10938368, episodic return=1701.23876953125\n", + "global step=10940416, episodic return=554.861328125\n", + "global step=10940416, episodic return=549.2127685546875\n", + "global step=10940416, episodic return=1717.0284423828125\n", + "global step=10940416, episodic return=1687.0955810546875\n", + "global step=10942464, episodic return=1694.9559326171875\n", + "global step=10942464, episodic return=505.91943359375\n", + "global step=10942464, episodic return=1724.6265869140625\n", + "global step=10942464, episodic return=1680.0194091796875\n", + "global step=10944512, episodic return=1683.45263671875\n", + "global step=10944512, episodic return=1687.361328125\n", + "global step=10946560, episodic return=1680.94482421875\n", + "global step=10948608, episodic return=1597.1531982421875\n", + "global step=10948608, episodic return=1702.0054931640625\n", + "global step=10952704, episodic return=1676.57568359375\n", + "global step=10952704, episodic return=1668.5899658203125\n", + "global step=10952704, episodic return=1717.6029052734375\n", + "global step=10952704, episodic return=1706.0220947265625\n", + "global step=10958848, episodic return=1715.284423828125\n", + "global step=10958848, episodic return=535.3489379882812\n", + "global step=10960896, episodic return=1731.5465087890625\n", + "global step=10964992, episodic return=539.930908203125\n", + "global step=10967040, episodic return=1745.056884765625\n", + "global step=10969088, episodic return=1712.41455078125\n", + "global step=10969088, episodic return=1614.3427734375\n", + "global step=10971136, episodic return=1698.2117919921875\n", + "global step=10971136, episodic return=1705.347900390625\n", + "global step=10973184, episodic return=1662.3475341796875\n", + "global step=10973184, episodic return=1688.1685791015625\n", + "global step=10973184, episodic return=1762.0675048828125\n", + "global step=10973184, episodic return=1450.0721435546875\n", + "global step=10977280, episodic return=1683.7462158203125\n", + "global step=10981376, episodic return=1726.7061767578125\n", + "global step=10985472, episodic return=499.4045715332031\n", + "global step=10985472, episodic return=1700.881591796875\n", + "global step=10985472, episodic return=1690.8040771484375\n", + "global step=10985472, episodic return=529.7450561523438\n", + "global step=10987520, episodic return=1750.4698486328125\n", + "global step=10987520, episodic return=537.9868774414062\n", + "global step=10987520, episodic return=515.4923095703125\n", + "global step=10989568, episodic return=1712.05078125\n", + "global step=10991616, episodic return=1688.1552734375\n", + "global step=10993664, episodic return=515.6712036132812\n", + "global step=10995712, episodic return=562.8675537109375\n", + "global step=10995712, episodic return=1731.857177734375\n", + "global step=10997760, episodic return=1692.568359375\n", + "global step=11001856, episodic return=542.2819213867188\n", + "global step=11001856, episodic return=1702.3870849609375\n", + "global step=11003904, episodic return=1715.72998046875\n", + "global step=11003904, episodic return=1721.951416015625\n", + "global step=11003904, episodic return=1373.0367431640625\n", + "global step=11005952, episodic return=1695.185546875\n", + "global step=11005952, episodic return=1693.8193359375\n", + "global step=11005952, episodic return=1655.430419921875\n", + "global step=11008000, episodic return=1715.3310546875\n", + "global step=11010048, episodic return=1722.810302734375\n", + "global step=11012096, episodic return=1707.5343017578125\n", + "global step=11014144, episodic return=1696.50634765625\n", + "global step=11014144, episodic return=533.0689697265625\n", + "global step=11016192, episodic return=550.0095825195312\n", + "global step=11016192, episodic return=1374.6473388671875\n", + "global step=11018240, episodic return=556.9600830078125\n", + "global step=11018240, episodic return=1712.3402099609375\n", + "global step=11018240, episodic return=1690.648193359375\n", + "global step=11020288, episodic return=838.2759399414062\n", + "global step=11020288, episodic return=1714.5433349609375\n", + "global step=11022336, episodic return=549.5261840820312\n", + "global step=11022336, episodic return=1738.542724609375\n", + "global step=11024384, episodic return=505.0869140625\n", + "global step=11026432, episodic return=1695.85595703125\n", + "global step=11026432, episodic return=1721.714599609375\n", + "global step=11026432, episodic return=1740.463134765625\n", + "global step=11030528, episodic return=1679.145751953125\n", + "global step=11030528, episodic return=1698.08837890625\n", + "global step=11032576, episodic return=1719.490966796875\n", + "global step=11032576, episodic return=557.345947265625\n", + "global step=11032576, episodic return=1754.304931640625\n", + "global step=11036672, episodic return=1693.991455078125\n", + "global step=11036672, episodic return=1026.970703125\n", + "global step=11036672, episodic return=1704.7811279296875\n", + "global step=11040768, episodic return=1705.3033447265625\n", + "global step=11040768, episodic return=524.1325073242188\n", + "global step=11042816, episodic return=1689.2991943359375\n", + "global step=11044864, episodic return=1724.388671875\n", + "global step=11044864, episodic return=1530.296142578125\n", + "global step=11046912, episodic return=555.1990356445312\n", + "global step=11046912, episodic return=530.5947875976562\n", + "global step=11046912, episodic return=1706.9871826171875\n", + "global step=11048960, episodic return=561.1376342773438\n", + "global step=11048960, episodic return=1724.7269287109375\n", + "global step=11051008, episodic return=1695.6661376953125\n", + "global step=11051008, episodic return=583.3499145507812\n", + "global step=11053056, episodic return=548.0758056640625\n", + "global step=11055104, episodic return=1721.542724609375\n", + "global step=11055104, episodic return=1697.4580078125\n", + "global step=11055104, episodic return=1729.5296630859375\n", + "global step=11055104, episodic return=1702.5836181640625\n", + "global step=11057152, episodic return=669.021240234375\n", + "global step=11057152, episodic return=642.1657104492188\n", + "global step=11061248, episodic return=1726.569091796875\n", + "global step=11061248, episodic return=1664.5955810546875\n", + "global step=11061248, episodic return=1716.2969970703125\n", + "global step=11063296, episodic return=1697.099853515625\n", + "global step=11063296, episodic return=532.0185546875\n", + "global step=11067392, episodic return=552.107421875\n", + "global step=11069440, episodic return=1667.82275390625\n", + "global step=11069440, episodic return=1683.3353271484375\n", + "global step=11069440, episodic return=1652.0928955078125\n", + "global step=11071488, episodic return=584.4315185546875\n", + "global step=11075584, episodic return=1720.9776611328125\n", + "global step=11075584, episodic return=1724.4090576171875\n", + "global step=11075584, episodic return=1734.9971923828125\n", + "global step=11077632, episodic return=1476.142822265625\n", + "global step=11079680, episodic return=588.2188720703125\n", + "global step=11081728, episodic return=1678.9949951171875\n", + "global step=11081728, episodic return=1738.1275634765625\n", + "global step=11083776, episodic return=1704.764404296875\n", + "global step=11085824, episodic return=787.5060424804688\n", + "global step=11085824, episodic return=1711.9635009765625\n", + "global step=11085824, episodic return=639.008544921875\n", + "global step=11085824, episodic return=1137.9989013671875\n", + "global step=11087872, episodic return=1733.900390625\n", + "global step=11087872, episodic return=1504.36767578125\n", + "global step=11089920, episodic return=1717.681396484375\n", + "global step=11091968, episodic return=1646.0404052734375\n", + "global step=11094016, episodic return=1715.43017578125\n", + "global step=11094016, episodic return=1731.5562744140625\n", + "global step=11098112, episodic return=1693.9410400390625\n", + "global step=11098112, episodic return=1713.1541748046875\n", + "global step=11100160, episodic return=1695.2901611328125\n", + "global step=11102208, episodic return=1718.1298828125\n", + "global step=11102208, episodic return=994.2322387695312\n", + "global step=11102208, episodic return=1709.26123046875\n", + "global step=11102208, episodic return=1773.9658203125\n", + "global step=11102208, episodic return=1708.276611328125\n", + "global step=11104256, episodic return=1674.534912109375\n", + "global step=11104256, episodic return=1719.9117431640625\n", + "global step=11106304, episodic return=1700.30517578125\n", + "global step=11108352, episodic return=1743.544921875\n", + "global step=11114496, episodic return=1712.290283203125\n", + "global step=11116544, episodic return=1719.50048828125\n", + "global step=11120640, episodic return=1692.7728271484375\n", + "global step=11122688, episodic return=612.6305541992188\n", + "global step=11122688, episodic return=1585.461181640625\n", + "global step=11122688, episodic return=1757.0028076171875\n", + "global step=11126784, episodic return=1730.8475341796875\n", + "global step=11128832, episodic return=671.0908203125\n", + "global step=11132928, episodic return=1747.5762939453125\n", + "global step=11132928, episodic return=1701.9619140625\n", + "global step=11134976, episodic return=1691.5535888671875\n", + "global step=11137024, episodic return=686.920166015625\n", + "global step=11137024, episodic return=1737.05859375\n", + "global step=11139072, episodic return=1714.252685546875\n", + "global step=11139072, episodic return=1718.894775390625\n", + "global step=11141120, episodic return=1721.53759765625\n", + "global step=11143168, episodic return=1753.8326416015625\n", + "global step=11147264, episodic return=1706.1693115234375\n", + "global step=11147264, episodic return=1715.9808349609375\n", + "global step=11147264, episodic return=1728.2618408203125\n", + "global step=11149312, episodic return=1698.4835205078125\n", + "global step=11149312, episodic return=1716.4759521484375\n", + "global step=11149312, episodic return=1724.4481201171875\n", + "global step=11151360, episodic return=1707.25732421875\n", + "global step=11151360, episodic return=798.3305053710938\n", + "global step=11153408, episodic return=638.8933715820312\n", + "global step=11155456, episodic return=1456.6397705078125\n", + "global step=11155456, episodic return=1698.781005859375\n", + "global step=11157504, episodic return=1110.375\n", + "global step=11157504, episodic return=1764.3958740234375\n", + "global step=11157504, episodic return=1644.3299560546875\n", + "global step=11159552, episodic return=731.8336791992188\n", + "global step=11161600, episodic return=1730.400146484375\n", + "global step=11161600, episodic return=1732.987060546875\n", + "global step=11161600, episodic return=1693.5357666015625\n", + "global step=11163648, episodic return=1244.9189453125\n", + "global step=11165696, episodic return=1717.2255859375\n", + "global step=11167744, episodic return=1695.5885009765625\n", + "global step=11167744, episodic return=1719.597900390625\n", + "global step=11167744, episodic return=1701.74169921875\n", + "global step=11167744, episodic return=1712.525634765625\n", + "global step=11167744, episodic return=1716.55810546875\n", + "global step=11169792, episodic return=1727.29296875\n", + "global step=11169792, episodic return=1674.551025390625\n", + "global step=11173888, episodic return=1719.7470703125\n", + "global step=11173888, episodic return=694.3952026367188\n", + "global step=11175936, episodic return=1723.6795654296875\n", + "global step=11175936, episodic return=1714.048828125\n", + "global step=11175936, episodic return=1728.6993408203125\n", + "global step=11177984, episodic return=1711.6060791015625\n", + "global step=11188224, episodic return=1268.5166015625\n", + "global step=11188224, episodic return=1757.232421875\n", + "global step=11190272, episodic return=1610.4910888671875\n", + "global step=11192320, episodic return=1723.072509765625\n", + "global step=11192320, episodic return=1697.3760986328125\n", + "global step=11192320, episodic return=1706.602783203125\n", + "global step=11194368, episodic return=768.7647705078125\n", + "global step=11196416, episodic return=1694.1241455078125\n", + "global step=11198464, episodic return=1742.006103515625\n", + "global step=11198464, episodic return=1748.783203125\n", + "global step=11200512, episodic return=727.0640869140625\n", + "global step=11202560, episodic return=1739.1478271484375\n", + "global step=11202560, episodic return=926.6359252929688\n", + "global step=11202560, episodic return=1816.58544921875\n", + "global step=11204608, episodic return=1739.522705078125\n", + "global step=11204608, episodic return=1731.37890625\n", + "global step=11206656, episodic return=1720.2840576171875\n", + "global step=11206656, episodic return=1690.5128173828125\n", + "global step=11210752, episodic return=1745.765625\n", + "global step=11210752, episodic return=1719.1602783203125\n", + "global step=11212800, episodic return=1702.5391845703125\n", + "global step=11212800, episodic return=1717.8328857421875\n", + "global step=11212800, episodic return=1708.174560546875\n", + "global step=11214848, episodic return=878.1292724609375\n", + "global step=11216896, episodic return=1716.622802734375\n", + "global step=11216896, episodic return=1714.771240234375\n", + "global step=11216896, episodic return=1707.64501953125\n", + "global step=11216896, episodic return=1270.647705078125\n", + "global step=11216896, episodic return=1751.016845703125\n", + "global step=11216896, episodic return=1709.094970703125\n", + "global step=11218944, episodic return=1726.7130126953125\n", + "global step=11218944, episodic return=774.6627197265625\n", + "global step=11225088, episodic return=1735.518798828125\n", + "global step=11225088, episodic return=1741.6236572265625\n", + "global step=11227136, episodic return=1723.639892578125\n", + "global step=11227136, episodic return=1750.8746337890625\n", + "global step=11229184, episodic return=1724.8575439453125\n", + "global step=11229184, episodic return=1756.190673828125\n", + "global step=11229184, episodic return=1753.39794921875\n", + "global step=11231232, episodic return=1724.5028076171875\n", + "global step=11231232, episodic return=1536.654052734375\n", + "global step=11231232, episodic return=1723.4163818359375\n", + "global step=11231232, episodic return=1733.597900390625\n", + "global step=11233280, episodic return=1719.239990234375\n", + "global step=11237376, episodic return=830.9039916992188\n", + "global step=11243520, episodic return=1725.4976806640625\n", + "global step=11243520, episodic return=1711.3662109375\n", + "global step=11245568, episodic return=1762.4014892578125\n", + "global step=11245568, episodic return=1711.9107666015625\n", + "global step=11245568, episodic return=1635.740966796875\n", + "global step=11245568, episodic return=1740.1634521484375\n", + "global step=11247616, episodic return=1739.94384765625\n", + "global step=11251712, episodic return=1730.8538818359375\n", + "global step=11253760, episodic return=1744.2979736328125\n", + "global step=11253760, episodic return=1772.2708740234375\n", + "global step=11253760, episodic return=1727.987060546875\n", + "global step=11257856, episodic return=907.6038208007812\n", + "global step=11257856, episodic return=1719.6717529296875\n", + "global step=11257856, episodic return=1425.3092041015625\n", + "global step=11257856, episodic return=1721.3995361328125\n", + "global step=11259904, episodic return=1713.04833984375\n", + "global step=11261952, episodic return=860.278076171875\n", + "global step=11261952, episodic return=942.0458374023438\n", + "global step=11264000, episodic return=1734.869873046875\n", + "global step=11266048, episodic return=1727.4052734375\n", + "global step=11266048, episodic return=1741.60888671875\n", + "global step=11268096, episodic return=1752.216552734375\n", + "global step=11270144, episodic return=1717.2508544921875\n", + "global step=11270144, episodic return=1725.1239013671875\n", + "global step=11272192, episodic return=1712.302490234375\n", + "global step=11274240, episodic return=1728.7850341796875\n", + "global step=11274240, episodic return=1722.5113525390625\n", + "global step=11274240, episodic return=1744.9920654296875\n", + "global step=11276288, episodic return=1745.8927001953125\n", + "global step=11276288, episodic return=1752.0860595703125\n", + "global step=11278336, episodic return=1737.0194091796875\n", + "global step=11280384, episodic return=1743.768798828125\n", + "global step=11282432, episodic return=1771.90087890625\n", + "global step=11286528, episodic return=1760.72607421875\n", + "global step=11292672, episodic return=1762.3463134765625\n", + "global step=11294720, episodic return=1737.7313232421875\n", + "global step=11294720, episodic return=1755.927978515625\n", + "global step=11294720, episodic return=1765.8743896484375\n", + "global step=11296768, episodic return=1731.5968017578125\n", + "global step=11302912, episodic return=1737.3189697265625\n", + "global step=11302912, episodic return=1727.169677734375\n", + "global step=11304960, episodic return=1715.8072509765625\n", + "global step=11304960, episodic return=1723.5509033203125\n", + "global step=11304960, episodic return=810.2166137695312\n", + "global step=11307008, episodic return=862.98388671875\n", + "global step=11307008, episodic return=1731.0518798828125\n", + "global step=11313152, episodic return=1736.134765625\n", + "global step=11313152, episodic return=1739.259521484375\n", + "global step=11313152, episodic return=1721.548583984375\n", + "global step=11313152, episodic return=1764.822021484375\n", + "global step=11319296, episodic return=1751.414794921875\n", + "global step=11319296, episodic return=1725.0743408203125\n", + "global step=11319296, episodic return=1758.1947021484375\n", + "global step=11321344, episodic return=1740.195556640625\n", + "global step=11321344, episodic return=1733.8095703125\n", + "global step=11325440, episodic return=1737.343017578125\n", + "global step=11327488, episodic return=1748.2646484375\n", + "global step=11329536, episodic return=1739.6270751953125\n", + "global step=11329536, episodic return=1714.8453369140625\n", + "global step=11329536, episodic return=1732.721923828125\n", + "global step=11331584, episodic return=1738.828369140625\n", + "global step=11331584, episodic return=1718.1826171875\n", + "global step=11333632, episodic return=1633.3253173828125\n", + "global step=11333632, episodic return=1025.387451171875\n", + "global step=11337728, episodic return=1768.647705078125\n", + "global step=11339776, episodic return=1734.762451171875\n", + "global step=11339776, episodic return=1763.8751220703125\n", + "global step=11341824, episodic return=1117.8936767578125\n", + "global step=11341824, episodic return=1749.803466796875\n", + "global step=11341824, episodic return=1729.655517578125\n", + "global step=11343872, episodic return=1727.957275390625\n", + "global step=11343872, episodic return=1735.594482421875\n", + "global step=11345920, episodic return=1774.6641845703125\n", + "global step=11358208, episodic return=1732.8824462890625\n", + "global step=11358208, episodic return=1753.26513671875\n", + "global step=11358208, episodic return=1776.76513671875\n", + "global step=11360256, episodic return=1741.946533203125\n", + "global step=11360256, episodic return=1702.6021728515625\n", + "global step=11360256, episodic return=1748.896728515625\n", + "global step=11360256, episodic return=1734.0263671875\n", + "global step=11366400, episodic return=1737.353759765625\n", + "global step=11370496, episodic return=1717.46826171875\n", + "global step=11370496, episodic return=1739.0567626953125\n", + "global step=11372544, episodic return=1731.3372802734375\n", + "global step=11372544, episodic return=1752.3189697265625\n", + "global step=11372544, episodic return=1736.20751953125\n", + "global step=11372544, episodic return=992.9375610351562\n", + "global step=11374592, episodic return=1716.6617431640625\n", + "global step=11378688, episodic return=1711.0849609375\n", + "global step=11380736, episodic return=1748.618896484375\n", + "global step=11380736, episodic return=1042.850341796875\n", + "global step=11382784, episodic return=1767.2542724609375\n", + "global step=11384832, episodic return=1772.6239013671875\n", + "global step=11384832, episodic return=664.3060913085938\n", + "global step=11384832, episodic return=1791.297119140625\n", + "global step=11386880, episodic return=1726.08984375\n", + "global step=11386880, episodic return=1748.3157958984375\n", + "global step=11388928, episodic return=1749.5035400390625\n", + "global step=11390976, episodic return=1757.0787353515625\n", + "global step=11393024, episodic return=1716.3826904296875\n", + "global step=11395072, episodic return=1342.5494384765625\n", + "global step=11395072, episodic return=1732.21435546875\n", + "global step=11397120, episodic return=1764.8638916015625\n", + "global step=11399168, episodic return=1731.0889892578125\n", + "global step=11399168, episodic return=1771.2452392578125\n", + "global step=11399168, episodic return=907.9035034179688\n", + "global step=11401216, episodic return=1734.025146484375\n", + "global step=11403264, episodic return=1707.187744140625\n", + "global step=11403264, episodic return=1741.4930419921875\n", + "global step=11407360, episodic return=1733.6575927734375\n", + "global step=11409408, episodic return=1781.0321044921875\n", + "global step=11409408, episodic return=1730.954345703125\n", + "global step=11409408, episodic return=1763.2803955078125\n", + "global step=11409408, episodic return=1726.6854248046875\n", + "global step=11411456, episodic return=1176.5780029296875\n", + "global step=11411456, episodic return=912.2037353515625\n", + "global step=11411456, episodic return=1746.548095703125\n", + "global step=11419648, episodic return=1743.0318603515625\n", + "global step=11423744, episodic return=1754.038330078125\n", + "global step=11423744, episodic return=1798.02734375\n", + "global step=11423744, episodic return=1761.1480712890625\n", + "global step=11429888, episodic return=1768.584228515625\n", + "global step=11436032, episodic return=1513.04345703125\n", + "global step=11436032, episodic return=1077.9541015625\n", + "global step=11438080, episodic return=1741.94384765625\n", + "global step=11438080, episodic return=1736.44970703125\n", + "global step=11444224, episodic return=1776.4521484375\n", + "global step=11444224, episodic return=1719.61328125\n", + "global step=11444224, episodic return=1728.0086669921875\n", + "global step=11446272, episodic return=1753.392578125\n", + "global step=11446272, episodic return=1623.72314453125\n", + "global step=11452416, episodic return=1259.5941162109375\n", + "global step=11452416, episodic return=1721.8079833984375\n", + "global step=11454464, episodic return=979.8206176757812\n", + "global step=11456512, episodic return=1742.490234375\n", + "global step=11458560, episodic return=1273.383056640625\n", + "global step=11458560, episodic return=1743.975341796875\n", + "global step=11458560, episodic return=1763.1505126953125\n", + "global step=11460608, episodic return=1769.3641357421875\n", + "global step=11460608, episodic return=1766.834716796875\n", + "global step=11462656, episodic return=1093.3438720703125\n", + "global step=11464704, episodic return=1766.3907470703125\n", + "global step=11464704, episodic return=1462.6263427734375\n", + "global step=11468800, episodic return=1786.70654296875\n", + "global step=11474944, episodic return=1366.3314208984375\n", + "global step=11476992, episodic return=1746.589111328125\n", + "global step=11476992, episodic return=1805.548828125\n", + "global step=11479040, episodic return=882.40771484375\n", + "global step=11479040, episodic return=1288.2493896484375\n", + "global step=11479040, episodic return=1120.0684814453125\n", + "global step=11481088, episodic return=1750.8465576171875\n", + "global step=11487232, episodic return=1726.6368408203125\n", + "global step=11489280, episodic return=1754.2315673828125\n", + "global step=11491328, episodic return=1781.8612060546875\n", + "global step=11493376, episodic return=1759.571044921875\n", + "global step=11493376, episodic return=1751.65234375\n", + "global step=11493376, episodic return=1762.5369873046875\n", + "global step=11499520, episodic return=1776.268310546875\n", + "global step=11499520, episodic return=1748.0869140625\n", + "global step=11499520, episodic return=1133.42724609375\n", + "global step=11503616, episodic return=1271.2281494140625\n", + "global step=11505664, episodic return=1042.18701171875\n", + "global step=11505664, episodic return=1597.2611083984375\n", + "global step=11507712, episodic return=1791.321533203125\n", + "global step=11507712, episodic return=1163.708251953125\n", + "global step=11507712, episodic return=763.5203247070312\n", + "global step=11509760, episodic return=1786.1510009765625\n", + "global step=11511808, episodic return=1805.3115234375\n", + "global step=11511808, episodic return=912.93701171875\n", + "global step=11513856, episodic return=1798.6331787109375\n", + "global step=11515904, episodic return=1762.5999755859375\n", + "global step=11515904, episodic return=1781.1107177734375\n", + "global step=11517952, episodic return=1728.0611572265625\n", + "global step=11517952, episodic return=1754.8834228515625\n", + "global step=11517952, episodic return=1763.940185546875\n", + "global step=11520000, episodic return=1514.2384033203125\n", + "global step=11520000, episodic return=1797.595458984375\n", + "global step=11524096, episodic return=1450.7052001953125\n", + "global step=11526144, episodic return=1295.635009765625\n", + "global step=11530240, episodic return=1619.1865234375\n", + "global step=11530240, episodic return=1772.4765625\n", + "global step=11532288, episodic return=1809.304931640625\n", + "global step=11534336, episodic return=931.4945678710938\n", + "global step=11534336, episodic return=882.1549072265625\n", + "global step=11534336, episodic return=1754.84228515625\n", + "global step=11536384, episodic return=1790.8919677734375\n", + "global step=11536384, episodic return=1144.26318359375\n", + "global step=11536384, episodic return=1769.5009765625\n", + "global step=11536384, episodic return=850.4456176757812\n", + "global step=11536384, episodic return=1785.19189453125\n", + "global step=11538432, episodic return=1760.04248046875\n", + "global step=11544576, episodic return=1118.386474609375\n", + "global step=11546624, episodic return=1782.239501953125\n", + "global step=11548672, episodic return=1120.4801025390625\n", + "global step=11548672, episodic return=1346.1768798828125\n", + "global step=11548672, episodic return=915.039306640625\n", + "global step=11550720, episodic return=1748.6737060546875\n", + "global step=11552768, episodic return=1776.3968505859375\n", + "global step=11552768, episodic return=1768.4354248046875\n", + "global step=11552768, episodic return=1778.8468017578125\n", + "global step=11554816, episodic return=946.1884765625\n", + "global step=11554816, episodic return=1205.7041015625\n", + "global step=11556864, episodic return=1521.1121826171875\n", + "global step=11558912, episodic return=1461.459716796875\n", + "global step=11558912, episodic return=889.8102416992188\n", + "global step=11560960, episodic return=1802.648193359375\n", + "global step=11560960, episodic return=1318.4959716796875\n", + "global step=11563008, episodic return=1631.9879150390625\n", + "global step=11565056, episodic return=1795.024169921875\n", + "global step=11569152, episodic return=947.6522827148438\n", + "global step=11571200, episodic return=1196.791748046875\n", + "global step=11571200, episodic return=1293.4989013671875\n", + "global step=11575296, episodic return=1578.9388427734375\n", + "global step=11577344, episodic return=1630.410888671875\n", + "global step=11577344, episodic return=1844.540283203125\n", + "global step=11579392, episodic return=1796.6806640625\n", + "global step=11579392, episodic return=974.6356201171875\n", + "global step=11581440, episodic return=1758.0814208984375\n", + "global step=11583488, episodic return=1400.73779296875\n", + "global step=11585536, episodic return=1775.0516357421875\n", + "global step=11585536, episodic return=1712.587158203125\n", + "global step=11591680, episodic return=1762.0660400390625\n", + "global step=11593728, episodic return=1629.191650390625\n", + "global step=11593728, episodic return=1806.2506103515625\n", + "global step=11595776, episodic return=1266.0953369140625\n", + "global step=11601920, episodic return=1784.14013671875\n", + "global step=11606016, episodic return=1750.3009033203125\n", + "global step=11606016, episodic return=1502.8353271484375\n", + "global step=11608064, episodic return=1777.294677734375\n", + "global step=11608064, episodic return=1415.1929931640625\n", + "global step=11610112, episodic return=1078.1820068359375\n", + "global step=11614208, episodic return=1807.843017578125\n", + "global step=11614208, episodic return=1170.9930419921875\n", + "global step=11620352, episodic return=1577.575439453125\n", + "global step=11620352, episodic return=929.7176513671875\n", + "global step=11620352, episodic return=1828.3447265625\n", + "global step=11622400, episodic return=1144.9356689453125\n", + "global step=11622400, episodic return=1261.2835693359375\n", + "global step=11622400, episodic return=1018.9308471679688\n", + "global step=11624448, episodic return=1129.32421875\n", + "global step=11624448, episodic return=996.6363525390625\n", + "global step=11630592, episodic return=1524.010986328125\n", + "global step=11630592, episodic return=1788.884765625\n", + "global step=11630592, episodic return=975.2911376953125\n", + "global step=11632640, episodic return=1066.962158203125\n", + "global step=11636736, episodic return=1351.283203125\n", + "global step=11636736, episodic return=1791.511962890625\n", + "global step=11636736, episodic return=792.2789916992188\n", + "global step=11638784, episodic return=1773.704833984375\n", + "global step=11638784, episodic return=1779.8355712890625\n", + "global step=11638784, episodic return=1795.8995361328125\n", + "global step=11638784, episodic return=1467.92529296875\n", + "global step=11640832, episodic return=1770.8829345703125\n", + "global step=11644928, episodic return=1804.9810791015625\n", + "global step=11646976, episodic return=1074.213623046875\n", + "global step=11649024, episodic return=1202.7615966796875\n", + "global step=11651072, episodic return=1495.38330078125\n", + "global step=11651072, episodic return=1310.9783935546875\n", + "global step=11651072, episodic return=1247.1363525390625\n", + "global step=11655168, episodic return=1020.5111694335938\n", + "global step=11659264, episodic return=1705.4320068359375\n", + "global step=11665408, episodic return=1778.808349609375\n", + "global step=11665408, episodic return=1265.517578125\n", + "global step=11669504, episodic return=1219.7867431640625\n", + "global step=11669504, episodic return=1356.0372314453125\n", + "global step=11669504, episodic return=1094.288818359375\n", + "global step=11669504, episodic return=1551.352294921875\n", + "global step=11671552, episodic return=1047.7127685546875\n", + "global step=11671552, episodic return=1075.553955078125\n", + "global step=11673600, episodic return=1449.6605224609375\n", + "global step=11675648, episodic return=1826.8675537109375\n", + "global step=11679744, episodic return=1829.143798828125\n", + "global step=11683840, episodic return=1122.121337890625\n", + "global step=11683840, episodic return=1277.088134765625\n", + "global step=11685888, episodic return=1120.036376953125\n", + "global step=11687936, episodic return=1350.07177734375\n", + "global step=11687936, episodic return=1055.1607666015625\n", + "global step=11687936, episodic return=1821.921875\n", + "global step=11687936, episodic return=909.7151489257812\n", + "global step=11687936, episodic return=1844.210205078125\n", + "global step=11687936, episodic return=1552.263671875\n", + "global step=11689984, episodic return=1746.0743408203125\n", + "global step=11692032, episodic return=1490.77783203125\n", + "global step=11692032, episodic return=1816.8905029296875\n", + "global step=11692032, episodic return=1567.5318603515625\n", + "global step=11694080, episodic return=1118.958740234375\n", + "global step=11694080, episodic return=1225.313720703125\n", + "global step=11694080, episodic return=1805.662841796875\n", + "global step=11696128, episodic return=1192.9493408203125\n", + "global step=11696128, episodic return=1785.1644287109375\n", + "global step=11696128, episodic return=1773.8382568359375\n", + "global step=11696128, episodic return=1801.6103515625\n", + "global step=11698176, episodic return=1227.192138671875\n", + "global step=11698176, episodic return=1077.008544921875\n", + "global step=11698176, episodic return=1395.936279296875\n", + "global step=11700224, episodic return=1192.80126953125\n", + "global step=11700224, episodic return=1348.7659912109375\n", + "global step=11700224, episodic return=1590.8585205078125\n", + "global step=11700224, episodic return=1139.22412109375\n", + "global step=11700224, episodic return=1771.0599365234375\n", + "global step=11702272, episodic return=1770.272705078125\n", + "global step=11702272, episodic return=1402.9534912109375\n", + "global step=11702272, episodic return=973.1649780273438\n", + "global step=11702272, episodic return=1338.52294921875\n", + "global step=11704320, episodic return=1780.1973876953125\n", + "global step=11704320, episodic return=1788.71142578125\n", + "global step=11706368, episodic return=1093.9781494140625\n", + "global step=11706368, episodic return=1758.300537109375\n", + "global step=11706368, episodic return=1019.832275390625\n", + "global step=11706368, episodic return=1693.2088623046875\n", + "global step=11708416, episodic return=1217.6103515625\n", + "global step=11708416, episodic return=1739.3765869140625\n", + "global step=11710464, episodic return=1765.8150634765625\n", + "global step=11710464, episodic return=1118.2943115234375\n", + "global step=11710464, episodic return=1786.197509765625\n", + "global step=11710464, episodic return=1804.7061767578125\n", + "global step=11712512, episodic return=1142.46630859375\n", + "global step=11712512, episodic return=1081.0723876953125\n", + "global step=11714560, episodic return=1052.6396484375\n", + "global step=11714560, episodic return=1785.8465576171875\n", + "global step=11714560, episodic return=1766.3406982421875\n", + "global step=11714560, episodic return=1427.6851806640625\n", + "global step=11714560, episodic return=1781.468505859375\n", + "global step=11716608, episodic return=1161.26904296875\n", + "global step=11716608, episodic return=1463.581298828125\n", + "global step=11718656, episodic return=1209.91552734375\n", + "global step=11718656, episodic return=1580.1800537109375\n", + "global step=11720704, episodic return=1815.2279052734375\n", + "global step=11720704, episodic return=1857.8868408203125\n", + "global step=11720704, episodic return=1767.364990234375\n", + "global step=11722752, episodic return=1015.9078369140625\n", + "global step=11722752, episodic return=922.4448852539062\n", + "global step=11722752, episodic return=995.7774658203125\n", + "global step=11722752, episodic return=1454.8231201171875\n", + "global step=11722752, episodic return=1819.037353515625\n", + "global step=11724800, episodic return=1211.637939453125\n", + "global step=11724800, episodic return=1112.638671875\n", + "global step=11728896, episodic return=1077.04931640625\n", + "global step=11728896, episodic return=1553.2174072265625\n", + "global step=11728896, episodic return=1821.0341796875\n", + "global step=11735040, episodic return=1814.3214111328125\n", + "global step=11735040, episodic return=1814.1317138671875\n", + "global step=11737088, episodic return=1135.6519775390625\n", + "global step=11739136, episodic return=1260.6722412109375\n", + "global step=11741184, episodic return=1009.099365234375\n", + "global step=11741184, episodic return=1109.0018310546875\n", + "global step=11745280, episodic return=1003.785400390625\n", + "global step=11745280, episodic return=1806.1788330078125\n", + "global step=11747328, episodic return=1793.2279052734375\n", + "global step=11747328, episodic return=1792.700439453125\n", + "global step=11749376, episodic return=1761.0274658203125\n", + "global step=11751424, episodic return=1722.9346923828125\n", + "global step=11753472, episodic return=1771.5465087890625\n", + "global step=11755520, episodic return=1340.7752685546875\n", + "global step=11755520, episodic return=1794.4656982421875\n", + "global step=11759616, episodic return=1791.2537841796875\n", + "global step=11761664, episodic return=1807.4573974609375\n", + "global step=11767808, episodic return=1826.533935546875\n", + "global step=11767808, episodic return=1801.15673828125\n", + "global step=11767808, episodic return=1213.8333740234375\n", + "global step=11767808, episodic return=1150.55419921875\n", + "global step=11769856, episodic return=1030.179443359375\n", + "global step=11769856, episodic return=1770.224609375\n", + "global step=11769856, episodic return=1765.58740234375\n", + "global step=11769856, episodic return=923.7920532226562\n", + "global step=11773952, episodic return=1830.5242919921875\n", + "global step=11776000, episodic return=1775.9794921875\n", + "global step=11776000, episodic return=1437.8675537109375\n", + "global step=11778048, episodic return=1174.0145263671875\n", + "global step=11778048, episodic return=1770.3009033203125\n", + "global step=11778048, episodic return=1158.86865234375\n", + "global step=11780096, episodic return=1829.5172119140625\n", + "global step=11782144, episodic return=1771.7528076171875\n", + "global step=11782144, episodic return=1774.6031494140625\n", + "global step=11784192, episodic return=1840.573486328125\n", + "global step=11784192, episodic return=1255.0546875\n", + "global step=11784192, episodic return=1344.9429931640625\n", + "global step=11784192, episodic return=1768.8980712890625\n", + "global step=11788288, episodic return=1806.08154296875\n", + "global step=11790336, episodic return=1699.7193603515625\n", + "global step=11790336, episodic return=1418.0433349609375\n", + "global step=11790336, episodic return=1184.374755859375\n", + "global step=11792384, episodic return=1095.9454345703125\n", + "global step=11792384, episodic return=1508.3934326171875\n", + "global step=11794432, episodic return=1182.045654296875\n", + "global step=11796480, episodic return=1818.3056640625\n", + "global step=11796480, episodic return=1186.1705322265625\n", + "global step=11798528, episodic return=1763.718017578125\n", + "global step=11802624, episodic return=1134.3978271484375\n", + "global step=11802624, episodic return=1554.9029541015625\n", + "global step=11804672, episodic return=1740.1611328125\n", + "global step=11806720, episodic return=1262.906494140625\n", + "global step=11808768, episodic return=1538.859130859375\n", + "global step=11810816, episodic return=1812.1953125\n", + "global step=11810816, episodic return=1794.370849609375\n", + "global step=11812864, episodic return=1414.3050537109375\n", + "global step=11812864, episodic return=1840.1962890625\n", + "global step=11816960, episodic return=1825.5455322265625\n", + "global step=11819008, episodic return=1849.488525390625\n", + "global step=11821056, episodic return=1192.730224609375\n", + "global step=11821056, episodic return=1792.373779296875\n", + "global step=11823104, episodic return=1305.95751953125\n", + "global step=11823104, episodic return=1848.67724609375\n", + "global step=11827200, episodic return=1282.7894287109375\n", + "global step=11827200, episodic return=1788.7781982421875\n", + "global step=11829248, episodic return=965.6170043945312\n", + "global step=11829248, episodic return=1841.169921875\n", + "global step=11829248, episodic return=1334.55859375\n", + "global step=11831296, episodic return=1277.413330078125\n", + "global step=11831296, episodic return=1804.236083984375\n", + "global step=11831296, episodic return=1420.886474609375\n", + "global step=11833344, episodic return=1820.1324462890625\n", + "global step=11835392, episodic return=1082.5074462890625\n", + "global step=11835392, episodic return=44.68446350097656\n", + "global step=11839488, episodic return=1219.1864013671875\n", + "global step=11839488, episodic return=1314.28125\n", + "global step=11839488, episodic return=1775.05224609375\n", + "global step=11839488, episodic return=1824.807861328125\n", + "global step=11841536, episodic return=58.152061462402344\n", + "global step=11843584, episodic return=1811.1185302734375\n", + "global step=11847680, episodic return=1804.05419921875\n", + "global step=11849728, episodic return=1839.0614013671875\n", + "global step=11851776, episodic return=1818.7998046875\n", + "global step=11853824, episodic return=132.3289794921875\n", + "global step=11853824, episodic return=1353.800537109375\n", + "global step=11855872, episodic return=58.85716247558594\n", + "global step=11855872, episodic return=1618.55224609375\n", + "global step=11862016, episodic return=988.1033935546875\n", + "global step=11864064, episodic return=1514.3922119140625\n", + "global step=11864064, episodic return=1221.587158203125\n", + "global step=11866112, episodic return=1754.5543212890625\n", + "global step=11866112, episodic return=1821.140380859375\n", + "global step=11866112, episodic return=135.87318420410156\n", + "global step=11866112, episodic return=1795.831787109375\n", + "global step=11868160, episodic return=1872.56103515625\n", + "global step=11870208, episodic return=1806.9150390625\n", + "global step=11870208, episodic return=1550.3431396484375\n", + "global step=11872256, episodic return=1621.4124755859375\n", + "global step=11874304, episodic return=1166.18505859375\n", + "global step=11874304, episodic return=1843.9739990234375\n", + "global step=11874304, episodic return=1837.1502685546875\n", + "global step=11876352, episodic return=1258.73583984375\n", + "global step=11876352, episodic return=1802.7049560546875\n", + "global step=11876352, episodic return=1768.6708984375\n", + "global step=11878400, episodic return=1812.3797607421875\n", + "global step=11878400, episodic return=137.8675537109375\n", + "global step=11880448, episodic return=1119.7254638671875\n", + "global step=11884544, episodic return=1570.0511474609375\n", + "global step=11884544, episodic return=1825.6256103515625\n", + "global step=11886592, episodic return=1819.8865966796875\n", + "global step=11886592, episodic return=1340.3408203125\n", + "global step=11886592, episodic return=1835.6591796875\n", + "global step=11890688, episodic return=1769.2510986328125\n", + "global step=11894784, episodic return=1312.3470458984375\n", + "global step=11894784, episodic return=1841.2283935546875\n", + "global step=11896832, episodic return=1827.5694580078125\n", + "global step=11896832, episodic return=1419.791015625\n", + "global step=11896832, episodic return=1862.2607421875\n", + "global step=11900928, episodic return=1773.919189453125\n", + "global step=11902976, episodic return=1542.398193359375\n", + "global step=11902976, episodic return=1262.2384033203125\n", + "global step=11905024, episodic return=1324.60546875\n", + "global step=11905024, episodic return=1812.484130859375\n", + "global step=11905024, episodic return=1850.7159423828125\n", + "global step=11907072, episodic return=1333.635986328125\n", + "global step=11907072, episodic return=1252.2445068359375\n", + "global step=11907072, episodic return=1389.9239501953125\n", + "global step=11909120, episodic return=1755.8553466796875\n", + "global step=11913216, episodic return=1693.70654296875\n", + "global step=11913216, episodic return=1775.8548583984375\n", + "global step=11915264, episodic return=1169.6026611328125\n", + "global step=11915264, episodic return=1793.56884765625\n", + "global step=11917312, episodic return=1740.526611328125\n", + "global step=11917312, episodic return=1799.6427001953125\n", + "global step=11919360, episodic return=1378.4866943359375\n", + "global step=11921408, episodic return=1821.1292724609375\n", + "global step=11923456, episodic return=1401.54931640625\n", + "global step=11925504, episodic return=1777.172607421875\n", + "global step=11929600, episodic return=1304.111572265625\n", + "global step=11929600, episodic return=1280.771484375\n", + "global step=11929600, episodic return=1323.2742919921875\n", + "global step=11931648, episodic return=1780.2154541015625\n", + "global step=11933696, episodic return=1844.3968505859375\n", + "global step=11935744, episodic return=1376.92529296875\n", + "global step=11935744, episodic return=1325.7281494140625\n", + "global step=11935744, episodic return=1464.1279296875\n", + "global step=11937792, episodic return=1486.3470458984375\n", + "global step=11937792, episodic return=1328.4962158203125\n", + "global step=11939840, episodic return=1628.0521240234375\n", + "global step=11939840, episodic return=1372.346435546875\n", + "global step=11941888, episodic return=1610.7720947265625\n", + "global step=11950080, episodic return=1849.1595458984375\n", + "global step=11950080, episodic return=1794.37158203125\n", + "global step=11952128, episodic return=1836.81787109375\n", + "global step=11952128, episodic return=1778.5789794921875\n", + "global step=11952128, episodic return=1470.860595703125\n", + "global step=11952128, episodic return=1805.185302734375\n", + "global step=11954176, episodic return=1305.935791015625\n", + "global step=11954176, episodic return=1246.5653076171875\n", + "global step=11956224, episodic return=1816.96484375\n", + "global step=11956224, episodic return=1447.6246337890625\n", + "global step=11956224, episodic return=1825.6116943359375\n", + "global step=11958272, episodic return=1831.77001953125\n", + "global step=11958272, episodic return=1263.45947265625\n", + "global step=11958272, episodic return=1344.9720458984375\n", + "global step=11962368, episodic return=1375.7166748046875\n", + "global step=11964416, episodic return=1483.19677734375\n", + "global step=11966464, episodic return=1428.2508544921875\n", + "global step=11968512, episodic return=1189.6943359375\n", + "global step=11968512, episodic return=1546.9349365234375\n", + "global step=11968512, episodic return=1814.017822265625\n", + "global step=11968512, episodic return=1862.2430419921875\n", + "global step=11968512, episodic return=1819.45068359375\n", + "global step=11970560, episodic return=1178.7913818359375\n", + "global step=11972608, episodic return=1240.916015625\n", + "global step=11974656, episodic return=1830.4508056640625\n", + "global step=11976704, episodic return=1847.2000732421875\n", + "global step=11978752, episodic return=1191.761962890625\n", + "global step=11980800, episodic return=1267.301513671875\n", + "global step=11980800, episodic return=1370.3140869140625\n", + "global step=11980800, episodic return=1835.1397705078125\n", + "global step=11984896, episodic return=1800.0391845703125\n", + "global step=11984896, episodic return=1408.25830078125\n", + "global step=11986944, episodic return=1387.1304931640625\n", + "global step=11986944, episodic return=1618.7308349609375\n", + "global step=11991040, episodic return=1367.5911865234375\n", + "global step=11991040, episodic return=1836.0858154296875\n", + "global step=11993088, episodic return=1334.0042724609375\n", + "global step=11995136, episodic return=1299.0751953125\n", + "global step=12001280, episodic return=1820.5318603515625\n", + "global step=12003328, episodic return=1814.7198486328125\n", + "global step=12005376, episodic return=1381.2623291015625\n", + "global step=12005376, episodic return=1806.2755126953125\n", + "global step=12007424, episodic return=1844.419189453125\n", + "global step=12007424, episodic return=1235.23095703125\n", + "global step=12007424, episodic return=1385.61767578125\n", + "global step=12009472, episodic return=1815.709716796875\n", + "global step=12013568, episodic return=1407.7734375\n", + "global step=12013568, episodic return=1795.8720703125\n", + "global step=12015616, episodic return=1841.5133056640625\n", + "global step=12015616, episodic return=1803.91845703125\n", + "global step=12017664, episodic return=1302.1143798828125\n", + "global step=12019712, episodic return=1431.3934326171875\n", + "global step=12019712, episodic return=1733.75830078125\n", + "global step=12019712, episodic return=1177.2349853515625\n", + "global step=12023808, episodic return=1483.6207275390625\n", + "global step=12023808, episodic return=1813.185302734375\n", + "global step=12023808, episodic return=1871.5965576171875\n", + "global step=12029952, episodic return=1832.6419677734375\n", + "global step=12032000, episodic return=1781.7425537109375\n", + "global step=12032000, episodic return=1449.7100830078125\n", + "global step=12034048, episodic return=1761.3282470703125\n", + "global step=12036096, episodic return=1872.6319580078125\n", + "global step=12036096, episodic return=1406.796142578125\n", + "global step=12040192, episodic return=1810.4764404296875\n", + "global step=12040192, episodic return=1498.6654052734375\n", + "global step=12042240, episodic return=1815.2188720703125\n", + "global step=12042240, episodic return=1343.814208984375\n", + "global step=12046336, episodic return=1324.5399169921875\n", + "global step=12046336, episodic return=1361.541015625\n", + "global step=12046336, episodic return=1716.471435546875\n", + "global step=12046336, episodic return=1484.0494384765625\n", + "global step=12050432, episodic return=1803.072021484375\n", + "global step=12056576, episodic return=1778.2022705078125\n", + "global step=12056576, episodic return=1479.570556640625\n", + "global step=12060672, episodic return=1454.885986328125\n", + "global step=12062720, episodic return=1436.3421630859375\n", + "global step=12064768, episodic return=1831.257080078125\n", + "global step=12066816, episodic return=1448.437744140625\n", + "global step=12070912, episodic return=1873.6192626953125\n", + "global step=12070912, episodic return=1422.54931640625\n", + "global step=12072960, episodic return=1817.7191162109375\n", + "global step=12072960, episodic return=1240.32861328125\n", + "global step=12079104, episodic return=1527.55908203125\n", + "global step=12083200, episodic return=1831.2713623046875\n", + "global step=12083200, episodic return=1534.0482177734375\n", + "global step=12089344, episodic return=1374.0682373046875\n", + "global step=12091392, episodic return=1543.1151123046875\n", + "global step=12091392, episodic return=1601.15234375\n", + "global step=12093440, episodic return=1608.244873046875\n", + "global step=12093440, episodic return=1216.3680419921875\n", + "global step=12095488, episodic return=1441.6102294921875\n", + "global step=12095488, episodic return=1758.8792724609375\n", + "global step=12097536, episodic return=1454.8819580078125\n", + "global step=12105728, episodic return=1839.2093505859375\n", + "global step=12107776, episodic return=1495.0699462890625\n", + "global step=12107776, episodic return=1486.5596923828125\n", + "global step=12109824, episodic return=1472.9981689453125\n", + "global step=12109824, episodic return=1558.87646484375\n", + "global step=12111872, episodic return=1794.900634765625\n", + "global step=12111872, episodic return=1844.510009765625\n", + "global step=12113920, episodic return=1401.205078125\n", + "global step=12115968, episodic return=1815.82373046875\n", + "global step=12115968, episodic return=1805.1966552734375\n", + "global step=12120064, episodic return=1639.1480712890625\n", + "global step=12124160, episodic return=1805.177734375\n", + "global step=12124160, episodic return=1438.718994140625\n", + "global step=12126208, episodic return=1473.3892822265625\n", + "global step=12128256, episodic return=1810.1392822265625\n", + "global step=12130304, episodic return=1827.5467529296875\n", + "global step=12134400, episodic return=1842.949951171875\n", + "global step=12134400, episodic return=1509.837646484375\n", + "global step=12134400, episodic return=1491.5804443359375\n", + "global step=12138496, episodic return=1844.5477294921875\n", + "global step=12140544, episodic return=1881.686279296875\n", + "global step=12140544, episodic return=1820.2098388671875\n", + "global step=12144640, episodic return=1795.58203125\n", + "global step=12144640, episodic return=1832.6434326171875\n", + "global step=12144640, episodic return=1591.552001953125\n", + "global step=12144640, episodic return=1825.98974609375\n", + "global step=12146688, episodic return=1337.577392578125\n", + "global step=12146688, episodic return=1801.695556640625\n", + "global step=12148736, episodic return=1837.5540771484375\n", + "global step=12148736, episodic return=1390.07666015625\n", + "global step=12148736, episodic return=1518.944580078125\n", + "global step=12150784, episodic return=1796.201171875\n", + "global step=12150784, episodic return=1530.0843505859375\n", + "global step=12152832, episodic return=1868.8099365234375\n", + "global step=12152832, episodic return=1545.3677978515625\n", + "global step=12152832, episodic return=1790.86181640625\n", + "global step=12156928, episodic return=1600.0040283203125\n", + "global step=12158976, episodic return=1847.7578125\n", + "global step=12161024, episodic return=1801.74658203125\n", + "global step=12161024, episodic return=1390.1746826171875\n", + "global step=12161024, episodic return=1515.579833984375\n", + "global step=12165120, episodic return=1789.22705078125\n", + "global step=12167168, episodic return=1470.51318359375\n", + "global step=12167168, episodic return=1857.13671875\n", + "global step=12169216, episodic return=1480.0457763671875\n", + "global step=12169216, episodic return=1619.572021484375\n", + "global step=12171264, episodic return=1396.306396484375\n", + "global step=12173312, episodic return=1790.563720703125\n", + "global step=12173312, episodic return=1529.696044921875\n", + "global step=12175360, episodic return=1859.2703857421875\n", + "global step=12175360, episodic return=1862.283935546875\n", + "global step=12175360, episodic return=1417.103759765625\n", + "global step=12179456, episodic return=1852.0635986328125\n", + "global step=12179456, episodic return=1863.568115234375\n", + "global step=12179456, episodic return=1805.8475341796875\n", + "global step=12179456, episodic return=1725.650634765625\n", + "global step=12179456, episodic return=1550.45751953125\n", + "global step=12179456, episodic return=1429.2369384765625\n", + "global step=12181504, episodic return=1593.3580322265625\n", + "global step=12181504, episodic return=1600.3526611328125\n", + "global step=12183552, episodic return=1633.3966064453125\n", + "global step=12183552, episodic return=1801.057861328125\n", + "global step=12183552, episodic return=1484.1253662109375\n", + "global step=12183552, episodic return=1853.3590087890625\n", + "global step=12185600, episodic return=1487.6307373046875\n", + "global step=12187648, episodic return=1871.81982421875\n", + "global step=12187648, episodic return=1329.82177734375\n", + "global step=12187648, episodic return=1824.3447265625\n", + "global step=12189696, episodic return=1613.3702392578125\n", + "global step=12189696, episodic return=1813.65234375\n", + "global step=12195840, episodic return=1565.4027099609375\n", + "global step=12195840, episodic return=1827.5811767578125\n", + "global step=12197888, episodic return=1827.6619873046875\n", + "global step=12199936, episodic return=30.878002166748047\n", + "global step=12201984, episodic return=1852.3656005859375\n", + "global step=12204032, episodic return=1815.7108154296875\n", + "global step=12204032, episodic return=1807.2794189453125\n", + "global step=12208128, episodic return=1813.5775146484375\n", + "global step=12208128, episodic return=1687.00390625\n", + "global step=12210176, episodic return=1520.34716796875\n", + "global step=12210176, episodic return=1196.7655029296875\n", + "global step=12212224, episodic return=1824.37255859375\n", + "global step=12216320, episodic return=1802.1092529296875\n", + "global step=12218368, episodic return=1635.9830322265625\n", + "global step=12220416, episodic return=1858.2369384765625\n", + "global step=12222464, episodic return=1847.8499755859375\n", + "global step=12224512, episodic return=1629.9537353515625\n", + "global step=12226560, episodic return=1599.68115234375\n", + "global step=12226560, episodic return=1840.62158203125\n", + "global step=12226560, episodic return=1858.88818359375\n", + "global step=12226560, episodic return=1856.915771484375\n", + "global step=12228608, episodic return=1322.5025634765625\n", + "global step=12232704, episodic return=1847.6282958984375\n", + "global step=12234752, episodic return=1857.4410400390625\n", + "global step=12236800, episodic return=1843.41748046875\n", + "global step=12242944, episodic return=1152.6331787109375\n", + "global step=12242944, episodic return=1881.9656982421875\n", + "global step=12247040, episodic return=1474.7855224609375\n", + "global step=12247040, episodic return=1756.1124267578125\n", + "global step=12247040, episodic return=1622.6072998046875\n", + "global step=12247040, episodic return=1344.089599609375\n", + "global step=12249088, episodic return=1840.8515625\n", + "global step=12249088, episodic return=1826.316650390625\n", + "global step=12249088, episodic return=1822.7469482421875\n", + "global step=12251136, episodic return=1847.3992919921875\n", + "global step=12251136, episodic return=1898.6824951171875\n", + "global step=12253184, episodic return=1828.980224609375\n", + "global step=12255232, episodic return=1327.0408935546875\n", + "global step=12255232, episodic return=1794.2967529296875\n", + "global step=12257280, episodic return=1825.82177734375\n", + "global step=12257280, episodic return=1889.249755859375\n", + "global step=12259328, episodic return=1848.088134765625\n", + "global step=12261376, episodic return=1905.7943115234375\n", + "global step=12261376, episodic return=1879.593017578125\n", + "global step=12263424, episodic return=1821.7911376953125\n", + "global step=12265472, episodic return=1656.0078125\n", + "global step=12267520, episodic return=1845.4423828125\n", + "global step=12267520, episodic return=1865.375244140625\n", + "global step=12271616, episodic return=1781.00927734375\n", + "global step=12271616, episodic return=1890.610107421875\n", + "global step=12275712, episodic return=1874.96484375\n", + "global step=12275712, episodic return=1846.9659423828125\n", + "global step=12277760, episodic return=1598.7470703125\n", + "global step=12277760, episodic return=1563.8084716796875\n", + "global step=12277760, episodic return=1544.12060546875\n", + "global step=12281856, episodic return=1452.743408203125\n", + "global step=12281856, episodic return=1834.478759765625\n", + "global step=12281856, episodic return=1827.3544921875\n", + "global step=12283904, episodic return=1383.0025634765625\n", + "global step=12285952, episodic return=1529.64599609375\n", + "global step=12288000, episodic return=1851.6715087890625\n", + "global step=12288000, episodic return=1704.541748046875\n", + "global step=12288000, episodic return=1805.1463623046875\n", + "global step=12290048, episodic return=1811.23583984375\n", + "global step=12292096, episodic return=1848.8785400390625\n", + "global step=12294144, episodic return=1654.20751953125\n", + "global step=12294144, episodic return=1657.8780517578125\n", + "global step=12294144, episodic return=1859.107177734375\n", + "global step=12296192, episodic return=1595.97119140625\n", + "global step=12296192, episodic return=1410.852294921875\n", + "global step=12298240, episodic return=1383.929931640625\n", + "global step=12300288, episodic return=1399.242919921875\n", + "global step=12300288, episodic return=1618.6187744140625\n", + "global step=12302336, episodic return=1870.009765625\n", + "global step=12302336, episodic return=1837.041015625\n", + "global step=12304384, episodic return=1836.4254150390625\n", + "global step=12304384, episodic return=1868.615234375\n", + "global step=12304384, episodic return=1734.1053466796875\n", + "global step=12306432, episodic return=1813.83642578125\n", + "global step=12308480, episodic return=1550.2305908203125\n", + "global step=12308480, episodic return=1592.6966552734375\n", + "global step=12308480, episodic return=1525.101806640625\n", + "global step=12308480, episodic return=1853.76806640625\n", + "global step=12310528, episodic return=1479.499267578125\n", + "global step=12312576, episodic return=1520.126953125\n", + "global step=12312576, episodic return=1846.4989013671875\n", + "global step=12314624, episodic return=1875.3079833984375\n", + "global step=12314624, episodic return=1842.684814453125\n", + "global step=12316672, episodic return=1827.5\n", + "global step=12316672, episodic return=1631.8021240234375\n", + "global step=12316672, episodic return=1870.099853515625\n", + "global step=12320768, episodic return=1502.438720703125\n", + "global step=12320768, episodic return=1123.72998046875\n", + "global step=12320768, episodic return=1177.7933349609375\n", + "global step=12322816, episodic return=1398.6156005859375\n", + "global step=12322816, episodic return=1805.8026123046875\n", + "global step=12322816, episodic return=1844.117919921875\n", + "global step=12322816, episodic return=1834.3780517578125\n", + "global step=12324864, episodic return=1598.201416015625\n", + "global step=12324864, episodic return=1823.56494140625\n", + "global step=12324864, episodic return=1711.105224609375\n", + "global step=12324864, episodic return=1759.443603515625\n", + "global step=12326912, episodic return=1843.38330078125\n", + "global step=12326912, episodic return=1005.8427734375\n", + "global step=12331008, episodic return=1842.9169921875\n", + "global step=12331008, episodic return=1821.24853515625\n", + "global step=12333056, episodic return=1849.633544921875\n", + "global step=12333056, episodic return=1850.511962890625\n", + "global step=12335104, episodic return=1825.8043212890625\n", + "global step=12337152, episodic return=1591.781005859375\n", + "global step=12337152, episodic return=1713.548095703125\n", + "global step=12337152, episodic return=1833.61181640625\n", + "global step=12337152, episodic return=1841.6365966796875\n", + "global step=12339200, episodic return=1521.778076171875\n", + "global step=12339200, episodic return=1658.2606201171875\n", + "global step=12339200, episodic return=1684.3123779296875\n", + "global step=12339200, episodic return=1865.6981201171875\n", + "global step=12339200, episodic return=1647.2305908203125\n", + "global step=12345344, episodic return=1573.5400390625\n", + "global step=12345344, episodic return=1839.0430908203125\n", + "global step=12345344, episodic return=1434.653564453125\n", + "global step=12347392, episodic return=1549.4168701171875\n", + "global step=12347392, episodic return=1862.503662109375\n", + "global step=12349440, episodic return=1827.563232421875\n", + "global step=12351488, episodic return=1866.48828125\n", + "global step=12355584, episodic return=1862.718505859375\n", + "global step=12355584, episodic return=1529.081298828125\n", + "global step=12355584, episodic return=1827.0086669921875\n", + "global step=12357632, episodic return=1848.2939453125\n", + "global step=12357632, episodic return=1846.742919921875\n", + "global step=12359680, episodic return=1828.46044921875\n", + "global step=12361728, episodic return=1878.4510498046875\n", + "global step=12363776, episodic return=1583.77099609375\n", + "global step=12365824, episodic return=1825.309326171875\n", + "global step=12365824, episodic return=1743.789794921875\n", + "global step=12365824, episodic return=1837.5390625\n", + "global step=12367872, episodic return=1798.3590087890625\n", + "global step=12367872, episodic return=1822.0889892578125\n", + "global step=12369920, episodic return=1839.4017333984375\n", + "global step=12369920, episodic return=1843.5958251953125\n", + "global step=12369920, episodic return=1853.841796875\n", + "global step=12371968, episodic return=1879.6336669921875\n", + "global step=12371968, episodic return=1882.187255859375\n", + "global step=12371968, episodic return=1909.3255615234375\n", + "global step=12371968, episodic return=1919.88232421875\n", + "global step=12371968, episodic return=1785.8077392578125\n", + "global step=12374016, episodic return=1857.364990234375\n", + "global step=12376064, episodic return=1817.56298828125\n", + "global step=12376064, episodic return=1833.42236328125\n", + "global step=12378112, episodic return=1881.4683837890625\n", + "global step=12378112, episodic return=1392.702392578125\n", + "global step=12380160, episodic return=1581.6317138671875\n", + "global step=12382208, episodic return=1723.1614990234375\n", + "global step=12382208, episodic return=1692.9134521484375\n", + "global step=12384256, episodic return=1657.3878173828125\n", + "global step=12384256, episodic return=1853.79736328125\n", + "global step=12384256, episodic return=1858.8114013671875\n", + "global step=12386304, episodic return=1793.2010498046875\n", + "global step=12386304, episodic return=1508.9913330078125\n", + "global step=12386304, episodic return=1710.511474609375\n", + "global step=12386304, episodic return=1798.395751953125\n", + "global step=12386304, episodic return=1472.691162109375\n", + "global step=12388352, episodic return=1832.6014404296875\n", + "global step=12388352, episodic return=1832.6119384765625\n", + "global step=12388352, episodic return=1732.3038330078125\n", + "global step=12390400, episodic return=1837.00341796875\n", + "global step=12392448, episodic return=1855.61865234375\n", + "global step=12392448, episodic return=1675.326416015625\n", + "global step=12392448, episodic return=1606.23828125\n", + "global step=12392448, episodic return=1827.5963134765625\n", + "global step=12392448, episodic return=1848.4813232421875\n", + "global step=12394496, episodic return=1835.4732666015625\n", + "global step=12396544, episodic return=1854.047607421875\n", + "global step=12396544, episodic return=1866.6273193359375\n", + "global step=12396544, episodic return=1871.0986328125\n", + "global step=12396544, episodic return=1881.5723876953125\n", + "global step=12398592, episodic return=1852.3822021484375\n", + "global step=12398592, episodic return=1904.55712890625\n", + "global step=12398592, episodic return=1803.0640869140625\n", + "global step=12398592, episodic return=1618.3875732421875\n", + "global step=12398592, episodic return=1602.5953369140625\n", + "global step=12400640, episodic return=1188.0040283203125\n", + "global step=12400640, episodic return=1871.5001220703125\n", + "global step=12402688, episodic return=1809.7686767578125\n", + "global step=12402688, episodic return=1844.9920654296875\n", + "global step=12404736, episodic return=1843.1407470703125\n", + "global step=12404736, episodic return=1875.0955810546875\n", + "global step=12404736, episodic return=1867.6165771484375\n", + "global step=12406784, episodic return=1803.2523193359375\n", + "global step=12406784, episodic return=1271.3863525390625\n", + "global step=12406784, episodic return=1811.2568359375\n", + "global step=12406784, episodic return=1538.5958251953125\n", + "global step=12408832, episodic return=1400.9388427734375\n", + "global step=12408832, episodic return=1840.312255859375\n", + "global step=12410880, episodic return=1365.2332763671875\n", + "global step=12412928, episodic return=1834.3572998046875\n", + "global step=12412928, episodic return=1293.9212646484375\n", + "global step=12412928, episodic return=1925.09814453125\n", + "global step=12414976, episodic return=1842.1099853515625\n", + "global step=12414976, episodic return=1834.6832275390625\n", + "global step=12414976, episodic return=1839.1082763671875\n", + "global step=12417024, episodic return=1653.3961181640625\n", + "global step=12417024, episodic return=1859.78857421875\n", + "global step=12417024, episodic return=1880.8421630859375\n", + "global step=12417024, episodic return=1830.2047119140625\n", + "global step=12419072, episodic return=1879.3380126953125\n", + "global step=12419072, episodic return=1623.2620849609375\n", + "global step=12419072, episodic return=1854.106689453125\n", + "global step=12419072, episodic return=1845.083984375\n", + "global step=12419072, episodic return=1881.496337890625\n", + "global step=12419072, episodic return=1795.3934326171875\n", + "global step=12421120, episodic return=1875.7647705078125\n", + "global step=12421120, episodic return=1891.944580078125\n", + "global step=12423168, episodic return=1884.27587890625\n", + "global step=12423168, episodic return=1863.3642578125\n", + "global step=12423168, episodic return=1832.498291015625\n", + "global step=12425216, episodic return=1844.531982421875\n", + "global step=12425216, episodic return=1854.5565185546875\n", + "global step=12425216, episodic return=1830.7467041015625\n", + "global step=12425216, episodic return=1817.97119140625\n", + "global step=12427264, episodic return=1834.711669921875\n", + "global step=12427264, episodic return=1874.9842529296875\n", + "global step=12427264, episodic return=1849.5836181640625\n", + "global step=12427264, episodic return=1800.6673583984375\n", + "global step=12427264, episodic return=1177.3267822265625\n", + "global step=12427264, episodic return=1171.7691650390625\n", + "global step=12427264, episodic return=1854.400634765625\n", + "global step=12429312, episodic return=1738.92236328125\n", + "global step=12429312, episodic return=1851.26171875\n", + "global step=12431360, episodic return=1851.6416015625\n", + "global step=12431360, episodic return=1864.1253662109375\n", + "global step=12431360, episodic return=1781.4112548828125\n", + "global step=12431360, episodic return=1860.755859375\n", + "global step=12431360, episodic return=1839.7669677734375\n", + "global step=12431360, episodic return=1842.74560546875\n", + "global step=12433408, episodic return=1818.1263427734375\n", + "global step=12433408, episodic return=1852.4327392578125\n", + "global step=12433408, episodic return=1815.03369140625\n", + "global step=12433408, episodic return=1879.165283203125\n", + "global step=12433408, episodic return=1905.5947265625\n", + "global step=12435456, episodic return=1858.8419189453125\n", + "global step=12435456, episodic return=1818.0467529296875\n", + "global step=12435456, episodic return=1844.0634765625\n", + "global step=12435456, episodic return=1850.2027587890625\n", + "global step=12435456, episodic return=1849.36376953125\n", + "global step=12435456, episodic return=1877.8358154296875\n", + "global step=12435456, episodic return=1880.1087646484375\n", + "global step=12435456, episodic return=1830.446044921875\n", + "global step=12437504, episodic return=1870.45751953125\n", + "global step=12437504, episodic return=1795.5750732421875\n", + "global step=12439552, episodic return=1863.609619140625\n", + "global step=12439552, episodic return=1818.41552734375\n", + "global step=12441600, episodic return=1807.8385009765625\n", + "global step=12441600, episodic return=1841.408935546875\n", + "global step=12441600, episodic return=1883.9237060546875\n", + "global step=12441600, episodic return=1827.284423828125\n", + "global step=12441600, episodic return=1849.82275390625\n", + "global step=12443648, episodic return=1415.3992919921875\n", + "global step=12443648, episodic return=1097.3260498046875\n", + "global step=12443648, episodic return=1875.6544189453125\n", + "global step=12443648, episodic return=1872.201416015625\n", + "global step=12443648, episodic return=1866.0260009765625\n", + "global step=12443648, episodic return=1607.353515625\n", + "global step=12443648, episodic return=1535.9371337890625\n", + "global step=12445696, episodic return=1854.6251220703125\n", + "global step=12445696, episodic return=1835.8658447265625\n", + "global step=12445696, episodic return=1888.8609619140625\n", + "global step=12447744, episodic return=1650.507568359375\n", + "global step=12447744, episodic return=1835.065185546875\n", + "global step=12447744, episodic return=1850.81591796875\n", + "global step=12447744, episodic return=1857.7779541015625\n", + "global step=12447744, episodic return=1792.5130615234375\n", + "global step=12449792, episodic return=1831.477294921875\n", + "global step=12449792, episodic return=1853.6175537109375\n", + "global step=12449792, episodic return=1507.1307373046875\n", + "global step=12449792, episodic return=1858.4398193359375\n", + "global step=12451840, episodic return=1789.1328125\n", + "global step=12451840, episodic return=1670.0560302734375\n", + "global step=12451840, episodic return=1885.9638671875\n", + "global step=12451840, episodic return=1672.67724609375\n", + "global step=12451840, episodic return=1854.2490234375\n", + "global step=12451840, episodic return=1808.861572265625\n", + "global step=12451840, episodic return=1842.2232666015625\n", + "global step=12453888, episodic return=1871.5313720703125\n", + "global step=12453888, episodic return=1709.4013671875\n", + "global step=12453888, episodic return=1876.5526123046875\n", + "global step=12453888, episodic return=1864.6298828125\n", + "global step=12455936, episodic return=1614.478515625\n", + "global step=12455936, episodic return=1886.0970458984375\n", + "global step=12455936, episodic return=1823.9912109375\n", + "global step=12455936, episodic return=1851.4422607421875\n", + "global step=12455936, episodic return=1830.08349609375\n", + "global step=12457984, episodic return=1830.0755615234375\n", + "global step=12457984, episodic return=1882.38037109375\n", + "global step=12460032, episodic return=1643.790283203125\n", + "global step=12460032, episodic return=1838.034912109375\n", + "global step=12462080, episodic return=1830.9791259765625\n", + "global step=12462080, episodic return=1826.0291748046875\n", + "global step=12462080, episodic return=1430.1767578125\n", + "global step=12462080, episodic return=1872.77685546875\n", + "global step=12462080, episodic return=1862.224853515625\n", + "global step=12462080, episodic return=1814.1317138671875\n", + "global step=12464128, episodic return=1812.7435302734375\n", + "global step=12464128, episodic return=1724.3792724609375\n", + "global step=12466176, episodic return=1873.0023193359375\n", + "global step=12466176, episodic return=1593.0098876953125\n", + "global step=12466176, episodic return=1874.3023681640625\n", + "global step=12466176, episodic return=1836.403076171875\n", + "global step=12466176, episodic return=1831.15869140625\n", + "global step=12466176, episodic return=1769.8519287109375\n", + "global step=12466176, episodic return=1592.86376953125\n", + "global step=12466176, episodic return=1708.24560546875\n", + "global step=12468224, episodic return=1852.4056396484375\n", + "global step=12468224, episodic return=1840.20654296875\n", + "global step=12468224, episodic return=1563.2977294921875\n", + "global step=12470272, episodic return=1867.8790283203125\n", + "global step=12470272, episodic return=1658.3612060546875\n", + "global step=12472320, episodic return=1845.9771728515625\n", + "global step=12472320, episodic return=1341.23291015625\n", + "global step=12472320, episodic return=1616.1158447265625\n", + "global step=12472320, episodic return=1802.1243896484375\n", + "global step=12472320, episodic return=1844.5096435546875\n", + "global step=12472320, episodic return=1861.341064453125\n", + "global step=12472320, episodic return=1551.232421875\n", + "global step=12474368, episodic return=1840.7421875\n", + "global step=12474368, episodic return=1518.5975341796875\n", + "global step=12474368, episodic return=1866.7484130859375\n", + "global step=12474368, episodic return=1630.807373046875\n", + "global step=12474368, episodic return=1894.5096435546875\n", + "global step=12474368, episodic return=1884.02392578125\n", + "global step=12476416, episodic return=1893.0101318359375\n", + "global step=12476416, episodic return=1862.687744140625\n", + "global step=12476416, episodic return=1806.1561279296875\n", + "global step=12476416, episodic return=1776.168701171875\n", + "global step=12476416, episodic return=1854.2005615234375\n", + "global step=12476416, episodic return=1662.9791259765625\n", + "global step=12478464, episodic return=1835.50732421875\n", + "global step=12480512, episodic return=1725.9580078125\n", + "global step=12480512, episodic return=1732.23193359375\n", + "global step=12480512, episodic return=1868.1025390625\n", + "global step=12480512, episodic return=1912.59619140625\n", + "global step=12480512, episodic return=1660.14013671875\n", + "global step=12482560, episodic return=1833.392822265625\n", + "global step=12482560, episodic return=1346.169189453125\n", + "global step=12482560, episodic return=1819.48291015625\n", + "global step=12482560, episodic return=1524.1622314453125\n", + "global step=12482560, episodic return=1834.2083740234375\n", + "global step=12482560, episodic return=1136.48974609375\n", + "global step=12484608, episodic return=1867.974853515625\n", + "global step=12484608, episodic return=1858.5216064453125\n", + "global step=12484608, episodic return=1836.838623046875\n", + "global step=12484608, episodic return=1855.7562255859375\n", + "global step=12484608, episodic return=1853.5321044921875\n", + "global step=12486656, episodic return=1840.8426513671875\n", + "global step=12486656, episodic return=1841.7139892578125\n", + "global step=12486656, episodic return=1796.872802734375\n", + "global step=12486656, episodic return=1375.4129638671875\n", + "global step=12488704, episodic return=1884.377685546875\n", + "global step=12488704, episodic return=62.30833435058594\n", + "global step=12488704, episodic return=1799.2357177734375\n", + "global step=12488704, episodic return=1848.399169921875\n", + "global step=12488704, episodic return=1803.1134033203125\n", + "global step=12488704, episodic return=1878.2291259765625\n", + "global step=12488704, episodic return=1892.5982666015625\n", + "global step=12488704, episodic return=1876.761474609375\n", + "global step=12488704, episodic return=1870.835205078125\n", + "global step=12488704, episodic return=1844.2310791015625\n", + "global step=12488704, episodic return=1802.800537109375\n", + "global step=12490752, episodic return=1868.5938720703125\n", + "global step=12490752, episodic return=1020.1318359375\n", + "global step=12492800, episodic return=1875.3902587890625\n", + "global step=12492800, episodic return=1871.4298095703125\n", + "global step=12492800, episodic return=1867.7467041015625\n", + "global step=12494848, episodic return=1818.583740234375\n", + "global step=12494848, episodic return=1858.335693359375\n", + "global step=12494848, episodic return=1841.1395263671875\n", + "global step=12496896, episodic return=1671.0828857421875\n", + "global step=12496896, episodic return=1722.9100341796875\n", + "global step=12496896, episodic return=1790.6002197265625\n", + "global step=12498944, episodic return=1809.060791015625\n", + "global step=12498944, episodic return=1862.1705322265625\n", + "global step=12498944, episodic return=1866.42529296875\n", + "global step=12498944, episodic return=1885.19921875\n", + "global step=12498944, episodic return=1852.14404296875\n", + "global step=12500992, episodic return=1828.806396484375\n", + "global step=12500992, episodic return=1825.3017578125\n", + "global step=12500992, episodic return=1854.2266845703125\n", + "global step=12503040, episodic return=1812.12158203125\n", + "global step=12503040, episodic return=1636.717041015625\n", + "global step=12503040, episodic return=1851.7132568359375\n", + "global step=12505088, episodic return=1891.7044677734375\n", + "global step=12505088, episodic return=1840.4140625\n", + "global step=12507136, episodic return=1825.6981201171875\n", + "global step=12507136, episodic return=1839.489013671875\n", + "global step=12507136, episodic return=1619.419677734375\n", + "global step=12507136, episodic return=1882.83642578125\n", + "global step=12507136, episodic return=1887.075439453125\n", + "global step=12507136, episodic return=1849.8712158203125\n", + "global step=12507136, episodic return=1868.8056640625\n", + "global step=12507136, episodic return=1871.3260498046875\n", + "global step=12509184, episodic return=1853.1514892578125\n", + "global step=12509184, episodic return=1152.6575927734375\n", + "global step=12509184, episodic return=1865.665771484375\n", + "global step=12509184, episodic return=1862.4417724609375\n", + "global step=12509184, episodic return=1790.1806640625\n", + "global step=12509184, episodic return=1877.5257568359375\n", + "global step=12511232, episodic return=1457.4927978515625\n", + "global step=12511232, episodic return=1838.359375\n", + "global step=12511232, episodic return=1908.2567138671875\n", + "global step=12511232, episodic return=1866.0794677734375\n", + "global step=12511232, episodic return=1871.500732421875\n", + "global step=12511232, episodic return=1748.3822021484375\n", + "global step=12511232, episodic return=1861.1380615234375\n", + "global step=12513280, episodic return=1834.582763671875\n", + "global step=12513280, episodic return=1836.6092529296875\n", + "global step=12513280, episodic return=1853.335205078125\n", + "global step=12513280, episodic return=1275.744873046875\n", + "global step=12515328, episodic return=1655.5101318359375\n", + "global step=12515328, episodic return=1823.746826171875\n", + "global step=12515328, episodic return=1856.531005859375\n", + "global step=12517376, episodic return=1844.1143798828125\n", + "global step=12517376, episodic return=1783.50634765625\n", + "global step=12517376, episodic return=1930.519287109375\n", + "global step=12519424, episodic return=1764.3109130859375\n", + "global step=12519424, episodic return=1551.6558837890625\n", + "global step=12519424, episodic return=1867.2215576171875\n", + "global step=12519424, episodic return=1822.045654296875\n", + "global step=12519424, episodic return=1816.5009765625\n", + "global step=12521472, episodic return=1535.343994140625\n", + "global step=12521472, episodic return=1820.14013671875\n", + "global step=12521472, episodic return=1871.911376953125\n", + "global step=12523520, episodic return=1813.6749267578125\n", + "global step=12523520, episodic return=1864.16357421875\n", + "global step=12525568, episodic return=1847.377685546875\n", + "global step=12525568, episodic return=1784.1666259765625\n", + "global step=12525568, episodic return=1869.915283203125\n", + "global step=12527616, episodic return=1880.305908203125\n", + "global step=12527616, episodic return=1789.2930908203125\n", + "global step=12527616, episodic return=1874.3873291015625\n", + "global step=12527616, episodic return=1644.102783203125\n", + "global step=12529664, episodic return=1839.521240234375\n", + "global step=12529664, episodic return=1794.921630859375\n", + "global step=12529664, episodic return=1822.1868896484375\n", + "global step=12529664, episodic return=1850.8857421875\n", + "global step=12529664, episodic return=1871.572265625\n", + "global step=12529664, episodic return=1448.778564453125\n", + "global step=12529664, episodic return=1816.4365234375\n", + "global step=12529664, episodic return=1796.7374267578125\n", + "global step=12531712, episodic return=1270.546630859375\n", + "global step=12531712, episodic return=1860.58642578125\n", + "global step=12531712, episodic return=1680.57080078125\n", + "global step=12531712, episodic return=1850.0548095703125\n", + "global step=12531712, episodic return=1821.5062255859375\n", + "global step=12533760, episodic return=1775.6285400390625\n", + "global step=12533760, episodic return=1811.5159912109375\n", + "global step=12533760, episodic return=1865.7811279296875\n", + "global step=12533760, episodic return=1831.384521484375\n", + "global step=12533760, episodic return=1799.4638671875\n", + "global step=12533760, episodic return=1849.80615234375\n", + "global step=12533760, episodic return=1861.7896728515625\n", + "global step=12535808, episodic return=1873.26318359375\n", + "global step=12535808, episodic return=1891.1163330078125\n", + "global step=12537856, episodic return=1863.747802734375\n", + "global step=12537856, episodic return=1850.22216796875\n", + "global step=12537856, episodic return=1864.6025390625\n", + "global step=12537856, episodic return=1877.0205078125\n", + "global step=12539904, episodic return=1872.8016357421875\n", + "global step=12539904, episodic return=1868.058349609375\n", + "global step=12539904, episodic return=1887.003173828125\n", + "global step=12539904, episodic return=1882.391845703125\n", + "global step=12539904, episodic return=1721.8975830078125\n", + "global step=12541952, episodic return=1848.775634765625\n", + "global step=12541952, episodic return=1035.0560302734375\n", + "global step=12541952, episodic return=1857.209716796875\n", + "global step=12541952, episodic return=1863.270751953125\n", + "global step=12541952, episodic return=1842.328857421875\n", + "global step=12541952, episodic return=1883.7022705078125\n", + "global step=12541952, episodic return=1827.8504638671875\n", + "global step=12541952, episodic return=1725.39794921875\n", + "global step=12544000, episodic return=1739.5146484375\n", + "global step=12544000, episodic return=1832.3397216796875\n", + "global step=12546048, episodic return=1842.4713134765625\n", + "global step=12546048, episodic return=1839.2391357421875\n", + "global step=12546048, episodic return=1851.22900390625\n", + "global step=12546048, episodic return=1886.678955078125\n", + "global step=12546048, episodic return=1887.840576171875\n", + "global step=12548096, episodic return=1856.53369140625\n", + "global step=12548096, episodic return=1863.8319091796875\n", + "global step=12548096, episodic return=1839.616943359375\n", + "global step=12548096, episodic return=1871.2330322265625\n", + "global step=12548096, episodic return=1861.619873046875\n", + "global step=12550144, episodic return=1838.9945068359375\n", + "global step=12550144, episodic return=1838.1136474609375\n", + "global step=12550144, episodic return=1884.9813232421875\n", + "global step=12550144, episodic return=1536.5506591796875\n", + "global step=12550144, episodic return=1865.9317626953125\n", + "global step=12550144, episodic return=1765.7789306640625\n", + "global step=12550144, episodic return=1785.551025390625\n", + "global step=12550144, episodic return=1818.3360595703125\n", + "global step=12550144, episodic return=1857.7642822265625\n", + "global step=12550144, episodic return=1860.123779296875\n", + "global step=12552192, episodic return=1840.6563720703125\n", + "global step=12552192, episodic return=1834.1474609375\n", + "global step=12552192, episodic return=1900.384521484375\n", + "global step=12552192, episodic return=1833.69580078125\n", + "global step=12552192, episodic return=1877.3109130859375\n", + "global step=12552192, episodic return=1871.9254150390625\n", + "global step=12554240, episodic return=1840.9066162109375\n", + "global step=12554240, episodic return=1879.64208984375\n", + "global step=12554240, episodic return=1847.8607177734375\n", + "global step=12554240, episodic return=1885.6400146484375\n", + "global step=12554240, episodic return=1832.019287109375\n", + "global step=12556288, episodic return=1872.6280517578125\n", + "global step=12556288, episodic return=1884.4654541015625\n", + "global step=12556288, episodic return=1814.8416748046875\n", + "global step=12556288, episodic return=1858.64208984375\n", + "global step=12558336, episodic return=1893.5478515625\n", + "global step=12558336, episodic return=1833.150634765625\n", + "global step=12558336, episodic return=1787.908203125\n", + "global step=12558336, episodic return=1693.765380859375\n", + "global step=12558336, episodic return=1830.1552734375\n", + "global step=12558336, episodic return=1697.79248046875\n", + "global step=12558336, episodic return=1749.1044921875\n", + "global step=12558336, episodic return=1843.15283203125\n", + "global step=12560384, episodic return=1846.066162109375\n", + "global step=12560384, episodic return=1868.4600830078125\n", + "global step=12560384, episodic return=1811.6488037109375\n", + "global step=12562432, episodic return=1662.1900634765625\n", + "global step=12562432, episodic return=1791.334228515625\n", + "global step=12562432, episodic return=1883.2120361328125\n", + "global step=12562432, episodic return=1822.96484375\n", + "global step=12562432, episodic return=1811.22314453125\n", + "global step=12564480, episodic return=1893.4964599609375\n", + "global step=12564480, episodic return=1849.620361328125\n", + "global step=12564480, episodic return=1847.8599853515625\n", + "global step=12564480, episodic return=1837.474853515625\n", + "global step=12564480, episodic return=1601.409912109375\n", + "global step=12564480, episodic return=1865.232177734375\n", + "global step=12564480, episodic return=1825.154052734375\n", + "global step=12566528, episodic return=1245.6055908203125\n", + "global step=12566528, episodic return=1831.2039794921875\n", + "global step=12566528, episodic return=1696.569091796875\n", + "global step=12566528, episodic return=1835.1004638671875\n", + "global step=12568576, episodic return=1833.7901611328125\n", + "global step=12568576, episodic return=1882.4111328125\n", + "global step=12568576, episodic return=1134.4903564453125\n", + "global step=12568576, episodic return=1804.0064697265625\n", + "global step=12570624, episodic return=1560.1553955078125\n", + "global step=12570624, episodic return=1894.0367431640625\n", + "global step=12570624, episodic return=1849.7666015625\n", + "global step=12570624, episodic return=1867.6737060546875\n", + "global step=12570624, episodic return=1847.88671875\n", + "global step=12572672, episodic return=1730.5860595703125\n", + "global step=12572672, episodic return=1819.7908935546875\n", + "global step=12572672, episodic return=1788.403076171875\n", + "global step=12572672, episodic return=1508.7520751953125\n", + "global step=12572672, episodic return=1840.646484375\n", + "global step=12572672, episodic return=1891.9462890625\n", + "global step=12572672, episodic return=1863.034423828125\n", + "global step=12572672, episodic return=1843.5010986328125\n", + "global step=12572672, episodic return=1915.02294921875\n", + "global step=12574720, episodic return=1879.71240234375\n", + "global step=12574720, episodic return=1809.3563232421875\n", + "global step=12576768, episodic return=1743.2056884765625\n", + "global step=12576768, episodic return=1869.3349609375\n", + "global step=12576768, episodic return=1713.6622314453125\n", + "global step=12576768, episodic return=1861.0177001953125\n", + "global step=12576768, episodic return=1851.5479736328125\n", + "global step=12578816, episodic return=1872.2791748046875\n", + "global step=12578816, episodic return=1647.8902587890625\n", + "global step=12578816, episodic return=1801.9986572265625\n", + "global step=12578816, episodic return=1735.3428955078125\n", + "global step=12580864, episodic return=1850.357177734375\n", + "global step=12580864, episodic return=1819.1094970703125\n", + "global step=12580864, episodic return=1814.7843017578125\n", + "global step=12580864, episodic return=1862.3970947265625\n", + "global step=12580864, episodic return=1811.460693359375\n", + "global step=12582912, episodic return=1881.4248046875\n", + "global step=12582912, episodic return=1751.630615234375\n", + "global step=12582912, episodic return=1813.320556640625\n", + "global step=12582912, episodic return=1912.140869140625\n", + "global step=12582912, episodic return=1799.593017578125\n", + "global step=12584960, episodic return=1863.6920166015625\n", + "global step=12584960, episodic return=1831.248779296875\n", + "global step=12584960, episodic return=1450.8372802734375\n", + "global step=12584960, episodic return=1377.9759521484375\n", + "global step=12584960, episodic return=1873.9547119140625\n", + "global step=12584960, episodic return=1878.134033203125\n", + "global step=12584960, episodic return=1809.3681640625\n", + "global step=12584960, episodic return=1771.144775390625\n", + "global step=12584960, episodic return=1864.3465576171875\n", + "global step=12587008, episodic return=1685.34033203125\n", + "global step=12587008, episodic return=1516.3729248046875\n", + "global step=12587008, episodic return=1871.804443359375\n", + "global step=12589056, episodic return=1854.6552734375\n", + "global step=12589056, episodic return=1798.0498046875\n", + "global step=12589056, episodic return=1863.568603515625\n", + "global step=12589056, episodic return=1911.48583984375\n", + "global step=12589056, episodic return=1842.5457763671875\n", + "global step=12589056, episodic return=1848.5172119140625\n", + "global step=12591104, episodic return=1775.9952392578125\n", + "global step=12591104, episodic return=1818.02685546875\n", + "global step=12591104, episodic return=1824.13818359375\n", + "global step=12591104, episodic return=1886.2845458984375\n", + "global step=12593152, episodic return=1876.2337646484375\n", + "global step=12593152, episodic return=1880.16015625\n", + "global step=12593152, episodic return=1250.001220703125\n", + "global step=12595200, episodic return=1847.0130615234375\n", + "global step=12595200, episodic return=1857.218994140625\n", + "global step=12595200, episodic return=1902.0191650390625\n", + "global step=12595200, episodic return=1837.3333740234375\n", + "global step=12595200, episodic return=1453.530517578125\n", + "global step=12595200, episodic return=1830.8240966796875\n", + "global step=12595200, episodic return=1828.5672607421875\n", + "global step=12595200, episodic return=1524.8896484375\n", + "global step=12597248, episodic return=1812.250244140625\n", + "global step=12597248, episodic return=1889.052734375\n", + "global step=12599296, episodic return=1771.7120361328125\n", + "global step=12599296, episodic return=1908.2860107421875\n", + "global step=12599296, episodic return=1830.7568359375\n", + "global step=12599296, episodic return=1858.818359375\n", + "global step=12599296, episodic return=1851.6787109375\n", + "global step=12599296, episodic return=1869.3443603515625\n", + "global step=12599296, episodic return=1815.7750244140625\n", + "global step=12599296, episodic return=1837.3988037109375\n", + "global step=12601344, episodic return=1828.3424072265625\n", + "global step=12601344, episodic return=1917.2161865234375\n", + "global step=12601344, episodic return=1887.7496337890625\n", + "global step=12601344, episodic return=1834.054443359375\n", + "global step=12603392, episodic return=1528.819091796875\n", + "global step=12603392, episodic return=1826.5322265625\n", + "global step=12603392, episodic return=1831.335205078125\n", + "global step=12603392, episodic return=1857.710693359375\n", + "global step=12603392, episodic return=1862.80908203125\n", + "global step=12603392, episodic return=1898.9818115234375\n", + "global step=12603392, episodic return=1927.6123046875\n", + "global step=12605440, episodic return=1896.236328125\n", + "global step=12605440, episodic return=1888.080322265625\n", + "global step=12605440, episodic return=1877.8447265625\n", + "global step=12605440, episodic return=1816.7127685546875\n", + "global step=12605440, episodic return=1822.2855224609375\n", + "global step=12607488, episodic return=1879.1231689453125\n", + "global step=12607488, episodic return=1024.2935791015625\n", + "global step=12607488, episodic return=1904.594970703125\n", + "global step=12607488, episodic return=1819.8385009765625\n", + "global step=12607488, episodic return=1848.655517578125\n", + "global step=12607488, episodic return=1822.70068359375\n", + "global step=12609536, episodic return=1685.21875\n", + "global step=12609536, episodic return=1856.667236328125\n", + "global step=12609536, episodic return=1836.82568359375\n", + "global step=12609536, episodic return=1883.562744140625\n", + "global step=12611584, episodic return=1822.80126953125\n", + "global step=12611584, episodic return=1847.9322509765625\n", + "global step=12613632, episodic return=1866.84326171875\n", + "global step=12613632, episodic return=1875.2838134765625\n", + "global step=12615680, episodic return=1841.7113037109375\n", + "global step=12615680, episodic return=1870.696533203125\n", + "global step=12615680, episodic return=1832.47607421875\n", + "global step=12615680, episodic return=1922.79052734375\n", + "global step=12617728, episodic return=1795.65673828125\n", + "global step=12617728, episodic return=1906.576904296875\n", + "global step=12619776, episodic return=1847.6629638671875\n", + "global step=12619776, episodic return=1830.3817138671875\n", + "global step=12619776, episodic return=1878.682861328125\n", + "global step=12619776, episodic return=1656.3057861328125\n", + "global step=12619776, episodic return=1762.564208984375\n", + "global step=12619776, episodic return=1748.155517578125\n", + "global step=12621824, episodic return=1887.64208984375\n", + "global step=12621824, episodic return=1386.303955078125\n", + "global step=12621824, episodic return=1811.88525390625\n", + "global step=12621824, episodic return=1854.1842041015625\n", + "global step=12621824, episodic return=1856.8701171875\n", + "global step=12621824, episodic return=1862.837890625\n", + "global step=12623872, episodic return=1882.1287841796875\n", + "global step=12623872, episodic return=1904.589599609375\n", + "global step=12625920, episodic return=1825.022216796875\n", + "global step=12625920, episodic return=1867.0638427734375\n", + "global step=12625920, episodic return=1882.40771484375\n", + "global step=12625920, episodic return=1903.9967041015625\n", + "global step=12627968, episodic return=1872.808349609375\n", + "global step=12627968, episodic return=1844.1707763671875\n", + "global step=12627968, episodic return=1889.8541259765625\n", + "global step=12627968, episodic return=1861.6241455078125\n", + "global step=12630016, episodic return=1843.8138427734375\n", + "global step=12630016, episodic return=1727.1680908203125\n", + "global step=12630016, episodic return=1841.6741943359375\n", + "global step=12630016, episodic return=1867.656494140625\n", + "global step=12630016, episodic return=1875.134521484375\n", + "global step=12630016, episodic return=1845.4371337890625\n", + "global step=12630016, episodic return=1855.9547119140625\n", + "global step=12630016, episodic return=1882.0120849609375\n", + "global step=12632064, episodic return=1896.01318359375\n", + "global step=12632064, episodic return=1839.140380859375\n", + "global step=12632064, episodic return=1465.1668701171875\n", + "global step=12632064, episodic return=1436.6226806640625\n", + "global step=12634112, episodic return=1843.83984375\n", + "global step=12634112, episodic return=1431.671875\n", + "global step=12634112, episodic return=1866.515380859375\n", + "global step=12634112, episodic return=1910.3414306640625\n", + "global step=12634112, episodic return=1744.862060546875\n", + "global step=12636160, episodic return=1880.6123046875\n", + "global step=12636160, episodic return=1943.5552978515625\n", + "global step=12636160, episodic return=1842.2275390625\n", + "global step=12636160, episodic return=1668.94140625\n", + "global step=12636160, episodic return=1933.81982421875\n", + "global step=12638208, episodic return=1858.4451904296875\n", + "global step=12638208, episodic return=1880.3857421875\n", + "global step=12638208, episodic return=1848.55126953125\n", + "global step=12638208, episodic return=1887.2633056640625\n", + "global step=12638208, episodic return=1832.199951171875\n", + "global step=12638208, episodic return=1833.2235107421875\n", + "global step=12638208, episodic return=1885.451171875\n", + "global step=12640256, episodic return=1846.7562255859375\n", + "global step=12640256, episodic return=1822.068115234375\n", + "global step=12640256, episodic return=1865.1998291015625\n", + "global step=12640256, episodic return=1822.68212890625\n", + "global step=12642304, episodic return=1818.440185546875\n", + "global step=12642304, episodic return=1895.0885009765625\n", + "global step=12642304, episodic return=1864.472900390625\n", + "global step=12642304, episodic return=1893.3585205078125\n", + "global step=12642304, episodic return=1857.9061279296875\n", + "global step=12642304, episodic return=1879.42919921875\n", + "global step=12644352, episodic return=1861.2479248046875\n", + "global step=12644352, episodic return=1861.63232421875\n", + "global step=12644352, episodic return=1868.938720703125\n", + "global step=12646400, episodic return=1827.8482666015625\n", + "global step=12646400, episodic return=1857.892333984375\n", + "global step=12646400, episodic return=1873.015869140625\n", + "global step=12646400, episodic return=1861.8004150390625\n", + "global step=12646400, episodic return=1844.083984375\n", + "global step=12646400, episodic return=1852.8702392578125\n", + "global step=12646400, episodic return=1868.99658203125\n", + "global step=12648448, episodic return=1875.5872802734375\n", + "global step=12648448, episodic return=1919.877197265625\n", + "global step=12648448, episodic return=1843.260009765625\n", + "global step=12648448, episodic return=1919.266357421875\n", + "global step=12650496, episodic return=1833.06884765625\n", + "global step=12650496, episodic return=1706.2041015625\n", + "global step=12650496, episodic return=1873.968017578125\n", + "global step=12650496, episodic return=1900.4266357421875\n", + "global step=12650496, episodic return=1824.10791015625\n", + "global step=12652544, episodic return=1843.853515625\n", + "global step=12652544, episodic return=1902.78759765625\n", + "global step=12652544, episodic return=1816.69482421875\n", + "global step=12654592, episodic return=1819.393310546875\n", + "global step=12654592, episodic return=1875.253662109375\n", + "global step=12654592, episodic return=1794.6453857421875\n", + "global step=12654592, episodic return=1864.89111328125\n", + "global step=12654592, episodic return=1822.2833251953125\n", + "global step=12656640, episodic return=1884.5760498046875\n", + "global step=12656640, episodic return=1854.6983642578125\n", + "global step=12656640, episodic return=1822.2838134765625\n", + "global step=12656640, episodic return=1864.140625\n", + "global step=12656640, episodic return=1855.118896484375\n", + "global step=12656640, episodic return=1790.704345703125\n", + "global step=12656640, episodic return=1924.9290771484375\n", + "global step=12656640, episodic return=1699.614013671875\n", + "global step=12658688, episodic return=1816.3870849609375\n", + "global step=12658688, episodic return=1893.3238525390625\n", + "global step=12658688, episodic return=1488.386474609375\n", + "global step=12660736, episodic return=1867.855224609375\n", + "global step=12660736, episodic return=1914.8109130859375\n", + "global step=12660736, episodic return=1868.6068115234375\n", + "global step=12660736, episodic return=1839.828369140625\n", + "global step=12662784, episodic return=1854.2216796875\n", + "global step=12662784, episodic return=1824.33837890625\n", + "global step=12662784, episodic return=1813.041015625\n", + "global step=12662784, episodic return=1890.170654296875\n", + "global step=12662784, episodic return=1872.22314453125\n", + "global step=12662784, episodic return=1893.129638671875\n", + "global step=12662784, episodic return=1903.618408203125\n", + "global step=12662784, episodic return=1875.7744140625\n", + "global step=12664832, episodic return=1457.9715576171875\n", + "global step=12664832, episodic return=1835.8470458984375\n", + "global step=12664832, episodic return=1879.5494384765625\n", + "global step=12664832, episodic return=1890.960693359375\n", + "global step=12666880, episodic return=1888.31005859375\n", + "global step=12666880, episodic return=1884.19921875\n", + "global step=12666880, episodic return=1918.643310546875\n", + "global step=12666880, episodic return=1851.2069091796875\n", + "global step=12668928, episodic return=1867.6571044921875\n", + "global step=12668928, episodic return=1889.8115234375\n", + "global step=12668928, episodic return=1884.7325439453125\n", + "global step=12668928, episodic return=1884.7396240234375\n", + "global step=12668928, episodic return=1602.41015625\n", + "global step=12670976, episodic return=1875.234375\n", + "global step=12670976, episodic return=1851.4859619140625\n", + "global step=12670976, episodic return=1838.4739990234375\n", + "global step=12670976, episodic return=1863.4169921875\n", + "global step=12670976, episodic return=1856.470458984375\n", + "global step=12670976, episodic return=1853.624267578125\n", + "global step=12673024, episodic return=1876.2171630859375\n", + "global step=12673024, episodic return=1837.6968994140625\n", + "global step=12673024, episodic return=1874.5523681640625\n", + "global step=12673024, episodic return=1884.7425537109375\n", + "global step=12673024, episodic return=1872.66796875\n", + "global step=12673024, episodic return=1456.6619873046875\n", + "global step=12673024, episodic return=1880.825439453125\n", + "global step=12673024, episodic return=1867.4530029296875\n", + "global step=12675072, episodic return=1932.1402587890625\n", + "global step=12675072, episodic return=1885.935791015625\n", + "global step=12677120, episodic return=1905.157958984375\n", + "global step=12677120, episodic return=1865.9654541015625\n", + "global step=12677120, episodic return=1910.3359375\n", + "global step=12677120, episodic return=1878.09765625\n", + "global step=12679168, episodic return=1898.18505859375\n", + "global step=12679168, episodic return=1887.3829345703125\n", + "global step=12679168, episodic return=1858.440673828125\n", + "global step=12679168, episodic return=1899.92626953125\n", + "global step=12679168, episodic return=1868.18505859375\n", + "global step=12679168, episodic return=1864.01904296875\n", + "global step=12681216, episodic return=1901.14453125\n", + "global step=12681216, episodic return=1884.76220703125\n", + "global step=12681216, episodic return=1842.9091796875\n", + "global step=12683264, episodic return=1868.8172607421875\n", + "global step=12683264, episodic return=1864.408447265625\n", + "global step=12685312, episodic return=1873.130615234375\n", + "global step=12687360, episodic return=1753.978759765625\n", + "global step=12687360, episodic return=1852.1954345703125\n", + "global step=12687360, episodic return=1877.7188720703125\n", + "global step=12687360, episodic return=1894.4434814453125\n", + "global step=12687360, episodic return=1888.411865234375\n", + "global step=12687360, episodic return=1871.029052734375\n", + "global step=12689408, episodic return=1852.238037109375\n", + "global step=12689408, episodic return=1813.338134765625\n", + "global step=12691456, episodic return=1812.5374755859375\n", + "global step=12691456, episodic return=1855.5469970703125\n", + "global step=12691456, episodic return=1820.12255859375\n", + "global step=12691456, episodic return=1859.2362060546875\n", + "global step=12691456, episodic return=1853.431884765625\n", + "global step=12693504, episodic return=1844.9993896484375\n", + "global step=12693504, episodic return=1491.4501953125\n", + "global step=12693504, episodic return=1869.3785400390625\n", + "global step=12693504, episodic return=1842.4217529296875\n", + "global step=12695552, episodic return=1879.401123046875\n", + "global step=12695552, episodic return=1881.98046875\n", + "global step=12695552, episodic return=1908.5352783203125\n", + "global step=12695552, episodic return=1916.7784423828125\n", + "global step=12695552, episodic return=1849.9112548828125\n", + "global step=12697600, episodic return=1899.74853515625\n", + "global step=12697600, episodic return=1842.30810546875\n", + "global step=12697600, episodic return=1839.8182373046875\n", + "global step=12697600, episodic return=1914.172607421875\n", + "global step=12699648, episodic return=1862.8585205078125\n", + "global step=12699648, episodic return=1677.994384765625\n", + "global step=12699648, episodic return=1883.415283203125\n", + "global step=12699648, episodic return=1800.881591796875\n", + "global step=12699648, episodic return=1549.9066162109375\n", + "global step=12699648, episodic return=1858.1287841796875\n", + "global step=12699648, episodic return=1846.198486328125\n", + "global step=12699648, episodic return=1557.95458984375\n", + "global step=12701696, episodic return=1907.185546875\n", + "global step=12701696, episodic return=1847.0838623046875\n", + "global step=12701696, episodic return=1857.0299072265625\n", + "global step=12701696, episodic return=1859.618408203125\n", + "global step=12701696, episodic return=1868.72216796875\n", + "global step=12701696, episodic return=1808.4605712890625\n", + "global step=12701696, episodic return=1880.901123046875\n", + "global step=12701696, episodic return=1848.062255859375\n", + "global step=12703744, episodic return=1919.2100830078125\n", + "global step=12703744, episodic return=1878.3470458984375\n", + "global step=12703744, episodic return=1889.1119384765625\n", + "global step=12703744, episodic return=1917.0391845703125\n", + "global step=12703744, episodic return=1906.30517578125\n", + "global step=12705792, episodic return=1875.587158203125\n", + "global step=12705792, episodic return=1913.752685546875\n", + "global step=12705792, episodic return=1917.6856689453125\n", + "global step=12705792, episodic return=1855.9404296875\n", + "global step=12705792, episodic return=1826.6680908203125\n", + "global step=12705792, episodic return=1912.3587646484375\n", + "global step=12707840, episodic return=1552.0958251953125\n", + "global step=12707840, episodic return=1872.3035888671875\n", + "global step=12707840, episodic return=1864.7779541015625\n", + "global step=12709888, episodic return=1899.01904296875\n", + "global step=12709888, episodic return=1850.6441650390625\n", + "global step=12709888, episodic return=1907.9500732421875\n", + "global step=12711936, episodic return=1855.0648193359375\n", + "global step=12711936, episodic return=1624.6376953125\n", + "global step=12711936, episodic return=1892.313232421875\n", + "global step=12711936, episodic return=1926.37451171875\n", + "global step=12713984, episodic return=1855.290771484375\n", + "global step=12713984, episodic return=1902.597900390625\n", + "global step=12713984, episodic return=1875.791748046875\n", + "global step=12716032, episodic return=1865.6925048828125\n", + "global step=12716032, episodic return=1896.931884765625\n", + "global step=12716032, episodic return=1897.88671875\n", + "global step=12718080, episodic return=1865.6439208984375\n", + "global step=12718080, episodic return=1843.2679443359375\n", + "global step=12718080, episodic return=1320.8809814453125\n", + "global step=12718080, episodic return=1804.3460693359375\n", + "global step=12718080, episodic return=1862.247314453125\n", + "global step=12718080, episodic return=1864.862548828125\n", + "global step=12720128, episodic return=1891.33056640625\n", + "global step=12720128, episodic return=1854.6488037109375\n", + "global step=12720128, episodic return=1843.773681640625\n", + "global step=12720128, episodic return=1834.7711181640625\n", + "global step=12722176, episodic return=1842.82958984375\n", + "global step=12722176, episodic return=1865.8812255859375\n", + "global step=12722176, episodic return=1887.668701171875\n", + "global step=12724224, episodic return=1870.98583984375\n", + "global step=12724224, episodic return=1882.015869140625\n", + "global step=12724224, episodic return=1903.15185546875\n", + "global step=12726272, episodic return=1900.500732421875\n", + "global step=12726272, episodic return=1927.1466064453125\n", + "global step=12726272, episodic return=1855.9949951171875\n", + "global step=12728320, episodic return=1530.6512451171875\n", + "global step=12728320, episodic return=1869.8072509765625\n", + "global step=12728320, episodic return=1851.67333984375\n", + "global step=12728320, episodic return=1821.497314453125\n", + "global step=12728320, episodic return=1869.56884765625\n", + "global step=12730368, episodic return=1775.0518798828125\n", + "global step=12730368, episodic return=1874.7279052734375\n", + "global step=12730368, episodic return=1935.5357666015625\n", + "global step=12730368, episodic return=1907.6234130859375\n", + "global step=12732416, episodic return=1831.2947998046875\n", + "global step=12732416, episodic return=1870.4803466796875\n", + "global step=12732416, episodic return=1838.028076171875\n", + "global step=12732416, episodic return=780.9928588867188\n", + "global step=12732416, episodic return=1864.682373046875\n", + "global step=12734464, episodic return=1834.613037109375\n", + "global step=12734464, episodic return=1586.7236328125\n", + "global step=12734464, episodic return=1859.9671630859375\n", + "global step=12736512, episodic return=1915.724853515625\n", + "global step=12736512, episodic return=1848.9954833984375\n", + "global step=12736512, episodic return=1822.7564697265625\n", + "global step=12736512, episodic return=1904.049560546875\n", + "global step=12738560, episodic return=1857.48388671875\n", + "global step=12738560, episodic return=1901.7047119140625\n", + "global step=12738560, episodic return=1880.547607421875\n", + "global step=12738560, episodic return=1850.2646484375\n", + "global step=12738560, episodic return=1888.244873046875\n", + "global step=12740608, episodic return=1913.623779296875\n", + "global step=12740608, episodic return=1849.694091796875\n", + "global step=12740608, episodic return=1902.0372314453125\n", + "global step=12742656, episodic return=1879.899169921875\n", + "global step=12742656, episodic return=1875.6414794921875\n", + "global step=12744704, episodic return=1849.69482421875\n", + "global step=12744704, episodic return=1879.111572265625\n", + "global step=12744704, episodic return=1934.625732421875\n", + "global step=12744704, episodic return=1892.634521484375\n", + "global step=12744704, episodic return=1885.5660400390625\n", + "global step=12746752, episodic return=1906.4774169921875\n", + "global step=12746752, episodic return=1855.0625\n", + "global step=12748800, episodic return=1906.31005859375\n", + "global step=12748800, episodic return=1866.8760986328125\n", + "global step=12748800, episodic return=1888.775390625\n", + "global step=12748800, episodic return=1863.887939453125\n", + "global step=12748800, episodic return=1906.5880126953125\n", + "global step=12750848, episodic return=1840.79541015625\n", + "global step=12750848, episodic return=1633.2138671875\n", + "global step=12750848, episodic return=1909.3846435546875\n", + "global step=12752896, episodic return=1852.8653564453125\n", + "global step=12752896, episodic return=1901.5272216796875\n", + "global step=12752896, episodic return=1861.927490234375\n", + "global step=12752896, episodic return=1897.74365234375\n", + "global step=12752896, episodic return=1793.274169921875\n", + "global step=12754944, episodic return=1887.11083984375\n", + "global step=12754944, episodic return=1909.254638671875\n", + "global step=12754944, episodic return=1852.4132080078125\n", + "global step=12754944, episodic return=1856.50439453125\n", + "global step=12756992, episodic return=1439.8026123046875\n", + "global step=12756992, episodic return=1910.4044189453125\n", + "global step=12756992, episodic return=1869.3084716796875\n", + "global step=12759040, episodic return=1874.6746826171875\n", + "global step=12759040, episodic return=1885.375244140625\n", + "global step=12759040, episodic return=1587.494873046875\n", + "global step=12759040, episodic return=1799.404052734375\n", + "global step=12761088, episodic return=1918.74169921875\n", + "global step=12761088, episodic return=1853.6300048828125\n", + "global step=12761088, episodic return=1880.1466064453125\n", + "global step=12761088, episodic return=1869.34619140625\n", + "global step=12763136, episodic return=1846.2303466796875\n", + "global step=12763136, episodic return=1854.015869140625\n", + "global step=12765184, episodic return=1883.759521484375\n", + "global step=12765184, episodic return=1839.6942138671875\n", + "global step=12765184, episodic return=1851.17138671875\n", + "global step=12765184, episodic return=1853.76220703125\n", + "global step=12765184, episodic return=1882.572265625\n", + "global step=12765184, episodic return=1860.7823486328125\n", + "global step=12765184, episodic return=1878.737548828125\n", + "global step=12765184, episodic return=1870.31103515625\n", + "global step=12765184, episodic return=1895.555419921875\n", + "global step=12767232, episodic return=1842.600830078125\n", + "global step=12767232, episodic return=1865.0103759765625\n", + "global step=12767232, episodic return=1840.53759765625\n", + "global step=12767232, episodic return=1847.9119873046875\n", + "global step=12767232, episodic return=1874.1072998046875\n", + "global step=12767232, episodic return=1801.0723876953125\n", + "global step=12769280, episodic return=1897.5443115234375\n", + "global step=12769280, episodic return=1867.2701416015625\n", + "global step=12771328, episodic return=1872.6849365234375\n", + "global step=12771328, episodic return=1907.648681640625\n", + "global step=12771328, episodic return=1910.4742431640625\n", + "global step=12771328, episodic return=1913.0130615234375\n", + "global step=12771328, episodic return=1572.532958984375\n", + "global step=12771328, episodic return=1868.2030029296875\n", + "global step=12773376, episodic return=1886.8397216796875\n", + "global step=12773376, episodic return=1854.0443115234375\n", + "global step=12775424, episodic return=1924.124755859375\n", + "global step=12775424, episodic return=1895.2027587890625\n", + "global step=12775424, episodic return=1912.9893798828125\n", + "global step=12775424, episodic return=1855.901611328125\n", + "global step=12777472, episodic return=1857.8936767578125\n", + "global step=12777472, episodic return=1880.1773681640625\n", + "global step=12777472, episodic return=1920.1697998046875\n", + "global step=12777472, episodic return=1887.282958984375\n", + "global step=12779520, episodic return=1450.496826171875\n", + "global step=12779520, episodic return=1873.247314453125\n", + "global step=12781568, episodic return=1431.97802734375\n", + "global step=12781568, episodic return=1890.6142578125\n", + "global step=12781568, episodic return=1889.8043212890625\n", + "global step=12781568, episodic return=1876.7186279296875\n", + "global step=12781568, episodic return=1905.2718505859375\n", + "global step=12783616, episodic return=1908.3096923828125\n", + "global step=12783616, episodic return=1898.172119140625\n", + "global step=12785664, episodic return=1880.3564453125\n", + "global step=12785664, episodic return=1622.86328125\n", + "global step=12785664, episodic return=1872.287109375\n", + "global step=12785664, episodic return=1876.8529052734375\n", + "global step=12785664, episodic return=1827.6448974609375\n", + "global step=12785664, episodic return=1851.2984619140625\n", + "global step=12787712, episodic return=1855.8109130859375\n", + "global step=12787712, episodic return=1813.4417724609375\n", + "global step=12787712, episodic return=1938.9844970703125\n", + "global step=12789760, episodic return=1895.09326171875\n", + "global step=12791808, episodic return=1790.5728759765625\n", + "global step=12791808, episodic return=1856.02001953125\n", + "global step=12793856, episodic return=1923.2877197265625\n", + "global step=12793856, episodic return=1908.87109375\n", + "global step=12793856, episodic return=1843.705322265625\n", + "global step=12793856, episodic return=1919.842529296875\n", + "global step=12793856, episodic return=1862.8477783203125\n", + "global step=12795904, episodic return=1907.08447265625\n", + "global step=12795904, episodic return=1843.727783203125\n", + "global step=12795904, episodic return=1896.1376953125\n", + "global step=12797952, episodic return=1918.9698486328125\n", + "global step=12797952, episodic return=1927.3748779296875\n", + "global step=12797952, episodic return=1632.6375732421875\n", + "global step=12797952, episodic return=1891.8690185546875\n", + "global step=12797952, episodic return=1877.2235107421875\n", + "global step=12797952, episodic return=1860.3021240234375\n", + "global step=12797952, episodic return=1791.4664306640625\n", + "global step=12797952, episodic return=1857.9957275390625\n", + "global step=12800000, episodic return=1932.3438720703125\n", + "global step=12800000, episodic return=1776.2821044921875\n", + "global step=12800000, episodic return=1838.5404052734375\n", + "global step=12800000, episodic return=1856.1077880859375\n", + "global step=12800000, episodic return=1881.3330078125\n", + "global step=12802048, episodic return=1874.0323486328125\n", + "global step=12802048, episodic return=1855.902099609375\n", + "global step=12802048, episodic return=1885.4432373046875\n", + "global step=12802048, episodic return=1878.8099365234375\n", + "global step=12804096, episodic return=1879.042724609375\n", + "global step=12806144, episodic return=1858.1712646484375\n", + "global step=12806144, episodic return=1875.5823974609375\n", + "global step=12806144, episodic return=1911.1129150390625\n", + "global step=12806144, episodic return=1878.306884765625\n", + "global step=12808192, episodic return=1731.172119140625\n", + "global step=12808192, episodic return=1918.7366943359375\n", + "global step=12808192, episodic return=1900.16455078125\n", + "global step=12808192, episodic return=1855.927734375\n", + "global step=12810240, episodic return=1821.9407958984375\n", + "global step=12810240, episodic return=1914.9154052734375\n", + "global step=12812288, episodic return=1859.3316650390625\n", + "global step=12812288, episodic return=1884.255615234375\n", + "global step=12812288, episodic return=1916.8887939453125\n", + "global step=12812288, episodic return=1851.19287109375\n", + "global step=12812288, episodic return=1359.2972412109375\n", + "global step=12814336, episodic return=1880.4263916015625\n", + "global step=12818432, episodic return=1896.72607421875\n", + "global step=12818432, episodic return=1891.74755859375\n", + "global step=12820480, episodic return=68.86096954345703\n", + "global step=12820480, episodic return=1861.8758544921875\n", + "global step=12822528, episodic return=1851.4034423828125\n", + "global step=12824576, episodic return=1851.533935546875\n", + "global step=12826624, episodic return=1911.5364990234375\n", + "global step=12826624, episodic return=1909.69970703125\n", + "global step=12826624, episodic return=1018.4185791015625\n", + "global step=12826624, episodic return=1850.2548828125\n", + "global step=12828672, episodic return=1864.6951904296875\n", + "global step=12828672, episodic return=1871.741455078125\n", + "global step=12830720, episodic return=1812.1190185546875\n", + "global step=12830720, episodic return=1800.1043701171875\n", + "global step=12832768, episodic return=1841.8427734375\n", + "global step=12832768, episodic return=1846.1710205078125\n", + "global step=12832768, episodic return=1892.5889892578125\n", + "global step=12834816, episodic return=1335.5203857421875\n", + "global step=12834816, episodic return=1821.525634765625\n", + "global step=12838912, episodic return=1908.62060546875\n", + "global step=12838912, episodic return=1916.0531005859375\n", + "global step=12838912, episodic return=1755.501220703125\n", + "global step=12838912, episodic return=1919.50732421875\n", + "global step=12843008, episodic return=1901.89208984375\n", + "global step=12843008, episodic return=1773.7322998046875\n", + "global step=12843008, episodic return=1878.63330078125\n", + "global step=12845056, episodic return=1940.8046875\n", + "global step=12845056, episodic return=1888.6920166015625\n", + "global step=12845056, episodic return=1895.1611328125\n", + "global step=12847104, episodic return=1872.9739990234375\n", + "global step=12847104, episodic return=1864.6497802734375\n", + "global step=12847104, episodic return=1840.592529296875\n", + "global step=12851200, episodic return=1890.3468017578125\n", + "global step=12851200, episodic return=1869.5869140625\n", + "global step=12851200, episodic return=1880.527099609375\n", + "global step=12855296, episodic return=1869.1829833984375\n", + "global step=12855296, episodic return=1886.212158203125\n", + "global step=12855296, episodic return=1959.3450927734375\n", + "global step=12855296, episodic return=1878.8035888671875\n", + "global step=12855296, episodic return=1785.478759765625\n", + "global step=12857344, episodic return=1852.978515625\n", + "global step=12857344, episodic return=1874.96240234375\n", + "global step=12857344, episodic return=1917.2276611328125\n", + "global step=12857344, episodic return=1911.60009765625\n", + "global step=12857344, episodic return=1830.7281494140625\n", + "global step=12857344, episodic return=1854.4161376953125\n", + "global step=12861440, episodic return=1866.83056640625\n", + "global step=12863488, episodic return=1913.9075927734375\n", + "global step=12865536, episodic return=1865.1717529296875\n", + "global step=12865536, episodic return=1867.2855224609375\n", + "global step=12865536, episodic return=1897.5079345703125\n", + "global step=12865536, episodic return=1829.294921875\n", + "global step=12867584, episodic return=1866.2305908203125\n", + "global step=12869632, episodic return=1877.666015625\n", + "global step=12869632, episodic return=1916.5628662109375\n", + "global step=12869632, episodic return=1909.1126708984375\n", + "global step=12869632, episodic return=1632.5135498046875\n", + "global step=12871680, episodic return=1911.6456298828125\n", + "global step=12873728, episodic return=1875.906494140625\n", + "global step=12873728, episodic return=1884.4482421875\n", + "global step=12875776, episodic return=1819.492431640625\n", + "global step=12875776, episodic return=1884.46630859375\n", + "global step=12875776, episodic return=1898.5069580078125\n", + "global step=12875776, episodic return=1862.188232421875\n", + "global step=12875776, episodic return=1900.03564453125\n", + "global step=12877824, episodic return=1890.201416015625\n", + "global step=12879872, episodic return=1856.392333984375\n", + "global step=12879872, episodic return=1880.31884765625\n", + "global step=12881920, episodic return=1904.3765869140625\n", + "global step=12881920, episodic return=1854.377685546875\n", + "global step=12883968, episodic return=1904.0426025390625\n", + "global step=12883968, episodic return=1300.117431640625\n", + "global step=12886016, episodic return=1920.5714111328125\n", + "global step=12886016, episodic return=1645.5855712890625\n", + "global step=12886016, episodic return=1791.03125\n", + "global step=12886016, episodic return=1052.41259765625\n", + "global step=12888064, episodic return=1922.9462890625\n", + "global step=12888064, episodic return=1921.414794921875\n", + "global step=12888064, episodic return=1850.111572265625\n", + "global step=12890112, episodic return=1891.3536376953125\n", + "global step=12890112, episodic return=1915.1761474609375\n", + "global step=12892160, episodic return=1904.7860107421875\n", + "global step=12892160, episodic return=1527.7513427734375\n", + "global step=12892160, episodic return=1889.8060302734375\n", + "global step=12892160, episodic return=1906.9603271484375\n", + "global step=12892160, episodic return=1897.157470703125\n", + "global step=12894208, episodic return=1847.0499267578125\n", + "global step=12894208, episodic return=742.7927856445312\n", + "global step=12894208, episodic return=1210.518798828125\n", + "global step=12896256, episodic return=1898.704345703125\n", + "global step=12896256, episodic return=1877.2579345703125\n", + "global step=12896256, episodic return=1921.443359375\n", + "global step=12896256, episodic return=1839.7138671875\n", + "global step=12896256, episodic return=1931.417724609375\n", + "global step=12896256, episodic return=1837.4373779296875\n", + "global step=12898304, episodic return=1869.1195068359375\n", + "global step=12900352, episodic return=1897.0841064453125\n", + "global step=12900352, episodic return=1893.6953125\n", + "global step=12900352, episodic return=1868.1917724609375\n", + "global step=12902400, episodic return=1847.186279296875\n", + "global step=12904448, episodic return=1824.712890625\n", + "global step=12904448, episodic return=1666.3819580078125\n", + "global step=12904448, episodic return=1914.46435546875\n", + "global step=12906496, episodic return=1854.4708251953125\n", + "global step=12908544, episodic return=1908.1624755859375\n", + "global step=12908544, episodic return=1861.3377685546875\n", + "global step=12908544, episodic return=1840.88525390625\n", + "global step=12910592, episodic return=1921.9599609375\n", + "global step=12912640, episodic return=1889.9384765625\n", + "global step=12912640, episodic return=1878.1739501953125\n", + "global step=12912640, episodic return=1889.8953857421875\n", + "global step=12914688, episodic return=1651.705322265625\n", + "global step=12914688, episodic return=1621.8909912109375\n", + "global step=12914688, episodic return=1584.3016357421875\n", + "global step=12916736, episodic return=1894.6800537109375\n", + "global step=12918784, episodic return=1857.9754638671875\n", + "global step=12918784, episodic return=1839.811767578125\n", + "global step=12918784, episodic return=1859.5528564453125\n", + "global step=12918784, episodic return=59.41221618652344\n", + "global step=12920832, episodic return=1855.3994140625\n", + "global step=12920832, episodic return=1896.410888671875\n", + "global step=12920832, episodic return=938.0170288085938\n", + "global step=12922880, episodic return=1600.1224365234375\n", + "global step=12922880, episodic return=1876.172119140625\n", + "global step=12926976, episodic return=1887.97705078125\n", + "global step=12929024, episodic return=58.73713684082031\n", + "global step=12929024, episodic return=1878.9581298828125\n", + "global step=12931072, episodic return=1882.450927734375\n", + "global step=12931072, episodic return=1666.90966796875\n", + "global step=12931072, episodic return=1902.8858642578125\n", + "global step=12931072, episodic return=1897.95751953125\n", + "global step=12933120, episodic return=1904.1275634765625\n", + "global step=12933120, episodic return=963.9512329101562\n", + "global step=12933120, episodic return=1874.944091796875\n", + "global step=12933120, episodic return=1862.4693603515625\n", + "global step=12933120, episodic return=1890.865234375\n", + "global step=12935168, episodic return=1912.931396484375\n", + "global step=12937216, episodic return=1861.537353515625\n", + "global step=12937216, episodic return=1890.23193359375\n", + "global step=12937216, episodic return=1855.5540771484375\n", + "global step=12937216, episodic return=1859.92822265625\n", + "global step=12937216, episodic return=1856.50732421875\n", + "global step=12941312, episodic return=1876.0198974609375\n", + "global step=12941312, episodic return=1881.192626953125\n", + "global step=12943360, episodic return=1860.951416015625\n", + "global step=12943360, episodic return=1381.5584716796875\n", + "global step=12947456, episodic return=1894.5557861328125\n", + "global step=12953600, episodic return=1871.185302734375\n", + "global step=12953600, episodic return=1868.1971435546875\n", + "global step=12955648, episodic return=1878.41650390625\n", + "global step=12955648, episodic return=1861.955322265625\n", + "global step=12957696, episodic return=1884.665283203125\n", + "global step=12957696, episodic return=1884.6898193359375\n", + "global step=12959744, episodic return=1619.5438232421875\n", + "global step=12959744, episodic return=1605.255615234375\n", + "global step=12959744, episodic return=1886.930908203125\n", + "global step=12963840, episodic return=1915.953369140625\n", + "global step=12965888, episodic return=1857.3131103515625\n", + "global step=12965888, episodic return=1843.38037109375\n", + "global step=12967936, episodic return=1878.5904541015625\n", + "global step=12967936, episodic return=1687.7677001953125\n", + "global step=12969984, episodic return=1892.8310546875\n", + "global step=12969984, episodic return=1947.6553955078125\n", + "global step=12972032, episodic return=1877.9510498046875\n", + "global step=12974080, episodic return=1894.6068115234375\n", + "global step=12974080, episodic return=1839.6871337890625\n", + "global step=12974080, episodic return=1662.4158935546875\n", + "global step=12978176, episodic return=1860.1824951171875\n", + "global step=12978176, episodic return=1907.869140625\n", + "global step=12978176, episodic return=1881.9075927734375\n", + "global step=12978176, episodic return=1604.8594970703125\n", + "global step=12980224, episodic return=1878.6627197265625\n", + "global step=12982272, episodic return=1894.1236572265625\n", + "global step=12982272, episodic return=1855.3504638671875\n", + "global step=12982272, episodic return=1882.582763671875\n", + "global step=12982272, episodic return=1146.07763671875\n", + "global step=12984320, episodic return=1890.0572509765625\n", + "global step=12986368, episodic return=1880.4649658203125\n", + "global step=12986368, episodic return=1797.9375\n", + "global step=12986368, episodic return=1316.0284423828125\n", + "global step=12986368, episodic return=1845.4052734375\n", + "global step=12986368, episodic return=1844.9124755859375\n", + "global step=12990464, episodic return=1862.6571044921875\n", + "global step=12990464, episodic return=1877.5439453125\n", + "global step=12990464, episodic return=1904.219970703125\n", + "global step=12992512, episodic return=1881.362548828125\n", + "global step=12992512, episodic return=1869.033447265625\n", + "global step=12992512, episodic return=909.5925903320312\n", + "global step=12994560, episodic return=1865.7822265625\n", + "global step=12996608, episodic return=1872.9937744140625\n", + "global step=12996608, episodic return=1858.16650390625\n", + "global step=12998656, episodic return=60.27764129638672\n", + "global step=13000704, episodic return=1084.0552978515625\n", + "global step=13000704, episodic return=1863.715087890625\n", + "global step=13000704, episodic return=1925.8170166015625\n", + "global step=13000704, episodic return=1919.6806640625\n", + "global step=13002752, episodic return=1875.23583984375\n", + "global step=13004800, episodic return=1907.8427734375\n", + "global step=13006848, episodic return=1871.0986328125\n", + "global step=13006848, episodic return=1672.9317626953125\n", + "global step=13006848, episodic return=1900.852783203125\n", + "global step=13008896, episodic return=1853.1868896484375\n", + "global step=13010944, episodic return=1174.036376953125\n", + "global step=13012992, episodic return=1898.7913818359375\n", + "global step=13012992, episodic return=1481.6055908203125\n", + "global step=13015040, episodic return=1102.057373046875\n", + "global step=13021184, episodic return=1886.2855224609375\n", + "global step=13021184, episodic return=1882.640625\n", + "global step=13021184, episodic return=1863.924072265625\n", + "global step=13029376, episodic return=1850.5252685546875\n", + "global step=13029376, episodic return=1717.2513427734375\n", + "global step=13033472, episodic return=1927.33349609375\n", + "global step=13033472, episodic return=1887.2109375\n", + "global step=13033472, episodic return=1912.5809326171875\n", + "global step=13035520, episodic return=1901.42236328125\n", + "global step=13035520, episodic return=1856.9659423828125\n", + "global step=13035520, episodic return=1852.5821533203125\n", + "global step=13039616, episodic return=1303.9530029296875\n", + "global step=13039616, episodic return=1901.8116455078125\n", + "global step=13041664, episodic return=1895.777587890625\n", + "global step=13041664, episodic return=1539.3153076171875\n", + "global step=13041664, episodic return=1647.978515625\n", + "global step=13043712, episodic return=1875.521484375\n", + "global step=13043712, episodic return=1858.331787109375\n", + "global step=13045760, episodic return=1694.3856201171875\n", + "global step=13049856, episodic return=1869.8592529296875\n", + "global step=13049856, episodic return=1895.094482421875\n", + "global step=13051904, episodic return=1887.50439453125\n", + "global step=13051904, episodic return=1860.2711181640625\n", + "global step=13051904, episodic return=1904.151123046875\n", + "global step=13053952, episodic return=1074.0218505859375\n", + "global step=13053952, episodic return=1908.3123779296875\n", + "global step=13056000, episodic return=1904.7474365234375\n", + "global step=13058048, episodic return=1328.8194580078125\n", + "global step=13058048, episodic return=1921.7333984375\n", + "global step=13060096, episodic return=1865.6844482421875\n", + "global step=13062144, episodic return=1900.7845458984375\n", + "global step=13062144, episodic return=1917.2362060546875\n", + "global step=13064192, episodic return=1734.0318603515625\n", + "global step=13064192, episodic return=1860.561767578125\n", + "global step=13066240, episodic return=1867.0478515625\n", + "global step=13066240, episodic return=1875.744384765625\n", + "global step=13068288, episodic return=1901.967529296875\n", + "global step=13068288, episodic return=1900.7716064453125\n", + "global step=13070336, episodic return=1916.64501953125\n", + "global step=13070336, episodic return=1928.2093505859375\n", + "global step=13072384, episodic return=1899.5196533203125\n", + "global step=13074432, episodic return=1867.4346923828125\n", + "global step=13078528, episodic return=1584.1195068359375\n", + "global step=13078528, episodic return=1871.51416015625\n", + "global step=13078528, episodic return=1890.7998046875\n", + "global step=13080576, episodic return=1906.4683837890625\n", + "global step=13080576, episodic return=1877.87744140625\n", + "global step=13080576, episodic return=1496.791015625\n", + "global step=13080576, episodic return=1892.432861328125\n", + "global step=13084672, episodic return=1801.4144287109375\n", + "global step=13084672, episodic return=1942.0009765625\n", + "global step=13084672, episodic return=1851.25732421875\n", + "global step=13084672, episodic return=1903.08740234375\n", + "global step=13084672, episodic return=1213.885498046875\n", + "global step=13086720, episodic return=1772.349365234375\n", + "global step=13088768, episodic return=1879.1884765625\n", + "global step=13090816, episodic return=1938.7701416015625\n", + "global step=13092864, episodic return=1875.2818603515625\n", + "global step=13094912, episodic return=1940.8515625\n", + "global step=13094912, episodic return=1912.470947265625\n", + "global step=13094912, episodic return=1924.478271484375\n", + "global step=13096960, episodic return=1920.7657470703125\n", + "global step=13096960, episodic return=1117.176513671875\n", + "global step=13099008, episodic return=1901.1932373046875\n", + "global step=13103104, episodic return=1925.003662109375\n", + "global step=13103104, episodic return=1911.2303466796875\n", + "global step=13103104, episodic return=1883.307861328125\n", + "global step=13105152, episodic return=1903.6549072265625\n", + "global step=13107200, episodic return=1311.0355224609375\n", + "global step=13107200, episodic return=1795.9581298828125\n", + "global step=13109248, episodic return=1870.075439453125\n", + "global step=13109248, episodic return=1920.7491455078125\n", + "global step=13109248, episodic return=1928.40869140625\n", + "global step=13111296, episodic return=1856.3931884765625\n", + "global step=13111296, episodic return=1016.6284790039062\n", + "global step=13111296, episodic return=1903.387939453125\n", + "global step=13113344, episodic return=1839.3624267578125\n", + "global step=13117440, episodic return=1074.3314208984375\n", + "global step=13117440, episodic return=1909.0701904296875\n", + "global step=13119488, episodic return=1863.8883056640625\n", + "global step=13121536, episodic return=1664.4991455078125\n", + "global step=13123584, episodic return=1902.6385498046875\n", + "global step=13123584, episodic return=1897.46240234375\n", + "global step=13125632, episodic return=1892.7481689453125\n", + "global step=13127680, episodic return=1918.16552734375\n", + "global step=13129728, episodic return=1100.118408203125\n", + "global step=13129728, episodic return=1911.309814453125\n", + "global step=13131776, episodic return=1862.484619140625\n", + "global step=13131776, episodic return=1804.4664306640625\n", + "global step=13133824, episodic return=1891.214111328125\n", + "global step=13133824, episodic return=1936.1444091796875\n", + "global step=13133824, episodic return=1886.883056640625\n", + "global step=13135872, episodic return=1905.8939208984375\n", + "global step=13139968, episodic return=1915.3284912109375\n", + "global step=13142016, episodic return=1935.583740234375\n", + "global step=13142016, episodic return=1910.999755859375\n", + "global step=13146112, episodic return=1911.1875\n", + "global step=13146112, episodic return=1848.9066162109375\n", + "global step=13146112, episodic return=1278.3531494140625\n", + "global step=13148160, episodic return=1896.9537353515625\n", + "global step=13150208, episodic return=1876.30810546875\n", + "global step=13150208, episodic return=1890.017333984375\n", + "global step=13150208, episodic return=1890.49267578125\n", + "global step=13150208, episodic return=1915.732421875\n", + "global step=13152256, episodic return=1918.58056640625\n", + "global step=13154304, episodic return=1562.581298828125\n", + "global step=13154304, episodic return=1852.2127685546875\n", + "global step=13156352, episodic return=1915.8070068359375\n", + "global step=13162496, episodic return=1867.3974609375\n", + "global step=13164544, episodic return=1887.6761474609375\n", + "global step=13164544, episodic return=1916.799560546875\n", + "global step=13166592, episodic return=1571.4744873046875\n", + "global step=13166592, episodic return=1858.619140625\n", + "global step=13168640, episodic return=1928.99853515625\n", + "global step=13170688, episodic return=1856.3375244140625\n", + "global step=13170688, episodic return=1873.287109375\n", + "global step=13172736, episodic return=1283.05615234375\n", + "global step=13174784, episodic return=1950.49658203125\n", + "global step=13176832, episodic return=1900.984375\n", + "global step=13176832, episodic return=1687.2042236328125\n", + "global step=13182976, episodic return=1468.9798583984375\n", + "global step=13185024, episodic return=1861.8536376953125\n", + "global step=13185024, episodic return=1892.9547119140625\n", + "global step=13187072, episodic return=1915.28173828125\n", + "global step=13187072, episodic return=1923.1478271484375\n", + "global step=13189120, episodic return=1851.7498779296875\n", + "global step=13191168, episodic return=1951.8519287109375\n", + "global step=13195264, episodic return=1906.00439453125\n", + "global step=13195264, episodic return=1917.0220947265625\n", + "global step=13195264, episodic return=1714.189697265625\n", + "global step=13197312, episodic return=1902.932373046875\n", + "global step=13197312, episodic return=1470.1136474609375\n", + "global step=13199360, episodic return=1911.3511962890625\n", + "global step=13199360, episodic return=1880.051513671875\n", + "global step=13203456, episodic return=1930.914794921875\n", + "global step=13205504, episodic return=1892.403564453125\n", + "global step=13205504, episodic return=1891.8831787109375\n", + "global step=13207552, episodic return=1908.330078125\n", + "global step=13209600, episodic return=1850.1263427734375\n", + "global step=13209600, episodic return=1923.069580078125\n", + "global step=13211648, episodic return=1898.8756103515625\n", + "global step=13213696, episodic return=1889.5599365234375\n", + "global step=13213696, episodic return=1676.0316162109375\n", + "global step=13215744, episodic return=1933.0577392578125\n", + "global step=13215744, episodic return=1919.6881103515625\n", + "global step=13215744, episodic return=1892.468994140625\n", + "global step=13215744, episodic return=1901.563232421875\n", + "global step=13217792, episodic return=1920.1123046875\n", + "global step=13217792, episodic return=1864.8681640625\n", + "global step=13219840, episodic return=1220.0263671875\n", + "global step=13223936, episodic return=1866.84228515625\n", + "global step=13223936, episodic return=1915.1964111328125\n", + "global step=13225984, episodic return=1892.6854248046875\n", + "global step=13234176, episodic return=1797.1112060546875\n", + "global step=13236224, episodic return=1553.357177734375\n", + "global step=13240320, episodic return=1860.0985107421875\n", + "global step=13240320, episodic return=1897.2481689453125\n", + "global step=13246464, episodic return=1905.0723876953125\n", + "global step=13250560, episodic return=1872.837646484375\n", + "global step=13252608, episodic return=1719.9556884765625\n", + "global step=13254656, episodic return=1932.4310302734375\n", + "global step=13258752, episodic return=1869.7049560546875\n", + "global step=13258752, episodic return=1875.02978515625\n", + "global step=13260800, episodic return=1328.233642578125\n", + "global step=13260800, episodic return=1876.20751953125\n", + "global step=13260800, episodic return=1891.2596435546875\n", + "global step=13260800, episodic return=1901.0743408203125\n", + "global step=13262848, episodic return=1780.5263671875\n", + "global step=13262848, episodic return=1910.505859375\n", + "global step=13264896, episodic return=1942.2269287109375\n", + "global step=13264896, episodic return=1914.4078369140625\n", + "global step=13264896, episodic return=1875.2108154296875\n", + "global step=13264896, episodic return=1882.6627197265625\n", + "global step=13266944, episodic return=1952.072998046875\n", + "global step=13271040, episodic return=1536.8712158203125\n", + "global step=13273088, episodic return=1705.30078125\n", + "global step=13273088, episodic return=1890.0919189453125\n", + "global step=13275136, episodic return=1920.6907958984375\n", + "global step=13277184, episodic return=1901.938720703125\n", + "global step=13277184, episodic return=1872.5128173828125\n", + "global step=13277184, episodic return=1879.7874755859375\n", + "global step=13279232, episodic return=1885.1683349609375\n", + "global step=13279232, episodic return=1917.9693603515625\n", + "global step=13279232, episodic return=1925.0718994140625\n", + "global step=13279232, episodic return=1889.535888671875\n", + "global step=13281280, episodic return=1896.17724609375\n", + "global step=13281280, episodic return=1229.502197265625\n", + "global step=13283328, episodic return=1367.7415771484375\n", + "global step=13285376, episodic return=1904.2008056640625\n", + "global step=13291520, episodic return=1873.0064697265625\n", + "global step=13291520, episodic return=1944.60400390625\n", + "global step=13293568, episodic return=1858.2528076171875\n", + "global step=13293568, episodic return=1858.833251953125\n", + "global step=13293568, episodic return=1854.458251953125\n", + "global step=13295616, episodic return=1914.2752685546875\n", + "global step=13299712, episodic return=1872.93408203125\n", + "global step=13301760, episodic return=1938.26953125\n", + "global step=13301760, episodic return=1870.1292724609375\n", + "global step=13301760, episodic return=1945.3839111328125\n", + "global step=13305856, episodic return=1902.8970947265625\n", + "global step=13305856, episodic return=1854.530029296875\n", + "global step=13305856, episodic return=1909.185546875\n", + "global step=13305856, episodic return=1907.5438232421875\n", + "global step=13307904, episodic return=1582.59423828125\n", + "global step=13307904, episodic return=1885.7242431640625\n", + "global step=13309952, episodic return=1894.1229248046875\n", + "global step=13309952, episodic return=1858.3975830078125\n", + "global step=13312000, episodic return=1901.7249755859375\n", + "global step=13314048, episodic return=1890.7279052734375\n", + "global step=13316096, episodic return=1547.1666259765625\n", + "global step=13318144, episodic return=1871.6568603515625\n", + "global step=13320192, episodic return=1909.718505859375\n", + "global step=13320192, episodic return=1717.925537109375\n", + "global step=13320192, episodic return=1778.300537109375\n", + "global step=13320192, episodic return=1696.1981201171875\n", + "global step=13322240, episodic return=1875.03955078125\n", + "global step=13322240, episodic return=1885.59814453125\n", + "global step=13324288, episodic return=1891.656494140625\n", + "global step=13324288, episodic return=1046.421630859375\n", + "global step=13324288, episodic return=1868.0235595703125\n", + "global step=13326336, episodic return=1889.3392333984375\n", + "global step=13328384, episodic return=1922.328125\n", + "global step=13330432, episodic return=1400.789794921875\n", + "global step=13330432, episodic return=1919.6375732421875\n", + "global step=13330432, episodic return=1460.54931640625\n", + "global step=13330432, episodic return=1935.0311279296875\n", + "global step=13332480, episodic return=1231.04931640625\n", + "global step=13334528, episodic return=1905.4354248046875\n", + "global step=13340672, episodic return=1919.4244384765625\n", + "global step=13342720, episodic return=1881.138427734375\n", + "global step=13342720, episodic return=1916.989990234375\n", + "global step=13342720, episodic return=1538.16650390625\n", + "global step=13344768, episodic return=1727.55078125\n", + "global step=13344768, episodic return=1876.4757080078125\n", + "global step=13350912, episodic return=1858.4490966796875\n", + "global step=13350912, episodic return=1888.7335205078125\n", + "global step=13350912, episodic return=1366.6865234375\n", + "global step=13352960, episodic return=1919.342041015625\n", + "global step=13352960, episodic return=1874.102294921875\n", + "global step=13355008, episodic return=1862.3802490234375\n", + "global step=13357056, episodic return=1539.122802734375\n", + "global step=13357056, episodic return=1736.00732421875\n", + "global step=13359104, episodic return=1671.3199462890625\n", + "global step=13361152, episodic return=1912.4744873046875\n", + "global step=13361152, episodic return=1880.076904296875\n", + "global step=13361152, episodic return=1830.508544921875\n", + "global step=13361152, episodic return=1872.06640625\n", + "global step=13365248, episodic return=1400.3099365234375\n", + "global step=13367296, episodic return=1896.6402587890625\n", + "global step=13367296, episodic return=1918.888671875\n", + "global step=13369344, episodic return=1866.2652587890625\n", + "global step=13369344, episodic return=1852.785888671875\n", + "global step=13369344, episodic return=1787.3408203125\n", + "global step=13373440, episodic return=1625.8212890625\n", + "global step=13375488, episodic return=1897.5732421875\n", + "global step=13377536, episodic return=1887.855224609375\n", + "global step=13379584, episodic return=1921.730712890625\n", + "global step=13379584, episodic return=1898.783447265625\n", + "global step=13379584, episodic return=1431.3980712890625\n", + "global step=13381632, episodic return=1873.2716064453125\n", + "global step=13381632, episodic return=1479.666015625\n", + "global step=13381632, episodic return=1911.0421142578125\n", + "global step=13383680, episodic return=1642.9052734375\n", + "global step=13385728, episodic return=1926.42822265625\n", + "global step=13387776, episodic return=1874.9886474609375\n", + "global step=13387776, episodic return=1914.81396484375\n", + "global step=13389824, episodic return=1892.9879150390625\n", + "global step=13389824, episodic return=1882.7333984375\n", + "global step=13389824, episodic return=1879.41455078125\n", + "global step=13391872, episodic return=1911.416748046875\n", + "global step=13391872, episodic return=1871.8460693359375\n", + "global step=13393920, episodic return=1943.7906494140625\n", + "global step=13406208, episodic return=1919.802001953125\n", + "global step=13406208, episodic return=1891.414306640625\n", + "global step=13408256, episodic return=1407.3914794921875\n", + "global step=13408256, episodic return=1885.8839111328125\n", + "global step=13408256, episodic return=1862.4141845703125\n", + "global step=13408256, episodic return=1869.98681640625\n", + "global step=13414400, episodic return=1862.1187744140625\n", + "global step=13418496, episodic return=1889.7156982421875\n", + "global step=13418496, episodic return=1855.373779296875\n", + "global step=13420544, episodic return=1871.3665771484375\n", + "global step=13422592, episodic return=1927.3004150390625\n", + "global step=13426688, episodic return=1872.9945068359375\n", + "global step=13428736, episodic return=1905.8748779296875\n", + "global step=13430784, episodic return=1928.446533203125\n", + "global step=13434880, episodic return=1861.5177001953125\n", + "global step=13434880, episodic return=1865.1510009765625\n", + "global step=13438976, episodic return=1861.382568359375\n", + "global step=13441024, episodic return=1895.93115234375\n", + "global step=13443072, episodic return=1881.6865234375\n", + "global step=13443072, episodic return=1871.6241455078125\n", + "global step=13445120, episodic return=1887.8984375\n", + "global step=13445120, episodic return=1544.7110595703125\n", + "global step=13447168, episodic return=1917.6439208984375\n", + "global step=13449216, episodic return=1877.067626953125\n", + "global step=13451264, episodic return=1961.6610107421875\n", + "global step=13451264, episodic return=1872.3228759765625\n", + "global step=13455360, episodic return=1801.06103515625\n", + "global step=13457408, episodic return=1911.9862060546875\n", + "global step=13457408, episodic return=1842.6282958984375\n", + "global step=13457408, episodic return=1891.73876953125\n", + "global step=13459456, episodic return=1888.2156982421875\n", + "global step=13467648, episodic return=1915.04150390625\n", + "global step=13471744, episodic return=1863.6953125\n", + "global step=13471744, episodic return=1633.4468994140625\n", + "global step=13471744, episodic return=1849.0074462890625\n", + "global step=13471744, episodic return=1864.3021240234375\n", + "global step=13477888, episodic return=1921.623046875\n", + "global step=13481984, episodic return=1656.23583984375\n", + "global step=13484032, episodic return=1192.1630859375\n", + "global step=13484032, episodic return=1279.760498046875\n", + "global step=13486080, episodic return=1853.060546875\n", + "global step=13492224, episodic return=1892.1971435546875\n", + "global step=13492224, episodic return=1903.023681640625\n", + "global step=13492224, episodic return=1880.096435546875\n", + "global step=13494272, episodic return=1861.4586181640625\n", + "global step=13498368, episodic return=1837.2445068359375\n", + "global step=13500416, episodic return=1812.77392578125\n", + "global step=13500416, episodic return=1899.3741455078125\n", + "global step=13502464, episodic return=1915.1546630859375\n", + "global step=13504512, episodic return=1898.746826171875\n", + "global step=13506560, episodic return=1822.02294921875\n", + "global step=13506560, episodic return=1579.19921875\n", + "global step=13506560, episodic return=1858.3968505859375\n", + "global step=13506560, episodic return=1869.367919921875\n", + "global step=13508608, episodic return=1869.3389892578125\n", + "global step=13508608, episodic return=1864.7427978515625\n", + "global step=13510656, episodic return=1887.6910400390625\n", + "global step=13512704, episodic return=1586.487548828125\n", + "global step=13512704, episodic return=1882.837646484375\n", + "global step=13514752, episodic return=1711.6041259765625\n", + "global step=13514752, episodic return=1649.0380859375\n", + "global step=13516800, episodic return=1881.2655029296875\n", + "global step=13522944, episodic return=1589.265380859375\n", + "global step=13522944, episodic return=1827.871826171875\n", + "global step=13524992, episodic return=1836.01611328125\n", + "global step=13527040, episodic return=1835.2021484375\n", + "global step=13527040, episodic return=1866.743408203125\n", + "global step=13529088, episodic return=1879.237060546875\n", + "global step=13533184, episodic return=28.53312110900879\n", + "global step=13535232, episodic return=1840.8516845703125\n", + "global step=13537280, episodic return=1863.3670654296875\n", + "global step=13539328, episodic return=1816.79931640625\n", + "global step=13541376, episodic return=1886.12646484375\n", + "global step=13541376, episodic return=1868.3612060546875\n", + "global step=13541376, episodic return=1446.705810546875\n", + "global step=13547520, episodic return=1889.4425048828125\n", + "global step=13547520, episodic return=1871.6121826171875\n", + "global step=13551616, episodic return=1836.325927734375\n", + "global step=13553664, episodic return=1831.8160400390625\n", + "global step=13553664, episodic return=1880.97998046875\n", + "global step=13555712, episodic return=1843.473876953125\n", + "global step=13555712, episodic return=1874.0899658203125\n", + "global step=13557760, episodic return=1859.225341796875\n", + "global step=13559808, episodic return=1897.7646484375\n", + "global step=13559808, episodic return=1853.690673828125\n", + "global step=13561856, episodic return=1693.414306640625\n", + "global step=13561856, episodic return=1846.07763671875\n", + "global step=13563904, episodic return=1930.9588623046875\n", + "global step=13565952, episodic return=1881.1746826171875\n", + "global step=13568000, episodic return=1837.921142578125\n", + "global step=13568000, episodic return=1913.9620361328125\n", + "global step=13572096, episodic return=1897.2841796875\n", + "global step=13574144, episodic return=1849.2978515625\n", + "global step=13576192, episodic return=38.395835876464844\n", + "global step=13578240, episodic return=1838.6304931640625\n", + "global step=13578240, episodic return=1834.4815673828125\n", + "global step=13580288, episodic return=1861.1834716796875\n", + "global step=13582336, episodic return=1848.3958740234375\n", + "global step=13582336, episodic return=1892.4937744140625\n", + "global step=13582336, episodic return=1838.315673828125\n", + "global step=13584384, episodic return=1846.4510498046875\n", + "global step=13584384, episodic return=1882.7138671875\n", + "global step=13584384, episodic return=1884.9810791015625\n", + "global step=13586432, episodic return=1874.9810791015625\n", + "global step=13590528, episodic return=1734.51171875\n", + "global step=13592576, episodic return=1830.020751953125\n", + "global step=13592576, episodic return=1715.6580810546875\n", + "global step=13592576, episodic return=1873.8568115234375\n", + "global step=13594624, episodic return=1854.0335693359375\n", + "global step=13594624, episodic return=1304.9351806640625\n", + "global step=13596672, episodic return=1396.5225830078125\n", + "global step=13596672, episodic return=1833.3858642578125\n", + "global step=13596672, episodic return=1853.6890869140625\n", + "global step=13596672, episodic return=1829.78466796875\n", + "global step=13598720, episodic return=1870.275146484375\n", + "global step=13600768, episodic return=1866.48193359375\n", + "global step=13602816, episodic return=1874.0628662109375\n", + "global step=13604864, episodic return=1922.93212890625\n", + "global step=13606912, episodic return=1868.75732421875\n", + "global step=13608960, episodic return=1791.0189208984375\n", + "global step=13608960, episodic return=1881.503173828125\n", + "global step=13611008, episodic return=1908.7032470703125\n", + "global step=13613056, episodic return=1902.968017578125\n", + "global step=13617152, episodic return=1905.1405029296875\n", + "global step=13619200, episodic return=1824.973388671875\n", + "global step=13619200, episodic return=1831.0596923828125\n", + "global step=13623296, episodic return=1320.396240234375\n", + "global step=13623296, episodic return=1854.4071044921875\n", + "global step=13625344, episodic return=1884.4398193359375\n", + "global step=13625344, episodic return=1865.53173828125\n", + "global step=13627392, episodic return=1909.8350830078125\n", + "global step=13627392, episodic return=1868.600341796875\n", + "global step=13629440, episodic return=1845.13427734375\n", + "global step=13631488, episodic return=1867.981201171875\n", + "global step=13633536, episodic return=1839.495849609375\n", + "global step=13633536, episodic return=1832.173828125\n", + "global step=13637632, episodic return=1686.1160888671875\n", + "global step=13639680, episodic return=1853.3095703125\n", + "global step=13641728, episodic return=1881.5323486328125\n", + "global step=13643776, episodic return=1846.7288818359375\n", + "global step=13649920, episodic return=1829.3634033203125\n", + "global step=13651968, episodic return=1435.032958984375\n", + "global step=13654016, episodic return=1850.85009765625\n", + "global step=13656064, episodic return=1860.362548828125\n", + "global step=13656064, episodic return=1927.6099853515625\n", + "global step=13658112, episodic return=1522.03955078125\n", + "global step=13658112, episodic return=1865.3052978515625\n", + "global step=13662208, episodic return=1895.8980712890625\n", + "global step=13662208, episodic return=1922.1688232421875\n", + "global step=13668352, episodic return=1854.8359375\n", + "global step=13668352, episodic return=1864.296142578125\n", + "global step=13668352, episodic return=1869.9114990234375\n", + "global step=13670400, episodic return=1827.017822265625\n", + "global step=13670400, episodic return=1880.9666748046875\n", + "global step=13672448, episodic return=1834.6922607421875\n", + "global step=13672448, episodic return=1865.1639404296875\n", + "global step=13678592, episodic return=1902.1749267578125\n", + "global step=13678592, episodic return=1872.1488037109375\n", + "global step=13678592, episodic return=1889.8251953125\n", + "global step=13680640, episodic return=1928.812744140625\n", + "global step=13684736, episodic return=1900.453857421875\n", + "global step=13684736, episodic return=1883.34814453125\n", + "global step=13684736, episodic return=1852.27392578125\n", + "global step=13686784, episodic return=1883.982666015625\n", + "global step=13686784, episodic return=1873.43896484375\n", + "global step=13686784, episodic return=1853.975830078125\n", + "global step=13686784, episodic return=1888.9892578125\n", + "global step=13688832, episodic return=1834.4969482421875\n", + "global step=13688832, episodic return=1830.7772216796875\n", + "global step=13688832, episodic return=1747.2440185546875\n", + "global step=13692928, episodic return=1894.837646484375\n", + "global step=13697024, episodic return=1845.0626220703125\n", + "global step=13699072, episodic return=1840.46875\n", + "global step=13699072, episodic return=1858.018310546875\n", + "global step=13699072, episodic return=1888.3587646484375\n", + "global step=13707264, episodic return=1866.6318359375\n", + "global step=13713408, episodic return=1897.4349365234375\n", + "global step=13713408, episodic return=1830.8809814453125\n", + "global step=13717504, episodic return=1870.4698486328125\n", + "global step=13717504, episodic return=1857.30126953125\n", + "global step=13717504, episodic return=1840.167724609375\n", + "global step=13717504, episodic return=1876.15380859375\n", + "global step=13719552, episodic return=1864.85693359375\n", + "global step=13721600, episodic return=1866.412353515625\n", + "global step=13721600, episodic return=1421.4635009765625\n", + "global step=13723648, episodic return=1842.7568359375\n", + "global step=13723648, episodic return=1840.40283203125\n", + "global step=13727744, episodic return=1877.51513671875\n", + "global step=13731840, episodic return=1424.264892578125\n", + "global step=13731840, episodic return=1935.5706787109375\n", + "global step=13731840, episodic return=1841.8956298828125\n", + "global step=13735936, episodic return=1860.734130859375\n", + "global step=13735936, episodic return=1898.1363525390625\n", + "global step=13735936, episodic return=1864.5997314453125\n", + "global step=13735936, episodic return=1885.6729736328125\n", + "global step=13735936, episodic return=1854.03662109375\n", + "global step=13737984, episodic return=1880.08154296875\n", + "global step=13740032, episodic return=1876.6700439453125\n", + "global step=13740032, episodic return=1881.506591796875\n", + "global step=13742080, episodic return=1880.5947265625\n", + "global step=13742080, episodic return=1835.2568359375\n", + "global step=13744128, episodic return=1884.2523193359375\n", + "global step=13744128, episodic return=1879.0074462890625\n", + "global step=13744128, episodic return=1864.208740234375\n", + "global step=13744128, episodic return=22.69478988647461\n", + "global step=13746176, episodic return=1899.1771240234375\n", + "global step=13746176, episodic return=1880.6671142578125\n", + "global step=13746176, episodic return=1846.9320068359375\n", + "global step=13748224, episodic return=1838.4267578125\n", + "global step=13748224, episodic return=1941.7093505859375\n", + "global step=13748224, episodic return=1875.7679443359375\n", + "global step=13748224, episodic return=1868.615234375\n", + "global step=13750272, episodic return=1165.8289794921875\n", + "global step=13750272, episodic return=1882.0634765625\n", + "global step=13750272, episodic return=1885.7991943359375\n", + "global step=13750272, episodic return=1849.15380859375\n", + "global step=13752320, episodic return=1881.511474609375\n", + "global step=13754368, episodic return=1890.8057861328125\n", + "global step=13754368, episodic return=1886.685546875\n", + "global step=13754368, episodic return=1892.96923828125\n", + "global step=13756416, episodic return=1858.403564453125\n", + "global step=13756416, episodic return=1860.2193603515625\n", + "global step=13758464, episodic return=1890.861328125\n", + "global step=13758464, episodic return=1894.2215576171875\n", + "global step=13760512, episodic return=1901.538818359375\n", + "global step=13760512, episodic return=1848.1265869140625\n", + "global step=13762560, episodic return=1892.831787109375\n", + "global step=13762560, episodic return=1784.5296630859375\n", + "global step=13762560, episodic return=1879.0450439453125\n", + "global step=13762560, episodic return=1863.953857421875\n", + "global step=13764608, episodic return=1851.713623046875\n", + "global step=13764608, episodic return=1858.326416015625\n", + "global step=13766656, episodic return=1879.42138671875\n", + "global step=13766656, episodic return=1891.3304443359375\n", + "global step=13770752, episodic return=1889.2706298828125\n", + "global step=13770752, episodic return=1858.1795654296875\n", + "global step=13770752, episodic return=1874.13720703125\n", + "global step=13770752, episodic return=1882.2899169921875\n", + "global step=13770752, episodic return=1876.7821044921875\n", + "global step=13772800, episodic return=1958.09912109375\n", + "global step=13772800, episodic return=1898.773681640625\n", + "global step=13776896, episodic return=1900.5316162109375\n", + "global step=13783040, episodic return=1903.94677734375\n", + "global step=13787136, episodic return=1877.2340087890625\n", + "global step=13789184, episodic return=1875.396728515625\n", + "global step=13789184, episodic return=1772.689453125\n", + "global step=13789184, episodic return=1891.4482421875\n", + "global step=13791232, episodic return=1825.1925048828125\n", + "global step=13791232, episodic return=1657.288330078125\n", + "global step=13793280, episodic return=1888.3465576171875\n", + "global step=13793280, episodic return=1962.1214599609375\n", + "global step=13795328, episodic return=1894.5701904296875\n", + "global step=13795328, episodic return=1871.5364990234375\n", + "global step=13797376, episodic return=1916.1873779296875\n", + "global step=13799424, episodic return=1858.2353515625\n", + "global step=13801472, episodic return=1879.7061767578125\n", + "global step=13803520, episodic return=1913.1065673828125\n", + "global step=13805568, episodic return=1571.658447265625\n", + "global step=13807616, episodic return=1910.606689453125\n", + "global step=13809664, episodic return=1884.945068359375\n", + "global step=13815808, episodic return=1869.1181640625\n", + "global step=13815808, episodic return=1828.77294921875\n", + "global step=13815808, episodic return=1910.7667236328125\n", + "global step=13817856, episodic return=1861.1837158203125\n", + "global step=13817856, episodic return=1893.1392822265625\n", + "global step=13821952, episodic return=1859.9459228515625\n", + "global step=13821952, episodic return=1839.122802734375\n", + "global step=13824000, episodic return=1920.0723876953125\n", + "global step=13824000, episodic return=1897.889892578125\n", + "global step=13826048, episodic return=1933.8072509765625\n", + "global step=13826048, episodic return=1854.3314208984375\n", + "global step=13826048, episodic return=1953.7161865234375\n", + "global step=13828096, episodic return=1857.946533203125\n", + "global step=13830144, episodic return=1932.8492431640625\n", + "global step=13832192, episodic return=1885.3651123046875\n", + "global step=13832192, episodic return=1888.405029296875\n", + "global step=13832192, episodic return=1883.3955078125\n", + "global step=13836288, episodic return=1900.719482421875\n", + "global step=13838336, episodic return=1852.671875\n", + "global step=13838336, episodic return=1867.287109375\n", + "global step=13840384, episodic return=1921.8841552734375\n", + "global step=13842432, episodic return=1742.845458984375\n", + "global step=13844480, episodic return=1913.5667724609375\n", + "global step=13844480, episodic return=1896.7587890625\n", + "global step=13850624, episodic return=1891.719970703125\n", + "global step=13850624, episodic return=1875.424072265625\n", + "global step=13852672, episodic return=1760.8001708984375\n", + "global step=13852672, episodic return=1912.2611083984375\n", + "global step=13856768, episodic return=1745.4718017578125\n", + "global step=13856768, episodic return=1862.48779296875\n", + "global step=13858816, episodic return=1889.0111083984375\n", + "global step=13860864, episodic return=1908.73681640625\n", + "global step=13864960, episodic return=1902.689697265625\n", + "global step=13867008, episodic return=1880.4071044921875\n", + "global step=13869056, episodic return=1912.540771484375\n", + "global step=13869056, episodic return=1890.065673828125\n", + "global step=13871104, episodic return=1626.5867919921875\n", + "global step=13871104, episodic return=1870.3427734375\n", + "global step=13871104, episodic return=1894.56689453125\n", + "global step=13875200, episodic return=1927.031494140625\n", + "global step=13875200, episodic return=1961.2066650390625\n", + "global step=13877248, episodic return=1915.7830810546875\n", + "global step=13877248, episodic return=1911.3477783203125\n", + "global step=13877248, episodic return=1914.5059814453125\n", + "global step=13879296, episodic return=1901.4378662109375\n", + "global step=13883392, episodic return=1909.2115478515625\n", + "global step=13883392, episodic return=1867.627685546875\n", + "global step=13887488, episodic return=1875.0084228515625\n", + "global step=13887488, episodic return=1877.5426025390625\n", + "global step=13891584, episodic return=1318.073974609375\n", + "global step=13891584, episodic return=1919.6939697265625\n", + "global step=13895680, episodic return=1953.3885498046875\n", + "global step=13897728, episodic return=1850.82373046875\n", + "global step=13899776, episodic return=1947.8582763671875\n", + "global step=13901824, episodic return=1891.072021484375\n", + "global step=13901824, episodic return=1916.51904296875\n", + "global step=13903872, episodic return=1881.1954345703125\n", + "global step=13907968, episodic return=1072.0091552734375\n", + "global step=13912064, episodic return=1883.624755859375\n", + "global step=13912064, episodic return=1897.4049072265625\n", + "global step=13914112, episodic return=1870.1761474609375\n", + "global step=13914112, episodic return=1870.164306640625\n", + "global step=13914112, episodic return=1907.8814697265625\n", + "global step=13914112, episodic return=1895.52587890625\n", + "global step=13916160, episodic return=1928.4307861328125\n", + "global step=13918208, episodic return=1888.16455078125\n", + "global step=13920256, episodic return=1907.73779296875\n", + "global step=13922304, episodic return=1892.0943603515625\n", + "global step=13922304, episodic return=1363.6600341796875\n", + "global step=13922304, episodic return=1886.306640625\n", + "global step=13922304, episodic return=1302.603515625\n", + "global step=13924352, episodic return=1879.066162109375\n", + "global step=13924352, episodic return=1942.4556884765625\n", + "global step=13924352, episodic return=1893.0518798828125\n", + "global step=13926400, episodic return=1887.957763671875\n", + "global step=13926400, episodic return=1995.9002685546875\n", + "global step=13928448, episodic return=1883.9342041015625\n", + "global step=13930496, episodic return=1863.8765869140625\n", + "global step=13932544, episodic return=1888.7724609375\n", + "global step=13934592, episodic return=1913.409912109375\n", + "global step=13938688, episodic return=1942.8604736328125\n", + "global step=13942784, episodic return=1889.54736328125\n", + "global step=13942784, episodic return=1994.55322265625\n", + "global step=13944832, episodic return=1232.3013916015625\n", + "global step=13944832, episodic return=1920.3375244140625\n", + "global step=13944832, episodic return=1954.724853515625\n", + "global step=13944832, episodic return=1907.7801513671875\n", + "global step=13950976, episodic return=1924.2139892578125\n", + "global step=13950976, episodic return=1891.57080078125\n", + "global step=13953024, episodic return=1881.4775390625\n", + "global step=13953024, episodic return=1911.2457275390625\n", + "global step=13953024, episodic return=1903.1173095703125\n", + "global step=13953024, episodic return=1772.8487548828125\n", + "global step=13955072, episodic return=1936.64404296875\n", + "global step=13955072, episodic return=1868.6590576171875\n", + "global step=13955072, episodic return=1931.250244140625\n", + "global step=13955072, episodic return=1463.642578125\n", + "global step=13961216, episodic return=1899.459716796875\n", + "global step=13961216, episodic return=1895.9989013671875\n", + "global step=13963264, episodic return=1899.8519287109375\n", + "global step=13965312, episodic return=1944.2545166015625\n", + "global step=13965312, episodic return=1880.3939208984375\n", + "global step=13967360, episodic return=1919.2891845703125\n", + "global step=13967360, episodic return=1295.86669921875\n", + "global step=13969408, episodic return=1887.87451171875\n", + "global step=13971456, episodic return=1868.66259765625\n", + "global step=13973504, episodic return=1916.4569091796875\n", + "global step=13977600, episodic return=1915.7547607421875\n", + "global step=13977600, episodic return=1893.1485595703125\n", + "global step=13979648, episodic return=1928.14208984375\n", + "global step=13981696, episodic return=1985.3585205078125\n", + "global step=13983744, episodic return=1881.6558837890625\n", + "global step=13983744, episodic return=1861.1103515625\n", + "global step=13983744, episodic return=1888.4259033203125\n", + "global step=13985792, episodic return=1889.88623046875\n", + "global step=13985792, episodic return=1919.0164794921875\n", + "global step=13987840, episodic return=1879.191650390625\n", + "global step=13987840, episodic return=1892.5068359375\n", + "global step=13998080, episodic return=1437.1837158203125\n", + "global step=13998080, episodic return=1871.6146240234375\n", + "global step=14000128, episodic return=1245.1280517578125\n", + "global step=14000128, episodic return=1859.4779052734375\n", + "global step=14000128, episodic return=1966.5194091796875\n", + "global step=14000128, episodic return=1900.871337890625\n", + "global step=14002176, episodic return=1895.8770751953125\n", + "global step=14004224, episodic return=1340.01806640625\n", + "global step=14004224, episodic return=1906.691162109375\n", + "global step=14004224, episodic return=1863.846923828125\n", + "global step=14004224, episodic return=1870.69384765625\n", + "global step=14006272, episodic return=1889.0064697265625\n", + "global step=14006272, episodic return=1886.9263916015625\n", + "global step=14006272, episodic return=1865.209228515625\n", + "global step=14010368, episodic return=1911.3223876953125\n", + "global step=14012416, episodic return=1897.353515625\n", + "global step=14014464, episodic return=1577.5159912109375\n", + "global step=14016512, episodic return=1914.4949951171875\n", + "global step=14016512, episodic return=1912.734375\n", + "global step=14016512, episodic return=1903.724853515625\n", + "global step=14016512, episodic return=1864.90185546875\n", + "global step=14016512, episodic return=1923.3050537109375\n", + "global step=14018560, episodic return=1933.49169921875\n", + "global step=14020608, episodic return=1915.598388671875\n", + "global step=14022656, episodic return=1873.910400390625\n", + "global step=14024704, episodic return=1889.931396484375\n", + "global step=14026752, episodic return=1862.6192626953125\n", + "global step=14028800, episodic return=1848.1251220703125\n", + "global step=14028800, episodic return=1932.02880859375\n", + "global step=14032896, episodic return=1905.39599609375\n", + "global step=14032896, episodic return=1887.08056640625\n", + "global step=14034944, episodic return=1880.18701171875\n", + "global step=14039040, episodic return=1899.0103759765625\n", + "global step=14039040, episodic return=1862.9384765625\n", + "global step=14041088, episodic return=1893.957275390625\n", + "global step=14045184, episodic return=1177.4019775390625\n", + "global step=14049280, episodic return=1860.354736328125\n", + "global step=14051328, episodic return=1878.4542236328125\n", + "global step=14053376, episodic return=1888.4986572265625\n", + "global step=14055424, episodic return=1869.352783203125\n", + "global step=14055424, episodic return=1876.95751953125\n", + "global step=14057472, episodic return=1883.0467529296875\n", + "global step=14061568, episodic return=1565.4730224609375\n", + "global step=14061568, episodic return=1889.377197265625\n", + "global step=14061568, episodic return=1853.8546142578125\n", + "global step=14063616, episodic return=1869.1533203125\n", + "global step=14063616, episodic return=1948.6119384765625\n", + "global step=14065664, episodic return=1861.33935546875\n", + "global step=14067712, episodic return=1947.115966796875\n", + "global step=14067712, episodic return=1888.377197265625\n", + "global step=14067712, episodic return=1443.4925537109375\n", + "global step=14067712, episodic return=1859.6546630859375\n", + "global step=14071808, episodic return=1863.5799560546875\n", + "global step=14071808, episodic return=1917.1058349609375\n", + "global step=14071808, episodic return=1910.550537109375\n", + "global step=14077952, episodic return=1868.4058837890625\n", + "global step=14080000, episodic return=1883.1353759765625\n", + "global step=14082048, episodic return=1892.172119140625\n", + "global step=14084096, episodic return=1907.970458984375\n", + "global step=14084096, episodic return=1872.1806640625\n", + "global step=14090240, episodic return=1370.9005126953125\n", + "global step=14090240, episodic return=1879.9183349609375\n", + "global step=14090240, episodic return=1895.4300537109375\n", + "global step=14094336, episodic return=1891.93701171875\n", + "global step=14094336, episodic return=1878.8111572265625\n", + "global step=14094336, episodic return=1870.338623046875\n", + "global step=14094336, episodic return=1893.8065185546875\n", + "global step=14104576, episodic return=1847.157958984375\n", + "global step=14104576, episodic return=1866.2569580078125\n", + "global step=14108672, episodic return=1862.896728515625\n", + "global step=14108672, episodic return=1667.3321533203125\n", + "global step=14110720, episodic return=1871.4012451171875\n", + "global step=14112768, episodic return=1852.376953125\n", + "global step=14114816, episodic return=1922.30908203125\n", + "global step=14116864, episodic return=1773.33544921875\n", + "global step=14118912, episodic return=1852.583984375\n", + "global step=14118912, episodic return=1840.6627197265625\n", + "global step=14120960, episodic return=1843.36572265625\n", + "global step=14127104, episodic return=1877.4300537109375\n", + "global step=14129152, episodic return=1937.0576171875\n", + "global step=14131200, episodic return=1869.2381591796875\n", + "global step=14131200, episodic return=1839.4219970703125\n", + "global step=14137344, episodic return=1853.5201416015625\n", + "global step=14139392, episodic return=1862.642333984375\n", + "global step=14139392, episodic return=1816.771484375\n", + "global step=14141440, episodic return=1873.072265625\n", + "global step=14141440, episodic return=1933.929443359375\n", + "global step=14143488, episodic return=1882.8524169921875\n", + "global step=14143488, episodic return=1855.467529296875\n", + "global step=14145536, episodic return=1837.7371826171875\n", + "global step=14149632, episodic return=1265.754150390625\n", + "global step=14155776, episodic return=1882.42333984375\n", + "global step=14155776, episodic return=1880.6358642578125\n", + "global step=14157824, episodic return=1879.64306640625\n", + "global step=14157824, episodic return=1883.9166259765625\n", + "global step=14159872, episodic return=1824.2078857421875\n", + "global step=14161920, episodic return=1823.3885498046875\n", + "global step=14163968, episodic return=1849.8050537109375\n", + "global step=14163968, episodic return=1854.7786865234375\n", + "global step=14168064, episodic return=1824.3048095703125\n", + "global step=14172160, episodic return=1863.65771484375\n", + "global step=14172160, episodic return=1862.402099609375\n", + "global step=14174208, episodic return=1821.229248046875\n", + "global step=14174208, episodic return=1558.4698486328125\n", + "global step=14176256, episodic return=1900.4095458984375\n", + "global step=14178304, episodic return=1848.17236328125\n", + "global step=14182400, episodic return=1856.47607421875\n", + "global step=14182400, episodic return=1856.0001220703125\n", + "global step=14186496, episodic return=1850.1845703125\n", + "global step=14188544, episodic return=1847.9617919921875\n", + "global step=14192640, episodic return=1846.8382568359375\n", + "global step=14192640, episodic return=1863.883544921875\n", + "global step=14192640, episodic return=1268.4500732421875\n", + "global step=14192640, episodic return=1854.8929443359375\n", + "global step=14194688, episodic return=1840.413818359375\n", + "global step=14194688, episodic return=1854.382080078125\n", + "global step=14196736, episodic return=1820.72607421875\n", + "global step=14196736, episodic return=1806.482177734375\n", + "global step=14196736, episodic return=1977.55517578125\n", + "global step=14198784, episodic return=1825.8597412109375\n", + "global step=14198784, episodic return=1954.24462890625\n", + "global step=14200832, episodic return=1826.298583984375\n", + "global step=14204928, episodic return=1869.693359375\n", + "global step=14206976, episodic return=1856.5\n", + "global step=14209024, episodic return=1850.266845703125\n", + "global step=14209024, episodic return=1884.1787109375\n", + "global step=14209024, episodic return=1853.725341796875\n", + "global step=14213120, episodic return=1850.46875\n", + "global step=14215168, episodic return=1889.72314453125\n", + "global step=14215168, episodic return=1878.439697265625\n", + "global step=14217216, episodic return=1833.82568359375\n", + "global step=14217216, episodic return=1880.02490234375\n", + "global step=14221312, episodic return=1907.018310546875\n", + "global step=14221312, episodic return=1869.989013671875\n", + "global step=14223360, episodic return=1870.3135986328125\n", + "global step=14225408, episodic return=1861.165771484375\n", + "global step=14227456, episodic return=1864.270751953125\n", + "global step=14227456, episodic return=1840.82421875\n", + "global step=14227456, episodic return=1832.8519287109375\n", + "global step=14227456, episodic return=1865.8482666015625\n", + "global step=14227456, episodic return=1825.555419921875\n", + "global step=14229504, episodic return=1810.6103515625\n", + "global step=14229504, episodic return=1828.8485107421875\n", + "global step=14231552, episodic return=1835.5623779296875\n", + "global step=14231552, episodic return=1852.3133544921875\n", + "global step=14231552, episodic return=1851.25927734375\n", + "global step=14231552, episodic return=1879.99462890625\n", + "global step=14233600, episodic return=1872.0120849609375\n", + "global step=14235648, episodic return=1882.96435546875\n", + "global step=14235648, episodic return=1870.82177734375\n", + "global step=14235648, episodic return=1815.0469970703125\n", + "global step=14237696, episodic return=1843.2139892578125\n", + "global step=14237696, episodic return=1839.6517333984375\n", + "global step=14239744, episodic return=1801.7264404296875\n", + "global step=14239744, episodic return=1679.1710205078125\n", + "global step=14239744, episodic return=1802.4422607421875\n", + "global step=14243840, episodic return=1859.9803466796875\n", + "global step=14245888, episodic return=1830.333251953125\n", + "global step=14247936, episodic return=1908.414794921875\n", + "global step=14249984, episodic return=1890.28515625\n", + "global step=14252032, episodic return=1798.1058349609375\n", + "global step=14252032, episodic return=1861.9169921875\n", + "global step=14256128, episodic return=1819.6580810546875\n", + "global step=14256128, episodic return=1857.3734130859375\n", + "global step=14258176, episodic return=1827.9384765625\n", + "global step=14258176, episodic return=1827.2564697265625\n", + "global step=14258176, episodic return=1674.2677001953125\n", + "global step=14260224, episodic return=1901.5543212890625\n", + "global step=14260224, episodic return=1456.548828125\n", + "global step=14264320, episodic return=1846.614013671875\n", + "global step=14266368, episodic return=1805.6580810546875\n", + "global step=14268416, episodic return=1861.9166259765625\n", + "global step=14270464, episodic return=1848.100341796875\n", + "global step=14270464, episodic return=909.1934814453125\n", + "global step=14272512, episodic return=1839.20849609375\n", + "global step=14274560, episodic return=1917.9969482421875\n", + "global step=14274560, episodic return=1811.2099609375\n", + "global step=14274560, episodic return=1824.6495361328125\n", + "global step=14274560, episodic return=1842.828857421875\n", + "global step=14276608, episodic return=1895.6697998046875\n", + "global step=14278656, episodic return=1857.286865234375\n", + "global step=14280704, episodic return=1822.6026611328125\n", + "global step=14282752, episodic return=1882.0108642578125\n", + "global step=14284800, episodic return=1832.356201171875\n", + "global step=14286848, episodic return=1598.6376953125\n", + "global step=14290944, episodic return=1805.0323486328125\n", + "global step=14295040, episodic return=1941.21923828125\n", + "global step=14295040, episodic return=1827.3670654296875\n", + "global step=14295040, episodic return=1825.7271728515625\n", + "global step=14295040, episodic return=1844.8812255859375\n", + "global step=14297088, episodic return=1944.1033935546875\n", + "global step=14297088, episodic return=1896.2666015625\n", + "global step=14297088, episodic return=1832.0667724609375\n", + "global step=14299136, episodic return=1848.279296875\n", + "global step=14299136, episodic return=1847.8643798828125\n", + "global step=14301184, episodic return=1857.587890625\n", + "global step=14303232, episodic return=1842.8743896484375\n", + "global step=14303232, episodic return=1867.150390625\n", + "global step=14305280, episodic return=1832.3553466796875\n", + "global step=14305280, episodic return=1882.6763916015625\n", + "global step=14309376, episodic return=1822.067626953125\n", + "global step=14309376, episodic return=1796.1212158203125\n", + "global step=14311424, episodic return=1855.9500732421875\n", + "global step=14313472, episodic return=1864.539794921875\n", + "global step=14315520, episodic return=1918.231689453125\n", + "global step=14315520, episodic return=1808.936767578125\n", + "global step=14319616, episodic return=1780.194580078125\n", + "global step=14319616, episodic return=1864.3153076171875\n", + "global step=14323712, episodic return=1850.08935546875\n", + "global step=14323712, episodic return=1896.924072265625\n", + "global step=14325760, episodic return=1844.43408203125\n", + "global step=14325760, episodic return=1829.5496826171875\n", + "global step=14325760, episodic return=1838.864990234375\n", + "global step=14329856, episodic return=1834.561279296875\n", + "global step=14329856, episodic return=1850.52734375\n", + "global step=14329856, episodic return=1844.7210693359375\n", + "global step=14331904, episodic return=1861.4381103515625\n", + "global step=14333952, episodic return=1846.8707275390625\n", + "global step=14336000, episodic return=1861.721923828125\n", + "global step=14336000, episodic return=1918.6348876953125\n", + "global step=14338048, episodic return=1829.8321533203125\n", + "global step=14340096, episodic return=1049.9664306640625\n", + "global step=14340096, episodic return=1855.478759765625\n", + "global step=14342144, episodic return=1854.4052734375\n", + "global step=14342144, episodic return=1852.3939208984375\n", + "global step=14342144, episodic return=1849.67138671875\n", + "global step=14344192, episodic return=1833.7406005859375\n", + "global step=14344192, episodic return=1793.3092041015625\n", + "global step=14346240, episodic return=1856.36376953125\n", + "global step=14348288, episodic return=1788.637939453125\n", + "global step=14348288, episodic return=1814.8765869140625\n", + "global step=14350336, episodic return=1837.1112060546875\n", + "global step=14350336, episodic return=1855.012451171875\n", + "global step=14352384, episodic return=1908.0177001953125\n", + "global step=14352384, episodic return=1837.63916015625\n", + "global step=14354432, episodic return=1885.6390380859375\n", + "global step=14356480, episodic return=1861.5389404296875\n", + "global step=14356480, episodic return=1843.0975341796875\n", + "global step=14356480, episodic return=1851.56591796875\n", + "global step=14358528, episodic return=1858.541748046875\n", + "global step=14360576, episodic return=1829.62060546875\n", + "global step=14360576, episodic return=1851.1910400390625\n", + "global step=14362624, episodic return=1922.6312255859375\n", + "global step=14362624, episodic return=1829.7506103515625\n", + "global step=14364672, episodic return=1863.1466064453125\n", + "global step=14364672, episodic return=1802.513427734375\n", + "global step=14364672, episodic return=1810.9014892578125\n", + "global step=14368768, episodic return=1825.33447265625\n", + "global step=14368768, episodic return=1829.5137939453125\n", + "global step=14368768, episodic return=1850.6260986328125\n", + "global step=14370816, episodic return=1874.292724609375\n", + "global step=14370816, episodic return=1846.7994384765625\n", + "global step=14370816, episodic return=1857.8902587890625\n", + "global step=14372864, episodic return=1794.299560546875\n", + "global step=14372864, episodic return=1832.4541015625\n", + "global step=14372864, episodic return=1836.5584716796875\n", + "global step=14372864, episodic return=1828.0982666015625\n", + "global step=14374912, episodic return=1867.888671875\n", + "global step=14374912, episodic return=1864.2760009765625\n", + "global step=14379008, episodic return=1862.7020263671875\n", + "global step=14379008, episodic return=1830.480224609375\n", + "global step=14381056, episodic return=1833.6798095703125\n", + "global step=14381056, episodic return=1850.5797119140625\n", + "global step=14383104, episodic return=1851.810302734375\n", + "global step=14385152, episodic return=1848.5958251953125\n", + "global step=14385152, episodic return=1808.6666259765625\n", + "global step=14385152, episodic return=1833.73486328125\n", + "global step=14385152, episodic return=1867.9495849609375\n", + "global step=14387200, episodic return=1838.1739501953125\n", + "global step=14387200, episodic return=1817.8521728515625\n", + "global step=14387200, episodic return=1833.0042724609375\n", + "global step=14387200, episodic return=1869.025634765625\n", + "global step=14387200, episodic return=1827.5504150390625\n", + "global step=14393344, episodic return=1916.3780517578125\n", + "global step=14393344, episodic return=1901.3773193359375\n", + "global step=14393344, episodic return=1818.59423828125\n", + "global step=14393344, episodic return=1816.1707763671875\n", + "global step=14395392, episodic return=1886.9659423828125\n", + "global step=14395392, episodic return=1587.6248779296875\n", + "global step=14395392, episodic return=1829.2972412109375\n", + "global step=14397440, episodic return=1827.8206787109375\n", + "global step=14399488, episodic return=1872.61328125\n", + "global step=14403584, episodic return=1830.541259765625\n", + "global step=14403584, episodic return=1852.6658935546875\n", + "global step=14403584, episodic return=1824.409423828125\n", + "global step=14405632, episodic return=1812.82373046875\n", + "global step=14405632, episodic return=1881.534912109375\n", + "global step=14407680, episodic return=1822.7225341796875\n", + "global step=14409728, episodic return=1851.755615234375\n", + "global step=14411776, episodic return=1859.4244384765625\n", + "global step=14413824, episodic return=1864.10400390625\n", + "global step=14413824, episodic return=1816.2032470703125\n", + "global step=14413824, episodic return=1868.8809814453125\n", + "global step=14415872, episodic return=1876.1456298828125\n", + "global step=14415872, episodic return=1849.318359375\n", + "global step=14417920, episodic return=1695.7392578125\n", + "global step=14417920, episodic return=1857.138916015625\n", + "global step=14417920, episodic return=1903.5831298828125\n", + "global step=14417920, episodic return=1863.9833984375\n", + "global step=14419968, episodic return=1819.4072265625\n", + "global step=14419968, episodic return=1906.89892578125\n", + "global step=14419968, episodic return=1844.224365234375\n", + "global step=14419968, episodic return=1833.552001953125\n", + "global step=14419968, episodic return=1818.055908203125\n", + "global step=14422016, episodic return=1751.19580078125\n", + "global step=14422016, episodic return=1740.05322265625\n", + "global step=14424064, episodic return=1865.1856689453125\n", + "global step=14424064, episodic return=1890.7740478515625\n", + "global step=14426112, episodic return=1821.823974609375\n", + "global step=14426112, episodic return=1869.8486328125\n", + "global step=14428160, episodic return=1858.8720703125\n", + "global step=14430208, episodic return=1855.27587890625\n", + "global step=14430208, episodic return=1841.28759765625\n", + "global step=14432256, episodic return=1873.5584716796875\n", + "global step=14432256, episodic return=1799.012939453125\n", + "global step=14432256, episodic return=1896.45361328125\n", + "global step=14432256, episodic return=1766.372314453125\n", + "global step=14434304, episodic return=1831.71337890625\n", + "global step=14434304, episodic return=1845.4100341796875\n", + "global step=14434304, episodic return=1901.136474609375\n", + "global step=14434304, episodic return=1868.701904296875\n", + "global step=14436352, episodic return=1884.7373046875\n", + "global step=14436352, episodic return=1829.855224609375\n", + "global step=14436352, episodic return=1921.4920654296875\n", + "global step=14438400, episodic return=1800.9649658203125\n", + "global step=14440448, episodic return=1896.2462158203125\n", + "global step=14440448, episodic return=1817.892578125\n", + "global step=14440448, episodic return=1909.451416015625\n", + "global step=14440448, episodic return=1834.6689453125\n", + "global step=14440448, episodic return=1854.9981689453125\n", + "global step=14442496, episodic return=1931.4671630859375\n", + "global step=14444544, episodic return=1846.5523681640625\n", + "global step=14444544, episodic return=1880.412841796875\n", + "global step=14444544, episodic return=1875.6190185546875\n", + "global step=14444544, episodic return=1808.8294677734375\n", + "global step=14446592, episodic return=1879.43115234375\n", + "global step=14446592, episodic return=1833.1138916015625\n", + "global step=14446592, episodic return=1809.135498046875\n", + "global step=14448640, episodic return=1848.451171875\n", + "global step=14448640, episodic return=1842.7998046875\n", + "global step=14450688, episodic return=1868.8968505859375\n", + "global step=14450688, episodic return=1856.169921875\n", + "global step=14450688, episodic return=1861.23779296875\n", + "global step=14452736, episodic return=1908.029052734375\n", + "global step=14452736, episodic return=1850.3843994140625\n", + "global step=14452736, episodic return=1864.05029296875\n", + "global step=14454784, episodic return=1868.7017822265625\n", + "global step=14454784, episodic return=1888.34912109375\n", + "global step=14454784, episodic return=1889.830078125\n", + "global step=14454784, episodic return=1879.2442626953125\n", + "global step=14456832, episodic return=1337.66357421875\n", + "global step=14456832, episodic return=1889.9986572265625\n", + "global step=14456832, episodic return=1837.324951171875\n", + "global step=14458880, episodic return=1823.8800048828125\n", + "global step=14458880, episodic return=1863.48681640625\n", + "global step=14460928, episodic return=1873.7255859375\n", + "global step=14460928, episodic return=1830.737060546875\n", + "global step=14460928, episodic return=1840.1578369140625\n", + "global step=14462976, episodic return=1385.205078125\n", + "global step=14462976, episodic return=1842.9813232421875\n", + "global step=14462976, episodic return=1870.5052490234375\n", + "global step=14462976, episodic return=1894.18798828125\n", + "global step=14465024, episodic return=1804.45166015625\n", + "global step=14465024, episodic return=1855.90234375\n", + "global step=14465024, episodic return=1822.4365234375\n", + "global step=14465024, episodic return=1853.53125\n", + "global step=14467072, episodic return=1869.851318359375\n", + "global step=14467072, episodic return=1811.2674560546875\n", + "global step=14467072, episodic return=1832.320068359375\n", + "global step=14467072, episodic return=1860.837890625\n", + "global step=14467072, episodic return=1822.6954345703125\n", + "global step=14467072, episodic return=1823.7088623046875\n", + "global step=14469120, episodic return=1838.3961181640625\n", + "global step=14469120, episodic return=1855.9599609375\n", + "global step=14471168, episodic return=1850.8450927734375\n", + "global step=14471168, episodic return=1898.3333740234375\n", + "global step=14473216, episodic return=1856.12060546875\n", + "global step=14473216, episodic return=1857.6951904296875\n", + "global step=14475264, episodic return=1843.7938232421875\n", + "global step=14475264, episodic return=1360.33251953125\n", + "global step=14475264, episodic return=1831.128662109375\n", + "global step=14475264, episodic return=1856.6019287109375\n", + "global step=14475264, episodic return=1945.7862548828125\n", + "global step=14475264, episodic return=1848.421875\n", + "global step=14475264, episodic return=1822.779052734375\n", + "global step=14475264, episodic return=1872.8228759765625\n", + "global step=14477312, episodic return=1836.9947509765625\n", + "global step=14477312, episodic return=1795.340087890625\n", + "global step=14477312, episodic return=1949.7642822265625\n", + "global step=14479360, episodic return=1820.7742919921875\n", + "global step=14479360, episodic return=1872.1751708984375\n", + "global step=14479360, episodic return=1828.1451416015625\n", + "global step=14479360, episodic return=1841.6583251953125\n", + "global step=14479360, episodic return=1874.062255859375\n", + "global step=14479360, episodic return=1896.0279541015625\n", + "global step=14481408, episodic return=1829.0516357421875\n", + "global step=14481408, episodic return=1831.129150390625\n", + "global step=14481408, episodic return=1473.4156494140625\n", + "global step=14481408, episodic return=1863.75634765625\n", + "global step=14481408, episodic return=1858.543212890625\n", + "global step=14481408, episodic return=1838.6624755859375\n", + "global step=14483456, episodic return=1836.9925537109375\n", + "global step=14483456, episodic return=1849.5732421875\n", + "global step=14483456, episodic return=1837.4814453125\n", + "global step=14483456, episodic return=1812.52490234375\n", + "global step=14483456, episodic return=1818.28955078125\n", + "global step=14483456, episodic return=1841.534423828125\n", + "global step=14483456, episodic return=1818.6424560546875\n", + "global step=14483456, episodic return=1888.75634765625\n", + "global step=14485504, episodic return=1804.5780029296875\n", + "global step=14485504, episodic return=1828.4296875\n", + "global step=14485504, episodic return=1863.2586669921875\n", + "global step=14487552, episodic return=1795.2960205078125\n", + "global step=14487552, episodic return=1874.01123046875\n", + "global step=14489600, episodic return=1827.5367431640625\n", + "global step=14489600, episodic return=1914.931640625\n", + "global step=14489600, episodic return=1864.9063720703125\n", + "global step=14489600, episodic return=1841.9722900390625\n", + "global step=14489600, episodic return=1830.335205078125\n", + "global step=14491648, episodic return=1868.0101318359375\n", + "global step=14491648, episodic return=1834.8389892578125\n", + "global step=14491648, episodic return=1835.625\n", + "global step=14491648, episodic return=1848.4268798828125\n", + "global step=14491648, episodic return=1862.964599609375\n", + "global step=14491648, episodic return=1861.548828125\n", + "global step=14491648, episodic return=1821.2030029296875\n", + "global step=14493696, episodic return=1841.2489013671875\n", + "global step=14493696, episodic return=1796.3033447265625\n", + "global step=14493696, episodic return=1841.562744140625\n", + "global step=14495744, episodic return=1896.6644287109375\n", + "global step=14495744, episodic return=1845.8671875\n", + "global step=14495744, episodic return=1872.274658203125\n", + "global step=14495744, episodic return=1888.744873046875\n", + "global step=14497792, episodic return=1872.6475830078125\n", + "global step=14497792, episodic return=1852.6307373046875\n", + "global step=14497792, episodic return=1850.0352783203125\n", + "global step=14497792, episodic return=1873.177978515625\n", + "global step=14499840, episodic return=1822.49951171875\n", + "global step=14499840, episodic return=1867.4439697265625\n", + "global step=14499840, episodic return=1846.1829833984375\n", + "global step=14499840, episodic return=1833.1729736328125\n", + "global step=14499840, episodic return=1835.1895751953125\n", + "global step=14499840, episodic return=1809.15869140625\n", + "global step=14499840, episodic return=1822.2940673828125\n", + "global step=14501888, episodic return=1803.46484375\n", + "global step=14501888, episodic return=1869.7550048828125\n", + "global step=14501888, episodic return=1373.3936767578125\n", + "global step=14501888, episodic return=1835.0965576171875\n", + "global step=14501888, episodic return=1832.8031005859375\n", + "global step=14501888, episodic return=1850.2618408203125\n", + "global step=14503936, episodic return=1863.2828369140625\n", + "global step=14503936, episodic return=1818.74951171875\n", + "global step=14503936, episodic return=1840.3995361328125\n", + "global step=14503936, episodic return=1852.6866455078125\n", + "global step=14503936, episodic return=1857.7503662109375\n", + "global step=14503936, episodic return=1411.9376220703125\n", + "global step=14505984, episodic return=1834.976806640625\n", + "global step=14505984, episodic return=1806.7584228515625\n", + "global step=14508032, episodic return=1829.3026123046875\n", + "global step=14508032, episodic return=1908.6282958984375\n", + "global step=14510080, episodic return=1818.857666015625\n", + "global step=14510080, episodic return=1886.415771484375\n", + "global step=14510080, episodic return=1872.440673828125\n", + "global step=14510080, episodic return=1848.66845703125\n", + "global step=14510080, episodic return=1834.3890380859375\n", + "global step=14512128, episodic return=1801.8421630859375\n", + "global step=14512128, episodic return=1832.647705078125\n", + "global step=14514176, episodic return=1824.216552734375\n", + "global step=14514176, episodic return=1844.0076904296875\n", + "global step=14514176, episodic return=1831.663330078125\n", + "global step=14514176, episodic return=1830.325927734375\n", + "global step=14514176, episodic return=1862.48095703125\n", + "global step=14514176, episodic return=1846.4027099609375\n", + "global step=14514176, episodic return=1906.0496826171875\n", + "global step=14514176, episodic return=1892.6468505859375\n", + "global step=14516224, episodic return=1839.6695556640625\n", + "global step=14516224, episodic return=1875.4410400390625\n", + "global step=14516224, episodic return=1932.54052734375\n", + "global step=14518272, episodic return=1841.9515380859375\n", + "global step=14518272, episodic return=1854.43798828125\n", + "global step=14520320, episodic return=1836.63037109375\n", + "global step=14520320, episodic return=1824.3707275390625\n", + "global step=14520320, episodic return=1673.5523681640625\n", + "global step=14520320, episodic return=1890.563720703125\n", + "global step=14520320, episodic return=1885.7564697265625\n", + "global step=14520320, episodic return=1858.6351318359375\n", + "global step=14520320, episodic return=1821.1636962890625\n", + "global step=14520320, episodic return=1876.7080078125\n", + "global step=14522368, episodic return=1903.9432373046875\n", + "global step=14522368, episodic return=1852.8841552734375\n", + "global step=14522368, episodic return=1852.7427978515625\n", + "global step=14522368, episodic return=1846.030517578125\n", + "global step=14522368, episodic return=1869.3653564453125\n", + "global step=14522368, episodic return=1811.674072265625\n", + "global step=14524416, episodic return=1838.7847900390625\n", + "global step=14524416, episodic return=1829.064697265625\n", + "global step=14524416, episodic return=1814.705322265625\n", + "global step=14524416, episodic return=1878.3563232421875\n", + "global step=14524416, episodic return=1864.9873046875\n", + "global step=14526464, episodic return=1896.1483154296875\n", + "global step=14528512, episodic return=1928.0169677734375\n", + "global step=14528512, episodic return=1891.802490234375\n", + "global step=14528512, episodic return=1812.583251953125\n", + "global step=14528512, episodic return=1864.66162109375\n", + "global step=14528512, episodic return=1869.328125\n", + "global step=14530560, episodic return=1853.3895263671875\n", + "global step=14530560, episodic return=1898.4373779296875\n", + "global step=14530560, episodic return=1835.4222412109375\n", + "global step=14530560, episodic return=1809.117431640625\n", + "global step=14530560, episodic return=1847.3819580078125\n", + "global step=14530560, episodic return=1809.470458984375\n", + "global step=14532608, episodic return=1873.24169921875\n", + "global step=14532608, episodic return=1871.113525390625\n", + "global step=14532608, episodic return=1843.211181640625\n", + "global step=14532608, episodic return=1956.445068359375\n", + "global step=14534656, episodic return=1896.551025390625\n", + "global step=14534656, episodic return=1835.7625732421875\n", + "global step=14534656, episodic return=1838.5079345703125\n", + "global step=14536704, episodic return=1850.122802734375\n", + "global step=14536704, episodic return=1900.1900634765625\n", + "global step=14536704, episodic return=1890.928955078125\n", + "global step=14536704, episodic return=1861.5965576171875\n", + "global step=14536704, episodic return=1880.3115234375\n", + "global step=14536704, episodic return=1863.5062255859375\n", + "global step=14536704, episodic return=1984.1329345703125\n", + "global step=14536704, episodic return=1825.748779296875\n", + "global step=14536704, episodic return=1833.5098876953125\n", + "global step=14536704, episodic return=1394.902587890625\n", + "global step=14536704, episodic return=1915.743896484375\n", + "global step=14536704, episodic return=1838.77783203125\n", + "global step=14538752, episodic return=1901.3031005859375\n", + "global step=14538752, episodic return=1868.116455078125\n", + "global step=14540800, episodic return=1832.1787109375\n", + "global step=14540800, episodic return=1847.882568359375\n", + "global step=14540800, episodic return=1827.489990234375\n", + "global step=14542848, episodic return=1897.580322265625\n", + "global step=14542848, episodic return=1836.06884765625\n", + "global step=14544896, episodic return=1853.3917236328125\n", + "global step=14544896, episodic return=1886.488037109375\n", + "global step=14544896, episodic return=1861.3116455078125\n", + "global step=14546944, episodic return=1866.7047119140625\n", + "global step=14546944, episodic return=1857.7752685546875\n", + "global step=14546944, episodic return=1890.638671875\n", + "global step=14546944, episodic return=1896.3399658203125\n", + "global step=14546944, episodic return=1845.077880859375\n", + "global step=14548992, episodic return=1845.9122314453125\n", + "global step=14548992, episodic return=1836.6400146484375\n", + "global step=14551040, episodic return=1829.6221923828125\n", + "global step=14551040, episodic return=1893.8856201171875\n", + "global step=14551040, episodic return=1899.1923828125\n", + "global step=14551040, episodic return=1771.0648193359375\n", + "global step=14553088, episodic return=1832.3165283203125\n", + "global step=14553088, episodic return=1856.6796875\n", + "global step=14555136, episodic return=1841.8060302734375\n", + "global step=14555136, episodic return=1875.186279296875\n", + "global step=14555136, episodic return=1821.767333984375\n", + "global step=14555136, episodic return=1817.0335693359375\n", + "global step=14555136, episodic return=1842.67578125\n", + "global step=14555136, episodic return=1887.680419921875\n", + "global step=14555136, episodic return=1861.7666015625\n", + "global step=14557184, episodic return=1837.5780029296875\n", + "global step=14557184, episodic return=1816.201904296875\n", + "global step=14557184, episodic return=1838.3118896484375\n", + "global step=14557184, episodic return=1860.140869140625\n", + "global step=14557184, episodic return=1856.354248046875\n", + "global step=14559232, episodic return=1885.2987060546875\n", + "global step=14559232, episodic return=1843.752197265625\n", + "global step=14559232, episodic return=1875.9832763671875\n", + "global step=14559232, episodic return=1836.9111328125\n", + "global step=14559232, episodic return=1879.2847900390625\n", + "global step=14559232, episodic return=1867.3896484375\n", + "global step=14559232, episodic return=1822.512451171875\n", + "global step=14561280, episodic return=1847.9854736328125\n", + "global step=14561280, episodic return=1883.97314453125\n", + "global step=14561280, episodic return=1854.867431640625\n", + "global step=14561280, episodic return=1830.613037109375\n", + "global step=14563328, episodic return=1859.59033203125\n", + "global step=14563328, episodic return=1834.245849609375\n", + "global step=14563328, episodic return=1836.2867431640625\n", + "global step=14565376, episodic return=1859.2159423828125\n", + "global step=14565376, episodic return=1869.3853759765625\n", + "global step=14565376, episodic return=1840.1959228515625\n", + "global step=14565376, episodic return=1965.208984375\n", + "global step=14567424, episodic return=1839.2269287109375\n", + "global step=14567424, episodic return=1848.1009521484375\n", + "global step=14567424, episodic return=1869.4005126953125\n", + "global step=14567424, episodic return=1872.5333251953125\n", + "global step=14569472, episodic return=1832.0159912109375\n", + "global step=14569472, episodic return=1858.256591796875\n", + "global step=14569472, episodic return=1839.09619140625\n", + "global step=14571520, episodic return=1860.1397705078125\n", + "global step=14571520, episodic return=1854.6654052734375\n", + "global step=14573568, episodic return=1810.8544921875\n", + "global step=14573568, episodic return=1907.8135986328125\n", + "global step=14575616, episodic return=1842.7674560546875\n", + "global step=14575616, episodic return=1825.29248046875\n", + "global step=14575616, episodic return=1820.7327880859375\n", + "global step=14575616, episodic return=1847.686279296875\n", + "global step=14577664, episodic return=1862.5438232421875\n", + "global step=14577664, episodic return=1845.1900634765625\n", + "global step=14577664, episodic return=1852.6304931640625\n", + "global step=14577664, episodic return=1865.3060302734375\n", + "global step=14577664, episodic return=1856.1275634765625\n", + "global step=14577664, episodic return=1837.860595703125\n", + "global step=14577664, episodic return=1833.321044921875\n", + "global step=14577664, episodic return=1852.54736328125\n", + "global step=14579712, episodic return=1821.7327880859375\n", + "global step=14579712, episodic return=1836.664306640625\n", + "global step=14579712, episodic return=1893.4468994140625\n", + "global step=14579712, episodic return=1856.66162109375\n", + "global step=14579712, episodic return=1869.9129638671875\n", + "global step=14581760, episodic return=1839.88330078125\n", + "global step=14581760, episodic return=1835.767578125\n", + "global step=14581760, episodic return=1906.7303466796875\n", + "global step=14581760, episodic return=1847.5966796875\n", + "global step=14581760, episodic return=1827.4013671875\n", + "global step=14581760, episodic return=1876.542236328125\n", + "global step=14581760, episodic return=1786.7645263671875\n", + "global step=14581760, episodic return=1860.95166015625\n", + "global step=14583808, episodic return=1862.1082763671875\n", + "global step=14583808, episodic return=1877.4505615234375\n", + "global step=14585856, episodic return=1913.8126220703125\n", + "global step=14585856, episodic return=1860.9471435546875\n", + "global step=14585856, episodic return=1834.211669921875\n", + "global step=14585856, episodic return=1844.85302734375\n", + "global step=14587904, episodic return=1826.0577392578125\n", + "global step=14587904, episodic return=1834.517333984375\n", + "global step=14587904, episodic return=1858.5257568359375\n", + "global step=14587904, episodic return=1841.9736328125\n", + "global step=14587904, episodic return=1828.859619140625\n", + "global step=14589952, episodic return=1828.01416015625\n", + "global step=14589952, episodic return=1843.8583984375\n", + "global step=14589952, episodic return=1846.54345703125\n", + "global step=14589952, episodic return=1838.627197265625\n", + "global step=14589952, episodic return=1872.5953369140625\n", + "global step=14589952, episodic return=1938.8837890625\n", + "global step=14589952, episodic return=1853.1273193359375\n", + "global step=14589952, episodic return=1876.5863037109375\n", + "global step=14592000, episodic return=1891.6123046875\n", + "global step=14592000, episodic return=1870.4071044921875\n", + "global step=14592000, episodic return=1874.4593505859375\n", + "global step=14594048, episodic return=1847.5015869140625\n", + "global step=14594048, episodic return=1821.38232421875\n", + "global step=14594048, episodic return=1832.4305419921875\n", + "global step=14594048, episodic return=1828.732177734375\n", + "global step=14594048, episodic return=1864.650634765625\n", + "global step=14596096, episodic return=1894.2738037109375\n", + "global step=14596096, episodic return=1899.2650146484375\n", + "global step=14596096, episodic return=1840.9671630859375\n", + "global step=14596096, episodic return=1833.966796875\n", + "global step=14596096, episodic return=1837.3817138671875\n", + "global step=14598144, episodic return=1933.071533203125\n", + "global step=14598144, episodic return=1856.8023681640625\n", + "global step=14598144, episodic return=1869.1561279296875\n", + "global step=14598144, episodic return=1868.635986328125\n", + "global step=14598144, episodic return=1826.4517822265625\n", + "global step=14598144, episodic return=1902.4287109375\n", + "global step=14598144, episodic return=1869.0535888671875\n", + "global step=14598144, episodic return=1845.6668701171875\n", + "global step=14598144, episodic return=1826.4639892578125\n", + "global step=14598144, episodic return=1851.5499267578125\n", + "global step=14600192, episodic return=1822.5850830078125\n", + "global step=14600192, episodic return=1865.788818359375\n", + "global step=14600192, episodic return=1840.92333984375\n", + "global step=14600192, episodic return=1828.5799560546875\n", + "global step=14600192, episodic return=1817.0301513671875\n", + "global step=14600192, episodic return=1842.48779296875\n", + "global step=14602240, episodic return=1829.310791015625\n", + "global step=14602240, episodic return=1845.0936279296875\n", + "global step=14602240, episodic return=1837.4183349609375\n", + "global step=14602240, episodic return=1826.4639892578125\n", + "global step=14602240, episodic return=1831.263671875\n", + "global step=14604288, episodic return=1841.3153076171875\n", + "global step=14604288, episodic return=1837.22705078125\n", + "global step=14604288, episodic return=1855.8931884765625\n", + "global step=14604288, episodic return=1848.767333984375\n", + "global step=14606336, episodic return=1844.13232421875\n", + "global step=14606336, episodic return=1856.6185302734375\n", + "global step=14606336, episodic return=1857.89306640625\n", + "global step=14606336, episodic return=1853.7530517578125\n", + "global step=14606336, episodic return=1838.348876953125\n", + "global step=14606336, episodic return=1869.582763671875\n", + "global step=14606336, episodic return=1846.8956298828125\n", + "global step=14606336, episodic return=1988.3280029296875\n", + "global step=14608384, episodic return=1840.7528076171875\n", + "global step=14608384, episodic return=1888.487548828125\n", + "global step=14608384, episodic return=1834.79638671875\n", + "global step=14608384, episodic return=1844.8739013671875\n", + "global step=14610432, episodic return=1819.0655517578125\n", + "global step=14610432, episodic return=1821.830810546875\n", + "global step=14610432, episodic return=1845.5166015625\n", + "global step=14610432, episodic return=1868.4515380859375\n", + "global step=14610432, episodic return=1861.49755859375\n", + "global step=14612480, episodic return=1881.5079345703125\n", + "global step=14612480, episodic return=1882.802734375\n", + "global step=14612480, episodic return=1871.3880615234375\n", + "global step=14612480, episodic return=1850.163818359375\n", + "global step=14612480, episodic return=1809.5369873046875\n", + "global step=14614528, episodic return=1840.97607421875\n", + "global step=14614528, episodic return=1855.3779296875\n", + "global step=14614528, episodic return=1842.9915771484375\n", + "global step=14616576, episodic return=1897.2655029296875\n", + "global step=14616576, episodic return=1808.4287109375\n", + "global step=14616576, episodic return=1846.9603271484375\n", + "global step=14616576, episodic return=1875.5684814453125\n", + "global step=14618624, episodic return=1845.9903564453125\n", + "global step=14618624, episodic return=1824.8243408203125\n", + "global step=14618624, episodic return=1847.547607421875\n", + "global step=14618624, episodic return=1913.9825439453125\n", + "global step=14618624, episodic return=2019.293701171875\n", + "global step=14620672, episodic return=1883.8203125\n", + "global step=14620672, episodic return=1861.114013671875\n", + "global step=14620672, episodic return=1905.0501708984375\n", + "global step=14620672, episodic return=1845.4869384765625\n", + "global step=14620672, episodic return=1863.5460205078125\n", + "global step=14620672, episodic return=1848.292724609375\n", + "global step=14620672, episodic return=1846.4322509765625\n", + "global step=14620672, episodic return=1832.79150390625\n", + "global step=14620672, episodic return=1891.6097412109375\n", + "global step=14622720, episodic return=1864.3909912109375\n", + "global step=14622720, episodic return=1878.601318359375\n", + "global step=14624768, episodic return=1865.7598876953125\n", + "global step=14624768, episodic return=1852.0206298828125\n", + "global step=14624768, episodic return=1852.001953125\n", + "global step=14624768, episodic return=1849.9227294921875\n", + "global step=14624768, episodic return=1865.1712646484375\n", + "global step=14626816, episodic return=1859.7230224609375\n", + "global step=14626816, episodic return=1836.5704345703125\n", + "global step=14626816, episodic return=1847.7591552734375\n", + "global step=14626816, episodic return=1846.4923095703125\n", + "global step=14628864, episodic return=1835.8902587890625\n", + "global step=14628864, episodic return=1822.599365234375\n", + "global step=14628864, episodic return=1842.011962890625\n", + "global step=14628864, episodic return=1831.3199462890625\n", + "global step=14628864, episodic return=1837.862060546875\n", + "global step=14630912, episodic return=1844.3673095703125\n", + "global step=14630912, episodic return=1833.3555908203125\n", + "global step=14630912, episodic return=1872.5478515625\n", + "global step=14630912, episodic return=1829.96435546875\n", + "global step=14632960, episodic return=1885.121826171875\n", + "global step=14632960, episodic return=1843.0626220703125\n", + "global step=14632960, episodic return=1877.019775390625\n", + "global step=14632960, episodic return=1873.552978515625\n", + "global step=14632960, episodic return=1867.2509765625\n", + "global step=14632960, episodic return=1847.3402099609375\n", + "global step=14632960, episodic return=1858.77099609375\n", + "global step=14632960, episodic return=1948.675537109375\n", + "global step=14632960, episodic return=1862.5147705078125\n", + "global step=14632960, episodic return=1728.686767578125\n", + "global step=14635008, episodic return=1834.282470703125\n", + "global step=14635008, episodic return=1833.36572265625\n", + "global step=14635008, episodic return=1822.5452880859375\n", + "global step=14637056, episodic return=1842.93115234375\n", + "global step=14637056, episodic return=1862.8359375\n", + "global step=14637056, episodic return=1864.61328125\n", + "global step=14637056, episodic return=1840.315673828125\n", + "global step=14637056, episodic return=1844.4114990234375\n", + "global step=14637056, episodic return=1829.3616943359375\n", + "global step=14639104, episodic return=1856.8660888671875\n", + "global step=14639104, episodic return=1839.6280517578125\n", + "global step=14639104, episodic return=1820.939697265625\n", + "global step=14639104, episodic return=1856.5443115234375\n", + "global step=14641152, episodic return=1832.2432861328125\n", + "global step=14641152, episodic return=1854.14013671875\n", + "global step=14643200, episodic return=1827.3170166015625\n", + "global step=14643200, episodic return=1876.2760009765625\n", + "global step=14643200, episodic return=1883.91064453125\n", + "global step=14643200, episodic return=1821.65234375\n", + "global step=14643200, episodic return=1837.6029052734375\n", + "global step=14643200, episodic return=1845.6641845703125\n", + "global step=14643200, episodic return=1871.534423828125\n", + "global step=14643200, episodic return=1860.1204833984375\n", + "global step=14645248, episodic return=1810.66015625\n", + "global step=14645248, episodic return=1829.133544921875\n", + "global step=14647296, episodic return=1914.95849609375\n", + "global step=14647296, episodic return=1833.6243896484375\n", + "global step=14647296, episodic return=1824.7752685546875\n", + "global step=14647296, episodic return=1836.7130126953125\n", + "global step=14647296, episodic return=1937.5675048828125\n", + "global step=14647296, episodic return=1847.36962890625\n", + "global step=14649344, episodic return=1862.9027099609375\n", + "global step=14649344, episodic return=1852.6773681640625\n", + "global step=14649344, episodic return=1900.4049072265625\n", + "global step=14651392, episodic return=1850.712158203125\n", + "global step=14651392, episodic return=1862.6370849609375\n", + "global step=14651392, episodic return=1879.7252197265625\n", + "global step=14651392, episodic return=1820.43603515625\n", + "global step=14651392, episodic return=1869.291748046875\n", + "global step=14651392, episodic return=1833.2969970703125\n", + "global step=14653440, episodic return=1857.92822265625\n", + "global step=14653440, episodic return=1823.2652587890625\n", + "global step=14653440, episodic return=1875.0523681640625\n", + "global step=14653440, episodic return=1882.5740966796875\n", + "global step=14653440, episodic return=1852.3924560546875\n", + "global step=14655488, episodic return=1911.0809326171875\n", + "global step=14655488, episodic return=1925.8348388671875\n", + "global step=14655488, episodic return=1819.0614013671875\n", + "global step=14655488, episodic return=1119.95263671875\n", + "global step=14655488, episodic return=1881.0924072265625\n", + "global step=14655488, episodic return=1833.110595703125\n", + "global step=14655488, episodic return=1856.2998046875\n", + "global step=14657536, episodic return=1842.35693359375\n", + "global step=14657536, episodic return=1849.18505859375\n", + "global step=14657536, episodic return=1884.1737060546875\n", + "global step=14657536, episodic return=1845.751953125\n", + "global step=14659584, episodic return=1839.1802978515625\n", + "global step=14659584, episodic return=1835.0462646484375\n", + "global step=14661632, episodic return=1877.8048095703125\n", + "global step=14661632, episodic return=1888.5635986328125\n", + "global step=14663680, episodic return=1882.7247314453125\n", + "global step=14663680, episodic return=1834.0799560546875\n", + "global step=14663680, episodic return=1914.104248046875\n", + "global step=14665728, episodic return=1872.5931396484375\n", + "global step=14665728, episodic return=1866.5926513671875\n", + "global step=14667776, episodic return=1849.316162109375\n", + "global step=14667776, episodic return=1866.71875\n", + "global step=14667776, episodic return=1874.79541015625\n", + "global step=14667776, episodic return=1883.96826171875\n", + "global step=14667776, episodic return=1821.4781494140625\n", + "global step=14669824, episodic return=1859.091552734375\n", + "global step=14669824, episodic return=1864.307373046875\n", + "global step=14669824, episodic return=1843.8829345703125\n", + "global step=14669824, episodic return=1827.991943359375\n", + "global step=14669824, episodic return=1862.791259765625\n", + "global step=14671872, episodic return=1914.177001953125\n", + "global step=14671872, episodic return=1849.6051025390625\n", + "global step=14673920, episodic return=1829.5341796875\n", + "global step=14673920, episodic return=1840.7021484375\n", + "global step=14673920, episodic return=1839.9798583984375\n", + "global step=14673920, episodic return=1786.5003662109375\n", + "global step=14675968, episodic return=1873.1795654296875\n", + "global step=14675968, episodic return=1859.3109130859375\n", + "global step=14675968, episodic return=1891.455810546875\n", + "global step=14675968, episodic return=1814.3411865234375\n", + "global step=14678016, episodic return=1822.2235107421875\n", + "global step=14678016, episodic return=1878.2056884765625\n", + "global step=14678016, episodic return=1812.8350830078125\n", + "global step=14678016, episodic return=1832.5760498046875\n", + "global step=14678016, episodic return=1841.886962890625\n", + "global step=14678016, episodic return=1851.4144287109375\n", + "global step=14678016, episodic return=1857.4296875\n", + "global step=14678016, episodic return=1844.7728271484375\n", + "global step=14680064, episodic return=1835.0350341796875\n", + "global step=14680064, episodic return=1818.00341796875\n", + "global step=14680064, episodic return=1863.6409912109375\n", + "global step=14680064, episodic return=1883.1246337890625\n", + "global step=14682112, episodic return=1828.888427734375\n", + "global step=14682112, episodic return=1842.2288818359375\n", + "global step=14682112, episodic return=1866.3828125\n", + "global step=14682112, episodic return=1893.494384765625\n", + "global step=14682112, episodic return=1866.8671875\n", + "global step=14684160, episodic return=1855.0023193359375\n", + "global step=14684160, episodic return=1880.8446044921875\n", + "global step=14684160, episodic return=1849.741455078125\n", + "global step=14684160, episodic return=1852.3218994140625\n", + "global step=14684160, episodic return=1983.0821533203125\n", + "global step=14686208, episodic return=1841.1422119140625\n", + "global step=14686208, episodic return=1869.3155517578125\n", + "global step=14686208, episodic return=1878.08837890625\n", + "global step=14686208, episodic return=1845.614501953125\n", + "global step=14686208, episodic return=1977.64794921875\n", + "global step=14686208, episodic return=1889.248779296875\n", + "global step=14688256, episodic return=1830.7100830078125\n", + "global step=14688256, episodic return=1961.2843017578125\n", + "global step=14688256, episodic return=1858.8304443359375\n", + "global step=14688256, episodic return=1869.7767333984375\n", + "global step=14690304, episodic return=1833.9591064453125\n", + "global step=14690304, episodic return=1834.602294921875\n", + "global step=14690304, episodic return=1811.1922607421875\n", + "global step=14690304, episodic return=1893.640869140625\n", + "global step=14690304, episodic return=1891.8775634765625\n", + "global step=14690304, episodic return=1855.175048828125\n", + "global step=14692352, episodic return=1860.2579345703125\n", + "global step=14692352, episodic return=1862.7042236328125\n", + "global step=14692352, episodic return=1902.4405517578125\n", + "global step=14694400, episodic return=1056.2459716796875\n", + "global step=14694400, episodic return=1862.62939453125\n", + "global step=14694400, episodic return=1828.11279296875\n", + "global step=14694400, episodic return=1871.449951171875\n", + "global step=14694400, episodic return=1905.562255859375\n", + "global step=14694400, episodic return=1863.4246826171875\n", + "global step=14694400, episodic return=1853.108642578125\n", + "global step=14696448, episodic return=1842.635986328125\n", + "global step=14696448, episodic return=1853.012939453125\n", + "global step=14696448, episodic return=1870.3201904296875\n", + "global step=14696448, episodic return=1873.5318603515625\n", + "global step=14698496, episodic return=1842.1568603515625\n", + "global step=14698496, episodic return=1830.437744140625\n", + "global step=14698496, episodic return=1826.1854248046875\n", + "global step=14698496, episodic return=1932.3544921875\n", + "global step=14698496, episodic return=1858.2091064453125\n", + "global step=14700544, episodic return=1931.56787109375\n", + "global step=14700544, episodic return=1835.9501953125\n", + "global step=14700544, episodic return=1839.1573486328125\n", + "global step=14702592, episodic return=1843.5262451171875\n", + "global step=14702592, episodic return=1894.4254150390625\n", + "global step=14702592, episodic return=1870.612548828125\n", + "global step=14702592, episodic return=1853.164794921875\n", + "global step=14702592, episodic return=1841.3743896484375\n", + "global step=14702592, episodic return=1827.8514404296875\n", + "global step=14704640, episodic return=1884.8714599609375\n", + "global step=14704640, episodic return=1848.402099609375\n", + "global step=14704640, episodic return=1837.310791015625\n", + "global step=14704640, episodic return=1819.367919921875\n", + "global step=14704640, episodic return=1828.8541259765625\n", + "global step=14704640, episodic return=1886.6568603515625\n", + "global step=14704640, episodic return=1827.2041015625\n", + "global step=14704640, episodic return=1870.6732177734375\n", + "global step=14706688, episodic return=1882.638916015625\n", + "global step=14706688, episodic return=1873.505859375\n", + "global step=14706688, episodic return=1929.9200439453125\n", + "global step=14708736, episodic return=1863.1124267578125\n", + "global step=14708736, episodic return=1959.5914306640625\n", + "global step=14708736, episodic return=1864.5770263671875\n", + "global step=14708736, episodic return=1830.4439697265625\n", + "global step=14710784, episodic return=1871.851806640625\n", + "global step=14710784, episodic return=1823.639404296875\n", + "global step=14710784, episodic return=1843.882080078125\n", + "global step=14710784, episodic return=1888.2938232421875\n", + "global step=14710784, episodic return=1822.133056640625\n", + "global step=14710784, episodic return=1835.1976318359375\n", + "global step=14710784, episodic return=1908.5794677734375\n", + "global step=14710784, episodic return=1842.5545654296875\n", + "global step=14712832, episodic return=1905.31787109375\n", + "global step=14712832, episodic return=1840.1165771484375\n", + "global step=14712832, episodic return=1835.566650390625\n", + "global step=14712832, episodic return=1863.2884521484375\n", + "global step=14714880, episodic return=1862.9154052734375\n", + "global step=14714880, episodic return=1833.5078125\n", + "global step=14714880, episodic return=1863.9312744140625\n", + "global step=14714880, episodic return=1882.5947265625\n", + "global step=14716928, episodic return=1896.4696044921875\n", + "global step=14716928, episodic return=1831.902099609375\n", + "global step=14716928, episodic return=1858.765380859375\n", + "global step=14716928, episodic return=1850.59228515625\n", + "global step=14716928, episodic return=1837.62060546875\n", + "global step=14718976, episodic return=1871.19287109375\n", + "global step=14718976, episodic return=1888.2384033203125\n", + "global step=14718976, episodic return=1905.283935546875\n", + "global step=14718976, episodic return=1860.4969482421875\n", + "global step=14718976, episodic return=1915.66015625\n", + "global step=14718976, episodic return=1806.7744140625\n", + "global step=14721024, episodic return=1847.819091796875\n", + "global step=14721024, episodic return=1831.6014404296875\n", + "global step=14721024, episodic return=1869.176513671875\n", + "global step=14721024, episodic return=1841.881591796875\n", + "global step=14721024, episodic return=1843.2685546875\n", + "global step=14721024, episodic return=1872.911865234375\n", + "global step=14721024, episodic return=1850.50244140625\n", + "global step=14723072, episodic return=1840.40283203125\n", + "global step=14723072, episodic return=1855.6820068359375\n", + "global step=14725120, episodic return=1861.458251953125\n", + "global step=14725120, episodic return=1849.3055419921875\n", + "global step=14725120, episodic return=1845.318115234375\n", + "global step=14725120, episodic return=1849.4705810546875\n", + "global step=14727168, episodic return=1878.6375732421875\n", + "global step=14727168, episodic return=1846.766845703125\n", + "global step=14727168, episodic return=1840.84619140625\n", + "global step=14727168, episodic return=1820.8016357421875\n", + "global step=14727168, episodic return=1840.1650390625\n", + "global step=14727168, episodic return=1900.0037841796875\n", + "global step=14729216, episodic return=1829.776123046875\n", + "global step=14729216, episodic return=1845.2451171875\n", + "global step=14729216, episodic return=1835.6131591796875\n", + "global step=14731264, episodic return=1867.09716796875\n", + "global step=14731264, episodic return=1856.2034912109375\n", + "global step=14733312, episodic return=1837.8240966796875\n", + "global step=14735360, episodic return=1911.3905029296875\n", + "global step=14735360, episodic return=1928.8348388671875\n", + "global step=14735360, episodic return=1859.051025390625\n", + "global step=14735360, episodic return=1848.046875\n", + "global step=14735360, episodic return=1902.9959716796875\n", + "global step=14737408, episodic return=1841.65869140625\n", + "global step=14737408, episodic return=1854.2418212890625\n", + "global step=14737408, episodic return=1610.7569580078125\n", + "global step=14737408, episodic return=1529.577880859375\n", + "global step=14739456, episodic return=1958.3770751953125\n", + "global step=14739456, episodic return=1869.4666748046875\n", + "global step=14739456, episodic return=1842.446044921875\n", + "global step=14739456, episodic return=1861.6339111328125\n", + "global step=14739456, episodic return=24.240150451660156\n", + "global step=14741504, episodic return=1827.159423828125\n", + "global step=14741504, episodic return=1835.562744140625\n", + "global step=14741504, episodic return=1840.0831298828125\n", + "global step=14741504, episodic return=1822.7193603515625\n", + "global step=14743552, episodic return=1864.4217529296875\n", + "global step=14743552, episodic return=1836.123291015625\n", + "global step=14743552, episodic return=1825.923095703125\n", + "global step=14743552, episodic return=1865.5592041015625\n", + "global step=14745600, episodic return=1849.7410888671875\n", + "global step=14745600, episodic return=1857.234130859375\n", + "global step=14745600, episodic return=1895.465576171875\n", + "global step=14745600, episodic return=1849.3916015625\n", + "global step=14747648, episodic return=1835.95703125\n", + "global step=14747648, episodic return=1843.63525390625\n", + "global step=14747648, episodic return=1891.0594482421875\n", + "global step=14747648, episodic return=1833.078369140625\n", + "global step=14747648, episodic return=1845.6058349609375\n", + "global step=14747648, episodic return=1905.2166748046875\n", + "global step=14747648, episodic return=1827.712158203125\n", + "global step=14749696, episodic return=1864.8875732421875\n", + "global step=14749696, episodic return=1864.9844970703125\n", + "global step=14749696, episodic return=1824.0458984375\n", + "global step=14749696, episodic return=1861.304931640625\n", + "global step=14749696, episodic return=1841.9808349609375\n", + "global step=14749696, episodic return=1828.7396240234375\n", + "global step=14749696, episodic return=1830.6666259765625\n", + "global step=14749696, episodic return=1815.458251953125\n", + "global step=14751744, episodic return=1874.6463623046875\n", + "global step=14751744, episodic return=1851.4053955078125\n", + "global step=14751744, episodic return=1848.4971923828125\n", + "global step=14751744, episodic return=1866.412353515625\n", + "global step=14751744, episodic return=1850.7142333984375\n", + "global step=14753792, episodic return=1838.2490234375\n", + "global step=14753792, episodic return=1827.26806640625\n", + "global step=14753792, episodic return=1834.122802734375\n", + "global step=14753792, episodic return=1851.672607421875\n", + "global step=14753792, episodic return=1835.1639404296875\n", + "global step=14753792, episodic return=1844.844482421875\n", + "global step=14755840, episodic return=1843.66552734375\n", + "global step=14755840, episodic return=1886.0958251953125\n", + "global step=14755840, episodic return=1875.4580078125\n", + "global step=14755840, episodic return=1713.13671875\n", + "global step=14757888, episodic return=1890.3133544921875\n", + "global step=14757888, episodic return=1849.6617431640625\n", + "global step=14757888, episodic return=1844.6688232421875\n", + "global step=14759936, episodic return=1834.0771484375\n", + "global step=14759936, episodic return=1849.57568359375\n", + "global step=14759936, episodic return=1837.6085205078125\n", + "global step=14759936, episodic return=1839.8758544921875\n", + "global step=14761984, episodic return=1829.9964599609375\n", + "global step=14761984, episodic return=1863.6988525390625\n", + "global step=14761984, episodic return=1828.935546875\n", + "global step=14764032, episodic return=1859.7369384765625\n", + "global step=14764032, episodic return=1846.332275390625\n", + "global step=14764032, episodic return=1891.291748046875\n", + "global step=14766080, episodic return=1851.733154296875\n", + "global step=14766080, episodic return=1828.1134033203125\n", + "global step=14766080, episodic return=1842.027099609375\n", + "global step=14766080, episodic return=1868.577392578125\n", + "global step=14766080, episodic return=1842.3428955078125\n", + "global step=14766080, episodic return=1834.239990234375\n", + "global step=14768128, episodic return=1865.578125\n", + "global step=14768128, episodic return=1846.38330078125\n", + "global step=14768128, episodic return=1861.73388671875\n", + "global step=14770176, episodic return=1816.1790771484375\n", + "global step=14770176, episodic return=1864.9302978515625\n", + "global step=14770176, episodic return=1811.160400390625\n", + "global step=14772224, episodic return=1832.7066650390625\n", + "global step=14772224, episodic return=1812.823974609375\n", + "global step=14772224, episodic return=1866.4222412109375\n", + "global step=14774272, episodic return=1886.4866943359375\n", + "global step=14774272, episodic return=1888.89794921875\n", + "global step=14774272, episodic return=1868.362548828125\n", + "global step=14776320, episodic return=1859.0687255859375\n", + "global step=14776320, episodic return=1864.4991455078125\n", + "global step=14776320, episodic return=1835.2840576171875\n", + "global step=14776320, episodic return=1851.6683349609375\n", + "global step=14776320, episodic return=1824.466552734375\n", + "global step=14778368, episodic return=1834.5123291015625\n", + "global step=14778368, episodic return=1825.0457763671875\n", + "global step=14778368, episodic return=1834.9622802734375\n", + "global step=14778368, episodic return=1841.7608642578125\n", + "global step=14780416, episodic return=1899.456787109375\n", + "global step=14780416, episodic return=1846.20751953125\n", + "global step=14780416, episodic return=1833.452880859375\n", + "global step=14780416, episodic return=1814.152099609375\n", + "global step=14780416, episodic return=1833.2598876953125\n", + "global step=14782464, episodic return=1861.154052734375\n", + "global step=14782464, episodic return=1829.6011962890625\n", + "global step=14782464, episodic return=1854.9888916015625\n", + "global step=14784512, episodic return=1852.20068359375\n", + "global step=14784512, episodic return=1879.546875\n", + "global step=14784512, episodic return=1868.5819091796875\n", + "global step=14784512, episodic return=1880.1043701171875\n", + "global step=14786560, episodic return=1829.048828125\n", + "global step=14786560, episodic return=1857.9381103515625\n", + "global step=14786560, episodic return=1851.7606201171875\n", + "global step=14786560, episodic return=1829.79443359375\n", + "global step=14786560, episodic return=1843.7115478515625\n", + "global step=14788608, episodic return=1844.077392578125\n", + "global step=14788608, episodic return=1854.7891845703125\n", + "global step=14788608, episodic return=1825.9798583984375\n", + "global step=14790656, episodic return=1840.0006103515625\n", + "global step=14790656, episodic return=1833.199951171875\n", + "global step=14792704, episodic return=1828.2244873046875\n", + "global step=14792704, episodic return=1827.3399658203125\n", + "global step=14792704, episodic return=1826.6226806640625\n", + "global step=14792704, episodic return=1795.625\n", + "global step=14794752, episodic return=1842.998046875\n", + "global step=14794752, episodic return=1861.7431640625\n", + "global step=14796800, episodic return=1836.20703125\n", + "global step=14796800, episodic return=1902.57763671875\n", + "global step=14796800, episodic return=1858.481689453125\n", + "global step=14796800, episodic return=1835.1234130859375\n", + "global step=14796800, episodic return=1833.108154296875\n", + "global step=14798848, episodic return=1832.9556884765625\n", + "global step=14798848, episodic return=1870.9552001953125\n", + "global step=14798848, episodic return=1900.45263671875\n", + "global step=14800896, episodic return=1875.6363525390625\n", + "global step=14800896, episodic return=1846.6395263671875\n", + "global step=14800896, episodic return=1852.16845703125\n", + "global step=14800896, episodic return=1842.121337890625\n", + "global step=14800896, episodic return=1847.6568603515625\n", + "global step=14802944, episodic return=1829.9453125\n", + "global step=14802944, episodic return=1823.3265380859375\n", + "global step=14802944, episodic return=1817.1981201171875\n", + "global step=14802944, episodic return=1849.4290771484375\n", + "global step=14804992, episodic return=1827.53125\n", + "global step=14804992, episodic return=1846.0675048828125\n", + "global step=14804992, episodic return=1863.6431884765625\n", + "global step=14807040, episodic return=1821.7032470703125\n", + "global step=14807040, episodic return=1833.7720947265625\n", + "global step=14807040, episodic return=1835.4222412109375\n", + "global step=14807040, episodic return=1900.2359619140625\n", + "global step=14809088, episodic return=1831.06640625\n", + "global step=14809088, episodic return=1831.871337890625\n", + "global step=14809088, episodic return=1175.482177734375\n", + "global step=14809088, episodic return=1800.1162109375\n", + "global step=14809088, episodic return=1889.070068359375\n", + "global step=14809088, episodic return=1857.4056396484375\n", + "global step=14811136, episodic return=1804.6749267578125\n", + "global step=14811136, episodic return=1833.24365234375\n", + "global step=14813184, episodic return=1858.5986328125\n", + "global step=14813184, episodic return=1837.9027099609375\n", + "global step=14813184, episodic return=1821.4644775390625\n", + "global step=14813184, episodic return=1846.5947265625\n", + "global step=14813184, episodic return=1836.55712890625\n", + "global step=14813184, episodic return=1834.6199951171875\n", + "global step=14813184, episodic return=1847.12939453125\n", + "global step=14813184, episodic return=1853.6988525390625\n", + "global step=14815232, episodic return=1826.81396484375\n", + "global step=14815232, episodic return=1857.90185546875\n", + "global step=14815232, episodic return=1850.6439208984375\n", + "global step=14815232, episodic return=1824.6519775390625\n", + "global step=14815232, episodic return=1820.82568359375\n", + "global step=14815232, episodic return=1924.7545166015625\n", + "global step=14817280, episodic return=1845.811767578125\n", + "global step=14817280, episodic return=1866.1220703125\n", + "global step=14819328, episodic return=1837.6981201171875\n", + "global step=14819328, episodic return=1845.5517578125\n", + "global step=14819328, episodic return=1836.8316650390625\n", + "global step=14819328, episodic return=1824.5994873046875\n", + "global step=14819328, episodic return=1809.8560791015625\n", + "global step=14821376, episodic return=1836.913330078125\n", + "global step=14821376, episodic return=1844.1822509765625\n", + "global step=14823424, episodic return=1865.3836669921875\n", + "global step=14823424, episodic return=1833.1080322265625\n", + "global step=14823424, episodic return=1841.2490234375\n", + "global step=14823424, episodic return=1456.427978515625\n", + "global step=14825472, episodic return=1801.273193359375\n", + "global step=14825472, episodic return=1868.3052978515625\n", + "global step=14825472, episodic return=1825.332763671875\n", + "global step=14825472, episodic return=1849.9248046875\n", + "global step=14827520, episodic return=1791.4693603515625\n", + "global step=14827520, episodic return=1862.3753662109375\n", + "global step=14829568, episodic return=1889.958251953125\n", + "global step=14829568, episodic return=1819.270751953125\n", + "global step=14829568, episodic return=1848.631591796875\n", + "global step=14829568, episodic return=1854.9267578125\n", + "global step=14829568, episodic return=1839.8233642578125\n", + "global step=14831616, episodic return=1828.1043701171875\n", + "global step=14831616, episodic return=1849.3961181640625\n", + "global step=14833664, episodic return=1850.082763671875\n", + "global step=14833664, episodic return=1818.4124755859375\n", + "global step=14833664, episodic return=1842.9703369140625\n", + "global step=14833664, episodic return=1830.648193359375\n", + "global step=14833664, episodic return=1847.71044921875\n", + "global step=14833664, episodic return=1888.9600830078125\n", + "global step=14835712, episodic return=1824.25048828125\n", + "global step=14835712, episodic return=1842.9915771484375\n", + "global step=14837760, episodic return=1859.884033203125\n", + "global step=14839808, episodic return=1835.6318359375\n", + "global step=14839808, episodic return=1838.027587890625\n", + "global step=14841856, episodic return=1839.0421142578125\n", + "global step=14841856, episodic return=1839.837158203125\n", + "global step=14841856, episodic return=1844.0443115234375\n", + "global step=14841856, episodic return=1828.6424560546875\n", + "global step=14841856, episodic return=1851.1904296875\n", + "global step=14843904, episodic return=1855.5308837890625\n", + "global step=14843904, episodic return=1891.666748046875\n", + "global step=14843904, episodic return=1827.9498291015625\n", + "global step=14845952, episodic return=1856.5191650390625\n", + "global step=14845952, episodic return=1861.7979736328125\n", + "global step=14845952, episodic return=1828.5369873046875\n", + "global step=14845952, episodic return=1837.2935791015625\n", + "global step=14845952, episodic return=1834.419921875\n", + "global step=14845952, episodic return=1899.483154296875\n", + "global step=14845952, episodic return=1811.334228515625\n", + "global step=14845952, episodic return=1831.02880859375\n", + "global step=14848000, episodic return=1848.3084716796875\n", + "global step=14848000, episodic return=1861.3602294921875\n", + "global step=14848000, episodic return=1840.2171630859375\n", + "global step=14848000, episodic return=1822.37109375\n", + "global step=14848000, episodic return=1831.1759033203125\n", + "global step=14850048, episodic return=1829.8367919921875\n", + "global step=14850048, episodic return=1831.722412109375\n", + "global step=14850048, episodic return=1863.4810791015625\n", + "global step=14850048, episodic return=1845.3253173828125\n", + "global step=14854144, episodic return=1578.7725830078125\n", + "global step=14854144, episodic return=1833.3397216796875\n", + "global step=14854144, episodic return=1845.530029296875\n", + "global step=14854144, episodic return=1857.1434326171875\n", + "global step=14854144, episodic return=1842.0592041015625\n", + "global step=14856192, episodic return=1858.687255859375\n", + "global step=14856192, episodic return=1847.8095703125\n", + "global step=14856192, episodic return=1810.658203125\n", + "global step=14856192, episodic return=1809.076904296875\n", + "global step=14858240, episodic return=1830.0369873046875\n", + "global step=14858240, episodic return=1811.773681640625\n", + "global step=14860288, episodic return=1660.164306640625\n", + "global step=14860288, episodic return=1810.3997802734375\n", + "global step=14860288, episodic return=1844.8902587890625\n", + "global step=14860288, episodic return=1827.571533203125\n", + "global step=14860288, episodic return=1836.0498046875\n", + "global step=14860288, episodic return=1912.7977294921875\n", + "global step=14862336, episodic return=1847.062744140625\n", + "global step=14866432, episodic return=1834.7744140625\n", + "global step=14866432, episodic return=1836.6373291015625\n", + "global step=14868480, episodic return=1835.83740234375\n", + "global step=14868480, episodic return=1876.700439453125\n", + "global step=14868480, episodic return=1827.3477783203125\n", + "global step=14870528, episodic return=832.4187622070312\n", + "global step=14870528, episodic return=1832.833740234375\n", + "global step=14872576, episodic return=1826.85107421875\n", + "global step=14872576, episodic return=1700.5657958984375\n", + "global step=14874624, episodic return=1901.64013671875\n", + "global step=14874624, episodic return=1820.6453857421875\n", + "global step=14874624, episodic return=1880.08349609375\n", + "global step=14874624, episodic return=1808.4967041015625\n", + "global step=14876672, episodic return=1824.3509521484375\n", + "global step=14876672, episodic return=1878.8209228515625\n", + "global step=14878720, episodic return=1840.6751708984375\n", + "global step=14878720, episodic return=1857.7183837890625\n", + "global step=14880768, episodic return=1849.9556884765625\n", + "global step=14880768, episodic return=1837.0052490234375\n", + "global step=14880768, episodic return=1812.609130859375\n", + "global step=14882816, episodic return=1877.309814453125\n", + "global step=14882816, episodic return=1832.554443359375\n", + "global step=14886912, episodic return=1920.156982421875\n", + "global step=14886912, episodic return=1843.548095703125\n", + "global step=14886912, episodic return=1905.2347412109375\n", + "global step=14886912, episodic return=1837.984130859375\n", + "global step=14891008, episodic return=1824.6640625\n", + "global step=14891008, episodic return=1848.79736328125\n", + "global step=14891008, episodic return=1839.8304443359375\n", + "global step=14893056, episodic return=1846.57373046875\n", + "global step=14893056, episodic return=1840.95703125\n", + "global step=14893056, episodic return=1850.74169921875\n", + "global step=14895104, episodic return=1839.647705078125\n", + "global step=14895104, episodic return=1832.2701416015625\n", + "global step=14895104, episodic return=1827.4705810546875\n", + "global step=14899200, episodic return=1839.9364013671875\n", + "global step=14899200, episodic return=1831.1500244140625\n", + "global step=14899200, episodic return=1845.42138671875\n", + "global step=14903296, episodic return=1886.064208984375\n", + "global step=14903296, episodic return=1834.7532958984375\n", + "global step=14903296, episodic return=1742.32666015625\n", + "global step=14903296, episodic return=1885.1385498046875\n", + "global step=14903296, episodic return=1831.7833251953125\n", + "global step=14905344, episodic return=1831.1790771484375\n", + "global step=14905344, episodic return=1822.2652587890625\n", + "global step=14905344, episodic return=1808.7642822265625\n", + "global step=14905344, episodic return=1811.0595703125\n", + "global step=14905344, episodic return=1839.787841796875\n", + "global step=14905344, episodic return=1842.0731201171875\n", + "global step=14907392, episodic return=1751.9293212890625\n", + "global step=14909440, episodic return=1850.23046875\n", + "global step=14911488, episodic return=1855.53076171875\n", + "global step=14913536, episodic return=1851.5057373046875\n", + "global step=14913536, episodic return=1900.494873046875\n", + "global step=14913536, episodic return=1821.968505859375\n", + "global step=14913536, episodic return=1852.4417724609375\n", + "global step=14917632, episodic return=1869.088134765625\n", + "global step=14917632, episodic return=1842.6585693359375\n", + "global step=14917632, episodic return=1846.3575439453125\n", + "global step=14917632, episodic return=1811.9183349609375\n", + "global step=14919680, episodic return=1857.5006103515625\n", + "global step=14921728, episodic return=1890.355712890625\n", + "global step=14921728, episodic return=1392.4674072265625\n", + "global step=14921728, episodic return=1850.7650146484375\n", + "global step=14923776, episodic return=1824.872314453125\n", + "global step=14923776, episodic return=1843.215576171875\n", + "global step=14923776, episodic return=1871.640625\n", + "global step=14923776, episodic return=1838.0997314453125\n", + "global step=14923776, episodic return=1887.7161865234375\n", + "global step=14925824, episodic return=1854.77978515625\n", + "global step=14927872, episodic return=1825.4080810546875\n", + "global step=14927872, episodic return=1888.8944091796875\n", + "global step=14929920, episodic return=1852.8309326171875\n", + "global step=14931968, episodic return=1847.0208740234375\n", + "global step=14931968, episodic return=1553.8402099609375\n", + "global step=14931968, episodic return=1120.896728515625\n", + "global step=14931968, episodic return=1835.64892578125\n", + "global step=14934016, episodic return=1886.321533203125\n", + "global step=14934016, episodic return=1886.9718017578125\n", + "global step=14934016, episodic return=1833.9061279296875\n", + "global step=14934016, episodic return=1801.904296875\n", + "global step=14936064, episodic return=1853.1319580078125\n", + "global step=14936064, episodic return=1870.08837890625\n", + "global step=14936064, episodic return=1771.8797607421875\n", + "global step=14936064, episodic return=1825.87646484375\n", + "global step=14938112, episodic return=1834.7161865234375\n", + "global step=14938112, episodic return=1830.5086669921875\n", + "global step=14940160, episodic return=1857.169189453125\n", + "global step=14940160, episodic return=1822.4708251953125\n", + "global step=14940160, episodic return=1829.961181640625\n", + "global step=14940160, episodic return=1852.394287109375\n", + "global step=14940160, episodic return=1844.1776123046875\n", + "global step=14942208, episodic return=1854.5526123046875\n", + "global step=14942208, episodic return=1877.90380859375\n", + "global step=14942208, episodic return=1591.3341064453125\n", + "global step=14942208, episodic return=1871.779052734375\n", + "global step=14942208, episodic return=1218.310302734375\n", + "global step=14944256, episodic return=1845.680419921875\n", + "global step=14944256, episodic return=1885.92529296875\n", + "global step=14944256, episodic return=1491.5045166015625\n", + "global step=14944256, episodic return=1880.7833251953125\n", + "global step=14944256, episodic return=1849.5654296875\n", + "global step=14944256, episodic return=1833.1612548828125\n", + "global step=14946304, episodic return=1823.7998046875\n", + "global step=14948352, episodic return=1861.4967041015625\n", + "global step=14948352, episodic return=1928.1756591796875\n", + "global step=14948352, episodic return=1832.76123046875\n", + "global step=14950400, episodic return=1936.74755859375\n", + "global step=14950400, episodic return=917.2779541015625\n", + "global step=14952448, episodic return=1869.1796875\n", + "global step=14952448, episodic return=1871.4302978515625\n", + "global step=14952448, episodic return=1848.575439453125\n", + "global step=14954496, episodic return=1270.0494384765625\n", + "global step=14954496, episodic return=1840.6077880859375\n", + "global step=14956544, episodic return=1844.1741943359375\n", + "global step=14956544, episodic return=1843.0335693359375\n", + "global step=14956544, episodic return=1817.4124755859375\n", + "global step=14958592, episodic return=1872.59228515625\n", + "global step=14960640, episodic return=1896.6873779296875\n", + "global step=14960640, episodic return=1873.764404296875\n", + "global step=14960640, episodic return=1842.1475830078125\n", + "global step=14962688, episodic return=1859.009521484375\n", + "global step=14962688, episodic return=1855.02294921875\n", + "global step=14962688, episodic return=1833.1832275390625\n", + "global step=14964736, episodic return=1889.0050048828125\n", + "global step=14966784, episodic return=1850.1470947265625\n", + "global step=14966784, episodic return=1826.0390625\n", + "global step=14966784, episodic return=1853.009765625\n", + "global step=14966784, episodic return=1862.753662109375\n", + "global step=14968832, episodic return=1860.6280517578125\n", + "global step=14968832, episodic return=1787.312255859375\n", + "global step=14968832, episodic return=1854.5096435546875\n", + "global step=14968832, episodic return=1871.2679443359375\n", + "global step=14970880, episodic return=1881.467529296875\n", + "global step=14974976, episodic return=1854.8125\n", + "global step=14977024, episodic return=1838.8919677734375\n", + "global step=14977024, episodic return=1867.378662109375\n", + "global step=14979072, episodic return=1868.431396484375\n", + "global step=14979072, episodic return=1866.396240234375\n", + "global step=14979072, episodic return=1863.8465576171875\n", + "global step=14979072, episodic return=1896.054443359375\n", + "global step=14981120, episodic return=1847.200927734375\n", + "global step=14981120, episodic return=1850.5260009765625\n", + "global step=14981120, episodic return=1866.648193359375\n", + "global step=14981120, episodic return=1842.9202880859375\n", + "global step=14985216, episodic return=1836.16845703125\n", + "global step=14985216, episodic return=1875.460693359375\n", + "global step=14985216, episodic return=1842.929443359375\n", + "global step=14985216, episodic return=1550.5263671875\n", + "global step=14985216, episodic return=1839.9188232421875\n", + "global step=14985216, episodic return=1864.4453125\n", + "global step=14989312, episodic return=1848.6605224609375\n", + "global step=14989312, episodic return=1871.9503173828125\n", + "global step=14991360, episodic return=1830.8687744140625\n", + "global step=14991360, episodic return=1849.9071044921875\n", + "global step=14999552, episodic return=1508.7437744140625\n", + "global step=15001600, episodic return=739.2020263671875\n", + "global step=15001600, episodic return=1837.5860595703125\n", + "global step=15001600, episodic return=1863.2904052734375\n", + "global step=15003648, episodic return=1833.6624755859375\n", + "global step=15003648, episodic return=1847.6016845703125\n", + "global step=15005696, episodic return=1852.2762451171875\n", + "global step=15005696, episodic return=1859.814208984375\n", + "global step=15007744, episodic return=1848.3729248046875\n", + "global step=15011840, episodic return=1874.405517578125\n", + "global step=15013888, episodic return=1840.5220947265625\n", + "global step=15013888, episodic return=1850.887451171875\n", + "global step=15015936, episodic return=1864.926513671875\n", + "global step=15015936, episodic return=1832.74169921875\n", + "global step=15017984, episodic return=1908.5994873046875\n", + "global step=15017984, episodic return=1879.20361328125\n", + "global step=15020032, episodic return=1853.1524658203125\n", + "global step=15022080, episodic return=864.0170288085938\n", + "global step=15022080, episodic return=1865.8583984375\n", + "global step=15022080, episodic return=1876.9693603515625\n", + "global step=15022080, episodic return=1876.7864990234375\n", + "global step=15022080, episodic return=564.4595947265625\n", + "global step=15026176, episodic return=1864.86572265625\n", + "global step=15026176, episodic return=1850.2021484375\n", + "global step=15026176, episodic return=1847.922607421875\n", + "global step=15026176, episodic return=1845.51611328125\n", + "global step=15028224, episodic return=1848.431396484375\n", + "global step=15028224, episodic return=1796.3116455078125\n", + "global step=15030272, episodic return=1876.57470703125\n", + "global step=15030272, episodic return=1882.9219970703125\n", + "global step=15030272, episodic return=1884.696533203125\n", + "global step=15030272, episodic return=1859.6082763671875\n", + "global step=15032320, episodic return=1864.2071533203125\n", + "global step=15032320, episodic return=1094.4237060546875\n", + "global step=15034368, episodic return=1850.8916015625\n", + "global step=15034368, episodic return=1846.65869140625\n", + "global step=15034368, episodic return=1861.544921875\n", + "global step=15036416, episodic return=1186.37109375\n", + "global step=15038464, episodic return=1840.135498046875\n", + "global step=15040512, episodic return=1829.750244140625\n", + "global step=15040512, episodic return=1879.6192626953125\n", + "global step=15040512, episodic return=1843.27978515625\n", + "global step=15040512, episodic return=1861.6512451171875\n", + "global step=15042560, episodic return=1834.92529296875\n", + "global step=15044608, episodic return=1782.78466796875\n", + "global step=15044608, episodic return=1827.82080078125\n", + "global step=15044608, episodic return=1048.155517578125\n", + "global step=15044608, episodic return=1900.7562255859375\n", + "global step=15046656, episodic return=1833.884765625\n", + "global step=15046656, episodic return=636.1040649414062\n", + "global step=15048704, episodic return=1877.0751953125\n", + "global step=15048704, episodic return=1856.29638671875\n", + "global step=15048704, episodic return=1859.588623046875\n", + "global step=15048704, episodic return=1850.20751953125\n", + "global step=15050752, episodic return=1842.1280517578125\n", + "global step=15050752, episodic return=668.2025146484375\n", + "global step=15054848, episodic return=1269.795654296875\n", + "global step=15054848, episodic return=1842.517822265625\n", + "global step=15054848, episodic return=1837.1339111328125\n", + "global step=15054848, episodic return=1855.8927001953125\n", + "global step=15054848, episodic return=1854.4744873046875\n", + "global step=15056896, episodic return=1149.401123046875\n", + "global step=15056896, episodic return=27.609535217285156\n", + "global step=15056896, episodic return=981.4359741210938\n", + "global step=15056896, episodic return=1872.0052490234375\n", + "global step=15060992, episodic return=1842.5257568359375\n", + "global step=15060992, episodic return=1876.291748046875\n", + "global step=15063040, episodic return=1876.275634765625\n", + "global step=15067136, episodic return=907.1139526367188\n", + "global step=15069184, episodic return=1857.4315185546875\n", + "global step=15069184, episodic return=1852.66845703125\n", + "global step=15069184, episodic return=1868.509765625\n", + "global step=15071232, episodic return=1175.83154296875\n", + "global step=15073280, episodic return=667.9343872070312\n", + "global step=15077376, episodic return=1848.6015625\n", + "global step=15077376, episodic return=1858.3441162109375\n", + "global step=15081472, episodic return=1843.9599609375\n", + "global step=15081472, episodic return=1875.6395263671875\n", + "global step=15081472, episodic return=1872.783447265625\n", + "global step=15083520, episodic return=1841.89892578125\n", + "global step=15083520, episodic return=792.2515258789062\n", + "global step=15083520, episodic return=1905.098876953125\n", + "global step=15083520, episodic return=1838.9317626953125\n", + "global step=15085568, episodic return=1406.4598388671875\n", + "global step=15085568, episodic return=1401.5953369140625\n", + "global step=15087616, episodic return=1864.353515625\n", + "global step=15087616, episodic return=1513.1201171875\n", + "global step=15087616, episodic return=1094.65185546875\n", + "global step=15089664, episodic return=1857.7840576171875\n", + "global step=15089664, episodic return=1886.9852294921875\n", + "global step=15089664, episodic return=1839.324462890625\n", + "global step=15091712, episodic return=1850.4705810546875\n", + "global step=15093760, episodic return=1373.657470703125\n", + "global step=15093760, episodic return=1878.58349609375\n", + "global step=15093760, episodic return=1874.552490234375\n", + "global step=15095808, episodic return=1684.233642578125\n", + "global step=15097856, episodic return=1895.4813232421875\n", + "global step=15097856, episodic return=1615.5694580078125\n", + "global step=15097856, episodic return=1862.729248046875\n", + "global step=15099904, episodic return=1862.6319580078125\n", + "global step=15099904, episodic return=1818.47998046875\n", + "global step=15099904, episodic return=1893.2142333984375\n", + "global step=15101952, episodic return=1883.9786376953125\n", + "global step=15101952, episodic return=1172.4970703125\n", + "global step=15101952, episodic return=1696.482177734375\n", + "global step=15101952, episodic return=1884.80322265625\n", + "global step=15104000, episodic return=1202.75439453125\n", + "global step=15104000, episodic return=832.6480712890625\n", + "global step=15104000, episodic return=1863.739013671875\n", + "global step=15104000, episodic return=1097.646240234375\n", + "global step=15106048, episodic return=1855.82958984375\n", + "global step=15106048, episodic return=1858.8087158203125\n", + "global step=15110144, episodic return=1912.403564453125\n", + "global step=15110144, episodic return=1850.9810791015625\n", + "global step=15110144, episodic return=535.2750854492188\n", + "global step=15110144, episodic return=1866.715087890625\n", + "global step=15112192, episodic return=1879.6104736328125\n", + "global step=15114240, episodic return=1759.2486572265625\n", + "global step=15114240, episodic return=1897.4892578125\n", + "global step=15114240, episodic return=1908.5810546875\n", + "global step=15116288, episodic return=1836.6583251953125\n", + "global step=15116288, episodic return=1855.80615234375\n", + "global step=15118336, episodic return=1851.769287109375\n", + "global step=15118336, episodic return=1860.178955078125\n", + "global step=15122432, episodic return=1871.6107177734375\n", + "global step=15124480, episodic return=1319.9500732421875\n", + "global step=15126528, episodic return=1906.20751953125\n", + "global step=15126528, episodic return=1915.3204345703125\n", + "global step=15126528, episodic return=1382.6190185546875\n", + "global step=15126528, episodic return=1901.9345703125\n", + "global step=15128576, episodic return=1849.2115478515625\n", + "global step=15128576, episodic return=1866.17431640625\n", + "global step=15128576, episodic return=1895.833984375\n", + "global step=15128576, episodic return=1864.3714599609375\n", + "global step=15132672, episodic return=1865.3577880859375\n", + "global step=15132672, episodic return=1868.743408203125\n", + "global step=15132672, episodic return=1873.9300537109375\n", + "global step=15132672, episodic return=1860.1680908203125\n", + "global step=15134720, episodic return=1818.813232421875\n", + "global step=15136768, episodic return=1874.4609375\n", + "global step=15138816, episodic return=1858.9124755859375\n", + "global step=15140864, episodic return=1088.574462890625\n", + "global step=15140864, episodic return=1882.007080078125\n", + "global step=15142912, episodic return=289.3642883300781\n", + "global step=15142912, episodic return=1880.794921875\n", + "global step=15142912, episodic return=1862.1876220703125\n", + "global step=15142912, episodic return=1867.880615234375\n", + "global step=15144960, episodic return=1132.92822265625\n", + "global step=15144960, episodic return=1919.8355712890625\n", + "global step=15144960, episodic return=275.37530517578125\n", + "global step=15144960, episodic return=1922.181640625\n", + "global step=15147008, episodic return=1860.6546630859375\n", + "global step=15149056, episodic return=253.3186798095703\n", + "global step=15149056, episodic return=1686.0185546875\n", + "global step=15149056, episodic return=995.3043823242188\n", + "global step=15151104, episodic return=310.1814270019531\n", + "global step=15151104, episodic return=1846.3809814453125\n", + "global step=15151104, episodic return=1872.1572265625\n", + "global step=15151104, episodic return=796.5057373046875\n", + "global step=15151104, episodic return=1861.619873046875\n", + "global step=15153152, episodic return=1889.9525146484375\n", + "global step=15153152, episodic return=1172.481689453125\n", + "global step=15153152, episodic return=1563.9625244140625\n", + "global step=15153152, episodic return=1772.477294921875\n", + "global step=15155200, episodic return=1881.3192138671875\n", + "global step=15155200, episodic return=1897.57470703125\n", + "global step=15157248, episodic return=1887.695068359375\n", + "global step=15157248, episodic return=1967.844482421875\n", + "global step=15159296, episodic return=1930.0926513671875\n", + "global step=15159296, episodic return=277.1818542480469\n", + "global step=15159296, episodic return=1872.3583984375\n", + "global step=15159296, episodic return=1942.08984375\n", + "global step=15159296, episodic return=779.9923706054688\n", + "global step=15163392, episodic return=1423.7900390625\n", + "global step=15163392, episodic return=1045.6956787109375\n", + "global step=15163392, episodic return=699.8646850585938\n", + "global step=15165440, episodic return=2005.18603515625\n", + "global step=15165440, episodic return=1881.51708984375\n", + "global step=15167488, episodic return=1868.41943359375\n", + "global step=15169536, episodic return=1852.6085205078125\n", + "global step=15169536, episodic return=1283.24267578125\n", + "global step=15171584, episodic return=1859.9124755859375\n", + "global step=15171584, episodic return=1950.1016845703125\n", + "global step=15171584, episodic return=1890.7529296875\n", + "global step=15173632, episodic return=269.1146545410156\n", + "global step=15173632, episodic return=649.2842407226562\n", + "global step=15173632, episodic return=1894.5150146484375\n", + "global step=15175680, episodic return=796.11865234375\n", + "global step=15175680, episodic return=1866.7447509765625\n", + "global step=15177728, episodic return=1893.0628662109375\n", + "global step=15179776, episodic return=1079.114501953125\n", + "global step=15179776, episodic return=1858.861328125\n", + "global step=15179776, episodic return=1891.78173828125\n", + "global step=15181824, episodic return=1874.4508056640625\n", + "global step=15181824, episodic return=1863.753662109375\n", + "global step=15181824, episodic return=1876.6300048828125\n", + "global step=15183872, episodic return=1881.774169921875\n", + "global step=15185920, episodic return=1087.6343994140625\n", + "global step=15187968, episodic return=1233.0440673828125\n", + "global step=15190016, episodic return=1900.9952392578125\n", + "global step=15190016, episodic return=1911.1087646484375\n", + "global step=15194112, episodic return=1861.9598388671875\n", + "global step=15194112, episodic return=1933.1492919921875\n", + "global step=15196160, episodic return=1377.5452880859375\n", + "global step=15198208, episodic return=655.9376831054688\n", + "global step=15198208, episodic return=1898.7119140625\n", + "global step=15198208, episodic return=1860.4176025390625\n", + "global step=15198208, episodic return=1944.3289794921875\n", + "global step=15198208, episodic return=1884.10693359375\n", + "global step=15200256, episodic return=1900.4847412109375\n", + "global step=15202304, episodic return=1850.6767578125\n", + "global step=15202304, episodic return=1069.5989990234375\n", + "global step=15202304, episodic return=1875.4212646484375\n", + "global step=15202304, episodic return=867.0646362304688\n", + "global step=15204352, episodic return=1049.5753173828125\n", + "global step=15204352, episodic return=1815.6827392578125\n", + "global step=15204352, episodic return=58.49357604980469\n", + "global step=15204352, episodic return=1854.474853515625\n", + "global step=15206400, episodic return=1529.9996337890625\n", + "global step=15208448, episodic return=1704.3668212890625\n", + "global step=15208448, episodic return=1363.8681640625\n", + "global step=15208448, episodic return=1175.8775634765625\n", + "global step=15210496, episodic return=1950.3470458984375\n", + "global step=15212544, episodic return=1252.0572509765625\n", + "global step=15212544, episodic return=853.1290283203125\n", + "global step=15212544, episodic return=1889.01416015625\n", + "global step=15214592, episodic return=1867.1170654296875\n", + "global step=15214592, episodic return=1894.674072265625\n", + "global step=15216640, episodic return=1126.6046142578125\n", + "global step=15216640, episodic return=1894.5096435546875\n", + "global step=15218688, episodic return=1882.5528564453125\n", + "global step=15218688, episodic return=1867.0941162109375\n", + "global step=15220736, episodic return=1663.1876220703125\n", + "global step=15222784, episodic return=1873.6075439453125\n", + "global step=15224832, episodic return=1363.2398681640625\n", + "global step=15224832, episodic return=1876.849609375\n", + "global step=15224832, episodic return=1866.4217529296875\n", + "global step=15224832, episodic return=1729.9927978515625\n", + "global step=15226880, episodic return=1706.836181640625\n", + "global step=15226880, episodic return=894.8740234375\n", + "global step=15228928, episodic return=1357.0069580078125\n", + "global step=15228928, episodic return=836.252197265625\n", + "global step=15230976, episodic return=1926.7266845703125\n", + "global step=15230976, episodic return=1432.8076171875\n", + "global step=15233024, episodic return=1874.12890625\n", + "global step=15233024, episodic return=1876.0936279296875\n", + "global step=15235072, episodic return=1871.269287109375\n", + "global step=15235072, episodic return=882.269775390625\n", + "global step=15235072, episodic return=1430.4996337890625\n", + "global step=15235072, episodic return=1876.9339599609375\n", + "global step=15237120, episodic return=1858.2373046875\n", + "global step=15237120, episodic return=1600.434814453125\n", + "global step=15239168, episodic return=1699.98486328125\n", + "global step=15239168, episodic return=1250.1268310546875\n", + "global step=15239168, episodic return=645.2796630859375\n", + "global step=15239168, episodic return=1909.590576171875\n", + "global step=15239168, episodic return=1582.1456298828125\n", + "global step=15241216, episodic return=1637.9027099609375\n", + "global step=15243264, episodic return=1895.0865478515625\n", + "global step=15243264, episodic return=1898.6322021484375\n", + "global step=15245312, episodic return=1879.83642578125\n", + "global step=15245312, episodic return=1886.4400634765625\n", + "global step=15245312, episodic return=1351.5943603515625\n", + "global step=15247360, episodic return=1866.9249267578125\n", + "global step=15247360, episodic return=1879.309814453125\n", + "global step=15249408, episodic return=1182.6380615234375\n", + "global step=15251456, episodic return=1579.12744140625\n", + "global step=15251456, episodic return=1251.341552734375\n", + "global step=15253504, episodic return=1572.25048828125\n", + "global step=15253504, episodic return=1898.840087890625\n", + "global step=15253504, episodic return=1874.6549072265625\n", + "global step=15255552, episodic return=1602.7611083984375\n", + "global step=15255552, episodic return=1890.6934814453125\n", + "global step=15257600, episodic return=1887.7476806640625\n", + "global step=15257600, episodic return=1906.616943359375\n", + "global step=15259648, episodic return=1848.59423828125\n", + "global step=15261696, episodic return=1860.44384765625\n", + "global step=15261696, episodic return=1901.703369140625\n", + "global step=15263744, episodic return=1876.4415283203125\n", + "global step=15263744, episodic return=1903.4619140625\n", + "global step=15263744, episodic return=1275.8450927734375\n", + "global step=15263744, episodic return=1891.961181640625\n", + "global step=15263744, episodic return=1895.4969482421875\n", + "global step=15265792, episodic return=1898.916748046875\n", + "global step=15265792, episodic return=1854.112548828125\n", + "global step=15265792, episodic return=1150.721435546875\n", + "global step=15267840, episodic return=847.3019409179688\n", + "global step=15267840, episodic return=1873.678955078125\n", + "global step=15269888, episodic return=1114.17431640625\n", + "global step=15271936, episodic return=1866.026123046875\n", + "global step=15271936, episodic return=1692.65234375\n", + "global step=15284224, episodic return=1894.75732421875\n", + "global step=15288320, episodic return=1916.969482421875\n", + "global step=15292416, episodic return=1832.4617919921875\n", + "global step=15294464, episodic return=1200.230224609375\n", + "global step=15296512, episodic return=1596.4583740234375\n", + "global step=15298560, episodic return=937.6421508789062\n", + "global step=15298560, episodic return=1905.618408203125\n", + "global step=15300608, episodic return=1880.5283203125\n", + "global step=15300608, episodic return=1832.60009765625\n", + "global step=15302656, episodic return=1913.9464111328125\n", + "global step=15306752, episodic return=1873.868408203125\n", + "global step=15306752, episodic return=968.6029663085938\n", + "global step=15306752, episodic return=1248.96875\n", + "global step=15306752, episodic return=1926.3116455078125\n", + "global step=15308800, episodic return=1877.2479248046875\n", + "global step=15308800, episodic return=1886.3916015625\n", + "global step=15308800, episodic return=1892.6873779296875\n", + "global step=15308800, episodic return=1877.394775390625\n", + "global step=15310848, episodic return=1887.956298828125\n", + "global step=15312896, episodic return=948.3872680664062\n", + "global step=15312896, episodic return=1891.732666015625\n", + "global step=15312896, episodic return=1861.3951416015625\n", + "global step=15312896, episodic return=1915.34619140625\n", + "global step=15312896, episodic return=1884.14794921875\n", + "global step=15312896, episodic return=907.6575317382812\n", + "global step=15314944, episodic return=1915.89892578125\n", + "global step=15316992, episodic return=836.6880493164062\n", + "global step=15319040, episodic return=1880.630615234375\n", + "global step=15321088, episodic return=1464.977783203125\n", + "global step=15321088, episodic return=1892.1141357421875\n", + "global step=15321088, episodic return=747.3539428710938\n", + "global step=15321088, episodic return=1778.3995361328125\n", + "global step=15321088, episodic return=1622.0963134765625\n", + "global step=15321088, episodic return=1912.5244140625\n", + "global step=15323136, episodic return=959.313720703125\n", + "global step=15323136, episodic return=1311.1146240234375\n", + "global step=15323136, episodic return=1898.0673828125\n", + "global step=15323136, episodic return=1671.916259765625\n", + "global step=15325184, episodic return=741.8975830078125\n", + "global step=15325184, episodic return=1608.8709716796875\n", + "global step=15325184, episodic return=1872.045166015625\n", + "global step=15325184, episodic return=1871.8214111328125\n", + "global step=15325184, episodic return=1899.1390380859375\n", + "global step=15327232, episodic return=1187.030517578125\n", + "global step=15327232, episodic return=1912.82666015625\n", + "global step=15327232, episodic return=1889.4193115234375\n", + "global step=15327232, episodic return=1892.7213134765625\n", + "global step=15327232, episodic return=1893.379638671875\n", + "global step=15329280, episodic return=1023.0671997070312\n", + "global step=15329280, episodic return=1968.110107421875\n", + "global step=15329280, episodic return=1530.322021484375\n", + "global step=15329280, episodic return=1877.5372314453125\n", + "global step=15331328, episodic return=1369.776611328125\n", + "global step=15331328, episodic return=1649.47705078125\n", + "global step=15331328, episodic return=1895.6903076171875\n", + "global step=15333376, episodic return=1944.456298828125\n", + "global step=15337472, episodic return=746.8810424804688\n", + "global step=15337472, episodic return=1162.4197998046875\n", + "global step=15339520, episodic return=1902.90966796875\n", + "global step=15339520, episodic return=1895.3538818359375\n", + "global step=15339520, episodic return=1092.819091796875\n", + "global step=15341568, episodic return=1889.5523681640625\n", + "global step=15341568, episodic return=1906.082763671875\n", + "global step=15341568, episodic return=700.1353759765625\n", + "global step=15345664, episodic return=944.8749389648438\n", + "global step=15345664, episodic return=1599.6142578125\n", + "global step=15347712, episodic return=1870.2969970703125\n", + "global step=15349760, episodic return=1890.7178955078125\n", + "global step=15349760, episodic return=1466.5496826171875\n", + "global step=15349760, episodic return=1901.19287109375\n", + "global step=15351808, episodic return=1295.734619140625\n", + "global step=15353856, episodic return=1892.4552001953125\n", + "global step=15353856, episodic return=1880.1876220703125\n", + "global step=15353856, episodic return=1914.141845703125\n", + "global step=15353856, episodic return=1885.0211181640625\n", + "global step=15353856, episodic return=1079.9471435546875\n", + "global step=15353856, episodic return=1840.83984375\n", + "global step=15355904, episodic return=1178.581298828125\n", + "global step=15355904, episodic return=1877.886962890625\n", + "global step=15357952, episodic return=1932.5303955078125\n", + "global step=15357952, episodic return=1786.0068359375\n", + "global step=15360000, episodic return=1029.6024169921875\n", + "global step=15360000, episodic return=1878.1676025390625\n", + "global step=15362048, episodic return=1653.585205078125\n", + "global step=15362048, episodic return=1522.4005126953125\n", + "global step=15362048, episodic return=1910.8380126953125\n", + "global step=15362048, episodic return=778.3659057617188\n", + "global step=15364096, episodic return=1900.026611328125\n", + "global step=15366144, episodic return=1910.990478515625\n", + "global step=15368192, episodic return=1865.0196533203125\n", + "global step=15368192, episodic return=1866.577880859375\n", + "global step=15368192, episodic return=1890.811767578125\n", + "global step=15368192, episodic return=1876.3109130859375\n", + "global step=15370240, episodic return=1905.6270751953125\n", + "global step=15370240, episodic return=1866.8330078125\n", + "global step=15370240, episodic return=1895.10986328125\n", + "global step=15372288, episodic return=827.8042602539062\n", + "global step=15372288, episodic return=1894.1148681640625\n", + "global step=15372288, episodic return=1864.392333984375\n", + "global step=15372288, episodic return=1884.55810546875\n", + "global step=15374336, episodic return=1879.8529052734375\n", + "global step=15374336, episodic return=1511.2352294921875\n", + "global step=15376384, episodic return=1453.7086181640625\n", + "global step=15376384, episodic return=1904.4505615234375\n", + "global step=15378432, episodic return=911.228515625\n", + "global step=15378432, episodic return=1877.3497314453125\n", + "global step=15378432, episodic return=1903.6756591796875\n", + "global step=15380480, episodic return=1897.5972900390625\n", + "global step=15382528, episodic return=1897.1090087890625\n", + "global step=15382528, episodic return=1062.8741455078125\n", + "global step=15384576, episodic return=908.235107421875\n", + "global step=15390720, episodic return=1878.1124267578125\n", + "global step=15390720, episodic return=1886.0821533203125\n", + "global step=15390720, episodic return=1893.9586181640625\n", + "global step=15390720, episodic return=1314.0416259765625\n", + "global step=15392768, episodic return=1905.143310546875\n", + "global step=15392768, episodic return=1886.740234375\n", + "global step=15394816, episodic return=1158.7498779296875\n", + "global step=15394816, episodic return=1301.4510498046875\n", + "global step=15394816, episodic return=779.9867553710938\n", + "global step=15396864, episodic return=1241.4439697265625\n", + "global step=15398912, episodic return=1883.9447021484375\n", + "global step=15398912, episodic return=1036.963623046875\n", + "global step=15398912, episodic return=1877.545166015625\n", + "global step=15398912, episodic return=752.288818359375\n", + "global step=15398912, episodic return=1892.77880859375\n", + "global step=15400960, episodic return=1880.81298828125\n", + "global step=15400960, episodic return=1882.5928955078125\n", + "global step=15403008, episodic return=1346.22802734375\n", + "global step=15403008, episodic return=1927.984130859375\n", + "global step=15405056, episodic return=656.8474731445312\n", + "global step=15405056, episodic return=1885.1458740234375\n", + "global step=15407104, episodic return=525.80517578125\n", + "global step=15407104, episodic return=1887.261962890625\n", + "global step=15409152, episodic return=1872.6905517578125\n", + "global step=15409152, episodic return=1905.10205078125\n", + "global step=15409152, episodic return=1873.572998046875\n", + "global step=15409152, episodic return=792.0093383789062\n", + "global step=15411200, episodic return=851.5321655273438\n", + "global step=15413248, episodic return=1876.7335205078125\n", + "global step=15415296, episodic return=1919.1741943359375\n", + "global step=15415296, episodic return=901.34423828125\n", + "global step=15415296, episodic return=1914.53369140625\n", + "global step=15415296, episodic return=1535.6951904296875\n", + "global step=15417344, episodic return=1908.3165283203125\n", + "global step=15417344, episodic return=855.7118530273438\n", + "global step=15417344, episodic return=1891.7764892578125\n", + "global step=15417344, episodic return=1881.3392333984375\n", + "global step=15419392, episodic return=1684.641357421875\n", + "global step=15419392, episodic return=1652.88671875\n", + "global step=15419392, episodic return=1274.3109130859375\n", + "global step=15421440, episodic return=811.723876953125\n", + "global step=15421440, episodic return=312.6874084472656\n", + "global step=15421440, episodic return=1886.5821533203125\n", + "global step=15423488, episodic return=1949.9862060546875\n", + "global step=15425536, episodic return=662.4961547851562\n", + "global step=15425536, episodic return=1897.796875\n", + "global step=15427584, episodic return=1939.1671142578125\n", + "global step=15427584, episodic return=1901.5966796875\n", + "global step=15427584, episodic return=1896.719970703125\n", + "global step=15429632, episodic return=1904.360107421875\n", + "global step=15429632, episodic return=1888.295166015625\n", + "global step=15431680, episodic return=1716.1759033203125\n", + "global step=15431680, episodic return=1879.73291015625\n", + "global step=15431680, episodic return=348.9183654785156\n", + "global step=15433728, episodic return=1888.1407470703125\n", + "global step=15437824, episodic return=791.4807739257812\n", + "global step=15437824, episodic return=1888.1142578125\n", + "global step=15437824, episodic return=1259.9249267578125\n", + "global step=15437824, episodic return=1219.315185546875\n", + "global step=15439872, episodic return=1858.9075927734375\n", + "global step=15439872, episodic return=1919.68408203125\n", + "global step=15441920, episodic return=965.5657348632812\n", + "global step=15441920, episodic return=1905.791259765625\n", + "global step=15443968, episodic return=1485.6943359375\n", + "global step=15443968, episodic return=1023.393310546875\n", + "global step=15443968, episodic return=818.156005859375\n", + "global step=15443968, episodic return=929.8486328125\n", + "global step=15446016, episodic return=1461.273681640625\n", + "global step=15446016, episodic return=1016.4916381835938\n", + "global step=15448064, episodic return=1551.6812744140625\n", + "global step=15452160, episodic return=864.057861328125\n", + "global step=15454208, episodic return=1856.347412109375\n", + "global step=15454208, episodic return=1886.4765625\n", + "global step=15454208, episodic return=1595.5860595703125\n", + "global step=15454208, episodic return=26.801183700561523\n", + "global step=15454208, episodic return=923.8784790039062\n", + "global step=15456256, episodic return=1913.04638671875\n", + "global step=15456256, episodic return=1889.7843017578125\n", + "global step=15456256, episodic return=864.8745727539062\n", + "global step=15456256, episodic return=1900.5718994140625\n", + "global step=15456256, episodic return=672.0093994140625\n", + "global step=15456256, episodic return=1882.0745849609375\n", + "global step=15456256, episodic return=573.1183471679688\n", + "global step=15458304, episodic return=995.4374389648438\n", + "global step=15460352, episodic return=1169.447021484375\n", + "global step=15460352, episodic return=1294.341064453125\n", + "global step=15462400, episodic return=952.9530639648438\n", + "global step=15462400, episodic return=757.078857421875\n", + "global step=15462400, episodic return=1891.4722900390625\n", + "global step=15464448, episodic return=1795.0699462890625\n", + "global step=15464448, episodic return=981.2479248046875\n", + "global step=15464448, episodic return=1882.7342529296875\n", + "global step=15466496, episodic return=1005.8369750976562\n", + "global step=15466496, episodic return=1905.5213623046875\n", + "global step=15466496, episodic return=1928.1112060546875\n", + "global step=15468544, episodic return=1923.680419921875\n", + "global step=15468544, episodic return=291.5084533691406\n", + "global step=15468544, episodic return=698.9539184570312\n", + "global step=15470592, episodic return=1768.1026611328125\n", + "global step=15470592, episodic return=1911.6015625\n", + "global step=15470592, episodic return=1004.5296630859375\n", + "global step=15470592, episodic return=1139.39208984375\n", + "global step=15472640, episodic return=1386.8519287109375\n", + "global step=15472640, episodic return=779.0167236328125\n", + "global step=15474688, episodic return=825.4125366210938\n", + "global step=15476736, episodic return=1373.2906494140625\n", + "global step=15476736, episodic return=1828.197265625\n", + "global step=15476736, episodic return=1932.94287109375\n", + "global step=15476736, episodic return=736.8659057617188\n", + "global step=15478784, episodic return=678.7463989257812\n", + "global step=15478784, episodic return=1157.3682861328125\n", + "global step=15478784, episodic return=1905.416015625\n", + "global step=15478784, episodic return=838.8287353515625\n", + "global step=15480832, episodic return=910.6805419921875\n", + "global step=15480832, episodic return=599.9854125976562\n", + "global step=15482880, episodic return=1907.7183837890625\n", + "global step=15482880, episodic return=1126.9085693359375\n", + "global step=15482880, episodic return=1880.56689453125\n", + "global step=15484928, episodic return=856.2254028320312\n", + "global step=15484928, episodic return=1552.7078857421875\n", + "global step=15484928, episodic return=1163.812255859375\n", + "global step=15486976, episodic return=1357.49169921875\n", + "global step=15486976, episodic return=1918.6064453125\n", + "global step=15486976, episodic return=1001.1339721679688\n", + "global step=15489024, episodic return=1958.827392578125\n", + "global step=15491072, episodic return=1923.635986328125\n", + "global step=15491072, episodic return=1882.891357421875\n", + "global step=15493120, episodic return=1875.0291748046875\n", + "global step=15493120, episodic return=864.194580078125\n", + "global step=15493120, episodic return=935.6703491210938\n", + "global step=15495168, episodic return=833.0035400390625\n", + "global step=15495168, episodic return=1445.983642578125\n", + "global step=15495168, episodic return=967.6741333007812\n", + "global step=15495168, episodic return=1969.11474609375\n", + "global step=15495168, episodic return=1022.098388671875\n", + "global step=15497216, episodic return=691.6488647460938\n", + "global step=15497216, episodic return=1035.4818115234375\n", + "global step=15497216, episodic return=1910.4178466796875\n", + "global step=15499264, episodic return=1142.03564453125\n", + "global step=15499264, episodic return=1981.9521484375\n", + "global step=15501312, episodic return=908.1182250976562\n", + "global step=15501312, episodic return=851.889404296875\n", + "global step=15505408, episodic return=1906.628173828125\n", + "global step=15505408, episodic return=1944.32958984375\n", + "global step=15507456, episodic return=1960.6669921875\n", + "global step=15507456, episodic return=1258.7625732421875\n", + "global step=15509504, episodic return=1784.4998779296875\n", + "global step=15509504, episodic return=1164.69775390625\n", + "global step=15511552, episodic return=1198.497802734375\n", + "global step=15511552, episodic return=1251.0106201171875\n", + "global step=15511552, episodic return=1886.6573486328125\n", + "global step=15511552, episodic return=1243.703125\n", + "global step=15511552, episodic return=1414.4742431640625\n", + "global step=15511552, episodic return=737.6111450195312\n", + "global step=15511552, episodic return=1842.935791015625\n", + "global step=15513600, episodic return=985.4013671875\n", + "global step=15513600, episodic return=1226.586181640625\n", + "global step=15515648, episodic return=1945.11474609375\n", + "global step=15515648, episodic return=1241.989501953125\n", + "global step=15515648, episodic return=1001.565673828125\n", + "global step=15517696, episodic return=1554.3182373046875\n", + "global step=15517696, episodic return=692.4046020507812\n", + "global step=15517696, episodic return=968.9990844726562\n", + "global step=15517696, episodic return=1767.8780517578125\n", + "global step=15519744, episodic return=1904.133056640625\n", + "global step=15519744, episodic return=1961.504638671875\n", + "global step=15521792, episodic return=927.3347778320312\n", + "global step=15523840, episodic return=1404.5283203125\n", + "global step=15523840, episodic return=1463.8021240234375\n", + "global step=15523840, episodic return=969.1731567382812\n", + "global step=15525888, episodic return=839.619384765625\n", + "global step=15527936, episodic return=794.9432983398438\n", + "global step=15527936, episodic return=809.79443359375\n", + "global step=15529984, episodic return=1907.0538330078125\n", + "global step=15532032, episodic return=1036.99169921875\n", + "global step=15532032, episodic return=706.8068237304688\n", + "global step=15532032, episodic return=971.5822143554688\n", + "global step=15532032, episodic return=1941.0372314453125\n", + "global step=15532032, episodic return=845.8807983398438\n", + "global step=15534080, episodic return=1833.5484619140625\n", + "global step=15534080, episodic return=319.36993408203125\n", + "global step=15534080, episodic return=1986.7188720703125\n", + "global step=15536128, episodic return=1560.6328125\n", + "global step=15536128, episodic return=1082.5380859375\n", + "global step=15540224, episodic return=1931.10888671875\n", + "global step=15540224, episodic return=1684.1341552734375\n", + "global step=15540224, episodic return=1939.1590576171875\n", + "global step=15540224, episodic return=1928.342529296875\n", + "global step=15542272, episodic return=883.0069580078125\n", + "global step=15542272, episodic return=1953.558349609375\n", + "global step=15542272, episodic return=855.7899780273438\n", + "global step=15544320, episodic return=1053.40087890625\n", + "global step=15546368, episodic return=1887.2652587890625\n", + "global step=15546368, episodic return=977.9800415039062\n", + "global step=15548416, episodic return=929.3864135742188\n", + "global step=15548416, episodic return=888.8851318359375\n", + "global step=15548416, episodic return=1892.392578125\n", + "global step=15548416, episodic return=1544.03125\n", + "global step=15548416, episodic return=963.5848388671875\n", + "global step=15552512, episodic return=1924.3013916015625\n", + "global step=15554560, episodic return=1571.616943359375\n", + "global step=15554560, episodic return=1936.4495849609375\n", + "global step=15554560, episodic return=1913.1153564453125\n", + "global step=15556608, episodic return=1029.314453125\n", + "global step=15556608, episodic return=1908.1640625\n", + "global step=15556608, episodic return=1905.493408203125\n", + "global step=15558656, episodic return=1874.867919921875\n", + "global step=15560704, episodic return=846.4971313476562\n", + "global step=15560704, episodic return=1904.865234375\n", + "global step=15560704, episodic return=1889.134033203125\n", + "global step=15562752, episodic return=1020.2708129882812\n", + "global step=15562752, episodic return=1964.8248291015625\n", + "global step=15562752, episodic return=1172.55224609375\n", + "global step=15564800, episodic return=1154.7744140625\n", + "global step=15564800, episodic return=1935.1722412109375\n", + "global step=15564800, episodic return=1405.08837890625\n", + "global step=15566848, episodic return=867.5765380859375\n", + "global step=15566848, episodic return=850.4851684570312\n", + "global step=15568896, episodic return=1277.7540283203125\n", + "global step=15570944, episodic return=1059.77392578125\n", + "global step=15570944, episodic return=1876.2452392578125\n", + "global step=15570944, episodic return=1924.8843994140625\n", + "global step=15572992, episodic return=907.9474487304688\n", + "global step=15572992, episodic return=906.1294555664062\n", + "global step=15572992, episodic return=1908.90087890625\n", + "global step=15572992, episodic return=1318.60693359375\n", + "global step=15575040, episodic return=1956.2564697265625\n", + "global step=15575040, episodic return=1935.117431640625\n", + "global step=15575040, episodic return=898.2531127929688\n", + "global step=15577088, episodic return=1154.712158203125\n", + "global step=15577088, episodic return=1487.3492431640625\n", + "global step=15577088, episodic return=1728.0172119140625\n", + "global step=15577088, episodic return=1206.7835693359375\n", + "global step=15577088, episodic return=1093.4232177734375\n", + "global step=15579136, episodic return=844.6484985351562\n", + "global step=15581184, episodic return=937.7300415039062\n", + "global step=15581184, episodic return=1223.815673828125\n", + "global step=15581184, episodic return=1614.095947265625\n", + "global step=15581184, episodic return=1299.12109375\n", + "global step=15581184, episodic return=1270.18603515625\n", + "global step=15581184, episodic return=1351.23291015625\n", + "global step=15583232, episodic return=1922.9371337890625\n", + "global step=15585280, episodic return=936.8171997070312\n", + "global step=15585280, episodic return=1903.3267822265625\n", + "global step=15585280, episodic return=1399.8050537109375\n", + "global step=15587328, episodic return=1134.62841796875\n", + "global step=15587328, episodic return=986.6476440429688\n", + "global step=15587328, episodic return=1942.166015625\n", + "global step=15587328, episodic return=856.2074584960938\n", + "global step=15589376, episodic return=1895.853515625\n", + "global step=15589376, episodic return=1034.0782470703125\n", + "global step=15591424, episodic return=1080.748291015625\n", + "global step=15591424, episodic return=1020.0162963867188\n", + "global step=15593472, episodic return=1915.4681396484375\n", + "global step=15593472, episodic return=756.8739624023438\n", + "global step=15595520, episodic return=1922.64892578125\n", + "global step=15595520, episodic return=888.9552612304688\n", + "global step=15595520, episodic return=988.8812866210938\n", + "global step=15595520, episodic return=987.2266235351562\n", + "global step=15595520, episodic return=869.3472900390625\n", + "global step=15597568, episodic return=1768.9161376953125\n", + "global step=15597568, episodic return=1257.020263671875\n", + "global step=15599616, episodic return=1265.1961669921875\n", + "global step=15599616, episodic return=959.6244506835938\n", + "global step=15599616, episodic return=1037.4534912109375\n", + "global step=15601664, episodic return=1962.3330078125\n", + "global step=15603712, episodic return=1049.7652587890625\n", + "global step=15603712, episodic return=891.7294311523438\n", + "global step=15603712, episodic return=1398.4549560546875\n", + "global step=15603712, episodic return=1959.98583984375\n", + "global step=15603712, episodic return=1916.9505615234375\n", + "global step=15605760, episodic return=1922.27587890625\n", + "global step=15605760, episodic return=759.20263671875\n", + "global step=15605760, episodic return=1846.3267822265625\n", + "global step=15607808, episodic return=1905.3076171875\n", + "global step=15607808, episodic return=1858.8653564453125\n", + "global step=15607808, episodic return=1099.28759765625\n", + "global step=15607808, episodic return=697.3695678710938\n", + "global step=15609856, episodic return=753.20947265625\n", + "global step=15609856, episodic return=1806.1473388671875\n", + "global step=15609856, episodic return=1690.7255859375\n", + "global step=15609856, episodic return=1940.784912109375\n", + "global step=15609856, episodic return=952.650146484375\n", + "global step=15611904, episodic return=1190.521728515625\n", + "global step=15611904, episodic return=1100.708740234375\n", + "global step=15613952, episodic return=1966.8359375\n", + "global step=15613952, episodic return=1484.0985107421875\n", + "global step=15613952, episodic return=1406.113037109375\n", + "global step=15616000, episodic return=1247.9031982421875\n", + "global step=15616000, episodic return=913.2356567382812\n", + "global step=15616000, episodic return=1944.872802734375\n", + "global step=15618048, episodic return=927.3370971679688\n", + "global step=15618048, episodic return=996.29150390625\n", + "global step=15620096, episodic return=881.489990234375\n", + "global step=15620096, episodic return=1573.6517333984375\n", + "global step=15620096, episodic return=934.3729858398438\n", + "global step=15620096, episodic return=1928.0216064453125\n", + "global step=15622144, episodic return=1145.232177734375\n", + "global step=15622144, episodic return=1053.86669921875\n", + "global step=15622144, episodic return=853.3756713867188\n", + "global step=15624192, episodic return=1195.5181884765625\n", + "global step=15624192, episodic return=1671.4573974609375\n", + "global step=15624192, episodic return=1761.056396484375\n", + "global step=15626240, episodic return=727.4456787109375\n", + "global step=15626240, episodic return=702.6118774414062\n", + "global step=15626240, episodic return=1615.606689453125\n", + "global step=15626240, episodic return=883.4112548828125\n", + "global step=15626240, episodic return=1025.87109375\n", + "global step=15626240, episodic return=871.5089111328125\n", + "global step=15626240, episodic return=1864.1854248046875\n", + "global step=15628288, episodic return=997.5219116210938\n", + "global step=15630336, episodic return=981.9764404296875\n", + "global step=15630336, episodic return=1896.990478515625\n", + "global step=15630336, episodic return=1073.4263916015625\n", + "global step=15630336, episodic return=1909.3343505859375\n", + "global step=15630336, episodic return=1029.529541015625\n", + "global step=15630336, episodic return=1935.0677490234375\n", + "global step=15632384, episodic return=1932.875\n", + "global step=15632384, episodic return=1929.0411376953125\n", + "global step=15632384, episodic return=931.641845703125\n", + "global step=15632384, episodic return=1937.5693359375\n", + "global step=15634432, episodic return=1576.7841796875\n", + "global step=15634432, episodic return=1916.4708251953125\n", + "global step=15634432, episodic return=1075.9522705078125\n", + "global step=15634432, episodic return=772.7876586914062\n", + "global step=15634432, episodic return=842.3160400390625\n", + "global step=15636480, episodic return=1420.5771484375\n", + "global step=15636480, episodic return=1303.3287353515625\n", + "global step=15638528, episodic return=1297.3338623046875\n", + "global step=15640576, episodic return=1926.796630859375\n", + "global step=15640576, episodic return=975.5223388671875\n", + "global step=15640576, episodic return=1937.2877197265625\n", + "global step=15640576, episodic return=885.5341796875\n", + "global step=15642624, episodic return=1648.06005859375\n", + "global step=15644672, episodic return=1621.719970703125\n", + "global step=15644672, episodic return=1952.4990234375\n", + "global step=15644672, episodic return=1959.2432861328125\n", + "global step=15644672, episodic return=1978.968017578125\n", + "global step=15644672, episodic return=808.46728515625\n", + "global step=15644672, episodic return=1934.7808837890625\n", + "global step=15646720, episodic return=1895.5927734375\n", + "global step=15646720, episodic return=1734.6300048828125\n", + "global step=15646720, episodic return=1462.110595703125\n", + "global step=15648768, episodic return=1906.229736328125\n", + "global step=15648768, episodic return=940.4484252929688\n", + "global step=15648768, episodic return=1240.955078125\n", + "global step=15650816, episodic return=1975.807861328125\n", + "global step=15652864, episodic return=1016.1168212890625\n", + "global step=15652864, episodic return=1824.645751953125\n", + "global step=15652864, episodic return=926.4730834960938\n", + "global step=15652864, episodic return=960.6000366210938\n", + "global step=15652864, episodic return=1098.2218017578125\n", + "global step=15654912, episodic return=1083.908447265625\n", + "global step=15654912, episodic return=955.7188110351562\n", + "global step=15656960, episodic return=2011.8760986328125\n", + "global step=15656960, episodic return=1943.4356689453125\n", + "global step=15656960, episodic return=1232.1748046875\n", + "global step=15659008, episodic return=1087.7252197265625\n", + "global step=15659008, episodic return=1866.31494140625\n", + "global step=15661056, episodic return=1004.7369995117188\n", + "global step=15661056, episodic return=1989.03173828125\n", + "global step=15661056, episodic return=1879.1864013671875\n", + "global step=15663104, episodic return=1584.478759765625\n", + "global step=15663104, episodic return=1676.140869140625\n", + "global step=15665152, episodic return=761.4680786132812\n", + "global step=15665152, episodic return=874.6807861328125\n", + "global step=15665152, episodic return=1436.974853515625\n", + "global step=15665152, episodic return=1424.7769775390625\n", + "global step=15665152, episodic return=1316.553466796875\n", + "global step=15665152, episodic return=1923.6953125\n", + "global step=15667200, episodic return=1075.1351318359375\n", + "global step=15667200, episodic return=1657.7718505859375\n", + "global step=15667200, episodic return=1166.0533447265625\n", + "global step=15667200, episodic return=1909.4910888671875\n", + "global step=15667200, episodic return=1918.47021484375\n", + "global step=15669248, episodic return=1826.019775390625\n", + "global step=15669248, episodic return=1233.8065185546875\n", + "global step=15669248, episodic return=1721.0181884765625\n", + "global step=15671296, episodic return=1009.2083129882812\n", + "global step=15671296, episodic return=1126.239990234375\n", + "global step=15671296, episodic return=1208.980224609375\n", + "global step=15671296, episodic return=1918.2681884765625\n", + "global step=15671296, episodic return=1014.25244140625\n", + "global step=15671296, episodic return=1915.42333984375\n", + "global step=15673344, episodic return=885.992431640625\n", + "global step=15673344, episodic return=1149.2559814453125\n", + "global step=15673344, episodic return=1880.8563232421875\n", + "global step=15673344, episodic return=1310.43994140625\n", + "global step=15673344, episodic return=1006.8116455078125\n", + "global step=15673344, episodic return=923.8843994140625\n", + "global step=15673344, episodic return=1061.3548583984375\n", + "global step=15673344, episodic return=1126.366455078125\n", + "global step=15673344, episodic return=1880.36181640625\n", + "global step=15675392, episodic return=1997.2296142578125\n", + "global step=15675392, episodic return=1506.54052734375\n", + "global step=15675392, episodic return=1157.275634765625\n", + "global step=15675392, episodic return=1954.5311279296875\n", + "global step=15675392, episodic return=1796.186767578125\n", + "global step=15675392, episodic return=1111.042724609375\n", + "global step=15677440, episodic return=1938.620361328125\n", + "global step=15677440, episodic return=994.7146606445312\n", + "global step=15677440, episodic return=859.1175537109375\n", + "global step=15679488, episodic return=1959.959716796875\n", + "global step=15679488, episodic return=956.1387939453125\n", + "global step=15681536, episodic return=1881.2430419921875\n", + "global step=15681536, episodic return=1084.31591796875\n", + "global step=15683584, episodic return=1028.7337646484375\n", + "global step=15683584, episodic return=982.4765014648438\n", + "global step=15683584, episodic return=947.0462646484375\n", + "global step=15685632, episodic return=1973.767333984375\n", + "global step=15685632, episodic return=1798.7684326171875\n", + "global step=15687680, episodic return=1915.2757568359375\n", + "global step=15689728, episodic return=1319.647705078125\n", + "global step=15689728, episodic return=1206.53271484375\n", + "global step=15689728, episodic return=1055.22998046875\n", + "global step=15689728, episodic return=1955.3060302734375\n", + "global step=15689728, episodic return=930.2523193359375\n", + "global step=15691776, episodic return=1089.7510986328125\n", + "global step=15691776, episodic return=1360.0540771484375\n", + "global step=15693824, episodic return=1167.887451171875\n", + "global step=15693824, episodic return=1070.24365234375\n", + "global step=15693824, episodic return=1599.0137939453125\n", + "global step=15695872, episodic return=1247.554443359375\n", + "global step=15695872, episodic return=966.7526245117188\n", + "global step=15695872, episodic return=1175.091552734375\n", + "global step=15697920, episodic return=1042.2674560546875\n", + "global step=15697920, episodic return=1008.5692138671875\n", + "global step=15697920, episodic return=1157.757080078125\n", + "global step=15699968, episodic return=1137.2620849609375\n", + "global step=15699968, episodic return=851.7180786132812\n", + "global step=15699968, episodic return=1949.5152587890625\n", + "global step=15702016, episodic return=1907.4608154296875\n", + "global step=15704064, episodic return=1934.0992431640625\n", + "global step=15704064, episodic return=1943.6217041015625\n", + "global step=15706112, episodic return=1909.5570068359375\n", + "global step=15706112, episodic return=1907.157470703125\n", + "global step=15708160, episodic return=1325.936279296875\n", + "global step=15708160, episodic return=1317.733154296875\n", + "global step=15708160, episodic return=1148.51025390625\n", + "global step=15708160, episodic return=1157.8377685546875\n", + "global step=15708160, episodic return=962.7029418945312\n", + "global step=15712256, episodic return=1177.08154296875\n", + "global step=15712256, episodic return=707.7212524414062\n", + "global step=15712256, episodic return=1204.693603515625\n", + "global step=15712256, episodic return=990.965576171875\n", + "global step=15714304, episodic return=1285.8973388671875\n", + "global step=15714304, episodic return=1893.5941162109375\n", + "global step=15716352, episodic return=1894.4869384765625\n", + "global step=15716352, episodic return=712.8035278320312\n", + "global step=15716352, episodic return=1925.1005859375\n", + "global step=15718400, episodic return=947.5455322265625\n", + "global step=15718400, episodic return=569.1278076171875\n", + "global step=15718400, episodic return=1922.6724853515625\n", + "global step=15718400, episodic return=1941.4697265625\n", + "global step=15718400, episodic return=1575.9107666015625\n", + "global step=15722496, episodic return=1215.3721923828125\n", + "global step=15724544, episodic return=900.40673828125\n", + "global step=15724544, episodic return=1249.2603759765625\n", + "global step=15726592, episodic return=1124.703369140625\n", + "global step=15726592, episodic return=1185.3709716796875\n", + "global step=15726592, episodic return=1101.9757080078125\n", + "global step=15726592, episodic return=927.2304077148438\n", + "global step=15726592, episodic return=1922.9698486328125\n", + "global step=15726592, episodic return=1932.159912109375\n", + "global step=15726592, episodic return=1896.26513671875\n", + "global step=15728640, episodic return=1926.4296875\n", + "global step=15730688, episodic return=1721.7635498046875\n", + "global step=15730688, episodic return=973.4559326171875\n", + "global step=15730688, episodic return=941.5203857421875\n", + "global step=15732736, episodic return=1040.9688720703125\n", + "global step=15732736, episodic return=828.091552734375\n", + "global step=15732736, episodic return=1255.4747314453125\n", + "global step=15732736, episodic return=1427.9658203125\n", + "global step=15732736, episodic return=1659.01416015625\n", + "global step=15734784, episodic return=1946.73095703125\n", + "global step=15734784, episodic return=1905.5625\n", + "global step=15734784, episodic return=1030.587646484375\n", + "global step=15734784, episodic return=1890.8399658203125\n", + "global step=15734784, episodic return=1017.0755004882812\n", + "global step=15736832, episodic return=1924.033935546875\n", + "global step=15736832, episodic return=1936.6778564453125\n", + "global step=15736832, episodic return=1901.290283203125\n", + "global step=15738880, episodic return=1058.12548828125\n", + "global step=15738880, episodic return=1115.140869140625\n", + "global step=15740928, episodic return=939.1797485351562\n", + "global step=15740928, episodic return=1693.0654296875\n", + "global step=15740928, episodic return=1977.7017822265625\n", + "global step=15740928, episodic return=1211.060302734375\n", + "global step=15747072, episodic return=977.7319946289062\n", + "global step=15747072, episodic return=1931.005859375\n", + "global step=15747072, episodic return=1753.701171875\n", + "global step=15747072, episodic return=983.185546875\n", + "global step=15747072, episodic return=1968.791015625\n", + "global step=15749120, episodic return=1160.6763916015625\n", + "global step=15749120, episodic return=937.3287353515625\n", + "global step=15753216, episodic return=1216.26611328125\n", + "global step=15753216, episodic return=1457.484130859375\n", + "global step=15755264, episodic return=2010.1590576171875\n", + "global step=15759360, episodic return=1116.250244140625\n", + "global step=15759360, episodic return=1062.5631103515625\n", + "global step=15759360, episodic return=1104.66650390625\n", + "global step=15761408, episodic return=842.8878784179688\n", + "global step=15761408, episodic return=1927.1904296875\n", + "global step=15761408, episodic return=1197.1171875\n", + "global step=15761408, episodic return=1883.6138916015625\n", + "global step=15763456, episodic return=917.0580444335938\n", + "global step=15765504, episodic return=1123.4786376953125\n", + "global step=15765504, episodic return=1183.108642578125\n", + "global step=15765504, episodic return=1943.2611083984375\n", + "global step=15765504, episodic return=1947.22021484375\n", + "global step=15767552, episodic return=1906.6019287109375\n", + "global step=15767552, episodic return=1191.2587890625\n", + "global step=15769600, episodic return=1911.61669921875\n", + "global step=15769600, episodic return=1008.3632202148438\n", + "global step=15771648, episodic return=1196.357666015625\n", + "global step=15771648, episodic return=1895.3895263671875\n", + "global step=15773696, episodic return=1771.0286865234375\n", + "global step=15773696, episodic return=1000.8280639648438\n", + "global step=15773696, episodic return=1363.1595458984375\n", + "global step=15773696, episodic return=1160.1480712890625\n", + "global step=15775744, episodic return=1936.20166015625\n", + "global step=15775744, episodic return=956.466064453125\n", + "global step=15779840, episodic return=1320.0738525390625\n", + "global step=15779840, episodic return=1017.7476806640625\n", + "global step=15783936, episodic return=1903.800537109375\n", + "global step=15783936, episodic return=1932.564208984375\n", + "global step=15783936, episodic return=1982.97021484375\n", + "global step=15783936, episodic return=1041.582275390625\n", + "global step=15783936, episodic return=1136.7255859375\n", + "global step=15783936, episodic return=1932.81787109375\n", + "global step=15785984, episodic return=1977.8836669921875\n", + "global step=15785984, episodic return=1022.8663940429688\n", + "global step=15788032, episodic return=1119.5975341796875\n", + "global step=15788032, episodic return=1226.7607421875\n", + "global step=15790080, episodic return=2002.299560546875\n", + "global step=15790080, episodic return=1929.0279541015625\n", + "global step=15792128, episodic return=1962.6507568359375\n", + "global step=15792128, episodic return=1981.9527587890625\n", + "global step=15792128, episodic return=887.3045043945312\n", + "global step=15792128, episodic return=1076.6434326171875\n", + "global step=15794176, episodic return=1960.5726318359375\n", + "global step=15794176, episodic return=1388.7554931640625\n", + "global step=15794176, episodic return=1961.948974609375\n", + "global step=15794176, episodic return=1302.9112548828125\n", + "global step=15796224, episodic return=1032.1239013671875\n", + "global step=15796224, episodic return=1932.2435302734375\n", + "global step=15796224, episodic return=1940.6981201171875\n", + "global step=15798272, episodic return=1948.0794677734375\n", + "global step=15798272, episodic return=2024.3065185546875\n", + "global step=15798272, episodic return=1168.1561279296875\n", + "global step=15798272, episodic return=1547.4129638671875\n", + "global step=15798272, episodic return=1952.403076171875\n", + "global step=15800320, episodic return=1070.5257568359375\n", + "global step=15800320, episodic return=1215.23779296875\n", + "global step=15800320, episodic return=1276.750732421875\n", + "global step=15800320, episodic return=1603.1846923828125\n", + "global step=15802368, episodic return=1609.0423583984375\n", + "global step=15802368, episodic return=1203.4254150390625\n", + "global step=15802368, episodic return=1939.7149658203125\n", + "global step=15802368, episodic return=1941.1690673828125\n", + "global step=15804416, episodic return=968.0579223632812\n", + "global step=15804416, episodic return=1163.5640869140625\n", + "global step=15804416, episodic return=1060.9598388671875\n", + "global step=15804416, episodic return=1714.8798828125\n", + "global step=15804416, episodic return=1224.5736083984375\n", + "global step=15804416, episodic return=1923.6201171875\n", + "global step=15804416, episodic return=1263.18017578125\n", + "global step=15806464, episodic return=986.0557250976562\n", + "global step=15806464, episodic return=1890.642822265625\n", + "global step=15806464, episodic return=1958.996337890625\n", + "global step=15808512, episodic return=1207.731689453125\n", + "global step=15808512, episodic return=1177.1944580078125\n", + "global step=15808512, episodic return=832.3628540039062\n", + "global step=15808512, episodic return=1978.3677978515625\n", + "global step=15812608, episodic return=1252.28759765625\n", + "global step=15812608, episodic return=1068.317626953125\n", + "global step=15812608, episodic return=734.9793701171875\n", + "global step=15812608, episodic return=1931.2523193359375\n", + "global step=15812608, episodic return=1964.4124755859375\n", + "global step=15814656, episodic return=1770.0767822265625\n", + "global step=15814656, episodic return=1239.3968505859375\n", + "global step=15816704, episodic return=1431.60986328125\n", + "global step=15818752, episodic return=1954.9752197265625\n", + "global step=15818752, episodic return=1948.1177978515625\n", + "global step=15818752, episodic return=1922.403564453125\n", + "global step=15818752, episodic return=1110.5845947265625\n", + "global step=15818752, episodic return=1961.4261474609375\n", + "global step=15820800, episodic return=2004.330322265625\n", + "global step=15820800, episodic return=1023.8990478515625\n", + "global step=15820800, episodic return=937.8966064453125\n", + "global step=15820800, episodic return=1100.97607421875\n", + "global step=15820800, episodic return=1204.25390625\n", + "global step=15822848, episodic return=1046.4022216796875\n", + "global step=15824896, episodic return=1119.248779296875\n", + "global step=15824896, episodic return=1937.25048828125\n", + "global step=15824896, episodic return=1927.061767578125\n", + "global step=15826944, episodic return=804.1135864257812\n", + "global step=15826944, episodic return=1316.320068359375\n", + "global step=15828992, episodic return=1189.9923095703125\n", + "global step=15831040, episodic return=1397.8662109375\n", + "global step=15831040, episodic return=1257.1163330078125\n", + "global step=15831040, episodic return=1633.2313232421875\n", + "global step=15831040, episodic return=623.000244140625\n", + "global step=15831040, episodic return=999.93603515625\n", + "global step=15833088, episodic return=994.09912109375\n", + "global step=15833088, episodic return=1125.8287353515625\n", + "global step=15833088, episodic return=1664.5687255859375\n", + "global step=15835136, episodic return=1912.1131591796875\n", + "global step=15835136, episodic return=1320.9710693359375\n", + "global step=15837184, episodic return=1901.9041748046875\n", + "global step=15837184, episodic return=1967.4744873046875\n", + "global step=15837184, episodic return=1952.483642578125\n", + "global step=15839232, episodic return=1992.984375\n", + "global step=15839232, episodic return=1293.3321533203125\n", + "global step=15839232, episodic return=1945.7587890625\n", + "global step=15841280, episodic return=1915.17431640625\n", + "global step=15841280, episodic return=1386.963134765625\n", + "global step=15841280, episodic return=1943.2008056640625\n", + "global step=15843328, episodic return=2006.9561767578125\n", + "global step=15845376, episodic return=1204.16943359375\n", + "global step=15845376, episodic return=1308.2476806640625\n", + "global step=15845376, episodic return=1170.27685546875\n", + "global step=15849472, episodic return=256.9989013671875\n", + "global step=15851520, episodic return=1904.0794677734375\n", + "global step=15851520, episodic return=1114.1854248046875\n", + "global step=15853568, episodic return=1914.9034423828125\n", + "global step=15853568, episodic return=1072.561279296875\n", + "global step=15853568, episodic return=1022.309814453125\n", + "global step=15855616, episodic return=1946.566650390625\n", + "global step=15857664, episodic return=1924.0810546875\n", + "global step=15857664, episodic return=1297.1461181640625\n", + "global step=15857664, episodic return=1870.58935546875\n", + "global step=15863808, episodic return=1957.7169189453125\n", + "global step=15863808, episodic return=1373.1068115234375\n", + "global step=15863808, episodic return=1066.752685546875\n", + "global step=15865856, episodic return=1938.4407958984375\n", + "global step=15865856, episodic return=1680.8175048828125\n", + "global step=15865856, episodic return=1345.5411376953125\n", + "global step=15865856, episodic return=1114.3289794921875\n", + "global step=15867904, episodic return=1881.6976318359375\n", + "global step=15867904, episodic return=1455.2615966796875\n", + "global step=15867904, episodic return=638.7483520507812\n", + "global step=15867904, episodic return=1650.1534423828125\n", + "global step=15867904, episodic return=1407.746337890625\n", + "global step=15869952, episodic return=1229.84228515625\n", + "global step=15872000, episodic return=774.3612670898438\n", + "global step=15872000, episodic return=1915.8046875\n", + "global step=15872000, episodic return=1926.77587890625\n", + "global step=15874048, episodic return=1923.2545166015625\n", + "global step=15874048, episodic return=1923.1121826171875\n", + "global step=15874048, episodic return=1325.91455078125\n", + "global step=15874048, episodic return=1354.4007568359375\n", + "global step=15876096, episodic return=1073.96044921875\n", + "global step=15876096, episodic return=1938.009765625\n", + "global step=15876096, episodic return=1199.6998291015625\n", + "global step=15876096, episodic return=1009.0003051757812\n", + "global step=15876096, episodic return=1175.45458984375\n", + "global step=15878144, episodic return=1202.35302734375\n", + "global step=15880192, episodic return=1934.4537353515625\n", + "global step=15880192, episodic return=1922.560302734375\n", + "global step=15880192, episodic return=1170.5455322265625\n", + "global step=15882240, episodic return=1196.031982421875\n", + "global step=15882240, episodic return=1193.123046875\n", + "global step=15884288, episodic return=985.56591796875\n", + "global step=15884288, episodic return=1965.05908203125\n", + "global step=15886336, episodic return=1900.3126220703125\n", + "global step=15886336, episodic return=1190.021484375\n", + "global step=15886336, episodic return=951.219970703125\n", + "global step=15886336, episodic return=2003.6080322265625\n", + "global step=15888384, episodic return=1049.0164794921875\n", + "global step=15888384, episodic return=1088.0235595703125\n", + "global step=15890432, episodic return=1373.1080322265625\n", + "global step=15890432, episodic return=1919.9180908203125\n", + "global step=15890432, episodic return=1246.728271484375\n", + "global step=15892480, episodic return=1188.2786865234375\n", + "global step=15892480, episodic return=1928.8624267578125\n", + "global step=15892480, episodic return=795.34619140625\n", + "global step=15892480, episodic return=1332.395751953125\n", + "global step=15894528, episodic return=620.628662109375\n", + "global step=15894528, episodic return=1425.625244140625\n", + "global step=15894528, episodic return=1783.9033203125\n", + "global step=15898624, episodic return=1105.5264892578125\n", + "global step=15898624, episodic return=796.6636352539062\n", + "global step=15898624, episodic return=1974.80419921875\n", + "global step=15900672, episodic return=1958.3883056640625\n", + "global step=15900672, episodic return=1978.9234619140625\n", + "global step=15900672, episodic return=1330.9248046875\n", + "global step=15902720, episodic return=1290.2445068359375\n", + "global step=15904768, episodic return=1890.473388671875\n", + "global step=15906816, episodic return=1162.353759765625\n", + "global step=15906816, episodic return=1966.2147216796875\n", + "global step=15908864, episodic return=1268.3955078125\n", + "global step=15910912, episodic return=1351.3485107421875\n", + "global step=15910912, episodic return=303.4102783203125\n", + "global step=15910912, episodic return=1213.1866455078125\n", + "global step=15910912, episodic return=1250.886962890625\n", + "global step=15912960, episodic return=1149.647216796875\n", + "global step=15912960, episodic return=1969.671142578125\n", + "global step=15912960, episodic return=1385.819091796875\n", + "global step=15915008, episodic return=1379.054931640625\n", + "global step=15917056, episodic return=1369.2979736328125\n", + "global step=15917056, episodic return=1057.823486328125\n", + "global step=15917056, episodic return=1926.774169921875\n", + "global step=15917056, episodic return=1943.981689453125\n", + "global step=15919104, episodic return=1466.270263671875\n", + "global step=15919104, episodic return=460.564453125\n", + "global step=15919104, episodic return=1944.5206298828125\n", + "global step=15921152, episodic return=1271.3719482421875\n", + "global step=15925248, episodic return=1921.3026123046875\n", + "global step=15925248, episodic return=1940.512939453125\n", + "global step=15925248, episodic return=1416.558349609375\n", + "global step=15925248, episodic return=1677.464111328125\n", + "global step=15925248, episodic return=1592.3924560546875\n", + "global step=15927296, episodic return=1938.20068359375\n", + "global step=15927296, episodic return=1133.173095703125\n", + "global step=15927296, episodic return=1238.94482421875\n", + "global step=15931392, episodic return=1985.3271484375\n", + "global step=15931392, episodic return=1935.5048828125\n", + "global step=15933440, episodic return=1144.08251953125\n", + "global step=15935488, episodic return=1927.982421875\n", + "global step=15935488, episodic return=1329.3255615234375\n", + "global step=15937536, episodic return=1332.0875244140625\n", + "global step=15939584, episodic return=1171.1378173828125\n", + "global step=15941632, episodic return=1394.5511474609375\n", + "global step=15941632, episodic return=1270.7337646484375\n", + "global step=15943680, episodic return=1154.7711181640625\n", + "global step=15943680, episodic return=721.3113403320312\n", + "global step=15945728, episodic return=1372.63525390625\n", + "global step=15945728, episodic return=1980.282470703125\n", + "global step=15949824, episodic return=1974.0789794921875\n", + "global step=15949824, episodic return=1878.1527099609375\n", + "global step=15955968, episodic return=1970.54541015625\n", + "global step=15955968, episodic return=1688.2335205078125\n", + "global step=15958016, episodic return=1603.29345703125\n", + "global step=15960064, episodic return=1939.09912109375\n", + "global step=15960064, episodic return=1508.4097900390625\n", + "global step=15960064, episodic return=1922.858642578125\n", + "global step=15962112, episodic return=1887.07080078125\n", + "global step=15962112, episodic return=1920.864501953125\n", + "global step=15962112, episodic return=1233.35302734375\n", + "global step=15962112, episodic return=1915.5711669921875\n", + "global step=15964160, episodic return=948.6455688476562\n", + "global step=15964160, episodic return=962.4091186523438\n", + "global step=15964160, episodic return=1421.2303466796875\n", + "global step=15966208, episodic return=1527.8717041015625\n", + "global step=15968256, episodic return=861.8327026367188\n", + "global step=15968256, episodic return=1200.2637939453125\n", + "global step=15968256, episodic return=1264.202880859375\n", + "global step=15970304, episodic return=715.020751953125\n", + "global step=15970304, episodic return=1926.578857421875\n", + "global step=15970304, episodic return=1121.229248046875\n", + "global step=15972352, episodic return=1904.7283935546875\n", + "global step=15972352, episodic return=1985.2144775390625\n", + "global step=15974400, episodic return=1402.9703369140625\n", + "global step=15976448, episodic return=1993.7198486328125\n", + "global step=15976448, episodic return=1402.748779296875\n", + "global step=15978496, episodic return=1998.8609619140625\n", + "global step=15980544, episodic return=1256.18896484375\n", + "global step=15980544, episodic return=1412.8448486328125\n", + "global step=15980544, episodic return=1950.889404296875\n", + "global step=15982592, episodic return=1968.9072265625\n", + "global step=15982592, episodic return=1189.654052734375\n", + "global step=15986688, episodic return=736.1097412109375\n", + "global step=15986688, episodic return=1199.545166015625\n", + "global step=15990784, episodic return=1913.8271484375\n", + "global step=15990784, episodic return=1914.4842529296875\n", + "global step=15992832, episodic return=1948.1441650390625\n", + "global step=15998976, episodic return=1976.509765625\n", + "global step=16001024, episodic return=1915.235107421875\n", + "global step=16001024, episodic return=1340.475341796875\n", + "global step=16003072, episodic return=1574.8162841796875\n", + "global step=16003072, episodic return=1983.220458984375\n", + "global step=16003072, episodic return=1475.328125\n", + "global step=16003072, episodic return=1150.0628662109375\n", + "global step=16003072, episodic return=1912.696533203125\n", + "global step=16007168, episodic return=1408.9365234375\n", + "global step=16009216, episodic return=1986.236083984375\n", + "global step=16011264, episodic return=1890.7615966796875\n", + "global step=16011264, episodic return=1398.91650390625\n", + "global step=16011264, episodic return=1421.608642578125\n", + "global step=16013312, episodic return=1990.929443359375\n", + "global step=16013312, episodic return=1962.1153564453125\n", + "global step=16013312, episodic return=1306.1383056640625\n", + "global step=16015360, episodic return=1457.69384765625\n", + "global step=16017408, episodic return=1999.2210693359375\n", + "global step=16019456, episodic return=1513.03515625\n", + "global step=16021504, episodic return=1681.0657958984375\n", + "global step=16021504, episodic return=1378.232421875\n", + "global step=16029696, episodic return=1958.31103515625\n", + "global step=16033792, episodic return=1920.4898681640625\n", + "global step=16033792, episodic return=2002.830322265625\n", + "global step=16035840, episodic return=1931.5843505859375\n", + "global step=16035840, episodic return=1917.6826171875\n", + "global step=16044032, episodic return=1315.602783203125\n", + "global step=16046080, episodic return=1916.2720947265625\n", + "global step=16048128, episodic return=1497.4273681640625\n", + "global step=16048128, episodic return=1899.344482421875\n", + "global step=16048128, episodic return=1966.765380859375\n", + "global step=16050176, episodic return=1492.2884521484375\n", + "global step=16052224, episodic return=1973.943115234375\n", + "global step=16052224, episodic return=1934.9493408203125\n", + "global step=16052224, episodic return=1924.8553466796875\n", + "global step=16054272, episodic return=1964.7371826171875\n", + "global step=16054272, episodic return=1919.244140625\n", + "global step=16062464, episodic return=1920.29248046875\n", + "global step=16064512, episodic return=1908.0162353515625\n", + "global step=16064512, episodic return=1499.052490234375\n", + "global step=16064512, episodic return=1347.43505859375\n", + "global step=16066560, episodic return=1955.79443359375\n", + "global step=16070656, episodic return=1038.7021484375\n", + "global step=16070656, episodic return=1953.933837890625\n", + "global step=16070656, episodic return=1247.439208984375\n", + "global step=16072704, episodic return=915.921630859375\n", + "global step=16074752, episodic return=1594.3162841796875\n", + "global step=16076800, episodic return=60.434120178222656\n", + "global step=16076800, episodic return=1437.5491943359375\n", + "global step=16076800, episodic return=1968.7567138671875\n", + "global step=16080896, episodic return=982.8767700195312\n", + "global step=16080896, episodic return=1971.8900146484375\n", + "global step=16082944, episodic return=1973.0858154296875\n", + "global step=16084992, episodic return=1369.3355712890625\n", + "global step=16084992, episodic return=1807.4583740234375\n", + "global step=16087040, episodic return=1923.7579345703125\n", + "global step=16089088, episodic return=2008.17236328125\n", + "global step=16093184, episodic return=955.6263427734375\n", + "global step=16093184, episodic return=1983.91845703125\n", + "global step=16095232, episodic return=1810.0106201171875\n", + "global step=16095232, episodic return=1396.5003662109375\n", + "global step=16099328, episodic return=1306.186279296875\n", + "global step=16101376, episodic return=1378.7030029296875\n", + "global step=16101376, episodic return=1358.9239501953125\n", + "global step=16101376, episodic return=1494.0845947265625\n", + "global step=16103424, episodic return=718.0079345703125\n", + "global step=16103424, episodic return=1722.8221435546875\n", + "global step=16103424, episodic return=1830.9779052734375\n", + "global step=16109568, episodic return=1930.732421875\n", + "global step=16109568, episodic return=1956.61669921875\n", + "global step=16111616, episodic return=1942.2913818359375\n", + "global step=16113664, episodic return=1894.895751953125\n", + "global step=16115712, episodic return=1379.2125244140625\n", + "global step=16115712, episodic return=1942.1622314453125\n", + "global step=16115712, episodic return=1922.437255859375\n", + "global step=16119808, episodic return=1943.3372802734375\n", + "global step=16119808, episodic return=1928.317626953125\n", + "global step=16125952, episodic return=1375.1572265625\n", + "global step=16132096, episodic return=1663.055908203125\n", + "global step=16138240, episodic return=1920.8294677734375\n", + "global step=16142336, episodic return=1950.4608154296875\n", + "global step=16148480, episodic return=1742.318359375\n", + "global step=16152576, episodic return=1929.827880859375\n", + "global step=16154624, episodic return=1256.9466552734375\n", + "global step=16156672, episodic return=1952.607421875\n", + "global step=16156672, episodic return=1922.11572265625\n", + "global step=16158720, episodic return=1568.537841796875\n", + "global step=16160768, episodic return=721.8615112304688\n", + "global step=16160768, episodic return=1893.186279296875\n", + "global step=16162816, episodic return=1971.303466796875\n", + "global step=16162816, episodic return=545.5338134765625\n", + "global step=16166912, episodic return=1178.7691650390625\n", + "global step=16166912, episodic return=1917.5086669921875\n", + "global step=16168960, episodic return=1926.49267578125\n", + "global step=16173056, episodic return=1223.6392822265625\n", + "global step=16175104, episodic return=1328.594482421875\n", + "global step=16177152, episodic return=1605.48974609375\n", + "global step=16179200, episodic return=1105.5242919921875\n", + "global step=16179200, episodic return=1912.848876953125\n", + "global step=16181248, episodic return=1099.6444091796875\n", + "global step=16187392, episodic return=1936.671630859375\n", + "global step=16193536, episodic return=1515.6937255859375\n", + "global step=16193536, episodic return=1910.91162109375\n", + "global step=16195584, episodic return=1379.361572265625\n", + "global step=16195584, episodic return=1077.8619384765625\n", + "global step=16197632, episodic return=1603.781982421875\n", + "global step=16197632, episodic return=1927.2117919921875\n", + "global step=16197632, episodic return=1528.36474609375\n", + "global step=16199680, episodic return=1299.1087646484375\n", + "global step=16201728, episodic return=1519.8280029296875\n", + "global step=16203776, episodic return=1923.760009765625\n", + "global step=16205824, episodic return=1974.1107177734375\n", + "global step=16205824, episodic return=952.6148071289062\n", + "global step=16207872, episodic return=614.47900390625\n", + "global step=16207872, episodic return=1549.714111328125\n", + "global step=16207872, episodic return=1958.6640625\n", + "global step=16209920, episodic return=1385.6943359375\n", + "global step=16211968, episodic return=1958.4544677734375\n", + "global step=16214016, episodic return=1444.723388671875\n", + "global step=16214016, episodic return=1363.9613037109375\n", + "global step=16216064, episodic return=1666.3330078125\n", + "global step=16220160, episodic return=1504.1143798828125\n", + "global step=16220160, episodic return=1953.659423828125\n", + "global step=16226304, episodic return=1240.1107177734375\n", + "global step=16226304, episodic return=1446.958740234375\n", + "global step=16226304, episodic return=1963.9697265625\n", + "global step=16228352, episodic return=1764.9307861328125\n", + "global step=16230400, episodic return=1979.2366943359375\n", + "global step=16232448, episodic return=734.198486328125\n", + "global step=16234496, episodic return=1928.369873046875\n", + "global step=16234496, episodic return=1617.5513916015625\n", + "global step=16236544, episodic return=1598.0836181640625\n", + "global step=16240640, episodic return=1999.885009765625\n", + "global step=16240640, episodic return=1930.304931640625\n", + "global step=16240640, episodic return=1555.2686767578125\n", + "global step=16240640, episodic return=1929.6956787109375\n", + "global step=16242688, episodic return=1485.1151123046875\n", + "global step=16242688, episodic return=2019.767578125\n", + "global step=16244736, episodic return=1817.2518310546875\n", + "global step=16244736, episodic return=1982.9320068359375\n", + "global step=16244736, episodic return=1964.3897705078125\n", + "global step=16244736, episodic return=2009.8394775390625\n", + "global step=16246784, episodic return=1934.67333984375\n", + "global step=16246784, episodic return=1508.6146240234375\n", + "global step=16246784, episodic return=542.0546875\n", + "global step=16246784, episodic return=1976.3426513671875\n", + "global step=16248832, episodic return=2011.9473876953125\n", + "global step=16252928, episodic return=1516.4801025390625\n", + "global step=16252928, episodic return=1983.5596923828125\n", + "global step=16257024, episodic return=1028.6304931640625\n", + "global step=16257024, episodic return=1926.95263671875\n", + "global step=16259072, episodic return=1408.316162109375\n", + "global step=16259072, episodic return=1490.58056640625\n", + "global step=16261120, episodic return=1941.7421875\n", + "global step=16265216, episodic return=1573.4716796875\n", + "global step=16265216, episodic return=1907.4434814453125\n", + "global step=16265216, episodic return=1695.2239990234375\n", + "global step=16271360, episodic return=662.095703125\n", + "global step=16271360, episodic return=1982.9635009765625\n", + "global step=16273408, episodic return=959.9622802734375\n", + "global step=16273408, episodic return=596.0025634765625\n", + "global step=16273408, episodic return=1347.4058837890625\n", + "global step=16275456, episodic return=1720.678466796875\n", + "global step=16275456, episodic return=1678.3555908203125\n", + "global step=16275456, episodic return=1997.5699462890625\n", + "global step=16277504, episodic return=1944.915283203125\n", + "global step=16279552, episodic return=1946.654296875\n", + "global step=16279552, episodic return=1856.6676025390625\n", + "global step=16279552, episodic return=1977.674560546875\n", + "global step=16279552, episodic return=1545.757080078125\n", + "global step=16281600, episodic return=1476.974853515625\n", + "global step=16281600, episodic return=1523.5948486328125\n", + "global step=16283648, episodic return=1468.5137939453125\n", + "global step=16283648, episodic return=2001.3551025390625\n", + "global step=16285696, episodic return=1955.245849609375\n", + "global step=16285696, episodic return=1985.9549560546875\n", + "global step=16285696, episodic return=1119.1007080078125\n", + "global step=16287744, episodic return=1980.5911865234375\n", + "global step=16287744, episodic return=1965.58544921875\n", + "global step=16291840, episodic return=1509.12158203125\n", + "global step=16291840, episodic return=1993.528564453125\n", + "global step=16293888, episodic return=601.1864013671875\n", + "global step=16300032, episodic return=1986.638427734375\n", + "global step=16302080, episodic return=1270.1495361328125\n", + "global step=16308224, episodic return=1426.260498046875\n", + "global step=16314368, episodic return=1182.8822021484375\n", + "global step=16314368, episodic return=1525.5523681640625\n", + "global step=16318464, episodic return=1937.941650390625\n", + "global step=16318464, episodic return=297.8962707519531\n", + "global step=16320512, episodic return=1710.261962890625\n", + "global step=16320512, episodic return=1943.7471923828125\n", + "global step=16322560, episodic return=1982.856201171875\n", + "global step=16324608, episodic return=951.0674438476562\n", + "global step=16324608, episodic return=1758.606689453125\n", + "global step=16326656, episodic return=746.6802978515625\n", + "global step=16330752, episodic return=1346.4342041015625\n", + "global step=16330752, episodic return=61.858238220214844\n", + "global step=16332800, episodic return=1181.324462890625\n", + "global step=16336896, episodic return=64.81515502929688\n", + "global step=16336896, episodic return=1613.50390625\n", + "global step=16336896, episodic return=1639.7724609375\n", + "global step=16338944, episodic return=1921.080078125\n", + "global step=16343040, episodic return=1569.78662109375\n", + "global step=16343040, episodic return=2021.9637451171875\n", + "global step=16343040, episodic return=2013.758056640625\n", + "global step=16343040, episodic return=1748.5859375\n", + "global step=16345088, episodic return=1613.3182373046875\n", + "global step=16345088, episodic return=1626.67138671875\n", + "global step=16345088, episodic return=720.6353759765625\n", + "global step=16345088, episodic return=1068.1378173828125\n", + "global step=16345088, episodic return=1942.2366943359375\n", + "global step=16347136, episodic return=562.860595703125\n", + "global step=16347136, episodic return=859.1395874023438\n", + "global step=16349184, episodic return=1806.3861083984375\n", + "global step=16349184, episodic return=1956.06396484375\n", + "global step=16351232, episodic return=1977.5789794921875\n", + "global step=16351232, episodic return=1152.6298828125\n", + "global step=16351232, episodic return=503.32403564453125\n", + "global step=16353280, episodic return=1986.6619873046875\n", + "global step=16357376, episodic return=607.6271362304688\n", + "global step=16357376, episodic return=1984.8604736328125\n", + "global step=16357376, episodic return=1479.6334228515625\n", + "global step=16357376, episodic return=1982.5921630859375\n", + "global step=16359424, episodic return=1160.31640625\n", + "global step=16359424, episodic return=2001.615234375\n", + "global step=16361472, episodic return=1456.1868896484375\n", + "global step=16361472, episodic return=1615.97900390625\n", + "global step=16361472, episodic return=1998.8837890625\n", + "global step=16363520, episodic return=1645.2435302734375\n", + "global step=16365568, episodic return=291.10479736328125\n", + "global step=16365568, episodic return=1504.9798583984375\n", + "global step=16367616, episodic return=1636.015869140625\n", + "global step=16367616, episodic return=1049.5283203125\n", + "global step=16367616, episodic return=512.4966430664062\n", + "global step=16367616, episodic return=1959.890869140625\n", + "global step=16371712, episodic return=1958.5557861328125\n", + "global step=16371712, episodic return=1938.3580322265625\n", + "global step=16373760, episodic return=2025.8590087890625\n", + "global step=16377856, episodic return=1935.6595458984375\n", + "global step=16379904, episodic return=909.491943359375\n", + "global step=16379904, episodic return=1663.0220947265625\n", + "global step=16390144, episodic return=2006.68603515625\n", + "global step=16390144, episodic return=1992.9486083984375\n", + "global step=16392192, episodic return=1985.48876953125\n", + "global step=16398336, episodic return=1508.2796630859375\n", + "global step=16402432, episodic return=1825.5235595703125\n", + "global step=16406528, episodic return=1620.405517578125\n", + "global step=16406528, episodic return=327.0621643066406\n", + "global step=16406528, episodic return=744.4129638671875\n", + "global step=16406528, episodic return=1171.8319091796875\n", + "global step=16406528, episodic return=1616.95263671875\n", + "global step=16408576, episodic return=1598.7735595703125\n", + "global step=16408576, episodic return=1405.44921875\n", + "global step=16408576, episodic return=529.1919555664062\n", + "global step=16410624, episodic return=1434.196533203125\n", + "global step=16410624, episodic return=2023.4267578125\n", + "global step=16410624, episodic return=1977.7503662109375\n", + "global step=16412672, episodic return=1952.9093017578125\n", + "global step=16412672, episodic return=559.684326171875\n", + "global step=16414720, episodic return=735.4638061523438\n", + "global step=16414720, episodic return=866.1043701171875\n", + "global step=16416768, episodic return=1967.49169921875\n", + "global step=16416768, episodic return=1972.6441650390625\n", + "global step=16418816, episodic return=1952.70068359375\n", + "global step=16418816, episodic return=2042.984375\n", + "global step=16418816, episodic return=1978.439453125\n", + "global step=16420864, episodic return=1935.51416015625\n", + "global step=16420864, episodic return=1991.8319091796875\n", + "global step=16420864, episodic return=578.9757690429688\n", + "global step=16422912, episodic return=709.4586181640625\n", + "global step=16424960, episodic return=688.442138671875\n", + "global step=16429056, episodic return=1959.7904052734375\n", + "global step=16429056, episodic return=817.9979858398438\n", + "global step=16431104, episodic return=1194.0506591796875\n", + "global step=16431104, episodic return=1411.186279296875\n", + "global step=16431104, episodic return=507.14154052734375\n", + "global step=16431104, episodic return=1747.6077880859375\n", + "global step=16433152, episodic return=2037.919189453125\n", + "global step=16433152, episodic return=1127.795654296875\n", + "global step=16433152, episodic return=1944.5020751953125\n", + "global step=16433152, episodic return=1842.3084716796875\n", + "global step=16435200, episodic return=1990.8304443359375\n", + "global step=16435200, episodic return=2022.8228759765625\n", + "global step=16435200, episodic return=2013.61865234375\n", + "global step=16441344, episodic return=825.8660278320312\n", + "global step=16441344, episodic return=589.065673828125\n", + "global step=16441344, episodic return=1980.36279296875\n", + "global step=16441344, episodic return=498.47100830078125\n", + "global step=16441344, episodic return=1597.46240234375\n", + "global step=16443392, episodic return=1949.773681640625\n", + "global step=16443392, episodic return=1930.9912109375\n", + "global step=16445440, episodic return=2011.4732666015625\n", + "global step=16447488, episodic return=1994.78857421875\n", + "global step=16447488, episodic return=508.14288330078125\n", + "global step=16451584, episodic return=589.399658203125\n", + "global step=16451584, episodic return=2031.3526611328125\n", + "global step=16453632, episodic return=2026.02734375\n", + "global step=16455680, episodic return=2024.7220458984375\n", + "global step=16455680, episodic return=570.10986328125\n", + "global step=16457728, episodic return=1990.2830810546875\n", + "global step=16459776, episodic return=517.1040649414062\n", + "global step=16459776, episodic return=951.5242919921875\n", + "global step=16461824, episodic return=1953.9066162109375\n", + "global step=16461824, episodic return=820.5155639648438\n", + "global step=16461824, episodic return=545.7149047851562\n", + "global step=16463872, episodic return=853.194580078125\n", + "global step=16463872, episodic return=499.10205078125\n", + "global step=16465920, episodic return=669.2577514648438\n", + "global step=16465920, episodic return=1990.771728515625\n", + "global step=16467968, episodic return=2032.4552001953125\n", + "global step=16470016, episodic return=1917.2750244140625\n", + "global step=16470016, episodic return=603.9551391601562\n", + "global step=16474112, episodic return=1934.244140625\n", + "global step=16474112, episodic return=1901.492431640625\n", + "global step=16474112, episodic return=1964.9586181640625\n", + "global step=16476160, episodic return=521.792236328125\n", + "global step=16478208, episodic return=595.5198974609375\n", + "global step=16478208, episodic return=1782.913818359375\n", + "global step=16480256, episodic return=1588.091064453125\n", + "global step=16482304, episodic return=2037.1900634765625\n", + "global step=16482304, episodic return=1995.7696533203125\n", + "global step=16484352, episodic return=522.2073364257812\n", + "global step=16484352, episodic return=1962.359130859375\n", + "global step=16484352, episodic return=2017.923583984375\n", + "global step=16484352, episodic return=557.6550903320312\n", + "global step=16484352, episodic return=1755.575439453125\n", + "global step=16484352, episodic return=1947.9920654296875\n", + "global step=16486400, episodic return=493.3473205566406\n", + "global step=16486400, episodic return=591.3171997070312\n", + "global step=16488448, episodic return=707.534912109375\n", + "global step=16488448, episodic return=1426.7247314453125\n", + "global step=16488448, episodic return=1298.6295166015625\n", + "global step=16490496, episodic return=1434.9451904296875\n", + "global step=16490496, episodic return=1970.608642578125\n", + "global step=16490496, episodic return=1928.8328857421875\n", + "global step=16492544, episodic return=2003.015380859375\n", + "global step=16492544, episodic return=1997.3218994140625\n", + "global step=16494592, episodic return=1295.7864990234375\n", + "global step=16494592, episodic return=1656.7646484375\n", + "global step=16494592, episodic return=2020.8720703125\n", + "global step=16496640, episodic return=1976.9417724609375\n", + "global step=16498688, episodic return=526.7483520507812\n", + "global step=16500736, episodic return=1910.7869873046875\n", + "global step=16500736, episodic return=281.7280578613281\n", + "global step=16500736, episodic return=2002.1248779296875\n", + "global step=16502784, episodic return=1934.62548828125\n", + "global step=16502784, episodic return=289.7205810546875\n", + "global step=16502784, episodic return=527.4741821289062\n", + "global step=16502784, episodic return=1909.203857421875\n", + "global step=16502784, episodic return=1787.1630859375\n", + "global step=16502784, episodic return=357.5438232421875\n", + "global step=16504832, episodic return=1903.174560546875\n", + "global step=16504832, episodic return=554.271484375\n", + "global step=16506880, episodic return=754.9642333984375\n", + "global step=16506880, episodic return=853.720458984375\n", + "global step=16506880, episodic return=1979.3489990234375\n", + "global step=16508928, episodic return=1924.5423583984375\n", + "global step=16508928, episodic return=1984.4005126953125\n", + "global step=16508928, episodic return=1955.6285400390625\n", + "global step=16508928, episodic return=934.2493896484375\n", + "global step=16508928, episodic return=601.1546630859375\n", + "global step=16510976, episodic return=1998.9300537109375\n", + "global step=16510976, episodic return=1727.10009765625\n", + "global step=16510976, episodic return=586.5901489257812\n", + "global step=16510976, episodic return=1515.761474609375\n", + "global step=16513024, episodic return=1050.77490234375\n", + "global step=16513024, episodic return=496.0738525390625\n", + "global step=16513024, episodic return=1980.5615234375\n", + "global step=16513024, episodic return=1953.287841796875\n", + "global step=16513024, episodic return=2000.3443603515625\n", + "global step=16513024, episodic return=607.1115112304688\n", + "global step=16515072, episodic return=526.0844116210938\n", + "global step=16515072, episodic return=610.4425048828125\n", + "global step=16517120, episodic return=584.759765625\n", + "global step=16517120, episodic return=716.5021362304688\n", + "global step=16517120, episodic return=703.6466064453125\n", + "global step=16517120, episodic return=1978.334716796875\n", + "global step=16517120, episodic return=1720.9422607421875\n", + "global step=16517120, episodic return=1987.872314453125\n", + "global step=16521216, episodic return=779.2540283203125\n", + "global step=16521216, episodic return=702.3491821289062\n", + "global step=16523264, episodic return=1961.9241943359375\n", + "global step=16523264, episodic return=1990.165283203125\n", + "global step=16523264, episodic return=582.4425048828125\n", + "global step=16525312, episodic return=1596.3743896484375\n", + "global step=16525312, episodic return=1979.6575927734375\n", + "global step=16525312, episodic return=1961.487060546875\n", + "global step=16527360, episodic return=1346.435546875\n", + "global step=16527360, episodic return=1747.5926513671875\n", + "global step=16527360, episodic return=1572.4681396484375\n", + "global step=16527360, episodic return=172.4328155517578\n", + "global step=16527360, episodic return=1951.84326171875\n", + "global step=16529408, episodic return=1885.892822265625\n", + "global step=16529408, episodic return=1975.317626953125\n", + "global step=16529408, episodic return=1912.988037109375\n", + "global step=16531456, episodic return=572.4608154296875\n", + "global step=16531456, episodic return=523.7686157226562\n", + "global step=16531456, episodic return=645.675537109375\n", + "global step=16531456, episodic return=270.4245300292969\n", + "global step=16531456, episodic return=1373.9195556640625\n", + "global step=16531456, episodic return=1963.52587890625\n", + "global step=16531456, episodic return=1925.6737060546875\n", + "global step=16531456, episodic return=1999.66943359375\n", + "global step=16531456, episodic return=1873.3719482421875\n", + "global step=16533504, episodic return=2033.0294189453125\n", + "global step=16535552, episodic return=710.4093627929688\n", + "global step=16535552, episodic return=2033.94580078125\n", + "global step=16535552, episodic return=696.8104858398438\n", + "global step=16537600, episodic return=1611.970947265625\n", + "global step=16537600, episodic return=1462.391357421875\n", + "global step=16537600, episodic return=563.1952514648438\n", + "global step=16539648, episodic return=1989.8995361328125\n", + "global step=16539648, episodic return=563.2150268554688\n", + "global step=16539648, episodic return=1948.46142578125\n", + "global step=16541696, episodic return=1958.5567626953125\n", + "global step=16541696, episodic return=1993.8968505859375\n", + "global step=16541696, episodic return=805.4038696289062\n", + "global step=16543744, episodic return=625.6541137695312\n", + "global step=16543744, episodic return=1948.93994140625\n", + "global step=16543744, episodic return=1970.42138671875\n", + "global step=16543744, episodic return=1238.451171875\n", + "global step=16545792, episodic return=284.50830078125\n", + "global step=16545792, episodic return=1730.7901611328125\n", + "global step=16545792, episodic return=782.6162109375\n", + "global step=16545792, episodic return=255.78199768066406\n", + "global step=16547840, episodic return=1969.510498046875\n", + "global step=16547840, episodic return=957.0835571289062\n", + "global step=16547840, episodic return=1997.8651123046875\n", + "global step=16547840, episodic return=1974.574462890625\n", + "global step=16547840, episodic return=601.7799072265625\n", + "global step=16547840, episodic return=268.1112365722656\n", + "global step=16549888, episodic return=1994.4713134765625\n", + "global step=16549888, episodic return=504.9572448730469\n", + "global step=16549888, episodic return=1940.7430419921875\n", + "global step=16549888, episodic return=1730.3553466796875\n", + "global step=16549888, episodic return=2003.878173828125\n", + "global step=16549888, episodic return=633.9581298828125\n", + "global step=16551936, episodic return=1991.4569091796875\n", + "global step=16551936, episodic return=2003.53759765625\n", + "global step=16551936, episodic return=1978.8187255859375\n", + "global step=16551936, episodic return=526.3924560546875\n", + "global step=16551936, episodic return=1982.8092041015625\n", + "global step=16553984, episodic return=1072.7308349609375\n", + "global step=16553984, episodic return=1973.6217041015625\n", + "global step=16556032, episodic return=1367.79931640625\n", + "global step=16558080, episodic return=619.8753051757812\n", + "global step=16558080, episodic return=1713.0689697265625\n", + "global step=16558080, episodic return=1918.9442138671875\n", + "global step=16558080, episodic return=1960.39892578125\n", + "global step=16558080, episodic return=2010.961669921875\n", + "global step=16560128, episodic return=1467.215576171875\n", + "global step=16562176, episodic return=2026.662353515625\n", + "global step=16562176, episodic return=1961.4461669921875\n", + "global step=16562176, episodic return=1952.1868896484375\n", + "global step=16562176, episodic return=737.4581909179688\n", + "global step=16562176, episodic return=1967.2965087890625\n", + "global step=16564224, episodic return=2032.9110107421875\n", + "global step=16564224, episodic return=1974.0469970703125\n", + "global step=16564224, episodic return=1283.2261962890625\n", + "global step=16564224, episodic return=1056.6776123046875\n", + "global step=16564224, episodic return=589.585205078125\n", + "global step=16564224, episodic return=2016.48095703125\n", + "global step=16566272, episodic return=1948.51513671875\n", + "global step=16568320, episodic return=1987.3448486328125\n", + "global step=16568320, episodic return=2049.926513671875\n", + "global step=16568320, episodic return=1960.8507080078125\n", + "global step=16570368, episodic return=1964.27685546875\n", + "global step=16570368, episodic return=1976.2777099609375\n", + "global step=16570368, episodic return=1875.8695068359375\n", + "global step=16570368, episodic return=1977.68115234375\n", + "global step=16570368, episodic return=1994.6422119140625\n", + "global step=16570368, episodic return=593.310546875\n", + "global step=16572416, episodic return=877.2889404296875\n", + "global step=16572416, episodic return=1988.552001953125\n", + "global step=16574464, episodic return=670.4921875\n", + "global step=16576512, episodic return=1997.373046875\n", + "global step=16576512, episodic return=1956.3209228515625\n", + "global step=16578560, episodic return=2006.805908203125\n", + "global step=16578560, episodic return=1911.0748291015625\n", + "global step=16578560, episodic return=1970.568115234375\n", + "global step=16578560, episodic return=1962.058349609375\n", + "global step=16580608, episodic return=2008.6527099609375\n", + "global step=16580608, episodic return=1042.4071044921875\n", + "global step=16582656, episodic return=1951.9932861328125\n", + "global step=16582656, episodic return=2006.9285888671875\n", + "global step=16582656, episodic return=1933.6375732421875\n", + "global step=16584704, episodic return=2053.9052734375\n", + "global step=16584704, episodic return=2047.87109375\n", + "global step=16584704, episodic return=1960.79248046875\n", + "global step=16584704, episodic return=2036.1588134765625\n", + "global step=16584704, episodic return=838.4000854492188\n", + "global step=16584704, episodic return=1972.7369384765625\n", + "global step=16584704, episodic return=1950.7879638671875\n", + "global step=16584704, episodic return=508.1767883300781\n", + "global step=16584704, episodic return=586.1985473632812\n", + "global step=16586752, episodic return=1987.6392822265625\n", + "global step=16586752, episodic return=1981.6239013671875\n", + "global step=16588800, episodic return=718.2601318359375\n", + "global step=16588800, episodic return=674.7989501953125\n", + "global step=16588800, episodic return=843.6596069335938\n", + "global step=16588800, episodic return=270.4645080566406\n", + "global step=16590848, episodic return=503.589111328125\n", + "global step=16590848, episodic return=1998.53955078125\n", + "global step=16590848, episodic return=1995.24755859375\n", + "global step=16590848, episodic return=2012.125\n", + "global step=16590848, episodic return=871.4546508789062\n", + "global step=16592896, episodic return=1741.6102294921875\n", + "global step=16592896, episodic return=1991.3084716796875\n", + "global step=16592896, episodic return=1163.6136474609375\n", + "global step=16592896, episodic return=297.0551452636719\n", + "global step=16592896, episodic return=667.7943725585938\n", + "global step=16592896, episodic return=1939.8216552734375\n", + "global step=16596992, episodic return=617.3319702148438\n", + "global step=16596992, episodic return=580.3527221679688\n", + "global step=16596992, episodic return=1795.204345703125\n", + "global step=16596992, episodic return=660.4835815429688\n", + "global step=16599040, episodic return=581.9480590820312\n", + "global step=16599040, episodic return=683.249755859375\n", + "global step=16599040, episodic return=2017.367431640625\n", + "global step=16599040, episodic return=1978.0709228515625\n", + "global step=16599040, episodic return=653.2394409179688\n", + "global step=16599040, episodic return=2007.5111083984375\n", + "global step=16599040, episodic return=1513.4952392578125\n", + "global step=16601088, episodic return=1969.091552734375\n", + "global step=16601088, episodic return=1984.4149169921875\n", + "global step=16603136, episodic return=2052.323974609375\n", + "global step=16603136, episodic return=2046.6820068359375\n", + "global step=16603136, episodic return=1997.9296875\n", + "global step=16605184, episodic return=2000.39453125\n", + "global step=16605184, episodic return=689.9681396484375\n", + "global step=16605184, episodic return=1454.5155029296875\n", + "global step=16605184, episodic return=1342.8935546875\n", + "global step=16605184, episodic return=1966.4737548828125\n", + "global step=16605184, episodic return=2002.3916015625\n", + "global step=16607232, episodic return=586.0863647460938\n", + "global step=16607232, episodic return=713.9347534179688\n", + "global step=16607232, episodic return=1981.853759765625\n", + "global step=16607232, episodic return=308.4096374511719\n", + "global step=16607232, episodic return=575.49462890625\n", + "global step=16607232, episodic return=1992.5970458984375\n", + "global step=16607232, episodic return=2004.143798828125\n", + "global step=16609280, episodic return=1979.2659912109375\n", + "global step=16609280, episodic return=1987.9766845703125\n", + "global step=16611328, episodic return=1443.5343017578125\n", + "global step=16611328, episodic return=2001.285888671875\n", + "global step=16611328, episodic return=1934.1048583984375\n", + "global step=16613376, episodic return=982.8103637695312\n", + "global step=16613376, episodic return=2020.245361328125\n", + "global step=16613376, episodic return=2008.79345703125\n", + "global step=16613376, episodic return=1537.159912109375\n", + "global step=16615424, episodic return=1988.2613525390625\n", + "global step=16615424, episodic return=1992.8941650390625\n", + "global step=16615424, episodic return=1141.94580078125\n", + "global step=16617472, episodic return=1606.07763671875\n", + "global step=16617472, episodic return=1949.2271728515625\n", + "global step=16617472, episodic return=878.625732421875\n", + "global step=16619520, episodic return=1976.0745849609375\n", + "global step=16621568, episodic return=1955.944091796875\n", + "global step=16623616, episodic return=2036.21728515625\n", + "global step=16623616, episodic return=1962.7327880859375\n", + "global step=16623616, episodic return=1946.8699951171875\n", + "global step=16623616, episodic return=1164.55517578125\n", + "global step=16625664, episodic return=1312.0982666015625\n", + "global step=16625664, episodic return=2020.031494140625\n", + "global step=16625664, episodic return=2028.2689208984375\n", + "global step=16625664, episodic return=933.2577514648438\n", + "global step=16625664, episodic return=1976.197509765625\n", + "global step=16625664, episodic return=2024.471435546875\n", + "global step=16625664, episodic return=1983.0782470703125\n", + "global step=16627712, episodic return=1993.0787353515625\n", + "global step=16627712, episodic return=2064.622802734375\n", + "global step=16627712, episodic return=1240.52294921875\n", + "global step=16627712, episodic return=1972.0653076171875\n", + "global step=16627712, episodic return=1983.883056640625\n", + "global step=16629760, episodic return=2068.9306640625\n", + "global step=16629760, episodic return=2035.8157958984375\n", + "global step=16631808, episodic return=1521.376953125\n", + "global step=16631808, episodic return=2036.2357177734375\n", + "global step=16631808, episodic return=607.1309814453125\n", + "global step=16633856, episodic return=592.1915893554688\n", + "global step=16633856, episodic return=1996.755859375\n", + "global step=16633856, episodic return=1988.826416015625\n", + "global step=16633856, episodic return=1751.5078125\n", + "global step=16635904, episodic return=2017.112548828125\n", + "global step=16635904, episodic return=1959.49462890625\n", + "global step=16635904, episodic return=1975.5316162109375\n", + "global step=16637952, episodic return=1984.36083984375\n", + "global step=16637952, episodic return=2016.1192626953125\n", + "global step=16637952, episodic return=1431.9232177734375\n", + "global step=16637952, episodic return=2026.4326171875\n", + "global step=16637952, episodic return=1958.4083251953125\n", + "global step=16637952, episodic return=1972.21435546875\n", + "global step=16640000, episodic return=2029.9443359375\n", + "global step=16640000, episodic return=1453.9913330078125\n", + "global step=16642048, episodic return=1961.8831787109375\n", + "global step=16642048, episodic return=2004.0263671875\n", + "global step=16642048, episodic return=1946.423583984375\n", + "global step=16644096, episodic return=1088.1954345703125\n", + "global step=16644096, episodic return=1512.8455810546875\n", + "global step=16644096, episodic return=763.9032592773438\n", + "global step=16644096, episodic return=1000.31591796875\n", + "global step=16644096, episodic return=2058.304931640625\n", + "global step=16644096, episodic return=792.822998046875\n", + "global step=16644096, episodic return=1998.603759765625\n", + "global step=16646144, episodic return=1992.513427734375\n", + "global step=16646144, episodic return=803.5043334960938\n", + "global step=16646144, episodic return=1605.427490234375\n", + "global step=16646144, episodic return=1959.608154296875\n", + "global step=16646144, episodic return=2011.3604736328125\n", + "global step=16646144, episodic return=1643.7276611328125\n", + "global step=16646144, episodic return=557.5741577148438\n", + "global step=16646144, episodic return=2028.036865234375\n", + "global step=16646144, episodic return=1967.5384521484375\n", + "global step=16648192, episodic return=2002.06787109375\n", + "global step=16648192, episodic return=1992.26416015625\n", + "global step=16650240, episodic return=1973.3431396484375\n", + "global step=16650240, episodic return=1999.4775390625\n", + "global step=16650240, episodic return=1994.379638671875\n", + "global step=16650240, episodic return=711.5797729492188\n", + "global step=16650240, episodic return=727.4639892578125\n", + "global step=16652288, episodic return=1435.5595703125\n", + "global step=16652288, episodic return=2024.6588134765625\n", + "global step=16652288, episodic return=1993.7408447265625\n", + "global step=16654336, episodic return=2020.2354736328125\n", + "global step=16654336, episodic return=1985.8927001953125\n", + "global step=16654336, episodic return=1990.8258056640625\n", + "global step=16654336, episodic return=2029.3916015625\n", + "global step=16656384, episodic return=1957.1328125\n", + "global step=16656384, episodic return=2019.5943603515625\n", + "global step=16656384, episodic return=1928.5234375\n", + "global step=16656384, episodic return=2019.1319580078125\n", + "global step=16656384, episodic return=565.9772338867188\n", + "global step=16658432, episodic return=825.2909545898438\n", + "global step=16658432, episodic return=1986.73486328125\n", + "global step=16660480, episodic return=969.02490234375\n", + "global step=16660480, episodic return=2017.7908935546875\n", + "global step=16660480, episodic return=1930.9520263671875\n", + "global step=16662528, episodic return=730.6640014648438\n", + "global step=16666624, episodic return=637.2604370117188\n", + "global step=16666624, episodic return=2009.6644287109375\n", + "global step=16666624, episodic return=2039.9881591796875\n", + "global step=16668672, episodic return=1992.115234375\n", + "global step=16668672, episodic return=1996.8519287109375\n", + "global step=16668672, episodic return=1944.7529296875\n", + "global step=16668672, episodic return=2012.949951171875\n", + "global step=16668672, episodic return=2002.9747314453125\n", + "global step=16668672, episodic return=2029.6614990234375\n", + "global step=16670720, episodic return=752.9202880859375\n", + "global step=16670720, episodic return=977.438232421875\n", + "global step=16670720, episodic return=1357.1119384765625\n", + "global step=16670720, episodic return=707.0191650390625\n", + "global step=16672768, episodic return=731.5177001953125\n", + "global step=16674816, episodic return=2015.912841796875\n", + "global step=16674816, episodic return=2008.9285888671875\n", + "global step=16674816, episodic return=1932.2318115234375\n", + "global step=16674816, episodic return=1975.980224609375\n", + "global step=16674816, episodic return=1729.0013427734375\n", + "global step=16674816, episodic return=1134.26123046875\n", + "global step=16674816, episodic return=2046.7320556640625\n", + "global step=16676864, episodic return=2034.751953125\n", + "global step=16676864, episodic return=2026.0751953125\n", + "global step=16676864, episodic return=1023.023681640625\n", + "global step=16676864, episodic return=2010.5758056640625\n", + "global step=16678912, episodic return=1967.8338623046875\n", + "global step=16680960, episodic return=1967.9405517578125\n", + "global step=16680960, episodic return=1989.8046875\n", + "global step=16680960, episodic return=1992.7978515625\n", + "global step=16680960, episodic return=2025.80810546875\n", + "global step=16680960, episodic return=1998.1090087890625\n", + "global step=16683008, episodic return=1986.493896484375\n", + "global step=16683008, episodic return=1993.89501953125\n", + "global step=16683008, episodic return=2019.6866455078125\n", + "global step=16685056, episodic return=1983.3038330078125\n", + "global step=16685056, episodic return=1180.7198486328125\n", + "global step=16685056, episodic return=1997.0589599609375\n", + "global step=16687104, episodic return=1994.4580078125\n", + "global step=16687104, episodic return=983.4699096679688\n", + "global step=16687104, episodic return=750.476318359375\n", + "global step=16687104, episodic return=1958.2791748046875\n", + "global step=16687104, episodic return=2028.9346923828125\n", + "global step=16689152, episodic return=1980.14794921875\n", + "global step=16689152, episodic return=952.8273315429688\n", + "global step=16691200, episodic return=2008.4163818359375\n", + "global step=16691200, episodic return=2015.35400390625\n", + "global step=16691200, episodic return=1975.5894775390625\n", + "global step=16693248, episodic return=2042.03857421875\n", + "global step=16693248, episodic return=471.4609375\n", + "global step=16695296, episodic return=1987.0670166015625\n", + "global step=16695296, episodic return=1996.899658203125\n", + "global step=16695296, episodic return=1974.090087890625\n", + "global step=16695296, episodic return=1953.6243896484375\n", + "global step=16695296, episodic return=1999.4078369140625\n", + "global step=16697344, episodic return=992.9906616210938\n", + "global step=16697344, episodic return=2020.1904296875\n", + "global step=16697344, episodic return=2017.525146484375\n", + "global step=16699392, episodic return=2036.7545166015625\n", + "global step=16699392, episodic return=862.4520874023438\n", + "global step=16699392, episodic return=1981.0074462890625\n", + "global step=16699392, episodic return=2051.800048828125\n", + "global step=16699392, episodic return=1964.22998046875\n", + "global step=16701440, episodic return=1998.790283203125\n", + "global step=16701440, episodic return=2031.2603759765625\n", + "global step=16701440, episodic return=2045.3017578125\n", + "global step=16701440, episodic return=2039.2567138671875\n", + "global step=16703488, episodic return=1979.76904296875\n", + "global step=16703488, episodic return=1826.9521484375\n", + "global step=16703488, episodic return=847.2715454101562\n", + "global step=16703488, episodic return=1978.6585693359375\n", + "global step=16703488, episodic return=608.4072265625\n", + "global step=16703488, episodic return=1661.2239990234375\n", + "global step=16703488, episodic return=1295.9462890625\n", + "global step=16703488, episodic return=2033.556640625\n", + "global step=16703488, episodic return=1537.1470947265625\n", + "global step=16705536, episodic return=1992.436767578125\n", + "global step=16705536, episodic return=2009.1717529296875\n", + "global step=16707584, episodic return=1918.9234619140625\n", + "global step=16707584, episodic return=1980.8870849609375\n", + "global step=16707584, episodic return=901.3082275390625\n", + "global step=16709632, episodic return=2003.6435546875\n", + "global step=16709632, episodic return=799.9166870117188\n", + "global step=16711680, episodic return=1973.207275390625\n", + "global step=16711680, episodic return=1982.2926025390625\n", + "global step=16713728, episodic return=2015.595703125\n", + "global step=16715776, episodic return=2025.382080078125\n", + "global step=16715776, episodic return=1267.067138671875\n", + "global step=16715776, episodic return=2055.242919921875\n", + "global step=16717824, episodic return=614.2640991210938\n", + "global step=16717824, episodic return=1833.5438232421875\n", + "global step=16717824, episodic return=1995.5655517578125\n", + "global step=16717824, episodic return=2066.95654296875\n", + "global step=16717824, episodic return=2006.5628662109375\n", + "global step=16717824, episodic return=1997.7652587890625\n", + "global step=16721920, episodic return=2044.333984375\n", + "global step=16721920, episodic return=1741.98681640625\n", + "global step=16721920, episodic return=923.6250610351562\n", + "global step=16723968, episodic return=1976.755615234375\n", + "global step=16723968, episodic return=2026.494873046875\n", + "global step=16723968, episodic return=1951.652587890625\n", + "global step=16723968, episodic return=2004.3463134765625\n", + "global step=16726016, episodic return=2021.7880859375\n", + "global step=16726016, episodic return=1996.400634765625\n", + "global step=16726016, episodic return=1970.1971435546875\n", + "global step=16726016, episodic return=2009.362060546875\n", + "global step=16728064, episodic return=2042.5330810546875\n", + "global step=16728064, episodic return=818.6058959960938\n", + "global step=16730112, episodic return=1984.794189453125\n", + "global step=16730112, episodic return=1980.9659423828125\n", + "global step=16730112, episodic return=1999.427734375\n", + "global step=16732160, episodic return=1316.145263671875\n", + "global step=16732160, episodic return=2030.8720703125\n", + "global step=16732160, episodic return=2050.634521484375\n", + "global step=16734208, episodic return=2025.552490234375\n", + "global step=16734208, episodic return=2023.8607177734375\n", + "global step=16734208, episodic return=1962.98779296875\n", + "global step=16734208, episodic return=2035.4012451171875\n", + "global step=16734208, episodic return=957.906005859375\n", + "global step=16736256, episodic return=2039.1939697265625\n", + "global step=16736256, episodic return=1996.398681640625\n", + "global step=16736256, episodic return=969.7295532226562\n", + "global step=16736256, episodic return=2011.3763427734375\n", + "global step=16738304, episodic return=2016.462890625\n", + "global step=16738304, episodic return=2011.35302734375\n", + "global step=16738304, episodic return=2048.624267578125\n", + "global step=16738304, episodic return=1999.338623046875\n", + "global step=16742400, episodic return=1972.7259521484375\n", + "global step=16742400, episodic return=2034.716552734375\n", + "global step=16742400, episodic return=2043.4241943359375\n", + "global step=16744448, episodic return=2038.729736328125\n", + "global step=16744448, episodic return=1905.130859375\n", + "global step=16744448, episodic return=1981.89794921875\n", + "global step=16746496, episodic return=2024.6624755859375\n", + "global step=16746496, episodic return=932.4996337890625\n", + "global step=16746496, episodic return=2033.0682373046875\n", + "global step=16746496, episodic return=1621.3641357421875\n", + "global step=16748544, episodic return=1984.029541015625\n", + "global step=16748544, episodic return=1984.284423828125\n", + "global step=16750592, episodic return=2002.1624755859375\n", + "global step=16750592, episodic return=2017.102783203125\n", + "global step=16750592, episodic return=1977.9090576171875\n", + "global step=16750592, episodic return=1988.7724609375\n", + "global step=16752640, episodic return=2019.848388671875\n", + "global step=16752640, episodic return=2004.7979736328125\n", + "global step=16752640, episodic return=2018.37890625\n", + "global step=16752640, episodic return=1996.7318115234375\n", + "global step=16754688, episodic return=991.0504150390625\n", + "global step=16756736, episodic return=2028.0162353515625\n", + "global step=16756736, episodic return=2010.0946044921875\n", + "global step=16756736, episodic return=2010.716796875\n", + "global step=16758784, episodic return=156.22705078125\n", + "global step=16758784, episodic return=2031.7362060546875\n", + "global step=16758784, episodic return=1991.7916259765625\n", + "global step=16758784, episodic return=2037.478515625\n", + "global step=16758784, episodic return=1999.454833984375\n", + "global step=16758784, episodic return=1993.6583251953125\n", + "global step=16760832, episodic return=2022.7845458984375\n", + "global step=16760832, episodic return=1976.9541015625\n", + "global step=16762880, episodic return=1566.5360107421875\n", + "global step=16762880, episodic return=2000.8934326171875\n", + "global step=16762880, episodic return=1784.797119140625\n", + "global step=16762880, episodic return=2001.37109375\n", + "global step=16764928, episodic return=1834.444580078125\n", + "global step=16764928, episodic return=2026.10009765625\n", + "global step=16766976, episodic return=2042.5823974609375\n", + "global step=16766976, episodic return=2041.81689453125\n", + "global step=16766976, episodic return=582.1791381835938\n", + "global step=16766976, episodic return=1891.5001220703125\n", + "global step=16766976, episodic return=153.44488525390625\n", + "global step=16766976, episodic return=1992.081298828125\n", + "global step=16766976, episodic return=2037.2144775390625\n", + "global step=16766976, episodic return=2023.5126953125\n", + "global step=16769024, episodic return=2017.0928955078125\n", + "global step=16769024, episodic return=1212.345947265625\n", + "global step=16769024, episodic return=1993.345947265625\n", + "global step=16769024, episodic return=1285.85205078125\n", + "global step=16769024, episodic return=1946.8857421875\n", + "global step=16769024, episodic return=161.6001434326172\n", + "global step=16769024, episodic return=2021.6968994140625\n", + "global step=16769024, episodic return=2052.28515625\n", + "global step=16771072, episodic return=2048.8671875\n", + "global step=16771072, episodic return=1072.586181640625\n", + "global step=16771072, episodic return=648.6436767578125\n", + "global step=16771072, episodic return=2021.678466796875\n", + "global step=16773120, episodic return=2009.2576904296875\n", + "global step=16773120, episodic return=1852.5667724609375\n", + "global step=16773120, episodic return=1902.8646240234375\n", + "global step=16775168, episodic return=2014.22900390625\n", + "global step=16775168, episodic return=2035.6441650390625\n", + "global step=16775168, episodic return=745.0347290039062\n", + "global step=16777216, episodic return=1298.8333740234375\n", + "global step=16777216, episodic return=1274.8297119140625\n", + "global step=16777216, episodic return=1994.74072265625\n", + "global step=16779264, episodic return=2009.0355224609375\n", + "global step=16779264, episodic return=1967.6444091796875\n", + "global step=16779264, episodic return=995.71240234375\n", + "global step=16779264, episodic return=848.970947265625\n", + "global step=16781312, episodic return=863.8190307617188\n", + "global step=16781312, episodic return=1989.6917724609375\n", + "global step=16781312, episodic return=1934.126220703125\n", + "global step=16781312, episodic return=1858.6246337890625\n", + "global step=16783360, episodic return=2025.062744140625\n", + "global step=16783360, episodic return=2027.2257080078125\n", + "global step=16783360, episodic return=1977.99169921875\n", + "global step=16783360, episodic return=1230.4678955078125\n", + "global step=16783360, episodic return=806.2811889648438\n", + "global step=16783360, episodic return=1185.0845947265625\n", + "global step=16783360, episodic return=2009.8062744140625\n", + "global step=16783360, episodic return=2011.9747314453125\n", + "global step=16783360, episodic return=2034.16845703125\n", + "global step=16785408, episodic return=2043.4241943359375\n", + "global step=16785408, episodic return=2051.07177734375\n", + "global step=16785408, episodic return=1977.7484130859375\n", + "global step=16785408, episodic return=729.2986450195312\n", + "global step=16785408, episodic return=2026.673095703125\n", + "global step=16787456, episodic return=2003.8880615234375\n", + "global step=16787456, episodic return=1995.4892578125\n", + "global step=16787456, episodic return=2015.32080078125\n", + "global step=16789504, episodic return=947.092041015625\n", + "global step=16789504, episodic return=2046.4197998046875\n", + "global step=16789504, episodic return=970.9959106445312\n", + "global step=16791552, episodic return=2040.162841796875\n", + "global step=16791552, episodic return=2031.201904296875\n", + "global step=16793600, episodic return=746.9259033203125\n", + "global step=16793600, episodic return=601.91845703125\n", + "global step=16793600, episodic return=1214.443359375\n", + "global step=16793600, episodic return=2031.9512939453125\n", + "global step=16795648, episodic return=1926.6033935546875\n", + "global step=16795648, episodic return=2021.03271484375\n", + "global step=16795648, episodic return=2002.4227294921875\n", + "global step=16795648, episodic return=1934.9149169921875\n", + "global step=16795648, episodic return=2021.1527099609375\n", + "global step=16797696, episodic return=2015.3717041015625\n", + "global step=16797696, episodic return=1989.9263916015625\n", + "global step=16797696, episodic return=2013.2261962890625\n", + "global step=16799744, episodic return=2043.2410888671875\n", + "global step=16799744, episodic return=750.2952270507812\n", + "global step=16799744, episodic return=1178.6221923828125\n", + "global step=16799744, episodic return=2030.901123046875\n", + "global step=16799744, episodic return=2010.478271484375\n", + "global step=16801792, episodic return=2011.3441162109375\n", + "global step=16801792, episodic return=925.5740356445312\n", + "global step=16801792, episodic return=2029.900146484375\n", + "global step=16801792, episodic return=1992.1494140625\n", + "global step=16801792, episodic return=578.6659545898438\n", + "global step=16801792, episodic return=1988.446533203125\n", + "global step=16801792, episodic return=2032.9044189453125\n", + "global step=16803840, episodic return=2034.3101806640625\n", + "global step=16803840, episodic return=2030.2626953125\n", + "global step=16803840, episodic return=1098.17431640625\n", + "global step=16803840, episodic return=2014.9715576171875\n", + "global step=16805888, episodic return=2013.955322265625\n", + "global step=16805888, episodic return=2057.616943359375\n", + "global step=16805888, episodic return=907.5745849609375\n", + "global step=16807936, episodic return=2024.0029296875\n", + "global step=16807936, episodic return=2014.53076171875\n", + "global step=16807936, episodic return=2030.956787109375\n", + "global step=16807936, episodic return=1298.98095703125\n", + "global step=16812032, episodic return=2033.2657470703125\n", + "global step=16812032, episodic return=2043.7396240234375\n", + "global step=16814080, episodic return=2052.468505859375\n", + "global step=16814080, episodic return=2002.4307861328125\n", + "global step=16814080, episodic return=1986.5870361328125\n", + "global step=16814080, episodic return=2018.2481689453125\n", + "global step=16816128, episodic return=984.3666381835938\n", + "global step=16816128, episodic return=2021.178466796875\n", + "global step=16816128, episodic return=2046.7674560546875\n", + "global step=16816128, episodic return=1964.78857421875\n", + "global step=16818176, episodic return=1986.6990966796875\n", + "global step=16820224, episodic return=566.5346069335938\n", + "global step=16820224, episodic return=2028.3302001953125\n", + "global step=16822272, episodic return=1916.8974609375\n", + "global step=16822272, episodic return=1989.3634033203125\n", + "global step=16822272, episodic return=961.9717407226562\n", + "global step=16822272, episodic return=1180.4986572265625\n", + "global step=16822272, episodic return=2048.263671875\n", + "global step=16822272, episodic return=2011.4342041015625\n", + "global step=16822272, episodic return=1160.773193359375\n", + "global step=16824320, episodic return=1604.1666259765625\n", + "global step=16824320, episodic return=2052.09912109375\n", + "global step=16824320, episodic return=1992.7591552734375\n", + "global step=16824320, episodic return=1972.5843505859375\n", + "global step=16824320, episodic return=682.23583984375\n", + "global step=16824320, episodic return=2009.384765625\n", + "global step=16824320, episodic return=1306.0966796875\n", + "global step=16826368, episodic return=1979.8616943359375\n", + "global step=16826368, episodic return=2057.197265625\n", + "global step=16826368, episodic return=1661.311279296875\n", + "global step=16828416, episodic return=1978.641845703125\n", + "global step=16828416, episodic return=1923.9439697265625\n", + "global step=16828416, episodic return=1858.6016845703125\n", + "global step=16828416, episodic return=2031.3316650390625\n", + "global step=16828416, episodic return=2076.387939453125\n", + "global step=16828416, episodic return=1761.303466796875\n", + "global step=16828416, episodic return=1620.50048828125\n", + "global step=16828416, episodic return=1947.34326171875\n", + "global step=16828416, episodic return=1309.641357421875\n", + "global step=16828416, episodic return=2004.7239990234375\n", + "global step=16830464, episodic return=2056.9384765625\n", + "global step=16830464, episodic return=2012.705078125\n", + "global step=16830464, episodic return=2012.8779296875\n", + "global step=16830464, episodic return=1827.2735595703125\n", + "global step=16832512, episodic return=1986.760009765625\n", + "global step=16832512, episodic return=1629.8785400390625\n", + "global step=16834560, episodic return=2019.17919921875\n", + "global step=16834560, episodic return=2016.1248779296875\n", + "global step=16834560, episodic return=2006.874755859375\n", + "global step=16834560, episodic return=1700.1649169921875\n", + "global step=16836608, episodic return=2005.623291015625\n", + "global step=16836608, episodic return=1068.228759765625\n", + "global step=16838656, episodic return=1992.1962890625\n", + "global step=16838656, episodic return=830.88037109375\n", + "global step=16840704, episodic return=959.1024780273438\n", + "global step=16840704, episodic return=2014.115966796875\n", + "global step=16840704, episodic return=2038.131591796875\n", + "global step=16842752, episodic return=2001.51171875\n", + "global step=16842752, episodic return=1987.850341796875\n", + "global step=16844800, episodic return=2049.97705078125\n", + "global step=16844800, episodic return=2023.0579833984375\n", + "global step=16844800, episodic return=1985.1845703125\n", + "global step=16846848, episodic return=2005.523681640625\n", + "global step=16846848, episodic return=1970.5372314453125\n", + "global step=16846848, episodic return=868.7849731445312\n", + "global step=16848896, episodic return=1008.95849609375\n", + "global step=16848896, episodic return=2014.3643798828125\n", + "global step=16848896, episodic return=1980.724609375\n", + "global step=16850944, episodic return=1956.843505859375\n", + "global step=16850944, episodic return=2033.036865234375\n", + "global step=16850944, episodic return=2060.5908203125\n", + "global step=16850944, episodic return=2003.751220703125\n", + "global step=16852992, episodic return=1981.2108154296875\n", + "global step=16852992, episodic return=1124.8233642578125\n", + "global step=16855040, episodic return=2048.65185546875\n", + "global step=16855040, episodic return=1528.5572509765625\n", + "global step=16855040, episodic return=2015.724853515625\n", + "global step=16857088, episodic return=2021.9493408203125\n", + "global step=16857088, episodic return=2015.171875\n", + "global step=16857088, episodic return=2020.893310546875\n", + "global step=16857088, episodic return=1986.0521240234375\n", + "global step=16859136, episodic return=1979.7470703125\n", + "global step=16859136, episodic return=2020.3902587890625\n", + "global step=16859136, episodic return=568.0464477539062\n", + "global step=16861184, episodic return=2019.2896728515625\n", + "global step=16861184, episodic return=2006.8726806640625\n", + "global step=16861184, episodic return=2055.283203125\n", + "global step=16861184, episodic return=2007.2288818359375\n", + "global step=16861184, episodic return=2018.794921875\n", + "global step=16863232, episodic return=2038.1544189453125\n", + "global step=16863232, episodic return=2018.3726806640625\n", + "global step=16863232, episodic return=2025.462890625\n", + "global step=16863232, episodic return=2005.394775390625\n", + "global step=16865280, episodic return=1994.5723876953125\n", + "global step=16865280, episodic return=2015.620361328125\n", + "global step=16867328, episodic return=2035.00341796875\n", + "global step=16867328, episodic return=2046.3916015625\n", + "global step=16869376, episodic return=2031.5340576171875\n", + "global step=16871424, episodic return=2002.810302734375\n", + "global step=16871424, episodic return=2041.7034912109375\n", + "global step=16871424, episodic return=2071.02099609375\n", + "global step=16873472, episodic return=2021.9700927734375\n", + "global step=16873472, episodic return=2043.0679931640625\n", + "global step=16873472, episodic return=2012.38818359375\n", + "global step=16875520, episodic return=1730.51806640625\n", + "global step=16875520, episodic return=1535.9117431640625\n", + "global step=16875520, episodic return=567.228271484375\n", + "global step=16875520, episodic return=2004.849853515625\n", + "global step=16875520, episodic return=2018.5054931640625\n", + "global step=16877568, episodic return=2037.608154296875\n", + "global step=16877568, episodic return=1955.258056640625\n", + "global step=16877568, episodic return=2043.692138671875\n", + "global step=16877568, episodic return=1987.3621826171875\n", + "global step=16877568, episodic return=1470.957275390625\n", + "global step=16877568, episodic return=838.6032104492188\n", + "global step=16877568, episodic return=1997.874267578125\n", + "global step=16877568, episodic return=2037.0028076171875\n", + "global step=16879616, episodic return=1989.5426025390625\n", + "global step=16879616, episodic return=840.6753540039062\n", + "global step=16881664, episodic return=1995.2235107421875\n", + "global step=16881664, episodic return=2022.805419921875\n", + "global step=16881664, episodic return=1986.52587890625\n", + "global step=16881664, episodic return=800.8111572265625\n", + "global step=16881664, episodic return=2009.7210693359375\n", + "global step=16883712, episodic return=2002.920654296875\n", + "global step=16883712, episodic return=840.2886352539062\n", + "global step=16883712, episodic return=1993.4971923828125\n", + "global step=16883712, episodic return=827.887451171875\n", + "global step=16885760, episodic return=962.1178588867188\n", + "global step=16885760, episodic return=2000.0194091796875\n", + "global step=16887808, episodic return=2014.6334228515625\n", + "global step=16889856, episodic return=2010.8251953125\n", + "global step=16889856, episodic return=2028.9864501953125\n", + "global step=16889856, episodic return=1985.949951171875\n", + "global step=16889856, episodic return=1993.781982421875\n", + "global step=16891904, episodic return=1982.3975830078125\n", + "global step=16891904, episodic return=735.099365234375\n", + "global step=16891904, episodic return=2000.890869140625\n", + "global step=16893952, episodic return=1109.6072998046875\n", + "global step=16893952, episodic return=1714.524169921875\n", + "global step=16893952, episodic return=2068.793212890625\n", + "global step=16893952, episodic return=1979.2493896484375\n", + "global step=16893952, episodic return=2034.991943359375\n", + "global step=16893952, episodic return=2005.8272705078125\n", + "global step=16893952, episodic return=2043.097412109375\n", + "global step=16893952, episodic return=1998.96484375\n", + "global step=16893952, episodic return=1430.376708984375\n", + "global step=16893952, episodic return=2035.5078125\n", + "global step=16893952, episodic return=1979.41796875\n", + "global step=16896000, episodic return=2038.8626708984375\n", + "global step=16896000, episodic return=2001.3243408203125\n", + "global step=16896000, episodic return=911.6661987304688\n", + "global step=16896000, episodic return=2007.2545166015625\n", + "global step=16898048, episodic return=1133.2362060546875\n", + "global step=16898048, episodic return=1985.07080078125\n", + "global step=16898048, episodic return=1963.9989013671875\n", + "global step=16898048, episodic return=2047.7039794921875\n", + "global step=16898048, episodic return=1983.8621826171875\n", + "global step=16900096, episodic return=1074.6942138671875\n", + "global step=16900096, episodic return=946.7305297851562\n", + "global step=16902144, episodic return=1992.2952880859375\n", + "global step=16902144, episodic return=1992.2498779296875\n", + "global step=16902144, episodic return=1565.1304931640625\n", + "global step=16902144, episodic return=1999.899169921875\n", + "global step=16902144, episodic return=2017.7137451171875\n", + "global step=16904192, episodic return=1995.4349365234375\n", + "global step=16904192, episodic return=1841.827880859375\n", + "global step=16904192, episodic return=1585.8099365234375\n", + "global step=16906240, episodic return=1817.5916748046875\n", + "global step=16908288, episodic return=2030.293212890625\n", + "global step=16908288, episodic return=2058.070556640625\n", + "global step=16908288, episodic return=2003.0230712890625\n", + "global step=16908288, episodic return=2081.65771484375\n", + "global step=16908288, episodic return=1995.9071044921875\n", + "global step=16910336, episodic return=2010.1517333984375\n", + "global step=16910336, episodic return=1060.81982421875\n", + "global step=16910336, episodic return=910.6249389648438\n", + "global step=16912384, episodic return=1745.2081298828125\n", + "global step=16914432, episodic return=2026.3477783203125\n", + "global step=16916480, episodic return=2002.544189453125\n", + "global step=16916480, episodic return=2028.027099609375\n", + "global step=16916480, episodic return=2013.063232421875\n", + "global step=16918528, episodic return=1984.2957763671875\n", + "global step=16920576, episodic return=1180.3206787109375\n", + "global step=16920576, episodic return=2003.186279296875\n", + "global step=16920576, episodic return=2015.298828125\n", + "global step=16922624, episodic return=2016.3697509765625\n", + "global step=16922624, episodic return=1997.082763671875\n", + "global step=16922624, episodic return=2017.488525390625\n", + "global step=16924672, episodic return=1998.1202392578125\n", + "global step=16924672, episodic return=1622.8369140625\n", + "global step=16926720, episodic return=1995.6890869140625\n", + "global step=16928768, episodic return=2020.5899658203125\n", + "global step=16928768, episodic return=2036.91455078125\n", + "global step=16930816, episodic return=1258.18310546875\n", + "global step=16930816, episodic return=2008.231689453125\n", + "global step=16934912, episodic return=2031.7528076171875\n", + "global step=16934912, episodic return=1365.6143798828125\n", + "global step=16934912, episodic return=1997.8955078125\n", + "global step=16934912, episodic return=2031.94970703125\n", + "global step=16936960, episodic return=762.5306396484375\n", + "global step=16936960, episodic return=878.9186401367188\n", + "global step=16936960, episodic return=929.4574584960938\n", + "global step=16936960, episodic return=1153.905517578125\n", + "global step=16939008, episodic return=2007.87939453125\n", + "global step=16939008, episodic return=682.265625\n", + "global step=16939008, episodic return=2062.272705078125\n", + "global step=16941056, episodic return=1975.39013671875\n", + "global step=16943104, episodic return=2015.26806640625\n", + "global step=16943104, episodic return=2028.860107421875\n", + "global step=16943104, episodic return=588.436767578125\n", + "global step=16945152, episodic return=1748.9727783203125\n", + "global step=16945152, episodic return=1804.9071044921875\n", + "global step=16947200, episodic return=1989.01220703125\n", + "global step=16947200, episodic return=2023.7017822265625\n", + "global step=16947200, episodic return=2011.154541015625\n", + "global step=16949248, episodic return=1454.3331298828125\n", + "global step=16951296, episodic return=2000.3973388671875\n", + "global step=16951296, episodic return=2017.2030029296875\n", + "global step=16953344, episodic return=2034.7989501953125\n", + "global step=16953344, episodic return=1988.88818359375\n", + "global step=16953344, episodic return=1984.1854248046875\n", + "global step=16953344, episodic return=2007.09228515625\n", + "global step=16953344, episodic return=2023.942626953125\n", + "global step=16955392, episodic return=1966.525634765625\n", + "global step=16957440, episodic return=1482.0816650390625\n", + "global step=16957440, episodic return=1549.517578125\n", + "global step=16957440, episodic return=2020.366943359375\n", + "global step=16959488, episodic return=2006.9659423828125\n", + "global step=16961536, episodic return=2045.2113037109375\n", + "global step=16961536, episodic return=2003.9105224609375\n", + "global step=16961536, episodic return=1991.40283203125\n", + "global step=16961536, episodic return=2045.5159912109375\n", + "global step=16963584, episodic return=1858.072509765625\n", + "global step=16965632, episodic return=1984.4552001953125\n", + "global step=16965632, episodic return=2019.771484375\n", + "global step=16965632, episodic return=1044.6253662109375\n", + "global step=16965632, episodic return=1633.4788818359375\n", + "global step=16965632, episodic return=2004.1783447265625\n", + "global step=16969728, episodic return=2018.1959228515625\n", + "global step=16969728, episodic return=2017.71533203125\n", + "global step=16969728, episodic return=2044.0284423828125\n", + "global step=16971776, episodic return=2008.4820556640625\n", + "global step=16971776, episodic return=2000.9779052734375\n", + "global step=16971776, episodic return=1794.1580810546875\n", + "global step=16971776, episodic return=2027.4542236328125\n", + "global step=16971776, episodic return=2000.86181640625\n", + "global step=16971776, episodic return=2046.834228515625\n", + "global step=16973824, episodic return=2035.20703125\n", + "global step=16973824, episodic return=2013.994140625\n", + "global step=16975872, episodic return=2047.3392333984375\n", + "global step=16975872, episodic return=1992.6107177734375\n", + "global step=16979968, episodic return=2024.9112548828125\n", + "global step=16979968, episodic return=2023.6529541015625\n", + "global step=16979968, episodic return=2032.8671875\n", + "global step=16982016, episodic return=2051.68212890625\n", + "global step=16982016, episodic return=2063.83349609375\n", + "global step=16982016, episodic return=2028.855224609375\n", + "global step=16984064, episodic return=2045.4293212890625\n", + "global step=16984064, episodic return=1068.58154296875\n", + "global step=16984064, episodic return=1989.1768798828125\n", + "global step=16984064, episodic return=1952.33984375\n", + "global step=16984064, episodic return=2058.618896484375\n", + "global step=16984064, episodic return=2000.535400390625\n", + "global step=16984064, episodic return=1886.6513671875\n", + "global step=16984064, episodic return=1209.475830078125\n", + "global step=16986112, episodic return=2021.1629638671875\n", + "global step=16986112, episodic return=2019.74658203125\n", + "global step=16988160, episodic return=1775.12353515625\n", + "global step=16988160, episodic return=2028.9603271484375\n", + "global step=16988160, episodic return=2014.031982421875\n", + "global step=16988160, episodic return=1335.838134765625\n", + "global step=16988160, episodic return=1919.9874267578125\n", + "global step=16988160, episodic return=2022.7735595703125\n", + "global step=16988160, episodic return=2012.6195068359375\n", + "global step=16988160, episodic return=1976.1561279296875\n", + "global step=16988160, episodic return=1502.267578125\n", + "global step=16990208, episodic return=2030.16748046875\n", + "global step=16990208, episodic return=1981.0704345703125\n", + "global step=16990208, episodic return=1879.51171875\n", + "global step=16990208, episodic return=2004.2921142578125\n", + "global step=16990208, episodic return=1233.30029296875\n", + "global step=16990208, episodic return=2027.7796630859375\n", + "global step=16990208, episodic return=2004.7877197265625\n", + "global step=16992256, episodic return=2008.4185791015625\n", + "global step=16992256, episodic return=2004.1112060546875\n", + "global step=16992256, episodic return=2012.888916015625\n", + "global step=16992256, episodic return=2027.0662841796875\n", + "global step=16992256, episodic return=2009.364013671875\n", + "global step=16994304, episodic return=2025.5916748046875\n", + "global step=16994304, episodic return=1323.99560546875\n", + "global step=16996352, episodic return=1990.8519287109375\n", + "global step=16996352, episodic return=2021.5213623046875\n", + "global step=16996352, episodic return=1734.89892578125\n", + "global step=16996352, episodic return=1518.32177734375\n", + "global step=16998400, episodic return=1998.1075439453125\n", + "global step=16998400, episodic return=2023.651611328125\n", + "global step=17000448, episodic return=1995.180908203125\n", + "global step=17000448, episodic return=2014.9422607421875\n", + "global step=17000448, episodic return=777.1737670898438\n", + "global step=17002496, episodic return=1966.1534423828125\n", + "global step=17004544, episodic return=2011.4014892578125\n", + "global step=17004544, episodic return=2015.63427734375\n", + "global step=17004544, episodic return=1709.3216552734375\n", + "global step=17006592, episodic return=1977.4661865234375\n", + "global step=17008640, episodic return=2035.8983154296875\n", + "global step=17008640, episodic return=1448.1087646484375\n", + "global step=17008640, episodic return=1306.039794921875\n", + "global step=17008640, episodic return=1991.1920166015625\n", + "global step=17010688, episodic return=1994.7620849609375\n", + "global step=17010688, episodic return=1999.842529296875\n", + "global step=17012736, episodic return=2008.78125\n", + "global step=17012736, episodic return=1524.8426513671875\n", + "global step=17012736, episodic return=1094.6607666015625\n", + "global step=17014784, episodic return=2039.302001953125\n", + "global step=17014784, episodic return=1608.71923828125\n", + "global step=17014784, episodic return=1373.0262451171875\n", + "global step=17014784, episodic return=2019.688720703125\n", + "global step=17014784, episodic return=2010.825439453125\n", + "global step=17014784, episodic return=1246.2796630859375\n", + "global step=17016832, episodic return=1563.571533203125\n", + "global step=17016832, episodic return=2010.676513671875\n", + "global step=17016832, episodic return=2026.4822998046875\n", + "global step=17016832, episodic return=2006.8109130859375\n", + "global step=17016832, episodic return=2046.6629638671875\n", + "global step=17018880, episodic return=1810.17578125\n", + "global step=17018880, episodic return=1993.4842529296875\n", + "global step=17020928, episodic return=1646.38623046875\n", + "global step=17020928, episodic return=714.7198486328125\n", + "global step=17020928, episodic return=1533.0279541015625\n", + "global step=17022976, episodic return=1560.8331298828125\n", + "global step=17025024, episodic return=1377.9154052734375\n", + "global step=17025024, episodic return=2030.594970703125\n", + "global step=17027072, episodic return=2045.1724853515625\n", + "global step=17027072, episodic return=1194.428466796875\n", + "global step=17027072, episodic return=2037.4249267578125\n", + "global step=17027072, episodic return=2043.7099609375\n", + "global step=17027072, episodic return=1223.0372314453125\n", + "global step=17027072, episodic return=1971.3299560546875\n", + "global step=17027072, episodic return=1969.3580322265625\n", + "global step=17029120, episodic return=2007.0946044921875\n", + "global step=17029120, episodic return=2020.6839599609375\n", + "global step=17029120, episodic return=1863.6619873046875\n", + "global step=17033216, episodic return=2018.608642578125\n", + "global step=17033216, episodic return=1957.7647705078125\n", + "global step=17033216, episodic return=2031.7613525390625\n", + "global step=17033216, episodic return=1172.6009521484375\n", + "global step=17033216, episodic return=1989.5286865234375\n", + "global step=17033216, episodic return=2019.1663818359375\n", + "global step=17033216, episodic return=947.0912475585938\n", + "global step=17035264, episodic return=1984.3934326171875\n", + "global step=17035264, episodic return=1870.495361328125\n", + "global step=17037312, episodic return=2012.539306640625\n", + "global step=17037312, episodic return=2053.79150390625\n", + "global step=17037312, episodic return=842.1170043945312\n", + "global step=17037312, episodic return=707.9813842773438\n", + "global step=17039360, episodic return=1341.6572265625\n", + "global step=17041408, episodic return=1118.4036865234375\n", + "global step=17041408, episodic return=1469.454345703125\n", + "global step=17045504, episodic return=1328.14990234375\n", + "global step=17047552, episodic return=2046.79345703125\n", + "global step=17049600, episodic return=1361.8607177734375\n", + "global step=17049600, episodic return=2003.70263671875\n", + "global step=17049600, episodic return=2006.3206787109375\n", + "global step=17051648, episodic return=2015.182861328125\n", + "global step=17051648, episodic return=1148.4654541015625\n", + "global step=17051648, episodic return=934.5948486328125\n", + "global step=17053696, episodic return=1672.7401123046875\n", + "global step=17055744, episodic return=2052.591796875\n", + "global step=17055744, episodic return=557.5123291015625\n", + "global step=17057792, episodic return=1716.3997802734375\n", + "global step=17057792, episodic return=1382.9725341796875\n", + "global step=17057792, episodic return=754.673583984375\n", + "global step=17059840, episodic return=1890.053955078125\n", + "global step=17059840, episodic return=1736.125\n", + "global step=17059840, episodic return=2025.3487548828125\n", + "global step=17059840, episodic return=774.73974609375\n", + "global step=17061888, episodic return=2012.6014404296875\n", + "global step=17061888, episodic return=1244.514892578125\n", + "global step=17061888, episodic return=2020.94091796875\n", + "global step=17063936, episodic return=2059.013427734375\n", + "global step=17063936, episodic return=2027.1357421875\n", + "global step=17065984, episodic return=2013.2508544921875\n", + "global step=17065984, episodic return=2028.521240234375\n", + "global step=17065984, episodic return=1273.32666015625\n", + "global step=17068032, episodic return=2016.0318603515625\n", + "global step=17070080, episodic return=255.6580047607422\n", + "global step=17070080, episodic return=1155.8089599609375\n", + "global step=17070080, episodic return=2075.364990234375\n", + "global step=17074176, episodic return=2051.236572265625\n", + "global step=17074176, episodic return=1101.2496337890625\n", + "global step=17076224, episodic return=2005.260009765625\n", + "global step=17076224, episodic return=2017.4918212890625\n", + "global step=17076224, episodic return=1871.1795654296875\n", + "global step=17078272, episodic return=2012.9052734375\n", + "global step=17078272, episodic return=1605.4351806640625\n", + "global step=17080320, episodic return=2071.088623046875\n", + "global step=17080320, episodic return=1586.1771240234375\n", + "global step=17080320, episodic return=1460.959716796875\n", + "global step=17080320, episodic return=2018.4735107421875\n", + "global step=17082368, episodic return=2010.111083984375\n", + "global step=17082368, episodic return=2074.619873046875\n", + "global step=17082368, episodic return=1168.9373779296875\n", + "global step=17082368, episodic return=1681.3961181640625\n", + "global step=17084416, episodic return=2046.2857666015625\n", + "global step=17084416, episodic return=1218.019287109375\n", + "global step=17084416, episodic return=1926.99658203125\n", + "global step=17084416, episodic return=1078.55029296875\n", + "global step=17086464, episodic return=2015.90478515625\n", + "global step=17088512, episodic return=1410.1134033203125\n", + "global step=17088512, episodic return=2009.9437255859375\n", + "global step=17090560, episodic return=2021.649658203125\n", + "global step=17092608, episodic return=2024.69580078125\n", + "global step=17092608, episodic return=2027.7587890625\n", + "global step=17094656, episodic return=1237.173828125\n", + "global step=17094656, episodic return=1717.1534423828125\n", + "global step=17094656, episodic return=1538.6348876953125\n", + "global step=17094656, episodic return=2020.5413818359375\n", + "global step=17094656, episodic return=2009.5609130859375\n", + "global step=17094656, episodic return=1828.596435546875\n", + "global step=17096704, episodic return=2057.480224609375\n", + "global step=17096704, episodic return=2037.473388671875\n", + "global step=17098752, episodic return=1732.8436279296875\n", + "global step=17098752, episodic return=2025.7327880859375\n", + "global step=17098752, episodic return=1949.390380859375\n", + "global step=17100800, episodic return=1969.5301513671875\n", + "global step=17102848, episodic return=2020.927001953125\n", + "global step=17102848, episodic return=2084.80615234375\n", + "global step=17102848, episodic return=1208.4228515625\n", + "global step=17102848, episodic return=2029.6971435546875\n", + "global step=17104896, episodic return=2017.735595703125\n", + "global step=17104896, episodic return=2030.548095703125\n", + "global step=17104896, episodic return=2016.9764404296875\n", + "global step=17106944, episodic return=1127.40234375\n", + "global step=17106944, episodic return=1854.931396484375\n", + "global step=17108992, episodic return=2041.5948486328125\n", + "global step=17108992, episodic return=1410.2952880859375\n", + "global step=17111040, episodic return=2047.160888671875\n", + "global step=17115136, episodic return=1967.019775390625\n", + "global step=17117184, episodic return=2059.429931640625\n", + "global step=17117184, episodic return=2040.5916748046875\n", + "global step=17117184, episodic return=2037.6673583984375\n", + "global step=17119232, episodic return=1417.610595703125\n", + "global step=17119232, episodic return=2044.568115234375\n", + "global step=17119232, episodic return=1475.694580078125\n", + "global step=17121280, episodic return=2033.1474609375\n", + "global step=17125376, episodic return=2013.9205322265625\n", + "global step=17125376, episodic return=2029.7803955078125\n", + "global step=17127424, episodic return=1144.620849609375\n", + "global step=17129472, episodic return=682.5989379882812\n", + "global step=17129472, episodic return=2024.6732177734375\n", + "global step=17129472, episodic return=2043.788818359375\n", + "global step=17133568, episodic return=2022.3157958984375\n", + "global step=17133568, episodic return=1643.390625\n", + "global step=17133568, episodic return=1760.5633544921875\n", + "global step=17133568, episodic return=1164.328369140625\n", + "global step=17133568, episodic return=1892.763916015625\n", + "global step=17135616, episodic return=2029.302001953125\n", + "global step=17135616, episodic return=916.5574340820312\n", + "global step=17135616, episodic return=1049.178955078125\n", + "global step=17135616, episodic return=2002.2618408203125\n", + "global step=17135616, episodic return=1388.006591796875\n", + "global step=17137664, episodic return=2075.9755859375\n", + "global step=17137664, episodic return=1995.5009765625\n", + "global step=17137664, episodic return=1333.312255859375\n", + "global step=17137664, episodic return=2007.212158203125\n", + "global step=17139712, episodic return=2075.63134765625\n", + "global step=17139712, episodic return=1359.4345703125\n", + "global step=17139712, episodic return=1586.5638427734375\n", + "global step=17141760, episodic return=2016.2896728515625\n", + "global step=17141760, episodic return=1838.3603515625\n", + "global step=17143808, episodic return=1297.2239990234375\n", + "global step=17143808, episodic return=1367.99169921875\n", + "global step=17145856, episodic return=2009.7760009765625\n", + "global step=17145856, episodic return=2026.2899169921875\n", + "global step=17145856, episodic return=1893.2406005859375\n", + "global step=17145856, episodic return=1599.75634765625\n", + "global step=17147904, episodic return=2046.8026123046875\n", + "global step=17147904, episodic return=554.544189453125\n", + "global step=17149952, episodic return=2057.697998046875\n", + "global step=17149952, episodic return=1992.10595703125\n", + "global step=17149952, episodic return=2049.20166015625\n", + "global step=17152000, episodic return=1009.456787109375\n", + "global step=17152000, episodic return=2039.927978515625\n", + "global step=17152000, episodic return=2022.5208740234375\n", + "global step=17152000, episodic return=2028.1298828125\n", + "global step=17154048, episodic return=1410.0606689453125\n", + "global step=17154048, episodic return=2059.67529296875\n", + "global step=17156096, episodic return=1457.0838623046875\n", + "global step=17156096, episodic return=1049.7327880859375\n", + "global step=17156096, episodic return=1012.0849609375\n", + "global step=17156096, episodic return=949.4686279296875\n", + "global step=17158144, episodic return=2051.984130859375\n", + "global step=17160192, episodic return=1908.7630615234375\n", + "global step=17160192, episodic return=2010.6209716796875\n", + "global step=17162240, episodic return=1972.514892578125\n", + "global step=17162240, episodic return=2032.4202880859375\n", + "global step=17164288, episodic return=2071.47021484375\n", + "global step=17164288, episodic return=1337.8873291015625\n", + "global step=17166336, episodic return=1279.6527099609375\n", + "global step=17170432, episodic return=2068.639404296875\n", + "global step=17174528, episodic return=2052.17041015625\n", + "global step=17176576, episodic return=1907.9625244140625\n", + "global step=17176576, episodic return=2033.6585693359375\n", + "global step=17176576, episodic return=1995.638916015625\n", + "global step=17176576, episodic return=2028.849609375\n", + "global step=17178624, episodic return=1470.226318359375\n", + "global step=17180672, episodic return=1239.7816162109375\n", + "global step=17180672, episodic return=2039.850830078125\n", + "global step=17180672, episodic return=2035.198486328125\n", + "global step=17182720, episodic return=2027.09033203125\n", + "global step=17182720, episodic return=1823.51806640625\n", + "global step=17184768, episodic return=2051.54150390625\n", + "global step=17184768, episodic return=738.1199340820312\n", + "global step=17186816, episodic return=2009.833251953125\n", + "global step=17190912, episodic return=2044.290283203125\n", + "global step=17190912, episodic return=2040.977294921875\n", + "global step=17192960, episodic return=2057.087158203125\n", + "global step=17192960, episodic return=2014.7230224609375\n", + "global step=17197056, episodic return=2041.7415771484375\n", + "global step=17197056, episodic return=2084.06298828125\n", + "global step=17197056, episodic return=1852.393798828125\n", + "global step=17197056, episodic return=2070.703125\n", + "global step=17199104, episodic return=2038.883544921875\n", + "global step=17199104, episodic return=2050.43212890625\n", + "global step=17199104, episodic return=2029.3631591796875\n", + "global step=17201152, episodic return=2028.211669921875\n", + "global step=17201152, episodic return=2035.8258056640625\n", + "global step=17201152, episodic return=2003.5123291015625\n", + "global step=17201152, episodic return=2014.239501953125\n", + "global step=17201152, episodic return=1527.4259033203125\n", + "global step=17203200, episodic return=2042.1524658203125\n", + "global step=17203200, episodic return=2058.338134765625\n", + "global step=17205248, episodic return=739.0304565429688\n", + "global step=17205248, episodic return=2028.368408203125\n", + "global step=17205248, episodic return=1302.3316650390625\n", + "global step=17207296, episodic return=2050.629638671875\n", + "global step=17207296, episodic return=2036.0340576171875\n", + "global step=17207296, episodic return=2024.9017333984375\n", + "global step=17211392, episodic return=2022.759521484375\n", + "global step=17211392, episodic return=2023.0302734375\n", + "global step=17213440, episodic return=2053.58447265625\n", + "global step=17213440, episodic return=1758.8118896484375\n", + "global step=17213440, episodic return=2017.7755126953125\n", + "global step=17213440, episodic return=1752.67626953125\n", + "global step=17215488, episodic return=2055.807373046875\n", + "global step=17217536, episodic return=2048.160888671875\n", + "global step=17217536, episodic return=171.7929229736328\n", + "global step=17219584, episodic return=2020.60693359375\n", + "global step=17219584, episodic return=2045.8648681640625\n", + "global step=17221632, episodic return=1895.0875244140625\n", + "global step=17221632, episodic return=1972.5050048828125\n", + "global step=17223680, episodic return=2040.5140380859375\n", + "global step=17223680, episodic return=1875.8797607421875\n", + "global step=17223680, episodic return=1965.4696044921875\n", + "global step=17223680, episodic return=2006.9053955078125\n", + "global step=17225728, episodic return=2032.011474609375\n", + "global step=17227776, episodic return=2034.2850341796875\n", + "global step=17229824, episodic return=1343.34423828125\n", + "global step=17229824, episodic return=2051.72900390625\n", + "global step=17229824, episodic return=2040.000732421875\n", + "global step=17229824, episodic return=2024.2393798828125\n", + "global step=17235968, episodic return=1923.6834716796875\n", + "global step=17235968, episodic return=1219.971923828125\n", + "global step=17235968, episodic return=2055.820068359375\n", + "global step=17238016, episodic return=1110.3753662109375\n", + "global step=17238016, episodic return=2060.256103515625\n", + "global step=17238016, episodic return=1995.3277587890625\n", + "global step=17242112, episodic return=2048.87158203125\n", + "global step=17242112, episodic return=1831.4581298828125\n", + "global step=17242112, episodic return=2039.8685302734375\n", + "global step=17244160, episodic return=2088.753662109375\n", + "global step=17246208, episodic return=2029.182373046875\n", + "global step=17246208, episodic return=2039.5567626953125\n", + "global step=17246208, episodic return=1624.30029296875\n", + "global step=17246208, episodic return=2060.132080078125\n", + "global step=17246208, episodic return=2019.1402587890625\n", + "global step=17246208, episodic return=2008.91650390625\n", + "global step=17248256, episodic return=2064.824951171875\n", + "global step=17248256, episodic return=31.72442626953125\n", + "global step=17248256, episodic return=1320.0919189453125\n", + "global step=17250304, episodic return=2064.490478515625\n", + "global step=17250304, episodic return=2049.187255859375\n", + "global step=17250304, episodic return=1977.4383544921875\n", + "global step=17250304, episodic return=2039.0418701171875\n", + "global step=17252352, episodic return=1555.4237060546875\n", + "global step=17252352, episodic return=1892.5491943359375\n", + "global step=17252352, episodic return=1814.5753173828125\n", + "global step=17252352, episodic return=2035.2806396484375\n", + "global step=17252352, episodic return=2035.2586669921875\n", + "global step=17254400, episodic return=1790.259033203125\n", + "global step=17256448, episodic return=2004.38525390625\n", + "global step=17256448, episodic return=2010.8065185546875\n", + "global step=17256448, episodic return=1137.4017333984375\n", + "global step=17256448, episodic return=1941.5394287109375\n", + "global step=17258496, episodic return=2054.476806640625\n", + "global step=17258496, episodic return=1620.4351806640625\n", + "global step=17258496, episodic return=1293.5064697265625\n", + "global step=17260544, episodic return=1993.0997314453125\n", + "global step=17260544, episodic return=2091.987060546875\n", + "global step=17260544, episodic return=2015.9969482421875\n", + "global step=17262592, episodic return=1989.58740234375\n", + "global step=17262592, episodic return=2031.6787109375\n", + "global step=17262592, episodic return=705.07421875\n", + "global step=17262592, episodic return=1588.8919677734375\n", + "global step=17264640, episodic return=1994.8834228515625\n", + "global step=17264640, episodic return=2019.64501953125\n", + "global step=17266688, episodic return=1810.1728515625\n", + "global step=17266688, episodic return=2064.021484375\n", + "global step=17266688, episodic return=2062.20947265625\n", + "global step=17268736, episodic return=2060.53369140625\n", + "global step=17268736, episodic return=1489.190673828125\n", + "global step=17270784, episodic return=2049.959716796875\n", + "global step=17272832, episodic return=2037.9088134765625\n", + "global step=17272832, episodic return=2050.572998046875\n", + "global step=17272832, episodic return=2069.7744140625\n", + "global step=17274880, episodic return=2073.44287109375\n", + "global step=17274880, episodic return=2028.955810546875\n", + "global step=17276928, episodic return=1612.659423828125\n", + "global step=17276928, episodic return=1990.8751220703125\n", + "global step=17276928, episodic return=1999.7254638671875\n", + "global step=17278976, episodic return=2016.3599853515625\n", + "global step=17278976, episodic return=2006.253662109375\n", + "global step=17278976, episodic return=826.86181640625\n", + "global step=17281024, episodic return=2025.7811279296875\n", + "global step=17283072, episodic return=2035.191162109375\n", + "global step=17283072, episodic return=2041.633056640625\n", + "global step=17283072, episodic return=1992.2288818359375\n", + "global step=17283072, episodic return=1644.889892578125\n", + "global step=17285120, episodic return=1582.7491455078125\n", + "global step=17285120, episodic return=2039.3851318359375\n", + "global step=17287168, episodic return=2043.546142578125\n", + "global step=17287168, episodic return=2038.686767578125\n", + "global step=17287168, episodic return=2038.852294921875\n", + "global step=17287168, episodic return=1490.8309326171875\n", + "global step=17291264, episodic return=1754.5687255859375\n", + "global step=17291264, episodic return=2058.44921875\n", + "global step=17293312, episodic return=1712.5570068359375\n", + "global step=17293312, episodic return=2039.498779296875\n", + "global step=17293312, episodic return=2025.8436279296875\n", + "global step=17295360, episodic return=1301.779296875\n", + "global step=17295360, episodic return=2028.216552734375\n", + "global step=17297408, episodic return=1842.874267578125\n", + "global step=17297408, episodic return=2042.189208984375\n", + "global step=17299456, episodic return=2036.8128662109375\n", + "global step=17299456, episodic return=2042.4608154296875\n", + "global step=17303552, episodic return=1704.4033203125\n", + "global step=17303552, episodic return=2051.51318359375\n", + "global step=17305600, episodic return=2003.1676025390625\n", + "global step=17305600, episodic return=1922.0484619140625\n", + "global step=17305600, episodic return=2060.434326171875\n", + "global step=17307648, episodic return=1254.362060546875\n", + "global step=17309696, episodic return=1364.566162109375\n", + "global step=17311744, episodic return=2026.7945556640625\n", + "global step=17311744, episodic return=2015.9739990234375\n", + "global step=17311744, episodic return=2039.99658203125\n", + "global step=17311744, episodic return=2032.64697265625\n", + "global step=17311744, episodic return=1680.02392578125\n", + "global step=17313792, episodic return=2049.03955078125\n", + "global step=17313792, episodic return=2016.0035400390625\n", + "global step=17315840, episodic return=1981.486328125\n", + "global step=17315840, episodic return=2079.504150390625\n", + "global step=17317888, episodic return=2022.0792236328125\n", + "global step=17317888, episodic return=2039.93798828125\n", + "global step=17319936, episodic return=2022.9913330078125\n", + "global step=17321984, episodic return=1418.7347412109375\n", + "global step=17332224, episodic return=2013.3536376953125\n", + "global step=17336320, episodic return=1899.894775390625\n", + "global step=17340416, episodic return=2053.891845703125\n", + "global step=17340416, episodic return=758.22802734375\n", + "global step=17342464, episodic return=2033.566162109375\n", + "global step=17344512, episodic return=1819.36865234375\n", + "global step=17344512, episodic return=758.30859375\n", + "global step=17344512, episodic return=1994.3887939453125\n", + "global step=17346560, episodic return=1754.26513671875\n", + "global step=17346560, episodic return=2069.049072265625\n", + "global step=17348608, episodic return=1970.46533203125\n", + "global step=17348608, episodic return=1980.797607421875\n", + "global step=17354752, episodic return=2016.3968505859375\n", + "global step=17354752, episodic return=944.7973022460938\n", + "global step=17354752, episodic return=2050.32958984375\n", + "global step=17354752, episodic return=2038.0091552734375\n", + "global step=17354752, episodic return=2034.4794921875\n", + "global step=17356800, episodic return=2037.9842529296875\n", + "global step=17356800, episodic return=2031.046142578125\n", + "global step=17356800, episodic return=2069.943115234375\n", + "global step=17360896, episodic return=1881.6236572265625\n", + "global step=17360896, episodic return=2036.36474609375\n", + "global step=17360896, episodic return=2005.185302734375\n", + "global step=17360896, episodic return=2045.788330078125\n", + "global step=17364992, episodic return=1994.47802734375\n", + "global step=17364992, episodic return=772.28076171875\n", + "global step=17367040, episodic return=1852.125732421875\n", + "global step=17369088, episodic return=2011.8123779296875\n", + "global step=17369088, episodic return=2049.187255859375\n", + "global step=17369088, episodic return=2026.724853515625\n", + "global step=17369088, episodic return=2006.646240234375\n", + "global step=17369088, episodic return=2043.7828369140625\n", + "global step=17371136, episodic return=2005.327392578125\n", + "global step=17371136, episodic return=2004.9586181640625\n", + "global step=17371136, episodic return=2084.63232421875\n", + "global step=17371136, episodic return=1714.789306640625\n", + "global step=17371136, episodic return=2024.2288818359375\n", + "global step=17373184, episodic return=2029.7667236328125\n", + "global step=17373184, episodic return=2068.5263671875\n", + "global step=17373184, episodic return=1589.885009765625\n", + "global step=17373184, episodic return=2039.963623046875\n", + "global step=17375232, episodic return=2008.5738525390625\n", + "global step=17375232, episodic return=2016.15380859375\n", + "global step=17375232, episodic return=2006.0574951171875\n", + "global step=17375232, episodic return=2038.1610107421875\n", + "global step=17377280, episodic return=1973.1241455078125\n", + "global step=17377280, episodic return=2000.093017578125\n", + "global step=17377280, episodic return=1562.09375\n", + "global step=17379328, episodic return=2083.8837890625\n", + "global step=17379328, episodic return=2049.968994140625\n", + "global step=17379328, episodic return=2056.733642578125\n", + "global step=17381376, episodic return=2056.602783203125\n", + "global step=17381376, episodic return=2055.065185546875\n", + "global step=17383424, episodic return=879.9721069335938\n", + "global step=17385472, episodic return=2013.8585205078125\n", + "global step=17385472, episodic return=2052.083740234375\n", + "global step=17387520, episodic return=2043.6380615234375\n", + "global step=17387520, episodic return=2003.927734375\n", + "global step=17387520, episodic return=2038.551513671875\n", + "global step=17389568, episodic return=2023.23046875\n", + "global step=17393664, episodic return=2035.314453125\n", + "global step=17393664, episodic return=1686.7301025390625\n", + "global step=17397760, episodic return=2015.47509765625\n", + "global step=17397760, episodic return=1758.1361083984375\n", + "global step=17397760, episodic return=2014.7230224609375\n", + "global step=17399808, episodic return=1576.6397705078125\n", + "global step=17399808, episodic return=1033.678466796875\n", + "global step=17399808, episodic return=2031.6900634765625\n", + "global step=17401856, episodic return=2024.449462890625\n", + "global step=17401856, episodic return=1971.652587890625\n", + "global step=17401856, episodic return=2075.473876953125\n", + "global step=17401856, episodic return=2091.296630859375\n", + "global step=17401856, episodic return=2041.733642578125\n", + "global step=17401856, episodic return=2073.454345703125\n", + "global step=17403904, episodic return=2045.923583984375\n", + "global step=17405952, episodic return=2024.4915771484375\n", + "global step=17408000, episodic return=714.6713256835938\n", + "global step=17408000, episodic return=2034.023681640625\n", + "global step=17408000, episodic return=2030.6126708984375\n", + "global step=17410048, episodic return=2010.4139404296875\n", + "global step=17410048, episodic return=1986.6943359375\n", + "global step=17410048, episodic return=1999.243408203125\n", + "global step=17414144, episodic return=846.1822509765625\n", + "global step=17414144, episodic return=1660.905029296875\n", + "global step=17416192, episodic return=2050.8212890625\n", + "global step=17416192, episodic return=2027.3114013671875\n", + "global step=17416192, episodic return=2078.79833984375\n", + "global step=17420288, episodic return=2062.700439453125\n", + "global step=17420288, episodic return=1961.6561279296875\n", + "global step=17422336, episodic return=1912.1527099609375\n", + "global step=17422336, episodic return=2045.259033203125\n", + "global step=17422336, episodic return=2061.66552734375\n", + "global step=17424384, episodic return=2011.612548828125\n", + "global step=17424384, episodic return=2019.206298828125\n", + "global step=17424384, episodic return=2027.6546630859375\n", + "global step=17426432, episodic return=1724.7955322265625\n", + "global step=17426432, episodic return=2007.1624755859375\n", + "global step=17428480, episodic return=2058.320068359375\n", + "global step=17430528, episodic return=2036.58154296875\n", + "global step=17430528, episodic return=2073.818603515625\n", + "global step=17432576, episodic return=1834.3890380859375\n", + "global step=17432576, episodic return=2007.4962158203125\n", + "global step=17438720, episodic return=1990.5640869140625\n", + "global step=17438720, episodic return=1991.2244873046875\n", + "global step=17438720, episodic return=2013.959228515625\n", + "global step=17440768, episodic return=1986.976318359375\n", + "global step=17440768, episodic return=1926.1026611328125\n", + "global step=17440768, episodic return=2044.0155029296875\n", + "global step=17442816, episodic return=2034.918212890625\n", + "global step=17444864, episodic return=1037.4241943359375\n", + "global step=17444864, episodic return=1995.9656982421875\n", + "global step=17444864, episodic return=1845.80029296875\n", + "global step=17446912, episodic return=2082.419189453125\n", + "global step=17446912, episodic return=1962.042236328125\n", + "global step=17446912, episodic return=1990.9852294921875\n", + "global step=17446912, episodic return=2020.962158203125\n", + "global step=17448960, episodic return=2072.943115234375\n", + "global step=17448960, episodic return=2060.3232421875\n", + "global step=17451008, episodic return=2034.60888671875\n", + "global step=17451008, episodic return=2092.0498046875\n", + "global step=17453056, episodic return=2038.3497314453125\n", + "global step=17453056, episodic return=1999.1090087890625\n", + "global step=17455104, episodic return=1687.131591796875\n", + "global step=17455104, episodic return=1993.207275390625\n", + "global step=17455104, episodic return=846.016845703125\n", + "global step=17457152, episodic return=1945.873291015625\n", + "global step=17457152, episodic return=2088.035888671875\n", + "global step=17459200, episodic return=1955.9637451171875\n", + "global step=17459200, episodic return=1581.279296875\n", + "global step=17461248, episodic return=1449.65234375\n", + "global step=17461248, episodic return=1973.87939453125\n", + "global step=17463296, episodic return=2037.59521484375\n", + "global step=17463296, episodic return=1408.2117919921875\n", + "global step=17463296, episodic return=2073.984130859375\n", + "global step=17463296, episodic return=2006.88916015625\n", + "global step=17463296, episodic return=1182.78857421875\n", + "global step=17465344, episodic return=2058.563232421875\n", + "global step=17465344, episodic return=2007.19873046875\n", + "global step=17465344, episodic return=1674.5689697265625\n", + "global step=17467392, episodic return=2036.7989501953125\n", + "global step=17467392, episodic return=2058.938720703125\n", + "global step=17467392, episodic return=2040.1890869140625\n", + "global step=17469440, episodic return=2072.620361328125\n", + "global step=17469440, episodic return=457.2078552246094\n", + "global step=17469440, episodic return=1774.080810546875\n", + "global step=17469440, episodic return=2073.25244140625\n", + "global step=17473536, episodic return=1507.196533203125\n", + "global step=17473536, episodic return=1524.687255859375\n", + "global step=17473536, episodic return=1941.7220458984375\n", + "global step=17473536, episodic return=2076.560302734375\n", + "global step=17473536, episodic return=901.7017822265625\n", + "global step=17475584, episodic return=2043.7142333984375\n", + "global step=17475584, episodic return=2069.639404296875\n", + "global step=17475584, episodic return=1960.5975341796875\n", + "global step=17477632, episodic return=2050.248291015625\n", + "global step=17479680, episodic return=2051.89404296875\n", + "global step=17479680, episodic return=2041.6204833984375\n", + "global step=17481728, episodic return=2083.923583984375\n", + "global step=17481728, episodic return=831.5307006835938\n", + "global step=17481728, episodic return=879.7654418945312\n", + "global step=17485824, episodic return=2049.953369140625\n", + "global step=17485824, episodic return=2035.0255126953125\n", + "global step=17485824, episodic return=1997.6060791015625\n", + "global step=17487872, episodic return=2003.623046875\n", + "global step=17489920, episodic return=2075.82666015625\n", + "global step=17489920, episodic return=1988.3291015625\n", + "global step=17491968, episodic return=2056.151611328125\n", + "global step=17491968, episodic return=2032.736572265625\n", + "global step=17491968, episodic return=2003.0113525390625\n", + "global step=17494016, episodic return=2070.3486328125\n", + "global step=17496064, episodic return=2023.831787109375\n", + "global step=17500160, episodic return=974.0123291015625\n", + "global step=17502208, episodic return=2045.29052734375\n", + "global step=17502208, episodic return=1031.89794921875\n", + "global step=17502208, episodic return=2043.719482421875\n", + "global step=17504256, episodic return=2043.1697998046875\n", + "global step=17504256, episodic return=2041.77294921875\n", + "global step=17504256, episodic return=2045.23876953125\n", + "global step=17506304, episodic return=1797.5283203125\n", + "global step=17508352, episodic return=2086.247802734375\n", + "global step=17510400, episodic return=2007.7161865234375\n", + "global step=17510400, episodic return=2000.888427734375\n", + "global step=17510400, episodic return=2041.5120849609375\n", + "global step=17512448, episodic return=2045.94775390625\n", + "global step=17512448, episodic return=2038.1065673828125\n", + "global step=17514496, episodic return=2023.2265625\n", + "global step=17514496, episodic return=2053.740234375\n", + "global step=17516544, episodic return=2051.6474609375\n", + "global step=17518592, episodic return=2069.524169921875\n", + "global step=17518592, episodic return=2050.33349609375\n", + "global step=17520640, episodic return=941.3162841796875\n", + "global step=17522688, episodic return=2072.037353515625\n", + "global step=17522688, episodic return=994.8130493164062\n", + "global step=17524736, episodic return=1980.5748291015625\n", + "global step=17524736, episodic return=1002.3908081054688\n", + "global step=17524736, episodic return=2101.436279296875\n", + "global step=17524736, episodic return=2063.844970703125\n", + "global step=17524736, episodic return=2049.91357421875\n", + "global step=17526784, episodic return=2037.0335693359375\n", + "global step=17526784, episodic return=2065.099609375\n", + "global step=17526784, episodic return=1999.1763916015625\n", + "global step=17528832, episodic return=2046.996826171875\n", + "global step=17530880, episodic return=2014.6337890625\n", + "global step=17530880, episodic return=2012.96826171875\n", + "global step=17532928, episodic return=2074.79541015625\n", + "global step=17534976, episodic return=2089.449951171875\n", + "global step=17537024, episodic return=307.81463623046875\n", + "global step=17537024, episodic return=26.77077293395996\n", + "global step=17537024, episodic return=2088.10986328125\n", + "global step=17539072, episodic return=259.92877197265625\n", + "global step=17541120, episodic return=311.42132568359375\n", + "global step=17541120, episodic return=294.1860046386719\n", + "global step=17541120, episodic return=1428.926513671875\n", + "global step=17541120, episodic return=2066.14404296875\n", + "global step=17541120, episodic return=2025.9874267578125\n", + "global step=17543168, episodic return=278.1634216308594\n", + "global step=17543168, episodic return=2073.31640625\n", + "global step=17543168, episodic return=2047.331787109375\n", + "global step=17543168, episodic return=2040.8736572265625\n", + "global step=17545216, episodic return=1565.314453125\n", + "global step=17545216, episodic return=2022.388671875\n", + "global step=17547264, episodic return=2033.173095703125\n", + "global step=17547264, episodic return=258.7680969238281\n", + "global step=17547264, episodic return=280.9482421875\n", + "global step=17547264, episodic return=2066.714111328125\n", + "global step=17549312, episodic return=277.42529296875\n", + "global step=17549312, episodic return=2025.4205322265625\n", + "global step=17553408, episodic return=2071.578369140625\n", + "global step=17555456, episodic return=1782.009521484375\n", + "global step=17555456, episodic return=2070.8369140625\n", + "global step=17559552, episodic return=2062.20166015625\n", + "global step=17559552, episodic return=2049.153564453125\n", + "global step=17559552, episodic return=1968.4027099609375\n", + "global step=17559552, episodic return=1961.247802734375\n", + "global step=17559552, episodic return=1983.2388916015625\n", + "global step=17561600, episodic return=1972.312255859375\n", + "global step=17563648, episodic return=1995.26904296875\n", + "global step=17563648, episodic return=2034.0902099609375\n", + "global step=17563648, episodic return=2026.21044921875\n", + "global step=17565696, episodic return=2051.611083984375\n", + "global step=17567744, episodic return=2049.72998046875\n", + "global step=17567744, episodic return=1071.99560546875\n", + "global step=17569792, episodic return=2051.419677734375\n", + "global step=17571840, episodic return=1965.089599609375\n", + "global step=17571840, episodic return=2059.44677734375\n", + "global step=17573888, episodic return=2035.2825927734375\n", + "global step=17573888, episodic return=671.8335571289062\n", + "global step=17575936, episodic return=2050.1826171875\n", + "global step=17575936, episodic return=1888.6700439453125\n", + "global step=17575936, episodic return=1965.2298583984375\n", + "global step=17577984, episodic return=2046.8355712890625\n", + "global step=17580032, episodic return=2063.4033203125\n", + "global step=17580032, episodic return=2025.416015625\n", + "global step=17582080, episodic return=1970.73583984375\n", + "global step=17582080, episodic return=2067.88623046875\n", + "global step=17582080, episodic return=1766.2845458984375\n", + "global step=17584128, episodic return=1290.9912109375\n", + "global step=17584128, episodic return=2027.6500244140625\n", + "global step=17588224, episodic return=2018.5828857421875\n", + "global step=17588224, episodic return=2001.7952880859375\n", + "global step=17588224, episodic return=1998.877197265625\n", + "global step=17590272, episodic return=1936.361328125\n", + "global step=17590272, episodic return=2068.24853515625\n", + "global step=17590272, episodic return=2061.91943359375\n", + "global step=17592320, episodic return=1985.3109130859375\n", + "global step=17592320, episodic return=2041.958251953125\n", + "global step=17594368, episodic return=1964.4677734375\n", + "global step=17594368, episodic return=2065.44482421875\n", + "global step=17596416, episodic return=1984.45166015625\n", + "global step=17596416, episodic return=2056.110107421875\n", + "global step=17596416, episodic return=2018.060302734375\n", + "global step=17596416, episodic return=2064.62890625\n", + "global step=17598464, episodic return=966.8754272460938\n", + "global step=17600512, episodic return=1998.9249267578125\n", + "global step=17602560, episodic return=2037.9652099609375\n", + "global step=17604608, episodic return=2009.897216796875\n", + "global step=17604608, episodic return=1977.6837158203125\n", + "global step=17606656, episodic return=1650.2462158203125\n", + "global step=17606656, episodic return=986.3187866210938\n", + "global step=17606656, episodic return=1987.9410400390625\n", + "global step=17608704, episodic return=1934.139892578125\n", + "global step=17608704, episodic return=2002.2958984375\n", + "global step=17608704, episodic return=2011.77587890625\n", + "global step=17608704, episodic return=2062.89990234375\n", + "global step=17610752, episodic return=2007.699951171875\n", + "global step=17614848, episodic return=2052.990478515625\n", + "global step=17616896, episodic return=2020.296142578125\n", + "global step=17618944, episodic return=2053.049560546875\n", + "global step=17618944, episodic return=2060.831298828125\n", + "global step=17620992, episodic return=2008.7086181640625\n", + "global step=17620992, episodic return=2049.674072265625\n", + "global step=17620992, episodic return=2040.2353515625\n", + "global step=17623040, episodic return=1997.807861328125\n", + "global step=17625088, episodic return=2019.169677734375\n", + "global step=17625088, episodic return=1966.0474853515625\n", + "global step=17625088, episodic return=2071.6318359375\n", + "global step=17625088, episodic return=1989.04296875\n", + "global step=17627136, episodic return=2075.23046875\n", + "global step=17629184, episodic return=2022.6910400390625\n", + "global step=17629184, episodic return=2026.4564208984375\n", + "global step=17629184, episodic return=2014.25537109375\n", + "global step=17629184, episodic return=1987.4566650390625\n", + "global step=17633280, episodic return=2051.591552734375\n", + "global step=17633280, episodic return=1957.6605224609375\n", + "global step=17635328, episodic return=2014.009033203125\n", + "global step=17635328, episodic return=2019.622802734375\n", + "global step=17635328, episodic return=2011.5333251953125\n", + "global step=17637376, episodic return=1920.23583984375\n", + "global step=17637376, episodic return=2019.9342041015625\n", + "global step=17639424, episodic return=1592.71044921875\n", + "global step=17641472, episodic return=2079.586669921875\n", + "global step=17641472, episodic return=2030.7596435546875\n", + "global step=17643520, episodic return=2001.0465087890625\n", + "global step=17643520, episodic return=1980.136474609375\n", + "global step=17645568, episodic return=1001.48095703125\n", + "global step=17647616, episodic return=1940.944580078125\n", + "global step=17649664, episodic return=1974.713623046875\n", + "global step=17649664, episodic return=635.3474731445312\n", + "global step=17651712, episodic return=1950.6510009765625\n", + "global step=17651712, episodic return=1998.097412109375\n", + "global step=17651712, episodic return=2031.6988525390625\n", + "global step=17653760, episodic return=2030.08740234375\n", + "global step=17653760, episodic return=1742.1319580078125\n", + "global step=17655808, episodic return=2032.63330078125\n", + "global step=17657856, episodic return=1978.7064208984375\n", + "global step=17657856, episodic return=2037.3704833984375\n", + "global step=17657856, episodic return=1991.9786376953125\n", + "global step=17657856, episodic return=1926.4815673828125\n", + "global step=17659904, episodic return=1966.3431396484375\n", + "global step=17659904, episodic return=1967.9844970703125\n", + "global step=17661952, episodic return=2008.132080078125\n", + "global step=17661952, episodic return=1993.581787109375\n", + "global step=17664000, episodic return=1982.58349609375\n", + "global step=17664000, episodic return=2050.01416015625\n", + "global step=17664000, episodic return=2029.3079833984375\n", + "global step=17666048, episodic return=2013.80029296875\n", + "global step=17668096, episodic return=1918.569580078125\n", + "global step=17668096, episodic return=2056.51513671875\n", + "global step=17668096, episodic return=2037.3553466796875\n", + "global step=17668096, episodic return=1926.2232666015625\n", + "global step=17670144, episodic return=1817.11669921875\n", + "global step=17670144, episodic return=1832.7415771484375\n", + "global step=17670144, episodic return=1920.500732421875\n", + "global step=17670144, episodic return=2021.5643310546875\n", + "global step=17672192, episodic return=1952.74609375\n", + "global step=17672192, episodic return=1963.7615966796875\n", + "global step=17674240, episodic return=2036.8065185546875\n", + "global step=17674240, episodic return=1989.0157470703125\n", + "global step=17674240, episodic return=2040.027099609375\n", + "global step=17674240, episodic return=2062.282958984375\n", + "global step=17676288, episodic return=2009.6304931640625\n", + "global step=17678336, episodic return=1997.1334228515625\n", + "global step=17678336, episodic return=1927.5550537109375\n", + "global step=17680384, episodic return=2020.03515625\n", + "global step=17680384, episodic return=2026.732666015625\n", + "global step=17680384, episodic return=2057.004638671875\n", + "global step=17682432, episodic return=2005.5223388671875\n", + "global step=17682432, episodic return=2035.1475830078125\n", + "global step=17682432, episodic return=2070.302001953125\n", + "global step=17684480, episodic return=2021.30615234375\n", + "global step=17684480, episodic return=1948.53515625\n", + "global step=17686528, episodic return=2035.7559814453125\n", + "global step=17688576, episodic return=1958.368896484375\n", + "global step=17690624, episodic return=2060.507080078125\n", + "global step=17690624, episodic return=1123.2550048828125\n", + "global step=17692672, episodic return=2035.646484375\n", + "global step=17692672, episodic return=2061.678955078125\n", + "global step=17692672, episodic return=1485.2301025390625\n", + "global step=17692672, episodic return=1993.672119140625\n", + "global step=17694720, episodic return=1992.1986083984375\n", + "global step=17694720, episodic return=1996.3741455078125\n", + "global step=17694720, episodic return=1976.38720703125\n", + "global step=17694720, episodic return=1942.70556640625\n", + "global step=17696768, episodic return=1650.4910888671875\n", + "global step=17696768, episodic return=1987.399169921875\n", + "global step=17698816, episodic return=2027.7392578125\n", + "global step=17700864, episodic return=2052.250732421875\n", + "global step=17700864, episodic return=1991.3546142578125\n", + "global step=17700864, episodic return=1972.617919921875\n", + "global step=17700864, episodic return=1933.8759765625\n", + "global step=17702912, episodic return=1955.219482421875\n", + "global step=17704960, episodic return=2005.837646484375\n", + "global step=17707008, episodic return=1962.67138671875\n", + "global step=17709056, episodic return=1956.73779296875\n", + "global step=17709056, episodic return=1970.589111328125\n", + "global step=17709056, episodic return=1990.000732421875\n", + "global step=17711104, episodic return=2010.7135009765625\n", + "global step=17711104, episodic return=2073.419921875\n", + "global step=17713152, episodic return=2018.912109375\n", + "global step=17713152, episodic return=2033.1239013671875\n", + "global step=17713152, episodic return=2058.280517578125\n", + "global step=17713152, episodic return=2001.2286376953125\n", + "global step=17713152, episodic return=2055.527587890625\n", + "global step=17713152, episodic return=1996.121337890625\n", + "global step=17715200, episodic return=1819.3475341796875\n", + "global step=17715200, episodic return=2019.816162109375\n", + "global step=17717248, episodic return=2055.213134765625\n", + "global step=17717248, episodic return=2071.329833984375\n", + "global step=17719296, episodic return=2002.2584228515625\n", + "global step=17719296, episodic return=1971.818603515625\n", + "global step=17719296, episodic return=2015.35595703125\n", + "global step=17719296, episodic return=2046.4952392578125\n", + "global step=17721344, episodic return=1945.869384765625\n", + "global step=17721344, episodic return=1936.359375\n", + "global step=17721344, episodic return=2044.461181640625\n", + "global step=17721344, episodic return=1980.770751953125\n", + "global step=17721344, episodic return=2013.7877197265625\n", + "global step=17721344, episodic return=2071.045654296875\n", + "global step=17723392, episodic return=2062.971923828125\n", + "global step=17723392, episodic return=1973.640380859375\n", + "global step=17723392, episodic return=2026.7393798828125\n", + "global step=17723392, episodic return=2059.75732421875\n", + "global step=17723392, episodic return=2058.013427734375\n", + "global step=17725440, episodic return=2053.9853515625\n", + "global step=17725440, episodic return=1901.1478271484375\n", + "global step=17725440, episodic return=390.4395751953125\n", + "global step=17725440, episodic return=2055.099853515625\n", + "global step=17727488, episodic return=794.4915161132812\n", + "global step=17727488, episodic return=1955.6956787109375\n", + "global step=17731584, episodic return=2022.401123046875\n", + "global step=17731584, episodic return=2006.9295654296875\n", + "global step=17731584, episodic return=835.872314453125\n", + "global step=17731584, episodic return=1955.9837646484375\n", + "global step=17733632, episodic return=2067.365966796875\n", + "global step=17735680, episodic return=2052.314453125\n", + "global step=17735680, episodic return=1287.3094482421875\n", + "global step=17737728, episodic return=2013.9930419921875\n", + "global step=17739776, episodic return=1943.632080078125\n", + "global step=17741824, episodic return=1962.8970947265625\n", + "global step=17743872, episodic return=1372.013427734375\n", + "global step=17743872, episodic return=1991.01806640625\n", + "global step=17743872, episodic return=1460.0916748046875\n", + "global step=17745920, episodic return=1984.655517578125\n", + "global step=17747968, episodic return=1943.9991455078125\n", + "global step=17750016, episodic return=2001.0582275390625\n", + "global step=17752064, episodic return=1991.5870361328125\n", + "global step=17754112, episodic return=1966.163818359375\n", + "global step=17754112, episodic return=1975.787109375\n", + "global step=17756160, episodic return=2070.850341796875\n", + "global step=17756160, episodic return=1959.37890625\n", + "global step=17756160, episodic return=2059.36767578125\n", + "global step=17758208, episodic return=2058.409912109375\n", + "global step=17760256, episodic return=1954.978759765625\n", + "global step=17760256, episodic return=2032.9033203125\n", + "global step=17762304, episodic return=1961.5244140625\n", + "global step=17762304, episodic return=2037.7442626953125\n", + "global step=17764352, episodic return=895.5975952148438\n", + "global step=17764352, episodic return=1925.137939453125\n", + "global step=17766400, episodic return=982.2562866210938\n", + "global step=17766400, episodic return=2074.41015625\n", + "global step=17766400, episodic return=1969.4886474609375\n", + "global step=17772544, episodic return=1217.6409912109375\n", + "global step=17772544, episodic return=1975.4827880859375\n", + "global step=17774592, episodic return=2010.798828125\n", + "global step=17774592, episodic return=1947.88330078125\n", + "global step=17776640, episodic return=2056.20947265625\n", + "global step=17778688, episodic return=2067.45654296875\n", + "global step=17778688, episodic return=410.3084411621094\n", + "global step=17780736, episodic return=1931.96923828125\n", + "global step=17780736, episodic return=2082.770751953125\n", + "global step=17782784, episodic return=2067.353515625\n", + "global step=17782784, episodic return=2066.7919921875\n", + "global step=17782784, episodic return=2061.04541015625\n", + "global step=17782784, episodic return=1948.3094482421875\n", + "global step=17784832, episodic return=1943.064208984375\n", + "global step=17786880, episodic return=1031.2340087890625\n", + "global step=17786880, episodic return=2062.665771484375\n", + "global step=17788928, episodic return=2045.0321044921875\n", + "global step=17788928, episodic return=2050.85205078125\n", + "global step=17788928, episodic return=2052.1904296875\n", + "global step=17795072, episodic return=2007.1856689453125\n", + "global step=17797120, episodic return=1961.0916748046875\n", + "global step=17801216, episodic return=2070.833740234375\n", + "global step=17801216, episodic return=2057.522216796875\n", + "global step=17803264, episodic return=1961.8438720703125\n", + "global step=17803264, episodic return=1906.4478759765625\n", + "global step=17807360, episodic return=1974.1846923828125\n", + "global step=17807360, episodic return=1989.6029052734375\n", + "global step=17807360, episodic return=1959.454833984375\n", + "global step=17807360, episodic return=706.97265625\n", + "global step=17809408, episodic return=2027.2381591796875\n", + "global step=17809408, episodic return=1859.452392578125\n", + "global step=17811456, episodic return=2059.99755859375\n", + "global step=17813504, episodic return=1979.994140625\n", + "global step=17813504, episodic return=2030.9356689453125\n", + "global step=17815552, episodic return=2069.10400390625\n", + "global step=17823744, episodic return=2099.23291015625\n", + "global step=17827840, episodic return=2062.929931640625\n", + "global step=17827840, episodic return=2067.86767578125\n", + "global step=17831936, episodic return=2061.5537109375\n", + "global step=17831936, episodic return=980.4608154296875\n", + "global step=17831936, episodic return=2033.5555419921875\n", + "global step=17833984, episodic return=1631.66064453125\n", + "global step=17838080, episodic return=2084.6455078125\n", + "global step=17840128, episodic return=2034.01171875\n", + "global step=17840128, episodic return=2069.0693359375\n", + "global step=17842176, episodic return=240.18313598632812\n", + "global step=17844224, episodic return=2064.712646484375\n", + "global step=17846272, episodic return=1978.07080078125\n", + "global step=17848320, episodic return=2055.008056640625\n", + "global step=17848320, episodic return=2000.2205810546875\n", + "global step=17848320, episodic return=1558.8656005859375\n", + "global step=17850368, episodic return=2078.50048828125\n", + "global step=17852416, episodic return=1941.16259765625\n", + "global step=17852416, episodic return=2083.736572265625\n", + "global step=17854464, episodic return=2013.3505859375\n", + "global step=17856512, episodic return=1108.7998046875\n", + "global step=17856512, episodic return=1972.62255859375\n", + "global step=17856512, episodic return=1350.905029296875\n", + "global step=17856512, episodic return=2078.446044921875\n", + "global step=17860608, episodic return=2055.773193359375\n", + "global step=17860608, episodic return=1912.236083984375\n", + "global step=17862656, episodic return=1262.9661865234375\n", + "global step=17866752, episodic return=1953.0093994140625\n", + "global step=17868800, episodic return=2078.917724609375\n", + "global step=17868800, episodic return=1980.6968994140625\n", + "global step=17868800, episodic return=1969.6103515625\n", + "global step=17872896, episodic return=1998.4190673828125\n", + "global step=17872896, episodic return=1497.28466796875\n", + "global step=17872896, episodic return=1959.59326171875\n", + "global step=17874944, episodic return=244.79403686523438\n", + "global step=17879040, episodic return=1534.467529296875\n", + "global step=17879040, episodic return=1936.3785400390625\n", + "global step=17881088, episodic return=2093.717041015625\n", + "global step=17881088, episodic return=1367.0509033203125\n", + "global step=17881088, episodic return=2033.4912109375\n", + "global step=17883136, episodic return=2076.14208984375\n", + "global step=17889280, episodic return=2056.320556640625\n", + "global step=17889280, episodic return=1963.66455078125\n", + "global step=17893376, episodic return=1976.925048828125\n", + "global step=17893376, episodic return=790.810302734375\n", + "global step=17893376, episodic return=2027.472412109375\n", + "global step=17897472, episodic return=1978.2606201171875\n", + "global step=17901568, episodic return=1963.8135986328125\n", + "global step=17901568, episodic return=1099.0587158203125\n", + "global step=17901568, episodic return=1933.586669921875\n", + "global step=17905664, episodic return=1924.8677978515625\n", + "global step=17905664, episodic return=413.3028564453125\n", + "global step=17909760, episodic return=771.471435546875\n", + "global step=17909760, episodic return=1285.90087890625\n", + "global step=17911808, episodic return=1942.0882568359375\n", + "global step=17911808, episodic return=1917.7894287109375\n", + "global step=17911808, episodic return=2115.76123046875\n", + "global step=17913856, episodic return=2096.10888671875\n", + "global step=17913856, episodic return=1833.863525390625\n", + "global step=17913856, episodic return=2063.06201171875\n", + "global step=17915904, episodic return=1900.267333984375\n", + "global step=17915904, episodic return=157.64112854003906\n", + "global step=17915904, episodic return=1976.451416015625\n", + "global step=17915904, episodic return=2115.62158203125\n", + "global step=17917952, episodic return=1906.34130859375\n", + "global step=17920000, episodic return=1989.9490966796875\n", + "global step=17922048, episodic return=1953.7308349609375\n", + "global step=17922048, episodic return=1926.8975830078125\n", + "global step=17924096, episodic return=1936.4698486328125\n", + "global step=17924096, episodic return=2086.609375\n", + "global step=17924096, episodic return=2058.023193359375\n", + "global step=17924096, episodic return=2098.322021484375\n", + "global step=17926144, episodic return=1948.9254150390625\n", + "global step=17926144, episodic return=961.1463012695312\n", + "global step=17928192, episodic return=2071.038330078125\n", + "global step=17928192, episodic return=896.6932373046875\n", + "global step=17930240, episodic return=2023.0316162109375\n", + "global step=17930240, episodic return=2043.0318603515625\n", + "global step=17932288, episodic return=2064.160888671875\n", + "global step=17934336, episodic return=1984.518310546875\n", + "global step=17934336, episodic return=2006.4219970703125\n", + "global step=17934336, episodic return=1984.537353515625\n", + "global step=17936384, episodic return=1272.139892578125\n", + "global step=17936384, episodic return=1145.466552734375\n", + "global step=17936384, episodic return=2050.43359375\n", + "global step=17938432, episodic return=974.8807373046875\n", + "global step=17938432, episodic return=2069.312255859375\n", + "global step=17938432, episodic return=2064.306640625\n", + "global step=17940480, episodic return=2072.015625\n", + "global step=17940480, episodic return=1945.46142578125\n", + "global step=17942528, episodic return=1959.101318359375\n", + "global step=17942528, episodic return=2016.05810546875\n", + "global step=17946624, episodic return=1941.5283203125\n", + "global step=17948672, episodic return=2087.091796875\n", + "global step=17948672, episodic return=2027.72216796875\n", + "global step=17954816, episodic return=854.4119262695312\n", + "global step=17954816, episodic return=2047.7330322265625\n", + "global step=17956864, episodic return=1571.0574951171875\n", + "global step=17958912, episodic return=1984.6483154296875\n", + "global step=17958912, episodic return=1995.9581298828125\n", + "global step=17958912, episodic return=2015.9710693359375\n", + "global step=17960960, episodic return=1367.2939453125\n", + "global step=17963008, episodic return=1970.3319091796875\n", + "global step=17965056, episodic return=2028.869384765625\n", + "global step=17965056, episodic return=1989.3782958984375\n", + "global step=17967104, episodic return=801.4707641601562\n", + "global step=17967104, episodic return=765.5476684570312\n", + "global step=17967104, episodic return=1936.906494140625\n", + "global step=17973248, episodic return=2091.339599609375\n", + "global step=17973248, episodic return=2048.835205078125\n", + "global step=17973248, episodic return=1949.9317626953125\n", + "global step=17973248, episodic return=1960.3896484375\n", + "global step=17973248, episodic return=1432.7589111328125\n", + "global step=17973248, episodic return=2034.00146484375\n", + "global step=17975296, episodic return=2011.798583984375\n", + "global step=17979392, episodic return=2107.199462890625\n", + "global step=17979392, episodic return=1980.60986328125\n", + "global step=17981440, episodic return=1146.12744140625\n", + "global step=17983488, episodic return=1961.5531005859375\n", + "global step=17983488, episodic return=1949.936279296875\n", + "global step=17983488, episodic return=1933.1336669921875\n", + "global step=17985536, episodic return=2056.045166015625\n", + "global step=17985536, episodic return=1061.147216796875\n", + "global step=17987584, episodic return=914.7567138671875\n", + "global step=17989632, episodic return=1942.177734375\n", + "global step=17991680, episodic return=2089.959228515625\n", + "global step=17991680, episodic return=1008.3427124023438\n", + "global step=17991680, episodic return=2107.289306640625\n", + "global step=17993728, episodic return=1762.8978271484375\n", + "global step=17993728, episodic return=1987.8355712890625\n", + "global step=17997824, episodic return=1923.8848876953125\n", + "global step=17999872, episodic return=1019.3275756835938\n", + "global step=18003968, episodic return=1965.6229248046875\n", + "global step=18003968, episodic return=879.4527587890625\n", + "global step=18003968, episodic return=1895.9041748046875\n", + "global step=18003968, episodic return=929.98095703125\n", + "global step=18008064, episodic return=2043.6922607421875\n", + "global step=18008064, episodic return=2087.80322265625\n", + "global step=18010112, episodic return=817.3045654296875\n", + "global step=18010112, episodic return=2103.84423828125\n", + "global step=18010112, episodic return=2072.80712890625\n", + "global step=18012160, episodic return=2016.214599609375\n", + "global step=18014208, episodic return=2090.68505859375\n", + "global step=18016256, episodic return=1037.6160888671875\n", + "global step=18016256, episodic return=1896.80517578125\n", + "global step=18020352, episodic return=1904.403564453125\n", + "global step=18022400, episodic return=1308.1199951171875\n", + "global step=18022400, episodic return=1985.50927734375\n", + "global step=18024448, episodic return=1207.81201171875\n", + "global step=18024448, episodic return=2090.127197265625\n", + "global step=18024448, episodic return=1936.435791015625\n", + "global step=18026496, episodic return=2044.336669921875\n", + "global step=18026496, episodic return=1098.976318359375\n", + "global step=18026496, episodic return=1395.812255859375\n", + "global step=18028544, episodic return=1986.7564697265625\n", + "global step=18030592, episodic return=2127.27783203125\n", + "global step=18030592, episodic return=2110.64306640625\n", + "global step=18030592, episodic return=1062.505126953125\n", + "global step=18030592, episodic return=917.93505859375\n", + "global step=18034688, episodic return=66.40044403076172\n", + "global step=18034688, episodic return=1159.0885009765625\n", + "global step=18036736, episodic return=741.9976806640625\n", + "global step=18038784, episodic return=2086.93359375\n", + "global step=18040832, episodic return=1888.91552734375\n", + "global step=18046976, episodic return=2064.654052734375\n", + "global step=18046976, episodic return=50.28150177001953\n", + "global step=18049024, episodic return=1957.413818359375\n", + "global step=18051072, episodic return=1922.717529296875\n", + "global step=18051072, episodic return=1998.7486572265625\n", + "global step=18051072, episodic return=408.4784240722656\n", + "global step=18051072, episodic return=2116.812744140625\n", + "global step=18051072, episodic return=2056.556884765625\n", + "global step=18055168, episodic return=1035.7467041015625\n", + "global step=18057216, episodic return=2024.676513671875\n", + "global step=18059264, episodic return=1999.9510498046875\n", + "global step=18059264, episodic return=1188.4744873046875\n", + "global step=18059264, episodic return=2099.460693359375\n", + "global step=18061312, episodic return=1985.079833984375\n", + "global step=18061312, episodic return=434.5897216796875\n", + "global step=18061312, episodic return=2077.29736328125\n", + "global step=18063360, episodic return=2069.837646484375\n", + "global step=18065408, episodic return=1956.50341796875\n", + "global step=18067456, episodic return=2075.6826171875\n", + "global step=18069504, episodic return=1148.6866455078125\n", + "global step=18069504, episodic return=1968.7623291015625\n", + "global step=18075648, episodic return=1494.2789306640625\n", + "global step=18081792, episodic return=1980.041748046875\n", + "global step=18081792, episodic return=1948.00537109375\n", + "global step=18081792, episodic return=1424.3570556640625\n", + "global step=18083840, episodic return=2060.68798828125\n", + "global step=18089984, episodic return=1018.7473754882812\n", + "global step=18092032, episodic return=1153.83251953125\n", + "global step=18092032, episodic return=1940.0341796875\n", + "global step=18092032, episodic return=378.5672302246094\n", + "global step=18096128, episodic return=2045.32958984375\n", + "global step=18096128, episodic return=1920.7713623046875\n", + "global step=18100224, episodic return=1984.0755615234375\n", + "global step=18100224, episodic return=1949.8858642578125\n", + "global step=18104320, episodic return=1056.5330810546875\n", + "global step=18106368, episodic return=844.1572875976562\n", + "global step=18110464, episodic return=2063.5341796875\n", + "global step=18112512, episodic return=1555.9019775390625\n", + "global step=18112512, episodic return=1916.7203369140625\n", + "global step=18112512, episodic return=2119.947998046875\n", + "global step=18118656, episodic return=2093.72265625\n", + "global step=18120704, episodic return=1165.723876953125\n", + "global step=18122752, episodic return=1951.9365234375\n", + "global step=18122752, episodic return=1473.1307373046875\n", + "global step=18124800, episodic return=1947.1702880859375\n", + "global step=18124800, episodic return=2097.354248046875\n", + "global step=18128896, episodic return=1930.930419921875\n", + "global step=18128896, episodic return=2121.14794921875\n", + "global step=18130944, episodic return=2098.01611328125\n", + "global step=18132992, episodic return=1313.1348876953125\n", + "global step=18132992, episodic return=1894.96728515625\n", + "global step=18135040, episodic return=2097.42919921875\n", + "global step=18141184, episodic return=1970.252685546875\n", + "global step=18143232, episodic return=2056.975830078125\n", + "global step=18143232, episodic return=2038.9669189453125\n", + "global step=18147328, episodic return=2072.006103515625\n", + "global step=18147328, episodic return=47.256080627441406\n", + "global step=18149376, episodic return=1913.543701171875\n", + "global step=18151424, episodic return=2116.284912109375\n", + "global step=18159616, episodic return=2087.4912109375\n", + "global step=18161664, episodic return=1965.2767333984375\n", + "global step=18163712, episodic return=2100.5146484375\n", + "global step=18163712, episodic return=968.6427612304688\n", + "global step=18163712, episodic return=1562.1820068359375\n", + "global step=18163712, episodic return=1901.611328125\n", + "global step=18176000, episodic return=1815.084716796875\n", + "global step=18180096, episodic return=2144.483642578125\n", + "global step=18186240, episodic return=2076.76318359375\n", + "global step=18190336, episodic return=2018.9981689453125\n", + "global step=18196480, episodic return=364.9764404296875\n", + "global step=18196480, episodic return=1911.58154296875\n", + "global step=18202624, episodic return=1267.9365234375\n", + "global step=18204672, episodic return=1887.2987060546875\n", + "global step=18208768, episodic return=1924.6204833984375\n", + "global step=18208768, episodic return=1795.524658203125\n", + "global step=18212864, episodic return=1176.7864990234375\n", + "global step=18212864, episodic return=1428.83154296875\n", + "global step=18214912, episodic return=2005.652099609375\n", + "global step=18214912, episodic return=1971.3548583984375\n", + "global step=18216960, episodic return=2014.7872314453125\n", + "global step=18221056, episodic return=2114.42138671875\n", + "global step=18223104, episodic return=1926.599365234375\n", + "global step=18225152, episodic return=1927.0030517578125\n", + "global step=18227200, episodic return=1901.3553466796875\n", + "global step=18233344, episodic return=1076.732177734375\n", + "global step=18233344, episodic return=413.197265625\n", + "global step=18235392, episodic return=1970.4976806640625\n", + "global step=18241536, episodic return=1905.186279296875\n", + "global step=18243584, episodic return=1916.3209228515625\n", + "global step=18245632, episodic return=2046.909423828125\n", + "global step=18245632, episodic return=1957.8853759765625\n", + "global step=18247680, episodic return=1939.794189453125\n", + "global step=18251776, episodic return=2043.018310546875\n", + "global step=18251776, episodic return=358.2812805175781\n", + "global step=18253824, episodic return=1935.399658203125\n", + "global step=18255872, episodic return=1936.4400634765625\n", + "global step=18255872, episodic return=1926.8875732421875\n", + "global step=18255872, episodic return=361.0560607910156\n", + "global step=18255872, episodic return=2046.9073486328125\n", + "global step=18257920, episodic return=1431.96337890625\n", + "global step=18257920, episodic return=2050.389892578125\n", + "global step=18259968, episodic return=1944.728759765625\n", + "global step=18262016, episodic return=2065.58984375\n", + "global step=18262016, episodic return=1275.6197509765625\n", + "global step=18262016, episodic return=400.4580078125\n", + "global step=18264064, episodic return=1921.6497802734375\n", + "global step=18266112, episodic return=961.3416748046875\n", + "global step=18266112, episodic return=1309.082275390625\n", + "global step=18268160, episodic return=1757.250244140625\n", + "global step=18268160, episodic return=1914.6480712890625\n", + "global step=18270208, episodic return=1545.2152099609375\n", + "global step=18274304, episodic return=1916.371337890625\n", + "global step=18274304, episodic return=1524.4920654296875\n", + "global step=18274304, episodic return=1747.483642578125\n", + "global step=18276352, episodic return=1360.39599609375\n", + "global step=18276352, episodic return=1914.3155517578125\n", + "global step=18276352, episodic return=2028.2757568359375\n", + "global step=18278400, episodic return=1993.4088134765625\n", + "global step=18280448, episodic return=1896.1046142578125\n", + "global step=18282496, episodic return=2077.47607421875\n", + "global step=18282496, episodic return=1905.540771484375\n", + "global step=18284544, episodic return=1953.5927734375\n", + "global step=18288640, episodic return=1346.5040283203125\n", + "global step=18288640, episodic return=1929.255615234375\n", + "global step=18288640, episodic return=1947.1368408203125\n", + "global step=18288640, episodic return=1992.7799072265625\n", + "global step=18288640, episodic return=1674.90869140625\n", + "global step=18288640, episodic return=2064.67236328125\n", + "global step=18292736, episodic return=1871.1871337890625\n", + "global step=18292736, episodic return=1938.322265625\n", + "global step=18292736, episodic return=2063.4521484375\n", + "global step=18296832, episodic return=1888.394775390625\n", + "global step=18300928, episodic return=1999.3553466796875\n", + "global step=18300928, episodic return=1958.0391845703125\n", + "global step=18305024, episodic return=1985.5994873046875\n", + "global step=18305024, episodic return=1883.055908203125\n", + "global step=18307072, episodic return=1904.262451171875\n", + "global step=18307072, episodic return=1913.675537109375\n", + "global step=18309120, episodic return=2137.19189453125\n", + "global step=18319360, episodic return=2019.7164306640625\n", + "global step=18319360, episodic return=1864.2708740234375\n", + "global step=18321408, episodic return=758.3081665039062\n", + "global step=18321408, episodic return=1898.104248046875\n", + "global step=18321408, episodic return=1890.4791259765625\n", + "global step=18323456, episodic return=1924.322509765625\n", + "global step=18323456, episodic return=1923.1544189453125\n", + "global step=18323456, episodic return=1869.9381103515625\n", + "global step=18327552, episodic return=1863.3270263671875\n", + "global step=18327552, episodic return=1918.7908935546875\n", + "global step=18327552, episodic return=1893.9927978515625\n", + "global step=18327552, episodic return=1879.64892578125\n", + "global step=18329600, episodic return=1469.3468017578125\n", + "global step=18329600, episodic return=1877.08740234375\n", + "global step=18329600, episodic return=1912.070068359375\n", + "global step=18329600, episodic return=1506.94384765625\n", + "global step=18331648, episodic return=1869.21923828125\n", + "global step=18333696, episodic return=1915.8812255859375\n", + "global step=18333696, episodic return=1889.6627197265625\n", + "global step=18333696, episodic return=1951.1077880859375\n", + "global step=18335744, episodic return=1891.9437255859375\n", + "global step=18335744, episodic return=2037.1658935546875\n", + "global step=18339840, episodic return=1920.3665771484375\n", + "global step=18339840, episodic return=1885.5531005859375\n", + "global step=18341888, episodic return=1896.1556396484375\n", + "global step=18343936, episodic return=1537.0391845703125\n", + "global step=18343936, episodic return=1419.0118408203125\n", + "global step=18356224, episodic return=1854.1517333984375\n", + "global step=18362368, episodic return=1906.0848388671875\n", + "global step=18366464, episodic return=1879.322509765625\n", + "global step=18366464, episodic return=1396.107666015625\n", + "global step=18368512, episodic return=1784.0701904296875\n", + "global step=18368512, episodic return=1987.4801025390625\n", + "global step=18368512, episodic return=1895.452880859375\n", + "global step=18368512, episodic return=905.3970947265625\n", + "global step=18370560, episodic return=1877.03759765625\n", + "global step=18372608, episodic return=1907.0543212890625\n", + "global step=18372608, episodic return=1966.155029296875\n", + "global step=18374656, episodic return=1057.470458984375\n", + "global step=18374656, episodic return=1932.870361328125\n", + "global step=18378752, episodic return=1886.318115234375\n", + "global step=18380800, episodic return=1850.3321533203125\n", + "global step=18384896, episodic return=1869.443359375\n", + "global step=18384896, episodic return=1668.3472900390625\n", + "global step=18384896, episodic return=1835.2542724609375\n", + "global step=18384896, episodic return=1992.9835205078125\n", + "global step=18386944, episodic return=1943.4910888671875\n", + "global step=18388992, episodic return=1867.7384033203125\n", + "global step=18391040, episodic return=1889.4217529296875\n", + "global step=18391040, episodic return=1705.3934326171875\n", + "global step=18391040, episodic return=1551.020751953125\n", + "global step=18391040, episodic return=1866.9993896484375\n", + "global step=18391040, episodic return=1888.98388671875\n", + "global step=18393088, episodic return=1889.63525390625\n", + "global step=18393088, episodic return=1900.059814453125\n", + "global step=18393088, episodic return=1897.22314453125\n", + "global step=18393088, episodic return=2035.9140625\n", + "global step=18395136, episodic return=1995.7239990234375\n", + "global step=18395136, episodic return=1874.9027099609375\n", + "global step=18397184, episodic return=2049.394775390625\n", + "global step=18397184, episodic return=1865.15478515625\n", + "global step=18399232, episodic return=1865.8165283203125\n", + "global step=18399232, episodic return=2055.102783203125\n", + "global step=18399232, episodic return=1573.9263916015625\n", + "global step=18401280, episodic return=1405.412841796875\n", + "global step=18401280, episodic return=1829.4405517578125\n", + "global step=18405376, episodic return=1876.2840576171875\n", + "global step=18405376, episodic return=1892.6080322265625\n", + "global step=18407424, episodic return=1983.876708984375\n", + "global step=18409472, episodic return=1869.7769775390625\n", + "global step=18409472, episodic return=2059.04052734375\n", + "global step=18409472, episodic return=1926.713623046875\n", + "global step=18411520, episodic return=1966.413818359375\n", + "global step=18413568, episodic return=1871.9896240234375\n", + "global step=18413568, episodic return=1859.9090576171875\n", + "global step=18415616, episodic return=1895.6148681640625\n", + "global step=18415616, episodic return=1912.7183837890625\n", + "global step=18415616, episodic return=1888.9564208984375\n", + "global step=18415616, episodic return=1904.416015625\n", + "global step=18419712, episodic return=1950.0001220703125\n", + "global step=18419712, episodic return=1988.9984130859375\n", + "global step=18419712, episodic return=1438.7333984375\n", + "global step=18421760, episodic return=2025.5279541015625\n", + "global step=18421760, episodic return=1785.2095947265625\n", + "global step=18425856, episodic return=1875.03955078125\n", + "global step=18427904, episodic return=1933.9755859375\n", + "global step=18427904, episodic return=2034.471923828125\n", + "global step=18429952, episodic return=1394.572509765625\n", + "global step=18432000, episodic return=998.6381225585938\n", + "global step=18438144, episodic return=1971.048095703125\n", + "global step=18438144, episodic return=1892.7767333984375\n", + "global step=18440192, episodic return=1883.3406982421875\n", + "global step=18446336, episodic return=2006.7252197265625\n", + "global step=18448384, episodic return=973.1249389648438\n", + "global step=18450432, episodic return=1849.826171875\n", + "global step=18452480, episodic return=1279.785400390625\n", + "global step=18454528, episodic return=2087.38720703125\n", + "global step=18454528, episodic return=2044.9267578125\n", + "global step=18454528, episodic return=2066.297119140625\n", + "global step=18454528, episodic return=1890.1300048828125\n", + "global step=18456576, episodic return=1850.5146484375\n", + "global step=18456576, episodic return=1939.103759765625\n", + "global step=18456576, episodic return=1903.648193359375\n", + "global step=18458624, episodic return=1910.1658935546875\n", + "global step=18458624, episodic return=1888.0350341796875\n", + "global step=18458624, episodic return=1882.7724609375\n", + "global step=18460672, episodic return=1899.023193359375\n", + "global step=18460672, episodic return=2047.85546875\n", + "global step=18462720, episodic return=1944.0697021484375\n", + "global step=18462720, episodic return=2041.333251953125\n", + "global step=18462720, episodic return=961.4222412109375\n", + "global step=18464768, episodic return=2045.857421875\n", + "global step=18464768, episodic return=1908.6507568359375\n", + "global step=18466816, episodic return=1883.68896484375\n", + "global step=18466816, episodic return=1873.1527099609375\n", + "global step=18466816, episodic return=1899.0888671875\n", + "global step=18468864, episodic return=1986.52734375\n", + "global step=18468864, episodic return=1428.1705322265625\n", + "global step=18468864, episodic return=1941.3765869140625\n", + "global step=18470912, episodic return=1948.1922607421875\n", + "global step=18472960, episodic return=1863.9228515625\n", + "global step=18479104, episodic return=1856.8507080078125\n", + "global step=18479104, episodic return=1851.4896240234375\n", + "global step=18479104, episodic return=1870.4361572265625\n", + "global step=18479104, episodic return=1862.0911865234375\n", + "global step=18481152, episodic return=1892.9324951171875\n", + "global step=18481152, episodic return=2012.1953125\n", + "global step=18481152, episodic return=1885.00146484375\n", + "global step=18483200, episodic return=1850.1380615234375\n", + "global step=18483200, episodic return=2010.2720947265625\n", + "global step=18483200, episodic return=2040.4290771484375\n", + "global step=18485248, episodic return=1764.70361328125\n", + "global step=18487296, episodic return=1528.371826171875\n", + "global step=18489344, episodic return=1755.5113525390625\n", + "global step=18489344, episodic return=1892.4869384765625\n", + "global step=18489344, episodic return=1998.26611328125\n", + "global step=18491392, episodic return=1906.120849609375\n", + "global step=18491392, episodic return=1923.1138916015625\n", + "global step=18493440, episodic return=1868.0440673828125\n", + "global step=18495488, episodic return=1442.141357421875\n", + "global step=18495488, episodic return=1871.4276123046875\n", + "global step=18495488, episodic return=1975.8887939453125\n", + "global step=18499584, episodic return=1877.025634765625\n", + "global step=18503680, episodic return=1862.1783447265625\n", + "global step=18505728, episodic return=1888.02880859375\n", + "global step=18507776, episodic return=1879.3658447265625\n", + "global step=18507776, episodic return=1316.1912841796875\n", + "global step=18507776, episodic return=1853.379150390625\n", + "global step=18509824, episodic return=1898.3099365234375\n", + "global step=18509824, episodic return=1904.3284912109375\n", + "global step=18509824, episodic return=1860.00390625\n", + "global step=18511872, episodic return=1896.0736083984375\n", + "global step=18511872, episodic return=1965.952392578125\n", + "global step=18513920, episodic return=1925.2955322265625\n", + "global step=18513920, episodic return=1922.4364013671875\n", + "global step=18513920, episodic return=1060.60595703125\n", + "global step=18518016, episodic return=1870.3380126953125\n", + "global step=18518016, episodic return=1903.62890625\n", + "global step=18520064, episodic return=1370.649658203125\n", + "global step=18522112, episodic return=2055.73779296875\n", + "global step=18522112, episodic return=1042.1964111328125\n", + "global step=18522112, episodic return=1892.1865234375\n", + "global step=18524160, episodic return=1919.2247314453125\n", + "global step=18526208, episodic return=1854.4483642578125\n", + "global step=18526208, episodic return=588.0305786132812\n", + "global step=18528256, episodic return=1922.1024169921875\n", + "global step=18530304, episodic return=2083.799072265625\n", + "global step=18532352, episodic return=1843.204833984375\n", + "global step=18532352, episodic return=2049.40185546875\n", + "global step=18532352, episodic return=1854.578369140625\n", + "global step=18532352, episodic return=1914.084228515625\n", + "global step=18532352, episodic return=1910.1173095703125\n", + "global step=18534400, episodic return=1916.394775390625\n", + "global step=18536448, episodic return=1907.4384765625\n", + "global step=18536448, episodic return=1938.2833251953125\n", + "global step=18538496, episodic return=2057.281494140625\n", + "global step=18538496, episodic return=1849.638427734375\n", + "global step=18538496, episodic return=1458.33154296875\n", + "global step=18538496, episodic return=1451.03759765625\n", + "global step=18538496, episodic return=1865.1661376953125\n", + "global step=18538496, episodic return=1557.3590087890625\n", + "global step=18540544, episodic return=1870.168701171875\n", + "global step=18542592, episodic return=1836.9822998046875\n", + "global step=18542592, episodic return=1860.210693359375\n", + "global step=18544640, episodic return=1923.9949951171875\n", + "global step=18546688, episodic return=1704.422119140625\n", + "global step=18546688, episodic return=1858.7628173828125\n", + "global step=18546688, episodic return=1405.11083984375\n", + "global step=18548736, episodic return=1873.06884765625\n", + "global step=18548736, episodic return=2081.13720703125\n", + "global step=18548736, episodic return=1910.4742431640625\n", + "global step=18550784, episodic return=1918.241943359375\n", + "global step=18550784, episodic return=1829.8990478515625\n", + "global step=18550784, episodic return=1860.5509033203125\n", + "global step=18550784, episodic return=1974.4423828125\n", + "global step=18550784, episodic return=1849.5111083984375\n", + "global step=18550784, episodic return=1872.643310546875\n", + "global step=18552832, episodic return=2031.2843017578125\n", + "global step=18552832, episodic return=309.2650451660156\n", + "global step=18552832, episodic return=1921.460205078125\n", + "global step=18554880, episodic return=1938.09814453125\n", + "global step=18554880, episodic return=1956.1016845703125\n", + "global step=18554880, episodic return=1966.3170166015625\n", + "global step=18556928, episodic return=1933.2791748046875\n", + "global step=18556928, episodic return=1906.8499755859375\n", + "global step=18556928, episodic return=1825.6048583984375\n", + "global step=18556928, episodic return=1876.905517578125\n", + "global step=18556928, episodic return=1897.388671875\n", + "global step=18558976, episodic return=1856.808837890625\n", + "global step=18558976, episodic return=1874.888671875\n", + "global step=18558976, episodic return=1932.7305908203125\n", + "global step=18558976, episodic return=1511.348388671875\n", + "global step=18558976, episodic return=1851.900634765625\n", + "global step=18561024, episodic return=1867.8226318359375\n", + "global step=18561024, episodic return=1859.021240234375\n", + "global step=18561024, episodic return=1944.69970703125\n", + "global step=18561024, episodic return=1905.09326171875\n", + "global step=18561024, episodic return=1883.0850830078125\n", + "global step=18561024, episodic return=1405.0740966796875\n", + "global step=18563072, episodic return=1865.364013671875\n", + "global step=18563072, episodic return=1654.954345703125\n", + "global step=18563072, episodic return=1485.1986083984375\n", + "global step=18563072, episodic return=1873.06201171875\n", + "global step=18563072, episodic return=1647.4949951171875\n", + "global step=18563072, episodic return=2051.74560546875\n", + "global step=18565120, episodic return=1033.9549560546875\n", + "global step=18565120, episodic return=1890.167724609375\n", + "global step=18565120, episodic return=1924.9906005859375\n", + "global step=18565120, episodic return=1975.026611328125\n", + "global step=18565120, episodic return=2022.197509765625\n", + "global step=18565120, episodic return=1976.2230224609375\n", + "global step=18565120, episodic return=1650.1903076171875\n", + "global step=18571264, episodic return=1841.147216796875\n", + "global step=18571264, episodic return=1964.505615234375\n", + "global step=18573312, episodic return=1977.495849609375\n", + "global step=18573312, episodic return=1877.0533447265625\n", + "global step=18573312, episodic return=1950.0018310546875\n", + "global step=18575360, episodic return=1983.774169921875\n", + "global step=18575360, episodic return=1869.51611328125\n", + "global step=18575360, episodic return=1874.2005615234375\n", + "global step=18575360, episodic return=1916.3221435546875\n", + "global step=18577408, episodic return=1881.6207275390625\n", + "global step=18577408, episodic return=1917.3648681640625\n", + "global step=18577408, episodic return=1839.9306640625\n", + "global step=18579456, episodic return=1883.9715576171875\n", + "global step=18579456, episodic return=1906.812744140625\n", + "global step=18579456, episodic return=1897.599853515625\n", + "global step=18579456, episodic return=1871.0350341796875\n", + "global step=18579456, episodic return=1853.4873046875\n", + "global step=18579456, episodic return=1954.44921875\n", + "global step=18579456, episodic return=1930.654052734375\n", + "global step=18579456, episodic return=1976.36669921875\n", + "global step=18581504, episodic return=1864.3902587890625\n", + "global step=18583552, episodic return=1871.30224609375\n", + "global step=18583552, episodic return=1829.492919921875\n", + "global step=18583552, episodic return=1856.1409912109375\n", + "global step=18585600, episodic return=1940.412841796875\n", + "global step=18585600, episodic return=1857.7335205078125\n", + "global step=18585600, episodic return=1852.4212646484375\n", + "global step=18587648, episodic return=1836.6795654296875\n", + "global step=18587648, episodic return=1901.1473388671875\n", + "global step=18589696, episodic return=1916.559326171875\n", + "global step=18589696, episodic return=1880.3416748046875\n", + "global step=18589696, episodic return=2022.4420166015625\n", + "global step=18589696, episodic return=1841.845703125\n", + "global step=18591744, episodic return=1909.3472900390625\n", + "global step=18591744, episodic return=1882.6767578125\n", + "global step=18591744, episodic return=1921.0029296875\n", + "global step=18591744, episodic return=1918.03662109375\n", + "global step=18593792, episodic return=1836.5850830078125\n", + "global step=18593792, episodic return=700.6544189453125\n", + "global step=18593792, episodic return=1887.4171142578125\n", + "global step=18593792, episodic return=1878.1292724609375\n", + "global step=18595840, episodic return=1872.6614990234375\n", + "global step=18595840, episodic return=1820.13427734375\n", + "global step=18595840, episodic return=1890.2138671875\n", + "global step=18597888, episodic return=1851.9354248046875\n", + "global step=18597888, episodic return=1855.0283203125\n", + "global step=18597888, episodic return=1870.3104248046875\n", + "global step=18597888, episodic return=1874.80419921875\n", + "global step=18597888, episodic return=1895.167236328125\n", + "global step=18597888, episodic return=1869.1712646484375\n", + "global step=18599936, episodic return=1893.84033203125\n", + "global step=18599936, episodic return=1878.7374267578125\n", + "global step=18599936, episodic return=1845.82470703125\n", + "global step=18601984, episodic return=2035.6641845703125\n", + "global step=18601984, episodic return=1959.6875\n", + "global step=18604032, episodic return=1946.2069091796875\n", + "global step=18604032, episodic return=1913.963623046875\n", + "global step=18606080, episodic return=1965.139404296875\n", + "global step=18606080, episodic return=1971.6702880859375\n", + "global step=18606080, episodic return=1834.455078125\n", + "global step=18606080, episodic return=1933.2137451171875\n", + "global step=18606080, episodic return=1843.732421875\n", + "global step=18608128, episodic return=1879.7069091796875\n", + "global step=18608128, episodic return=1229.6063232421875\n", + "global step=18610176, episodic return=1856.759765625\n", + "global step=18610176, episodic return=1849.1513671875\n", + "global step=18610176, episodic return=1850.3011474609375\n", + "global step=18610176, episodic return=1866.029296875\n", + "global step=18610176, episodic return=1841.177001953125\n", + "global step=18612224, episodic return=1942.8634033203125\n", + "global step=18612224, episodic return=1993.0379638671875\n", + "global step=18612224, episodic return=1869.41845703125\n", + "global step=18612224, episodic return=1975.5963134765625\n", + "global step=18614272, episodic return=1902.98828125\n", + "global step=18614272, episodic return=1040.326171875\n", + "global step=18616320, episodic return=1929.9874267578125\n", + "global step=18616320, episodic return=1858.8668212890625\n", + "global step=18618368, episodic return=1885.1627197265625\n", + "global step=18618368, episodic return=1841.0291748046875\n", + "global step=18618368, episodic return=1932.61279296875\n", + "global step=18618368, episodic return=1924.2491455078125\n", + "global step=18618368, episodic return=1897.8565673828125\n", + "global step=18620416, episodic return=1892.3328857421875\n", + "global step=18620416, episodic return=1889.5208740234375\n", + "global step=18624512, episodic return=1937.0159912109375\n", + "global step=18624512, episodic return=1895.279296875\n", + "global step=18626560, episodic return=1913.78173828125\n", + "global step=18626560, episodic return=1927.4891357421875\n", + "global step=18626560, episodic return=1869.51123046875\n", + "global step=18626560, episodic return=1902.775390625\n", + "global step=18628608, episodic return=1877.385009765625\n", + "global step=18628608, episodic return=1856.6671142578125\n", + "global step=18630656, episodic return=1875.0489501953125\n", + "global step=18630656, episodic return=1882.0025634765625\n", + "global step=18632704, episodic return=1931.4127197265625\n", + "global step=18632704, episodic return=1880.1082763671875\n", + "global step=18632704, episodic return=1894.5687255859375\n", + "global step=18632704, episodic return=1875.4720458984375\n", + "global step=18632704, episodic return=1915.2283935546875\n", + "global step=18632704, episodic return=1948.9332275390625\n", + "global step=18632704, episodic return=1832.361083984375\n", + "global step=18634752, episodic return=1900.785888671875\n", + "global step=18634752, episodic return=1886.6466064453125\n", + "global step=18636800, episodic return=1892.166259765625\n", + "global step=18636800, episodic return=1916.893310546875\n", + "global step=18636800, episodic return=1948.226806640625\n", + "global step=18638848, episodic return=1972.6668701171875\n", + "global step=18638848, episodic return=1913.8018798828125\n", + "global step=18638848, episodic return=1844.1512451171875\n", + "global step=18638848, episodic return=1850.0430908203125\n", + "global step=18638848, episodic return=1837.50390625\n", + "global step=18640896, episodic return=1854.7216796875\n", + "global step=18640896, episodic return=1840.8431396484375\n", + "global step=18640896, episodic return=1837.3197021484375\n", + "global step=18640896, episodic return=1858.700439453125\n", + "global step=18640896, episodic return=1966.244140625\n", + "global step=18640896, episodic return=1844.5428466796875\n", + "global step=18644992, episodic return=1863.60888671875\n", + "global step=18644992, episodic return=1869.2711181640625\n", + "global step=18644992, episodic return=1910.4970703125\n", + "global step=18644992, episodic return=1876.7894287109375\n", + "global step=18647040, episodic return=1858.3626708984375\n", + "global step=18647040, episodic return=1922.86376953125\n", + "global step=18647040, episodic return=1866.0184326171875\n", + "global step=18647040, episodic return=1886.444091796875\n", + "global step=18647040, episodic return=1904.2923583984375\n", + "global step=18649088, episodic return=1844.77587890625\n", + "global step=18649088, episodic return=1880.697509765625\n", + "global step=18651136, episodic return=1910.5072021484375\n", + "global step=18651136, episodic return=1852.23486328125\n", + "global step=18653184, episodic return=1943.045166015625\n", + "global step=18653184, episodic return=1816.7659912109375\n", + "global step=18653184, episodic return=1857.579833984375\n", + "global step=18653184, episodic return=1860.1585693359375\n", + "global step=18653184, episodic return=1808.453857421875\n", + "global step=18655232, episodic return=1959.865966796875\n", + "global step=18655232, episodic return=1910.985595703125\n", + "global step=18655232, episodic return=1848.6502685546875\n", + "global step=18655232, episodic return=1806.2528076171875\n", + "global step=18655232, episodic return=1858.5899658203125\n", + "global step=18657280, episodic return=1849.712890625\n", + "global step=18657280, episodic return=1981.362060546875\n", + "global step=18659328, episodic return=1848.4647216796875\n", + "global step=18659328, episodic return=1459.5728759765625\n", + "global step=18659328, episodic return=1836.6883544921875\n", + "global step=18659328, episodic return=1877.8004150390625\n", + "global step=18661376, episodic return=1889.356689453125\n", + "global step=18661376, episodic return=1299.6402587890625\n", + "global step=18661376, episodic return=1861.0423583984375\n", + "global step=18661376, episodic return=1878.9664306640625\n", + "global step=18661376, episodic return=2064.09521484375\n", + "global step=18661376, episodic return=1960.41845703125\n", + "global step=18663424, episodic return=1925.892822265625\n", + "global step=18663424, episodic return=1928.094970703125\n", + "global step=18663424, episodic return=1853.351806640625\n", + "global step=18665472, episodic return=1848.8604736328125\n", + "global step=18665472, episodic return=1866.433837890625\n", + "global step=18665472, episodic return=1844.0098876953125\n", + "global step=18665472, episodic return=1852.56689453125\n", + "global step=18667520, episodic return=1885.3953857421875\n", + "global step=18667520, episodic return=1899.07763671875\n", + "global step=18669568, episodic return=1918.4149169921875\n", + "global step=18671616, episodic return=1951.3863525390625\n", + "global step=18671616, episodic return=1924.790771484375\n", + "global step=18671616, episodic return=1875.8431396484375\n", + "global step=18671616, episodic return=1878.3876953125\n", + "global step=18673664, episodic return=1876.12646484375\n", + "global step=18673664, episodic return=1897.3035888671875\n", + "global step=18673664, episodic return=1963.611328125\n", + "global step=18673664, episodic return=1836.4688720703125\n", + "global step=18673664, episodic return=1851.06201171875\n", + "global step=18675712, episodic return=1937.611572265625\n", + "global step=18675712, episodic return=1849.264892578125\n", + "global step=18675712, episodic return=1873.015625\n", + "global step=18675712, episodic return=2033.043701171875\n", + "global step=18675712, episodic return=1934.8900146484375\n", + "global step=18677760, episodic return=1803.760986328125\n", + "global step=18677760, episodic return=1870.1177978515625\n", + "global step=18677760, episodic return=1910.764892578125\n", + "global step=18679808, episodic return=1860.4620361328125\n", + "global step=18681856, episodic return=1888.8990478515625\n", + "global step=18681856, episodic return=1826.91943359375\n", + "global step=18681856, episodic return=1862.3050537109375\n", + "global step=18681856, episodic return=1861.4700927734375\n", + "global step=18683904, episodic return=1845.79833984375\n", + "global step=18683904, episodic return=1849.2000732421875\n", + "global step=18685952, episodic return=1873.803466796875\n", + "global step=18685952, episodic return=1850.4898681640625\n", + "global step=18685952, episodic return=1879.5694580078125\n", + "global step=18685952, episodic return=1889.8519287109375\n", + "global step=18685952, episodic return=1828.776123046875\n", + "global step=18685952, episodic return=2004.357177734375\n", + "global step=18688000, episodic return=1872.0828857421875\n", + "global step=18688000, episodic return=1828.810791015625\n", + "global step=18690048, episodic return=1835.37451171875\n", + "global step=18690048, episodic return=1846.95751953125\n", + "global step=18690048, episodic return=1854.2838134765625\n", + "global step=18690048, episodic return=1720.3038330078125\n", + "global step=18692096, episodic return=1866.831298828125\n", + "global step=18692096, episodic return=1860.819091796875\n", + "global step=18692096, episodic return=1971.29248046875\n", + "global step=18692096, episodic return=1841.27490234375\n", + "global step=18692096, episodic return=1923.67041015625\n", + "global step=18692096, episodic return=1843.769775390625\n", + "global step=18692096, episodic return=1829.1165771484375\n", + "global step=18694144, episodic return=1822.3729248046875\n", + "global step=18694144, episodic return=1849.9505615234375\n", + "global step=18694144, episodic return=1835.0880126953125\n", + "global step=18694144, episodic return=1851.3006591796875\n", + "global step=18694144, episodic return=1899.0225830078125\n", + "global step=18694144, episodic return=1913.978515625\n", + "global step=18694144, episodic return=1887.0887451171875\n", + "global step=18694144, episodic return=1833.9002685546875\n", + "global step=18694144, episodic return=1992.2196044921875\n", + "global step=18696192, episodic return=1857.79736328125\n", + "global step=18696192, episodic return=1840.17578125\n", + "global step=18696192, episodic return=1848.2186279296875\n", + "global step=18698240, episodic return=1870.6710205078125\n", + "global step=18698240, episodic return=1862.20556640625\n", + "global step=18698240, episodic return=1867.9371337890625\n", + "global step=18698240, episodic return=171.00421142578125\n", + "global step=18698240, episodic return=1922.2994384765625\n", + "global step=18698240, episodic return=1840.3492431640625\n", + "global step=18700288, episodic return=1946.5672607421875\n", + "global step=18700288, episodic return=1851.07861328125\n", + "global step=18700288, episodic return=1839.962646484375\n", + "global step=18702336, episodic return=1839.55126953125\n", + "global step=18702336, episodic return=1879.55859375\n", + "global step=18702336, episodic return=1885.202392578125\n", + "global step=18704384, episodic return=1847.79345703125\n", + "global step=18704384, episodic return=1189.02685546875\n", + "global step=18704384, episodic return=1924.7149658203125\n", + "global step=18704384, episodic return=1887.0087890625\n", + "global step=18704384, episodic return=1913.502685546875\n", + "global step=18706432, episodic return=1909.11669921875\n", + "global step=18706432, episodic return=1867.875732421875\n", + "global step=18708480, episodic return=1887.0673828125\n", + "global step=18708480, episodic return=1835.695556640625\n", + "global step=18710528, episodic return=1813.2884521484375\n", + "global step=18710528, episodic return=1871.475341796875\n", + "global step=18714624, episodic return=1894.07421875\n", + "global step=18714624, episodic return=1865.6171875\n", + "global step=18714624, episodic return=1838.56640625\n", + "global step=18716672, episodic return=1939.6881103515625\n", + "global step=18716672, episodic return=1834.5064697265625\n", + "global step=18716672, episodic return=1936.314697265625\n", + "global step=18716672, episodic return=1855.434326171875\n", + "global step=18716672, episodic return=1967.1824951171875\n", + "global step=18716672, episodic return=1859.9984130859375\n", + "global step=18718720, episodic return=2002.6220703125\n", + "global step=18718720, episodic return=2009.9666748046875\n", + "global step=18718720, episodic return=1836.64990234375\n", + "global step=18718720, episodic return=1851.968994140625\n", + "global step=18720768, episodic return=1854.544921875\n", + "global step=18722816, episodic return=1839.4073486328125\n", + "global step=18722816, episodic return=1821.558349609375\n", + "global step=18722816, episodic return=1896.244873046875\n", + "global step=18722816, episodic return=2020.048583984375\n", + "global step=18722816, episodic return=1869.20263671875\n", + "global step=18724864, episodic return=1869.327880859375\n", + "global step=18724864, episodic return=1852.10302734375\n", + "global step=18724864, episodic return=1846.86279296875\n", + "global step=18724864, episodic return=1864.040771484375\n", + "global step=18724864, episodic return=889.721923828125\n", + "global step=18726912, episodic return=1879.4139404296875\n", + "global step=18726912, episodic return=1808.827880859375\n", + "global step=18726912, episodic return=740.7157592773438\n", + "global step=18728960, episodic return=1835.6085205078125\n", + "global step=18728960, episodic return=1859.427490234375\n", + "global step=18728960, episodic return=1907.751708984375\n", + "global step=18728960, episodic return=1835.0489501953125\n", + "global step=18728960, episodic return=1880.3438720703125\n", + "global step=18731008, episodic return=1850.8446044921875\n", + "global step=18731008, episodic return=1862.357421875\n", + "global step=18731008, episodic return=1583.990234375\n", + "global step=18733056, episodic return=1894.726806640625\n", + "global step=18733056, episodic return=1839.8046875\n", + "global step=18733056, episodic return=1884.4700927734375\n", + "global step=18735104, episodic return=2067.72119140625\n", + "global step=18735104, episodic return=1939.7200927734375\n", + "global step=18735104, episodic return=1910.4161376953125\n", + "global step=18737152, episodic return=1104.48974609375\n", + "global step=18737152, episodic return=1865.888427734375\n", + "global step=18737152, episodic return=1924.67919921875\n", + "global step=18739200, episodic return=1876.2637939453125\n", + "global step=18739200, episodic return=1881.3372802734375\n", + "global step=18739200, episodic return=1858.7928466796875\n", + "global step=18741248, episodic return=1486.5244140625\n", + "global step=18741248, episodic return=1836.7413330078125\n", + "global step=18741248, episodic return=1894.9036865234375\n", + "global step=18743296, episodic return=1828.418701171875\n", + "global step=18743296, episodic return=1975.47509765625\n", + "global step=18743296, episodic return=1903.402587890625\n", + "global step=18743296, episodic return=1834.760009765625\n", + "global step=18743296, episodic return=1834.23779296875\n", + "global step=18745344, episodic return=1864.277099609375\n", + "global step=18745344, episodic return=1872.9130859375\n", + "global step=18745344, episodic return=1885.1884765625\n", + "global step=18747392, episodic return=1599.0655517578125\n", + "global step=18747392, episodic return=1826.2777099609375\n", + "global step=18747392, episodic return=1882.3765869140625\n", + "global step=18747392, episodic return=1941.88037109375\n", + "global step=18747392, episodic return=1973.3895263671875\n", + "global step=18749440, episodic return=1883.2532958984375\n", + "global step=18749440, episodic return=1867.696533203125\n", + "global step=18749440, episodic return=1853.2982177734375\n", + "global step=18749440, episodic return=1864.5745849609375\n", + "global step=18751488, episodic return=1863.906982421875\n", + "global step=18751488, episodic return=1898.7642822265625\n", + "global step=18751488, episodic return=1871.7427978515625\n", + "global step=18751488, episodic return=1851.8580322265625\n", + "global step=18751488, episodic return=1914.361328125\n", + "global step=18751488, episodic return=1881.8468017578125\n", + "global step=18751488, episodic return=1884.9906005859375\n", + "global step=18751488, episodic return=1877.754638671875\n", + "global step=18753536, episodic return=1894.5704345703125\n", + "global step=18755584, episodic return=1869.8602294921875\n", + "global step=18755584, episodic return=1896.9586181640625\n", + "global step=18755584, episodic return=1850.439208984375\n", + "global step=18757632, episodic return=2028.66357421875\n", + "global step=18757632, episodic return=1498.7413330078125\n", + "global step=18757632, episodic return=1341.53173828125\n", + "global step=18757632, episodic return=1889.354736328125\n", + "global step=18759680, episodic return=1820.0504150390625\n", + "global step=18759680, episodic return=1913.9356689453125\n", + "global step=18761728, episodic return=1923.720458984375\n", + "global step=18763776, episodic return=1964.644287109375\n", + "global step=18763776, episodic return=1882.845458984375\n", + "global step=18763776, episodic return=1831.1898193359375\n", + "global step=18765824, episodic return=1977.67431640625\n", + "global step=18765824, episodic return=1844.218505859375\n", + "global step=18765824, episodic return=1861.3046875\n", + "global step=18765824, episodic return=1883.6246337890625\n", + "global step=18769920, episodic return=1838.4844970703125\n", + "global step=18769920, episodic return=1913.4730224609375\n", + "global step=18769920, episodic return=1831.55615234375\n", + "global step=18771968, episodic return=1879.853515625\n", + "global step=18771968, episodic return=1688.0399169921875\n", + "global step=18771968, episodic return=1703.8692626953125\n", + "global step=18771968, episodic return=1973.0665283203125\n", + "global step=18771968, episodic return=1872.254150390625\n", + "global step=18774016, episodic return=1868.8497314453125\n", + "global step=18774016, episodic return=1828.0040283203125\n", + "global step=18774016, episodic return=1877.321044921875\n", + "global step=18774016, episodic return=1844.453369140625\n", + "global step=18776064, episodic return=1853.151611328125\n", + "global step=18776064, episodic return=1902.4454345703125\n", + "global step=18778112, episodic return=1864.8433837890625\n", + "global step=18778112, episodic return=1894.29541015625\n", + "global step=18780160, episodic return=1852.1392822265625\n", + "global step=18780160, episodic return=1871.62548828125\n", + "global step=18780160, episodic return=1952.217041015625\n", + "global step=18782208, episodic return=1813.5947265625\n", + "global step=18782208, episodic return=1890.1810302734375\n", + "global step=18782208, episodic return=1886.583984375\n", + "global step=18782208, episodic return=1867.005615234375\n", + "global step=18784256, episodic return=1823.375\n", + "global step=18784256, episodic return=1858.2730712890625\n", + "global step=18784256, episodic return=1904.8790283203125\n", + "global step=18784256, episodic return=1860.1368408203125\n", + "global step=18784256, episodic return=1642.4482421875\n", + "global step=18786304, episodic return=1988.765625\n", + "global step=18786304, episodic return=1953.425537109375\n", + "global step=18786304, episodic return=1854.19970703125\n", + "global step=18786304, episodic return=1873.6849365234375\n", + "global step=18788352, episodic return=781.021240234375\n", + "global step=18790400, episodic return=1890.2220458984375\n", + "global step=18790400, episodic return=1966.0804443359375\n", + "global step=18792448, episodic return=1811.6136474609375\n", + "global step=18792448, episodic return=1834.56103515625\n", + "global step=18792448, episodic return=1085.113037109375\n", + "global step=18792448, episodic return=1841.4210205078125\n", + "global step=18794496, episodic return=1843.5302734375\n", + "global step=18794496, episodic return=1932.6583251953125\n", + "global step=18796544, episodic return=1848.56005859375\n", + "global step=18796544, episodic return=1873.947265625\n", + "global step=18798592, episodic return=1870.22216796875\n", + "global step=18798592, episodic return=1861.8416748046875\n", + "global step=18798592, episodic return=1989.5550537109375\n", + "global step=18798592, episodic return=1853.106689453125\n", + "global step=18800640, episodic return=1835.6597900390625\n", + "global step=18800640, episodic return=1805.7137451171875\n", + "global step=18800640, episodic return=2047.3955078125\n", + "global step=18800640, episodic return=43.91322708129883\n", + "global step=18800640, episodic return=1838.4361572265625\n", + "global step=18800640, episodic return=291.96710205078125\n", + "global step=18802688, episodic return=1872.0645751953125\n", + "global step=18802688, episodic return=1042.3192138671875\n", + "global step=18804736, episodic return=1976.04150390625\n", + "global step=18804736, episodic return=1847.543701171875\n", + "global step=18806784, episodic return=1962.8427734375\n", + "global step=18806784, episodic return=1912.49853515625\n", + "global step=18806784, episodic return=1990.9774169921875\n", + "global step=18806784, episodic return=1871.99755859375\n", + "global step=18806784, episodic return=1877.7308349609375\n", + "global step=18806784, episodic return=1849.302001953125\n", + "global step=18808832, episodic return=1869.63232421875\n", + "global step=18808832, episodic return=1841.8004150390625\n", + "global step=18810880, episodic return=1825.2110595703125\n", + "global step=18810880, episodic return=1129.3223876953125\n", + "global step=18810880, episodic return=1837.5699462890625\n", + "global step=18810880, episodic return=1854.94091796875\n", + "global step=18810880, episodic return=1777.5611572265625\n", + "global step=18810880, episodic return=1840.8948974609375\n", + "global step=18812928, episodic return=1958.9698486328125\n", + "global step=18812928, episodic return=1862.9627685546875\n", + "global step=18814976, episodic return=1969.989990234375\n", + "global step=18814976, episodic return=1868.9339599609375\n", + "global step=18814976, episodic return=1887.888671875\n", + "global step=18814976, episodic return=1912.0260009765625\n", + "global step=18814976, episodic return=1862.3876953125\n", + "global step=18814976, episodic return=1854.8973388671875\n", + "global step=18814976, episodic return=1942.150634765625\n", + "global step=18817024, episodic return=1819.2919921875\n", + "global step=18817024, episodic return=1865.703857421875\n", + "global step=18817024, episodic return=1964.5438232421875\n", + "global step=18817024, episodic return=1992.966552734375\n", + "global step=18817024, episodic return=1911.0352783203125\n", + "global step=18817024, episodic return=1905.160888671875\n", + "global step=18819072, episodic return=1851.505615234375\n", + "global step=18819072, episodic return=1871.1290283203125\n", + "global step=18819072, episodic return=1425.861083984375\n", + "global step=18819072, episodic return=1908.3726806640625\n", + "global step=18819072, episodic return=1878.5579833984375\n", + "global step=18821120, episodic return=1801.6378173828125\n", + "global step=18821120, episodic return=1830.0792236328125\n", + "global step=18821120, episodic return=1832.9688720703125\n", + "global step=18823168, episodic return=1841.5308837890625\n", + "global step=18823168, episodic return=1859.208740234375\n", + "global step=18823168, episodic return=1864.7708740234375\n", + "global step=18825216, episodic return=1891.699462890625\n", + "global step=18825216, episodic return=1752.9334716796875\n", + "global step=18825216, episodic return=1852.295166015625\n", + "global step=18827264, episodic return=1856.5540771484375\n", + "global step=18827264, episodic return=1240.362060546875\n", + "global step=18827264, episodic return=1873.2305908203125\n", + "global step=18827264, episodic return=1580.2747802734375\n", + "global step=18829312, episodic return=1901.33154296875\n", + "global step=18829312, episodic return=1891.781982421875\n", + "global step=18829312, episodic return=1877.8878173828125\n", + "global step=18829312, episodic return=1816.892578125\n", + "global step=18831360, episodic return=1824.2093505859375\n", + "global step=18831360, episodic return=1889.139892578125\n", + "global step=18831360, episodic return=1870.7603759765625\n", + "global step=18831360, episodic return=1882.6273193359375\n", + "global step=18831360, episodic return=1877.248291015625\n", + "global step=18831360, episodic return=1839.17919921875\n", + "global step=18831360, episodic return=1897.2286376953125\n", + "global step=18831360, episodic return=2067.62841796875\n", + "global step=18833408, episodic return=772.2744140625\n", + "global step=18833408, episodic return=1842.86474609375\n", + "global step=18833408, episodic return=1830.1810302734375\n", + "global step=18833408, episodic return=1894.9404296875\n", + "global step=18833408, episodic return=1852.046630859375\n", + "global step=18833408, episodic return=1833.5728759765625\n", + "global step=18835456, episodic return=1861.716064453125\n", + "global step=18835456, episodic return=1811.0911865234375\n", + "global step=18835456, episodic return=1850.9122314453125\n", + "global step=18837504, episodic return=1801.2098388671875\n", + "global step=18837504, episodic return=1808.6712646484375\n", + "global step=18839552, episodic return=1825.980224609375\n", + "global step=18839552, episodic return=1843.716064453125\n", + "global step=18841600, episodic return=1938.45751953125\n", + "global step=18841600, episodic return=1854.2235107421875\n", + "global step=18841600, episodic return=1833.39501953125\n", + "global step=18843648, episodic return=1912.2109375\n", + "global step=18843648, episodic return=1836.4312744140625\n", + "global step=18843648, episodic return=1495.35546875\n", + "global step=18843648, episodic return=1853.7093505859375\n", + "global step=18843648, episodic return=1890.679931640625\n", + "global step=18843648, episodic return=1878.0810546875\n", + "global step=18845696, episodic return=1878.888427734375\n", + "global step=18845696, episodic return=1809.69091796875\n", + "global step=18845696, episodic return=1944.2630615234375\n", + "global step=18847744, episodic return=1925.7147216796875\n", + "global step=18847744, episodic return=1927.9434814453125\n", + "global step=18847744, episodic return=1915.3177490234375\n", + "global step=18847744, episodic return=1844.4287109375\n", + "global step=18847744, episodic return=1842.9017333984375\n", + "global step=18849792, episodic return=1886.7957763671875\n", + "global step=18849792, episodic return=1897.909912109375\n", + "global step=18849792, episodic return=1852.682373046875\n", + "global step=18849792, episodic return=1948.8076171875\n", + "global step=18849792, episodic return=1796.5667724609375\n", + "global step=18849792, episodic return=1838.4549560546875\n", + "global step=18849792, episodic return=1887.527099609375\n", + "global step=18851840, episodic return=737.8079223632812\n", + "global step=18851840, episodic return=1861.967529296875\n", + "global step=18851840, episodic return=1906.073486328125\n", + "global step=18851840, episodic return=1848.968505859375\n", + "global step=18853888, episodic return=1845.4549560546875\n", + "global step=18853888, episodic return=1857.5982666015625\n", + "global step=18853888, episodic return=1852.0079345703125\n", + "global step=18855936, episodic return=1836.397705078125\n", + "global step=18855936, episodic return=1871.964599609375\n", + "global step=18855936, episodic return=1949.8348388671875\n", + "global step=18855936, episodic return=1877.278564453125\n", + "global step=18857984, episodic return=1927.737060546875\n", + "global step=18860032, episodic return=1907.15234375\n", + "global step=18860032, episodic return=1884.245361328125\n", + "global step=18862080, episodic return=1837.789306640625\n", + "global step=18862080, episodic return=1860.3992919921875\n", + "global step=18862080, episodic return=496.6434631347656\n", + "global step=18862080, episodic return=1831.9293212890625\n", + "global step=18862080, episodic return=1975.7877197265625\n", + "global step=18864128, episodic return=1876.0928955078125\n", + "global step=18864128, episodic return=1856.811279296875\n", + "global step=18864128, episodic return=1895.312255859375\n", + "global step=18866176, episodic return=1878.7657470703125\n", + "global step=18868224, episodic return=1647.170654296875\n", + "global step=18868224, episodic return=1977.71923828125\n", + "global step=18868224, episodic return=1865.0111083984375\n", + "global step=18870272, episodic return=1853.05126953125\n", + "global step=18870272, episodic return=1930.4031982421875\n", + "global step=18870272, episodic return=1844.5523681640625\n", + "global step=18870272, episodic return=1871.1759033203125\n", + "global step=18870272, episodic return=1874.0997314453125\n", + "global step=18870272, episodic return=1866.77392578125\n", + "global step=18870272, episodic return=1088.888671875\n", + "global step=18872320, episodic return=1881.645263671875\n", + "global step=18872320, episodic return=1865.127197265625\n", + "global step=18872320, episodic return=1485.0111083984375\n", + "global step=18872320, episodic return=1868.34423828125\n", + "global step=18872320, episodic return=1814.884765625\n", + "global step=18872320, episodic return=1872.3922119140625\n", + "global step=18872320, episodic return=1852.125\n", + "global step=18872320, episodic return=1950.38720703125\n", + "global step=18874368, episodic return=1855.055419921875\n", + "global step=18876416, episodic return=1892.823486328125\n", + "global step=18876416, episodic return=1826.1612548828125\n", + "global step=18876416, episodic return=1890.1619873046875\n", + "global step=18876416, episodic return=1873.89306640625\n", + "global step=18876416, episodic return=1869.3026123046875\n", + "global step=18876416, episodic return=1872.759765625\n", + "global step=18876416, episodic return=1865.179931640625\n", + "global step=18876416, episodic return=1902.86865234375\n", + "global step=18876416, episodic return=1837.9305419921875\n", + "global step=18878464, episodic return=1854.514892578125\n", + "global step=18878464, episodic return=1835.820068359375\n", + "global step=18878464, episodic return=1466.48388671875\n", + "global step=18878464, episodic return=2030.4525146484375\n", + "global step=18880512, episodic return=1890.9029541015625\n", + "global step=18880512, episodic return=1893.20849609375\n", + "global step=18882560, episodic return=1962.489990234375\n", + "global step=18882560, episodic return=1878.6458740234375\n", + "global step=18882560, episodic return=1885.3310546875\n", + "global step=18882560, episodic return=836.201171875\n", + "global step=18882560, episodic return=1940.1611328125\n", + "global step=18884608, episodic return=1864.9659423828125\n", + "global step=18884608, episodic return=1903.9984130859375\n", + "global step=18886656, episodic return=1826.9632568359375\n", + "global step=18886656, episodic return=1837.9703369140625\n", + "global step=18888704, episodic return=1221.1622314453125\n", + "global step=18888704, episodic return=1889.7498779296875\n", + "global step=18888704, episodic return=1863.0242919921875\n", + "global step=18890752, episodic return=1848.9337158203125\n", + "global step=18892800, episodic return=1935.1397705078125\n", + "global step=18892800, episodic return=1317.1661376953125\n", + "global step=18892800, episodic return=1880.6021728515625\n", + "global step=18892800, episodic return=1871.3245849609375\n", + "global step=18894848, episodic return=1329.902099609375\n", + "global step=18894848, episodic return=1943.1422119140625\n", + "global step=18894848, episodic return=986.853759765625\n", + "global step=18894848, episodic return=1549.779052734375\n", + "global step=18894848, episodic return=1837.0357666015625\n", + "global step=18894848, episodic return=1876.97900390625\n", + "global step=18896896, episodic return=1931.3740234375\n", + "global step=18896896, episodic return=1936.43798828125\n", + "global step=18896896, episodic return=1847.24951171875\n", + "global step=18898944, episodic return=1933.8143310546875\n", + "global step=18898944, episodic return=1871.3765869140625\n", + "global step=18898944, episodic return=1853.9691162109375\n", + "global step=18898944, episodic return=1904.265380859375\n", + "global step=18900992, episodic return=1826.7550048828125\n", + "global step=18900992, episodic return=261.6740417480469\n", + "global step=18900992, episodic return=1885.6605224609375\n", + "global step=18900992, episodic return=1629.055419921875\n", + "global step=18903040, episodic return=1901.1395263671875\n", + "global step=18903040, episodic return=1878.7545166015625\n", + "global step=18903040, episodic return=1889.9119873046875\n", + "global step=18905088, episodic return=1848.8800048828125\n", + "global step=18905088, episodic return=1869.7825927734375\n", + "global step=18905088, episodic return=1915.3333740234375\n", + "global step=18905088, episodic return=1833.5185546875\n", + "global step=18907136, episodic return=326.6939697265625\n", + "global step=18907136, episodic return=1925.9300537109375\n", + "global step=18907136, episodic return=1910.48828125\n", + "global step=18909184, episodic return=1103.37744140625\n", + "global step=18909184, episodic return=1885.2576904296875\n", + "global step=18909184, episodic return=1901.617431640625\n", + "global step=18909184, episodic return=1830.2119140625\n", + "global step=18911232, episodic return=1858.4786376953125\n", + "global step=18911232, episodic return=1822.5172119140625\n", + "global step=18911232, episodic return=1856.9241943359375\n", + "global step=18913280, episodic return=1847.1622314453125\n", + "global step=18913280, episodic return=1432.3289794921875\n", + "global step=18913280, episodic return=1842.192626953125\n", + "global step=18915328, episodic return=1849.1834716796875\n", + "global step=18915328, episodic return=1959.9990234375\n", + "global step=18917376, episodic return=1369.8927001953125\n", + "global step=18917376, episodic return=355.244140625\n", + "global step=18917376, episodic return=2057.610107421875\n", + "global step=18917376, episodic return=1867.7967529296875\n", + "global step=18919424, episodic return=1883.4705810546875\n", + "global step=18919424, episodic return=1968.2236328125\n", + "global step=18919424, episodic return=1937.307373046875\n", + "global step=18921472, episodic return=1839.35107421875\n", + "global step=18923520, episodic return=1877.467041015625\n", + "global step=18923520, episodic return=1872.019775390625\n", + "global step=18923520, episodic return=1897.8204345703125\n", + "global step=18923520, episodic return=1847.4884033203125\n", + "global step=18925568, episodic return=2025.0107421875\n", + "global step=18925568, episodic return=1851.7642822265625\n", + "global step=18925568, episodic return=1899.640380859375\n", + "global step=18925568, episodic return=1880.4163818359375\n", + "global step=18925568, episodic return=1874.71435546875\n", + "global step=18925568, episodic return=1659.2158203125\n", + "global step=18925568, episodic return=1907.9945068359375\n", + "global step=18925568, episodic return=1876.4737548828125\n", + "global step=18925568, episodic return=1841.724853515625\n", + "global step=18927616, episodic return=1851.9417724609375\n", + "global step=18927616, episodic return=1879.3114013671875\n", + "global step=18929664, episodic return=1821.2484130859375\n", + "global step=18929664, episodic return=1128.330078125\n", + "global step=18929664, episodic return=1873.4261474609375\n", + "global step=18929664, episodic return=1850.7381591796875\n", + "global step=18929664, episodic return=1976.2376708984375\n", + "global step=18931712, episodic return=1901.0263671875\n", + "global step=18931712, episodic return=1997.4501953125\n", + "global step=18931712, episodic return=1858.69873046875\n", + "global step=18931712, episodic return=1972.3231201171875\n", + "global step=18933760, episodic return=1893.495361328125\n", + "global step=18937856, episodic return=1861.7952880859375\n", + "global step=18937856, episodic return=1493.762939453125\n", + "global step=18937856, episodic return=2064.72216796875\n", + "global step=18937856, episodic return=1836.6844482421875\n", + "global step=18939904, episodic return=1891.5911865234375\n", + "global step=18939904, episodic return=1875.0985107421875\n", + "global step=18941952, episodic return=1873.9127197265625\n", + "global step=18941952, episodic return=1876.8704833984375\n", + "global step=18941952, episodic return=1843.55419921875\n", + "global step=18941952, episodic return=1884.5042724609375\n", + "global step=18941952, episodic return=2009.5728759765625\n", + "global step=18941952, episodic return=1865.244384765625\n", + "global step=18941952, episodic return=1892.1744384765625\n", + "global step=18941952, episodic return=1935.1766357421875\n", + "global step=18941952, episodic return=1839.2962646484375\n", + "global step=18941952, episodic return=1868.817138671875\n", + "global step=18944000, episodic return=1901.1915283203125\n", + "global step=18944000, episodic return=1883.8602294921875\n", + "global step=18944000, episodic return=1256.0057373046875\n", + "global step=18944000, episodic return=1851.78564453125\n", + "global step=18944000, episodic return=1327.13330078125\n", + "global step=18946048, episodic return=1868.812255859375\n", + "global step=18946048, episodic return=1908.460693359375\n", + "global step=18946048, episodic return=1916.046875\n", + "global step=18948096, episodic return=1893.2086181640625\n", + "global step=18948096, episodic return=1130.338623046875\n", + "global step=18948096, episodic return=1867.138916015625\n", + "global step=18948096, episodic return=1351.523681640625\n", + "global step=18950144, episodic return=1860.1978759765625\n", + "global step=18950144, episodic return=1863.12841796875\n", + "global step=18950144, episodic return=1890.313232421875\n", + "global step=18952192, episodic return=1873.8707275390625\n", + "global step=18952192, episodic return=1883.950439453125\n", + "global step=18952192, episodic return=1870.07373046875\n", + "global step=18952192, episodic return=542.592041015625\n", + "global step=18954240, episodic return=1851.2105712890625\n", + "global step=18956288, episodic return=1860.1004638671875\n", + "global step=18956288, episodic return=1187.528076171875\n", + "global step=18956288, episodic return=1859.684326171875\n", + "global step=18956288, episodic return=1926.644775390625\n", + "global step=18956288, episodic return=1857.3489990234375\n", + "global step=18956288, episodic return=1974.3023681640625\n", + "global step=18958336, episodic return=1860.8463134765625\n", + "global step=18958336, episodic return=1904.6990966796875\n", + "global step=18958336, episodic return=1862.7789306640625\n", + "global step=18958336, episodic return=1559.6090087890625\n", + "global step=18960384, episodic return=1848.8831787109375\n", + "global step=18962432, episodic return=1841.3115234375\n", + "global step=18964480, episodic return=1861.4949951171875\n", + "global step=18964480, episodic return=1795.1151123046875\n", + "global step=18964480, episodic return=1857.341064453125\n", + "global step=18966528, episodic return=1875.18115234375\n", + "global step=18968576, episodic return=1877.1212158203125\n", + "global step=18970624, episodic return=1876.3109130859375\n", + "global step=18970624, episodic return=1904.127685546875\n", + "global step=18972672, episodic return=1857.4197998046875\n", + "global step=18972672, episodic return=1901.583740234375\n", + "global step=18974720, episodic return=1901.46142578125\n", + "global step=18976768, episodic return=1958.5159912109375\n", + "global step=18976768, episodic return=1588.6788330078125\n", + "global step=18978816, episodic return=1844.4857177734375\n", + "global step=18980864, episodic return=1667.2076416015625\n", + "global step=18982912, episodic return=2013.748779296875\n", + "global step=18982912, episodic return=1991.76904296875\n", + "global step=18982912, episodic return=1851.985107421875\n", + "global step=18982912, episodic return=1429.1812744140625\n", + "global step=18984960, episodic return=1941.4715576171875\n", + "global step=18984960, episodic return=1855.477294921875\n", + "global step=18984960, episodic return=1940.4425048828125\n", + "global step=18987008, episodic return=1855.4154052734375\n", + "global step=18987008, episodic return=1909.9705810546875\n", + "global step=18987008, episodic return=1890.22802734375\n", + "global step=18989056, episodic return=1499.2515869140625\n", + "global step=18989056, episodic return=1863.048095703125\n", + "global step=18991104, episodic return=1938.410400390625\n", + "global step=18991104, episodic return=1236.710693359375\n", + "global step=18991104, episodic return=1970.4246826171875\n", + "global step=18993152, episodic return=1982.82177734375\n", + "global step=18993152, episodic return=1913.6568603515625\n", + "global step=18995200, episodic return=1254.7626953125\n", + "global step=18995200, episodic return=1855.904541015625\n", + "global step=18995200, episodic return=1847.3013916015625\n", + "global step=18995200, episodic return=1858.2481689453125\n", + "global step=18997248, episodic return=1819.97998046875\n", + "global step=18999296, episodic return=1843.9967041015625\n", + "global step=18999296, episodic return=1867.27001953125\n", + "global step=18999296, episodic return=973.7611694335938\n", + "global step=19001344, episodic return=1885.772705078125\n", + "global step=19001344, episodic return=1436.4642333984375\n", + "global step=19001344, episodic return=2080.885986328125\n", + "global step=19001344, episodic return=1892.568115234375\n", + "global step=19001344, episodic return=1925.707763671875\n", + "global step=19001344, episodic return=1882.9185791015625\n", + "global step=19003392, episodic return=1859.2547607421875\n", + "global step=19005440, episodic return=2009.8984375\n", + "global step=19005440, episodic return=1835.05810546875\n", + "global step=19005440, episodic return=644.6612548828125\n", + "global step=19005440, episodic return=1726.6827392578125\n", + "global step=19005440, episodic return=2054.253662109375\n", + "global step=19007488, episodic return=1897.485595703125\n", + "global step=19009536, episodic return=1874.10009765625\n", + "global step=19009536, episodic return=1866.3463134765625\n", + "global step=19009536, episodic return=45.75884246826172\n", + "global step=19009536, episodic return=1856.7841796875\n", + "global step=19011584, episodic return=1873.244873046875\n", + "global step=19011584, episodic return=1403.6502685546875\n", + "global step=19013632, episodic return=1925.107177734375\n", + "global step=19013632, episodic return=1888.346923828125\n", + "global step=19013632, episodic return=1877.2117919921875\n", + "global step=19017728, episodic return=1870.267333984375\n", + "global step=19017728, episodic return=1849.5965576171875\n", + "global step=19017728, episodic return=1123.2283935546875\n", + "global step=19017728, episodic return=1727.9522705078125\n", + "global step=19017728, episodic return=312.5872802734375\n", + "global step=19017728, episodic return=1837.168212890625\n", + "global step=19019776, episodic return=1820.3795166015625\n", + "global step=19019776, episodic return=1849.64306640625\n", + "global step=19019776, episodic return=1861.014404296875\n", + "global step=19019776, episodic return=1788.195068359375\n", + "global step=19019776, episodic return=1899.6953125\n", + "global step=19019776, episodic return=1889.4974365234375\n", + "global step=19021824, episodic return=1893.8759765625\n", + "global step=19021824, episodic return=886.9144287109375\n", + "global step=19023872, episodic return=1976.31005859375\n", + "global step=19023872, episodic return=1567.2315673828125\n", + "global step=19023872, episodic return=1833.1561279296875\n", + "global step=19025920, episodic return=549.6640625\n", + "global step=19027968, episodic return=1616.7073974609375\n", + "global step=19027968, episodic return=1101.5853271484375\n", + "global step=19027968, episodic return=1974.8985595703125\n", + "global step=19030016, episodic return=1877.57421875\n", + "global step=19030016, episodic return=1921.1190185546875\n", + "global step=19030016, episodic return=1907.665771484375\n", + "global step=19032064, episodic return=1899.4918212890625\n", + "global step=19032064, episodic return=1902.55322265625\n", + "global step=19032064, episodic return=1910.7310791015625\n", + "global step=19032064, episodic return=1893.6195068359375\n", + "global step=19032064, episodic return=1912.377197265625\n", + "global step=19032064, episodic return=1864.14599609375\n", + "global step=19032064, episodic return=1847.333740234375\n", + "global step=19034112, episodic return=2045.4180908203125\n", + "global step=19034112, episodic return=1323.0166015625\n", + "global step=19034112, episodic return=1877.7418212890625\n", + "global step=19036160, episodic return=1860.3128662109375\n", + "global step=19036160, episodic return=1897.5247802734375\n", + "global step=19036160, episodic return=1876.25390625\n", + "global step=19036160, episodic return=515.8746337890625\n", + "global step=19036160, episodic return=1931.4244384765625\n", + "global step=19036160, episodic return=1889.1229248046875\n", + "global step=19036160, episodic return=1932.51318359375\n", + "global step=19036160, episodic return=1983.8970947265625\n", + "global step=19036160, episodic return=1918.97265625\n", + "global step=19038208, episodic return=1900.5860595703125\n", + "global step=19038208, episodic return=1764.09912109375\n", + "global step=19038208, episodic return=1860.36572265625\n", + "global step=19038208, episodic return=1869.8577880859375\n", + "global step=19038208, episodic return=1843.869873046875\n", + "global step=19038208, episodic return=1923.685791015625\n", + "global step=19038208, episodic return=1896.1629638671875\n", + "global step=19040256, episodic return=1866.447509765625\n", + "global step=19040256, episodic return=1847.7454833984375\n", + "global step=19040256, episodic return=1903.2740478515625\n", + "global step=19040256, episodic return=1869.23291015625\n", + "global step=19042304, episodic return=1875.615478515625\n", + "global step=19042304, episodic return=1896.5621337890625\n", + "global step=19044352, episodic return=1954.47314453125\n", + "global step=19044352, episodic return=919.0640258789062\n", + "global step=19044352, episodic return=1884.2979736328125\n", + "global step=19046400, episodic return=1958.2701416015625\n", + "global step=19048448, episodic return=2052.94970703125\n", + "global step=19048448, episodic return=1554.0428466796875\n", + "global step=19048448, episodic return=1898.259521484375\n", + "global step=19048448, episodic return=1870.13720703125\n", + "global step=19050496, episodic return=455.90283203125\n", + "global step=19050496, episodic return=1844.865478515625\n", + "global step=19052544, episodic return=1864.773193359375\n", + "global step=19052544, episodic return=1815.439453125\n", + "global step=19052544, episodic return=1853.189208984375\n", + "global step=19054592, episodic return=1928.7659912109375\n", + "global step=19054592, episodic return=831.7147216796875\n", + "global step=19056640, episodic return=1923.336669921875\n", + "global step=19056640, episodic return=1971.0106201171875\n", + "global step=19056640, episodic return=1891.765380859375\n", + "global step=19056640, episodic return=1444.5771484375\n", + "global step=19058688, episodic return=1098.1375732421875\n", + "global step=19058688, episodic return=1947.6995849609375\n", + "global step=19058688, episodic return=615.9838256835938\n", + "global step=19060736, episodic return=1874.693359375\n", + "global step=19060736, episodic return=554.339111328125\n", + "global step=19060736, episodic return=1859.9825439453125\n", + "global step=19060736, episodic return=1922.3858642578125\n", + "global step=19062784, episodic return=1880.4573974609375\n", + "global step=19062784, episodic return=1867.944091796875\n", + "global step=19062784, episodic return=30.17207908630371\n", + "global step=19062784, episodic return=1895.9747314453125\n", + "global step=19062784, episodic return=1905.5494384765625\n", + "global step=19062784, episodic return=1883.521484375\n", + "global step=19064832, episodic return=1062.411376953125\n", + "global step=19064832, episodic return=1879.0767822265625\n", + "global step=19064832, episodic return=1960.1644287109375\n", + "global step=19064832, episodic return=1984.98779296875\n", + "global step=19064832, episodic return=1871.7113037109375\n", + "global step=19064832, episodic return=1931.621337890625\n", + "global step=19066880, episodic return=1868.41162109375\n", + "global step=19066880, episodic return=661.4517211914062\n", + "global step=19066880, episodic return=1896.435302734375\n", + "global step=19068928, episodic return=1945.6864013671875\n", + "global step=19068928, episodic return=1291.58935546875\n", + "global step=19068928, episodic return=1974.2630615234375\n", + "global step=19068928, episodic return=1876.9974365234375\n", + "global step=19070976, episodic return=865.7340087890625\n", + "global step=19070976, episodic return=1487.2161865234375\n", + "global step=19073024, episodic return=2086.219970703125\n", + "global step=19073024, episodic return=1749.9652099609375\n", + "global step=19073024, episodic return=1953.449951171875\n", + "global step=19075072, episodic return=1944.0987548828125\n", + "global step=19075072, episodic return=1969.738037109375\n", + "global step=19075072, episodic return=2021.5345458984375\n", + "global step=19075072, episodic return=609.5781860351562\n", + "global step=19075072, episodic return=1874.20263671875\n", + "global step=19075072, episodic return=1882.9539794921875\n", + "global step=19077120, episodic return=1911.134521484375\n", + "global step=19077120, episodic return=1868.4014892578125\n", + "global step=19079168, episodic return=1276.761474609375\n", + "global step=19079168, episodic return=1662.5736083984375\n", + "global step=19081216, episodic return=1860.95751953125\n", + "global step=19081216, episodic return=1265.0318603515625\n", + "global step=19081216, episodic return=1875.46533203125\n", + "global step=19081216, episodic return=1918.8878173828125\n", + "global step=19081216, episodic return=1669.5810546875\n", + "global step=19081216, episodic return=1891.4993896484375\n", + "global step=19081216, episodic return=1941.3653564453125\n", + "global step=19081216, episodic return=1953.322021484375\n", + "global step=19083264, episodic return=1857.1524658203125\n", + "global step=19083264, episodic return=1890.56640625\n", + "global step=19085312, episodic return=1917.8223876953125\n", + "global step=19085312, episodic return=1892.5745849609375\n", + "global step=19087360, episodic return=1790.90087890625\n", + "global step=19089408, episodic return=913.7932739257812\n", + "global step=19089408, episodic return=1932.9024658203125\n", + "global step=19089408, episodic return=2012.3349609375\n", + "global step=19091456, episodic return=1656.560302734375\n", + "global step=19091456, episodic return=682.4708862304688\n", + "global step=19093504, episodic return=1954.7183837890625\n", + "global step=19095552, episodic return=851.9539184570312\n", + "global step=19095552, episodic return=1904.512939453125\n", + "global step=19097600, episodic return=674.406005859375\n", + "global step=19097600, episodic return=1877.5211181640625\n", + "global step=19097600, episodic return=1866.4132080078125\n", + "global step=19097600, episodic return=2061.75537109375\n", + "global step=19099648, episodic return=1921.4976806640625\n", + "global step=19099648, episodic return=1720.872314453125\n", + "global step=19099648, episodic return=1941.157958984375\n", + "global step=19101696, episodic return=1228.474609375\n", + "global step=19101696, episodic return=2018.5897216796875\n", + "global step=19101696, episodic return=705.9583740234375\n", + "global step=19103744, episodic return=1864.1693115234375\n", + "global step=19103744, episodic return=1978.317626953125\n", + "global step=19105792, episodic return=1841.422607421875\n", + "global step=19105792, episodic return=1930.527587890625\n", + "global step=19107840, episodic return=1930.2525634765625\n", + "global step=19107840, episodic return=1874.485595703125\n", + "global step=19107840, episodic return=2058.99560546875\n", + "global step=19107840, episodic return=1974.9908447265625\n", + "global step=19109888, episodic return=1876.1817626953125\n", + "global step=19109888, episodic return=1956.2554931640625\n", + "global step=19111936, episodic return=1906.402587890625\n", + "global step=19113984, episodic return=1941.7158203125\n", + "global step=19113984, episodic return=1878.3831787109375\n", + "global step=19116032, episodic return=1887.6485595703125\n", + "global step=19118080, episodic return=1924.15087890625\n", + "global step=19118080, episodic return=1895.4693603515625\n", + "global step=19118080, episodic return=1953.3292236328125\n", + "global step=19120128, episodic return=309.5269775390625\n", + "global step=19122176, episodic return=1873.89404296875\n", + "global step=19124224, episodic return=1904.60400390625\n", + "global step=19124224, episodic return=1840.4588623046875\n", + "global step=19124224, episodic return=1906.72509765625\n", + "global step=19126272, episodic return=2014.866943359375\n", + "global step=19126272, episodic return=1910.7418212890625\n", + "global step=19128320, episodic return=1881.6273193359375\n", + "global step=19128320, episodic return=1877.0626220703125\n", + "global step=19128320, episodic return=1870.473388671875\n", + "global step=19128320, episodic return=730.7826538085938\n", + "global step=19128320, episodic return=1866.2469482421875\n", + "global step=19128320, episodic return=1319.2578125\n", + "global step=19130368, episodic return=2029.11865234375\n", + "global step=19130368, episodic return=1918.594970703125\n", + "global step=19130368, episodic return=1876.7459716796875\n", + "global step=19132416, episodic return=1904.25830078125\n", + "global step=19132416, episodic return=2002.38134765625\n", + "global step=19134464, episodic return=1907.2310791015625\n", + "global step=19136512, episodic return=1963.5057373046875\n", + "global step=19136512, episodic return=984.144287109375\n", + "global step=19136512, episodic return=1924.796875\n", + "global step=19140608, episodic return=1914.87158203125\n", + "global step=19140608, episodic return=1408.3741455078125\n", + "global step=19140608, episodic return=1932.1737060546875\n", + "global step=19140608, episodic return=949.647216796875\n", + "global step=19142656, episodic return=1850.86376953125\n", + "global step=19142656, episodic return=864.4609375\n", + "global step=19142656, episodic return=274.9002380371094\n", + "global step=19142656, episodic return=1888.6683349609375\n", + "global step=19142656, episodic return=1949.8966064453125\n", + "global step=19142656, episodic return=1880.0927734375\n", + "global step=19142656, episodic return=1883.02490234375\n", + "global step=19144704, episodic return=1443.763671875\n", + "global step=19144704, episodic return=1887.8555908203125\n", + "global step=19144704, episodic return=1899.529296875\n", + "global step=19146752, episodic return=1888.917236328125\n", + "global step=19146752, episodic return=1868.2423095703125\n", + "global step=19148800, episodic return=1396.9775390625\n", + "global step=19148800, episodic return=208.51560974121094\n", + "global step=19148800, episodic return=1944.9478759765625\n", + "global step=19150848, episodic return=1944.8634033203125\n", + "global step=19150848, episodic return=1889.6556396484375\n", + "global step=19150848, episodic return=1899.163330078125\n", + "global step=19152896, episodic return=1871.3731689453125\n", + "global step=19152896, episodic return=160.9331512451172\n", + "global step=19152896, episodic return=1718.5364990234375\n", + "global step=19152896, episodic return=1914.2587890625\n", + "global step=19154944, episodic return=2039.80078125\n", + "global step=19154944, episodic return=1879.08837890625\n", + "global step=19154944, episodic return=765.3427734375\n", + "global step=19156992, episodic return=1055.2301025390625\n", + "global step=19156992, episodic return=1927.02490234375\n", + "global step=19156992, episodic return=610.5844116210938\n", + "global step=19156992, episodic return=1929.100830078125\n", + "global step=19159040, episodic return=1876.5931396484375\n", + "global step=19161088, episodic return=1760.273193359375\n", + "global step=19161088, episodic return=645.3433837890625\n", + "global step=19161088, episodic return=2019.897705078125\n", + "global step=19161088, episodic return=1666.598876953125\n", + "global step=19163136, episodic return=1288.7657470703125\n", + "global step=19163136, episodic return=1896.630615234375\n", + "global step=19165184, episodic return=1177.9815673828125\n", + "global step=19165184, episodic return=1958.6778564453125\n", + "global step=19165184, episodic return=238.96331787109375\n", + "global step=19165184, episodic return=2060.130859375\n", + "global step=19165184, episodic return=485.4801330566406\n", + "global step=19167232, episodic return=1882.510498046875\n", + "global step=19167232, episodic return=1598.1727294921875\n", + "global step=19167232, episodic return=1878.0992431640625\n", + "global step=19169280, episodic return=1884.1097412109375\n", + "global step=19171328, episodic return=522.1323852539062\n", + "global step=19171328, episodic return=1014.1007690429688\n", + "global step=19171328, episodic return=1371.25732421875\n", + "global step=19171328, episodic return=1752.607421875\n", + "global step=19171328, episodic return=38.646968841552734\n", + "global step=19173376, episodic return=1867.0587158203125\n", + "global step=19173376, episodic return=578.0458374023438\n", + "global step=19173376, episodic return=28.07443618774414\n", + "global step=19175424, episodic return=1097.308837890625\n", + "global step=19175424, episodic return=1359.686279296875\n", + "global step=19177472, episodic return=1735.7822265625\n", + "global step=19177472, episodic return=990.602783203125\n", + "global step=19177472, episodic return=1887.6932373046875\n", + "global step=19177472, episodic return=1911.236083984375\n", + "global step=19177472, episodic return=233.82275390625\n", + "global step=19181568, episodic return=1866.6234130859375\n", + "global step=19181568, episodic return=1943.161376953125\n", + "global step=19181568, episodic return=1847.490966796875\n", + "global step=19181568, episodic return=1897.236328125\n", + "global step=19183616, episodic return=1977.2972412109375\n", + "global step=19183616, episodic return=1882.0372314453125\n", + "global step=19183616, episodic return=1878.0848388671875\n", + "global step=19183616, episodic return=2003.180908203125\n", + "global step=19183616, episodic return=1871.60107421875\n", + "global step=19185664, episodic return=1487.306396484375\n", + "global step=19185664, episodic return=1897.45556640625\n", + "global step=19185664, episodic return=255.18490600585938\n", + "global step=19185664, episodic return=1885.785400390625\n", + "global step=19185664, episodic return=1914.33447265625\n", + "global step=19187712, episodic return=1933.3653564453125\n", + "global step=19187712, episodic return=1937.537353515625\n", + "global step=19187712, episodic return=2053.316162109375\n", + "global step=19189760, episodic return=1900.204345703125\n", + "global step=19189760, episodic return=1914.5692138671875\n", + "global step=19189760, episodic return=1730.262939453125\n", + "global step=19191808, episodic return=1934.32470703125\n", + "global step=19191808, episodic return=1884.7275390625\n", + "global step=19193856, episodic return=1905.734130859375\n", + "global step=19193856, episodic return=1351.9766845703125\n", + "global step=19193856, episodic return=1878.9989013671875\n", + "global step=19193856, episodic return=2017.02734375\n", + "global step=19193856, episodic return=1883.145263671875\n", + "global step=19193856, episodic return=348.6522216796875\n", + "global step=19195904, episodic return=1931.717529296875\n", + "global step=19197952, episodic return=1923.2529296875\n", + "global step=19197952, episodic return=1971.3699951171875\n", + "global step=19197952, episodic return=1892.428466796875\n", + "global step=19200000, episodic return=1847.288818359375\n", + "global step=19200000, episodic return=1861.4534912109375\n", + "global step=19200000, episodic return=1570.7061767578125\n", + "global step=19200000, episodic return=1871.3062744140625\n", + "global step=19200000, episodic return=1869.2366943359375\n", + "global step=19202048, episodic return=1985.358154296875\n", + "global step=19202048, episodic return=1874.02099609375\n", + "global step=19202048, episodic return=1892.8785400390625\n", + "global step=19202048, episodic return=1103.5478515625\n", + "global step=19202048, episodic return=827.6726684570312\n", + "global step=19202048, episodic return=1125.190673828125\n", + "global step=19204096, episodic return=1904.2352294921875\n", + "global step=19204096, episodic return=1857.780029296875\n", + "global step=19204096, episodic return=424.3127136230469\n", + "global step=19204096, episodic return=1911.6837158203125\n", + "global step=19204096, episodic return=171.1280517578125\n", + "global step=19206144, episodic return=426.790283203125\n", + "global step=19206144, episodic return=165.76866149902344\n", + "global step=19206144, episodic return=1928.19482421875\n", + "global step=19208192, episodic return=1856.14697265625\n", + "global step=19210240, episodic return=2016.7694091796875\n", + "global step=19210240, episodic return=1892.9490966796875\n", + "global step=19212288, episodic return=1874.691650390625\n", + "global step=19212288, episodic return=1604.308349609375\n", + "global step=19212288, episodic return=1950.3798828125\n", + "global step=19214336, episodic return=1965.4423828125\n", + "global step=19214336, episodic return=1868.1483154296875\n", + "global step=19218432, episodic return=1905.283447265625\n", + "global step=19220480, episodic return=1318.5633544921875\n", + "global step=19220480, episodic return=1542.5867919921875\n", + "global step=19222528, episodic return=1863.6903076171875\n", + "global step=19224576, episodic return=1950.90234375\n", + "global step=19224576, episodic return=1923.4644775390625\n", + "global step=19224576, episodic return=1875.7769775390625\n", + "global step=19226624, episodic return=1944.1468505859375\n", + "global step=19228672, episodic return=1884.8929443359375\n", + "global step=19228672, episodic return=217.9954833984375\n", + "global step=19228672, episodic return=1873.21923828125\n", + "global step=19230720, episodic return=1952.9608154296875\n", + "global step=19232768, episodic return=1680.419677734375\n", + "global step=19232768, episodic return=1938.024169921875\n", + "global step=19234816, episodic return=1894.00732421875\n", + "global step=19234816, episodic return=419.63726806640625\n", + "global step=19234816, episodic return=1921.586669921875\n", + "global step=19234816, episodic return=1268.298095703125\n", + "global step=19238912, episodic return=1898.26318359375\n", + "global step=19238912, episodic return=1950.5731201171875\n", + "global step=19240960, episodic return=2052.7783203125\n", + "global step=19243008, episodic return=899.7747802734375\n", + "global step=19243008, episodic return=1735.42919921875\n", + "global step=19243008, episodic return=1086.204345703125\n", + "global step=19243008, episodic return=917.5980834960938\n", + "global step=19245056, episodic return=1950.678955078125\n", + "global step=19245056, episodic return=2063.116455078125\n", + "global step=19245056, episodic return=1903.283203125\n", + "global step=19247104, episodic return=1853.090576171875\n", + "global step=19247104, episodic return=1103.2008056640625\n", + "global step=19247104, episodic return=550.2700805664062\n", + "global step=19247104, episodic return=1860.8050537109375\n", + "global step=19249152, episodic return=1888.63525390625\n", + "global step=19249152, episodic return=1837.6895751953125\n", + "global step=19249152, episodic return=1859.5792236328125\n", + "global step=19249152, episodic return=1928.8450927734375\n", + "global step=19251200, episodic return=1878.8631591796875\n", + "global step=19253248, episodic return=1880.217529296875\n", + "global step=19253248, episodic return=1551.8905029296875\n", + "global step=19253248, episodic return=535.5037841796875\n", + "global step=19253248, episodic return=1891.9788818359375\n", + "global step=19255296, episodic return=1587.471923828125\n", + "global step=19255296, episodic return=1841.063720703125\n", + "global step=19255296, episodic return=1927.1470947265625\n", + "global step=19255296, episodic return=1866.474365234375\n", + "global step=19255296, episodic return=1925.525146484375\n", + "global step=19257344, episodic return=1191.017578125\n", + "global step=19259392, episodic return=1913.981689453125\n", + "global step=19261440, episodic return=1876.337158203125\n", + "global step=19261440, episodic return=1959.005615234375\n", + "global step=19263488, episodic return=688.9443969726562\n", + "global step=19263488, episodic return=32.51154327392578\n", + "global step=19265536, episodic return=1900.012939453125\n", + "global step=19265536, episodic return=1494.23583984375\n", + "global step=19265536, episodic return=2031.1898193359375\n", + "global step=19267584, episodic return=1888.5284423828125\n", + "global step=19267584, episodic return=735.546875\n", + "global step=19267584, episodic return=784.2813110351562\n", + "global step=19267584, episodic return=1647.550537109375\n", + "global step=19267584, episodic return=1104.2005615234375\n", + "global step=19269632, episodic return=1877.7999267578125\n", + "global step=19269632, episodic return=1858.2127685546875\n", + "global step=19271680, episodic return=25.37645721435547\n", + "global step=19271680, episodic return=1878.636962890625\n", + "global step=19271680, episodic return=1876.001953125\n", + "global step=19271680, episodic return=1271.8336181640625\n", + "global step=19271680, episodic return=1913.2943115234375\n", + "global step=19271680, episodic return=1850.9515380859375\n", + "global step=19273728, episodic return=1846.4766845703125\n", + "global step=19273728, episodic return=1624.177978515625\n", + "global step=19275776, episodic return=1879.23974609375\n", + "global step=19277824, episodic return=1878.9437255859375\n", + "global step=19277824, episodic return=1897.0556640625\n", + "global step=19277824, episodic return=1951.640380859375\n", + "global step=19277824, episodic return=1902.4368896484375\n", + "global step=19279872, episodic return=672.7167358398438\n", + "global step=19281920, episodic return=1215.841552734375\n", + "global step=19281920, episodic return=459.3370666503906\n", + "global step=19283968, episodic return=1836.6466064453125\n", + "global step=19283968, episodic return=1885.6630859375\n", + "global step=19286016, episodic return=1898.17041015625\n", + "global step=19286016, episodic return=1917.6651611328125\n", + "global step=19288064, episodic return=1678.471923828125\n", + "global step=19290112, episodic return=1873.2532958984375\n", + "global step=19290112, episodic return=603.9151611328125\n", + "global step=19292160, episodic return=1898.9073486328125\n", + "global step=19292160, episodic return=594.4937744140625\n", + "global step=19294208, episodic return=1919.7021484375\n", + "global step=19294208, episodic return=2027.463623046875\n", + "global step=19294208, episodic return=1930.0120849609375\n", + "global step=19294208, episodic return=1428.9000244140625\n", + "global step=19294208, episodic return=1895.7109375\n", + "global step=19296256, episodic return=1917.627197265625\n", + "global step=19296256, episodic return=1884.639404296875\n", + "global step=19296256, episodic return=1936.5540771484375\n", + "global step=19298304, episodic return=1904.8665771484375\n", + "global step=19298304, episodic return=1853.1171875\n", + "global step=19298304, episodic return=1936.522216796875\n", + "global step=19298304, episodic return=1942.430419921875\n", + "global step=19300352, episodic return=587.0115966796875\n", + "global step=19300352, episodic return=1986.737060546875\n", + "global step=19300352, episodic return=1882.8541259765625\n", + "global step=19300352, episodic return=1875.79296875\n", + "global step=19300352, episodic return=916.384765625\n", + "global step=19300352, episodic return=760.6753540039062\n", + "global step=19300352, episodic return=2004.9200439453125\n", + "global step=19300352, episodic return=1804.161376953125\n", + "global step=19300352, episodic return=1369.0426025390625\n", + "global step=19300352, episodic return=1877.1640625\n", + "global step=19302400, episodic return=1856.7142333984375\n", + "global step=19304448, episodic return=1898.88134765625\n", + "global step=19304448, episodic return=1936.5750732421875\n", + "global step=19304448, episodic return=1873.4801025390625\n", + "global step=19306496, episodic return=1885.5478515625\n", + "global step=19306496, episodic return=1949.8360595703125\n", + "global step=19308544, episodic return=1012.5239868164062\n", + "global step=19308544, episodic return=1866.139404296875\n", + "global step=19310592, episodic return=1610.755126953125\n", + "global step=19310592, episodic return=1977.635986328125\n", + "global step=19310592, episodic return=1866.175048828125\n", + "global step=19312640, episodic return=1730.4876708984375\n", + "global step=19312640, episodic return=1877.5631103515625\n", + "global step=19312640, episodic return=1908.88623046875\n", + "global step=19314688, episodic return=1883.404052734375\n", + "global step=19314688, episodic return=1888.6651611328125\n", + "global step=19316736, episodic return=1849.9764404296875\n", + "global step=19316736, episodic return=1923.796630859375\n", + "global step=19318784, episodic return=1929.2823486328125\n", + "global step=19320832, episodic return=1881.5682373046875\n", + "global step=19320832, episodic return=1885.4974365234375\n", + "global step=19322880, episodic return=1862.2818603515625\n", + "global step=19324928, episodic return=1340.6552734375\n", + "global step=19324928, episodic return=1851.6265869140625\n", + "global step=19326976, episodic return=1907.1068115234375\n", + "global step=19326976, episodic return=1882.905517578125\n", + "global step=19326976, episodic return=1872.9207763671875\n", + "global step=19329024, episodic return=1913.3416748046875\n", + "global step=19331072, episodic return=1890.75390625\n", + "global step=19331072, episodic return=1896.640625\n", + "global step=19331072, episodic return=1865.84423828125\n", + "global step=19331072, episodic return=1884.00244140625\n", + "global step=19333120, episodic return=1937.5386962890625\n", + "global step=19333120, episodic return=1910.1492919921875\n", + "global step=19335168, episodic return=1957.64013671875\n", + "global step=19335168, episodic return=1961.2183837890625\n", + "global step=19335168, episodic return=1886.4000244140625\n", + "global step=19337216, episodic return=1391.0184326171875\n", + "global step=19339264, episodic return=1870.8914794921875\n", + "global step=19339264, episodic return=1841.4168701171875\n", + "global step=19341312, episodic return=1894.74267578125\n", + "global step=19341312, episodic return=1868.693603515625\n", + "global step=19341312, episodic return=773.4183959960938\n", + "global step=19343360, episodic return=1905.5010986328125\n", + "global step=19343360, episodic return=1372.6044921875\n", + "global step=19343360, episodic return=1386.4500732421875\n", + "global step=19343360, episodic return=1868.4581298828125\n", + "global step=19343360, episodic return=921.4500122070312\n", + "global step=19345408, episodic return=1916.2313232421875\n", + "global step=19345408, episodic return=1910.8238525390625\n", + "global step=19347456, episodic return=1145.104248046875\n", + "global step=19347456, episodic return=1438.01416015625\n", + "global step=19351552, episodic return=1873.6036376953125\n", + "global step=19351552, episodic return=1900.3955078125\n", + "global step=19353600, episodic return=1844.1744384765625\n", + "global step=19353600, episodic return=1889.405517578125\n", + "global step=19357696, episodic return=1200.91455078125\n", + "global step=19357696, episodic return=1923.2266845703125\n", + "global step=19359744, episodic return=1853.494140625\n", + "global step=19359744, episodic return=2030.953857421875\n", + "global step=19359744, episodic return=1884.4132080078125\n", + "global step=19359744, episodic return=1912.95751953125\n", + "global step=19359744, episodic return=1880.04736328125\n", + "global step=19361792, episodic return=1885.4808349609375\n", + "global step=19363840, episodic return=1914.857421875\n", + "global step=19363840, episodic return=1869.96142578125\n", + "global step=19365888, episodic return=1977.1053466796875\n", + "global step=19365888, episodic return=1843.06787109375\n", + "global step=19367936, episodic return=531.9280395507812\n", + "global step=19367936, episodic return=1836.5555419921875\n", + "global step=19374080, episodic return=351.1663513183594\n", + "global step=19374080, episodic return=644.7780151367188\n", + "global step=19376128, episodic return=606.7835693359375\n", + "global step=19380224, episodic return=1917.681396484375\n", + "global step=19384320, episodic return=515.518310546875\n", + "global step=19384320, episodic return=1910.285400390625\n", + "global step=19388416, episodic return=1862.2093505859375\n", + "global step=19388416, episodic return=1931.664306640625\n", + "global step=19388416, episodic return=1027.2318115234375\n", + "global step=19388416, episodic return=1864.9808349609375\n", + "global step=19390464, episodic return=1892.3016357421875\n", + "global step=19390464, episodic return=1213.676513671875\n", + "global step=19392512, episodic return=1890.8040771484375\n", + "global step=19392512, episodic return=1900.8687744140625\n", + "global step=19392512, episodic return=1876.059814453125\n", + "global step=19394560, episodic return=1911.4766845703125\n", + "global step=19394560, episodic return=1981.3548583984375\n", + "global step=19396608, episodic return=1858.0762939453125\n", + "global step=19396608, episodic return=1490.1015625\n", + "global step=19398656, episodic return=678.7115478515625\n", + "global step=19398656, episodic return=1661.7896728515625\n", + "global step=19398656, episodic return=983.1466064453125\n", + "global step=19400704, episodic return=1825.072265625\n", + "global step=19402752, episodic return=1868.609619140625\n", + "global step=19402752, episodic return=1924.063232421875\n", + "global step=19402752, episodic return=1857.9237060546875\n", + "global step=19402752, episodic return=1854.7669677734375\n", + "global step=19402752, episodic return=1923.3028564453125\n", + "global step=19402752, episodic return=634.0677490234375\n", + "global step=19404800, episodic return=1864.81396484375\n", + "global step=19404800, episodic return=2004.4112548828125\n", + "global step=19406848, episodic return=545.4134521484375\n", + "global step=19408896, episodic return=1889.5711669921875\n", + "global step=19408896, episodic return=1877.2451171875\n", + "global step=19408896, episodic return=1856.857421875\n", + "global step=19408896, episodic return=1887.8192138671875\n", + "global step=19410944, episodic return=581.7451171875\n", + "global step=19412992, episodic return=1866.691162109375\n", + "global step=19417088, episodic return=1908.8931884765625\n", + "global step=19417088, episodic return=1909.24609375\n", + "global step=19417088, episodic return=2003.4178466796875\n", + "global step=19417088, episodic return=1863.8939208984375\n", + "global step=19417088, episodic return=1588.5911865234375\n", + "global step=19419136, episodic return=1947.6998291015625\n", + "global step=19419136, episodic return=1837.7464599609375\n", + "global step=19419136, episodic return=1857.2489013671875\n", + "global step=19419136, episodic return=1897.296875\n", + "global step=19419136, episodic return=1891.299072265625\n", + "global step=19421184, episodic return=1887.09814453125\n", + "global step=19421184, episodic return=1942.78515625\n", + "global step=19421184, episodic return=1882.25244140625\n", + "global step=19421184, episodic return=542.1788940429688\n", + "global step=19421184, episodic return=1850.81787109375\n", + "global step=19423232, episodic return=592.5992431640625\n", + "global step=19423232, episodic return=1674.198486328125\n", + "global step=19423232, episodic return=1898.1092529296875\n", + "global step=19423232, episodic return=1914.8931884765625\n", + "global step=19423232, episodic return=498.1366882324219\n", + "global step=19425280, episodic return=1972.2969970703125\n", + "global step=19427328, episodic return=1913.8709716796875\n", + "global step=19427328, episodic return=1888.8681640625\n", + "global step=19429376, episodic return=1955.892333984375\n", + "global step=19429376, episodic return=1897.9307861328125\n", + "global step=19429376, episodic return=24.458818435668945\n", + "global step=19431424, episodic return=1871.5670166015625\n", + "global step=19433472, episodic return=1068.9796142578125\n", + "global step=19433472, episodic return=1994.2972412109375\n", + "global step=19433472, episodic return=1995.115234375\n", + "global step=19433472, episodic return=1881.20068359375\n", + "global step=19435520, episodic return=556.0001831054688\n", + "global step=19435520, episodic return=1876.9439697265625\n", + "global step=19435520, episodic return=1869.0174560546875\n", + "global step=19435520, episodic return=638.0405883789062\n", + "global step=19437568, episodic return=572.0929565429688\n", + "global step=19437568, episodic return=2016.60791015625\n", + "global step=19441664, episodic return=1861.1925048828125\n", + "global step=19441664, episodic return=1024.739013671875\n", + "global step=19445760, episodic return=1896.776123046875\n", + "global step=19445760, episodic return=1848.103271484375\n", + "global step=19445760, episodic return=44.18586730957031\n", + "global step=19447808, episodic return=1859.9381103515625\n", + "global step=19447808, episodic return=1879.1826171875\n", + "global step=19447808, episodic return=1857.2437744140625\n", + "global step=19447808, episodic return=1046.0927734375\n", + "global step=19449856, episodic return=1938.0921630859375\n", + "global step=19449856, episodic return=1867.4083251953125\n", + "global step=19449856, episodic return=1851.758544921875\n", + "global step=19449856, episodic return=1895.83203125\n", + "global step=19449856, episodic return=1889.989013671875\n", + "global step=19451904, episodic return=1870.425537109375\n", + "global step=19453952, episodic return=1981.2781982421875\n", + "global step=19456000, episodic return=1874.4403076171875\n", + "global step=19456000, episodic return=1898.611572265625\n", + "global step=19456000, episodic return=1902.8043212890625\n", + "global step=19458048, episodic return=1909.206298828125\n", + "global step=19458048, episodic return=1228.3359375\n", + "global step=19458048, episodic return=1911.303955078125\n", + "global step=19458048, episodic return=550.5380249023438\n", + "global step=19458048, episodic return=680.2865600585938\n", + "global step=19458048, episodic return=1881.1602783203125\n", + "global step=19462144, episodic return=1883.3922119140625\n", + "global step=19462144, episodic return=802.755615234375\n", + "global step=19464192, episodic return=1861.3741455078125\n", + "global step=19464192, episodic return=1891.1094970703125\n", + "global step=19468288, episodic return=1877.3880615234375\n", + "global step=19468288, episodic return=1856.3160400390625\n", + "global step=19468288, episodic return=531.0260009765625\n", + "global step=19470336, episodic return=1919.667724609375\n", + "global step=19470336, episodic return=1612.862548828125\n", + "global step=19470336, episodic return=1892.6942138671875\n", + "global step=19470336, episodic return=1955.7869873046875\n", + "global step=19472384, episodic return=1867.716796875\n", + "global step=19472384, episodic return=1881.8349609375\n", + "global step=19472384, episodic return=1982.0267333984375\n", + "global step=19472384, episodic return=1731.6895751953125\n", + "global step=19474432, episodic return=525.6934204101562\n", + "global step=19474432, episodic return=1882.5211181640625\n", + "global step=19476480, episodic return=1898.1641845703125\n", + "global step=19476480, episodic return=1955.15771484375\n", + "global step=19478528, episodic return=1935.2230224609375\n", + "global step=19480576, episodic return=1897.9000244140625\n", + "global step=19480576, episodic return=1963.8624267578125\n", + "global step=19482624, episodic return=713.1817016601562\n", + "global step=19486720, episodic return=909.2322387695312\n", + "global step=19488768, episodic return=1892.5361328125\n", + "global step=19488768, episodic return=1909.00927734375\n", + "global step=19488768, episodic return=1733.962646484375\n", + "global step=19490816, episodic return=1878.593017578125\n", + "global step=19492864, episodic return=1978.2584228515625\n", + "global step=19492864, episodic return=2051.63330078125\n", + "global step=19494912, episodic return=1929.8096923828125\n", + "global step=19494912, episodic return=1980.3629150390625\n", + "global step=19494912, episodic return=1885.367919921875\n", + "global step=19496960, episodic return=1876.8052978515625\n", + "global step=19496960, episodic return=1857.5531005859375\n", + "global step=19499008, episodic return=1883.138427734375\n", + "global step=19499008, episodic return=1953.7996826171875\n", + "global step=19501056, episodic return=721.4710693359375\n", + "global step=19501056, episodic return=2018.712890625\n", + "global step=19501056, episodic return=1999.9417724609375\n", + "global step=19501056, episodic return=895.48095703125\n", + "global step=19503104, episodic return=544.6796264648438\n", + "global step=19503104, episodic return=2007.686279296875\n", + "global step=19503104, episodic return=994.4243774414062\n", + "global step=19503104, episodic return=1662.6317138671875\n", + "global step=19503104, episodic return=45.85575866699219\n", + "global step=19503104, episodic return=1885.12646484375\n", + "global step=19505152, episodic return=1952.2841796875\n", + "global step=19505152, episodic return=1284.99267578125\n", + "global step=19507200, episodic return=1851.010009765625\n", + "global step=19507200, episodic return=1890.796630859375\n", + "global step=19509248, episodic return=1924.369140625\n", + "global step=19511296, episodic return=1990.3538818359375\n", + "global step=19511296, episodic return=1899.234619140625\n", + "global step=19511296, episodic return=1877.3629150390625\n", + "global step=19511296, episodic return=1940.3323974609375\n", + "global step=19511296, episodic return=1915.9940185546875\n", + "global step=19513344, episodic return=643.7887573242188\n", + "global step=19513344, episodic return=1940.223388671875\n", + "global step=19513344, episodic return=1861.433837890625\n", + "global step=19513344, episodic return=617.58447265625\n", + "global step=19515392, episodic return=2061.45068359375\n", + "global step=19515392, episodic return=1928.27490234375\n", + "global step=19517440, episodic return=1921.424072265625\n", + "global step=19517440, episodic return=1228.7979736328125\n", + "global step=19517440, episodic return=1900.67578125\n", + "global step=19517440, episodic return=1901.62255859375\n", + "global step=19517440, episodic return=1892.643798828125\n", + "global step=19519488, episodic return=1804.8887939453125\n", + "global step=19521536, episodic return=1883.1326904296875\n", + "global step=19521536, episodic return=1444.36279296875\n", + "global step=19521536, episodic return=1882.2257080078125\n", + "global step=19521536, episodic return=1743.233154296875\n", + "global step=19521536, episodic return=1900.0570068359375\n", + "global step=19523584, episodic return=1850.631591796875\n", + "global step=19523584, episodic return=1882.26318359375\n", + "global step=19523584, episodic return=1912.159423828125\n", + "global step=19525632, episodic return=1724.121826171875\n", + "global step=19525632, episodic return=879.1162109375\n", + "global step=19525632, episodic return=649.243408203125\n", + "global step=19525632, episodic return=1960.8287353515625\n", + "global step=19527680, episodic return=1898.4527587890625\n", + "global step=19527680, episodic return=1936.293701171875\n", + "global step=19529728, episodic return=1892.0308837890625\n", + "global step=19529728, episodic return=1878.7254638671875\n", + "global step=19529728, episodic return=1958.311767578125\n", + "global step=19533824, episodic return=1902.109619140625\n", + "global step=19533824, episodic return=1941.787109375\n", + "global step=19533824, episodic return=1928.5614013671875\n", + "global step=19535872, episodic return=786.451416015625\n", + "global step=19537920, episodic return=1572.1656494140625\n", + "global step=19537920, episodic return=1763.5623779296875\n", + "global step=19537920, episodic return=1875.8529052734375\n", + "global step=19537920, episodic return=657.2054443359375\n", + "global step=19539968, episodic return=1903.65576171875\n", + "global step=19539968, episodic return=1878.080078125\n", + "global step=19539968, episodic return=757.5503540039062\n", + "global step=19542016, episodic return=1969.962646484375\n", + "global step=19544064, episodic return=1898.1661376953125\n", + "global step=19544064, episodic return=534.0761108398438\n", + "global step=19546112, episodic return=579.4577026367188\n", + "global step=19546112, episodic return=553.578125\n", + "global step=19548160, episodic return=790.7728271484375\n", + "global step=19550208, episodic return=1882.837158203125\n", + "global step=19550208, episodic return=1883.360107421875\n", + "global step=19552256, episodic return=1914.4659423828125\n", + "global step=19552256, episodic return=1924.1129150390625\n", + "global step=19552256, episodic return=1970.5908203125\n", + "global step=19556352, episodic return=2012.9854736328125\n", + "global step=19556352, episodic return=1909.3597412109375\n", + "global step=19556352, episodic return=739.029296875\n", + "global step=19558400, episodic return=842.7794799804688\n", + "global step=19558400, episodic return=1962.315185546875\n", + "global step=19558400, episodic return=1925.9150390625\n", + "global step=19562496, episodic return=1644.059326171875\n", + "global step=19562496, episodic return=1696.2691650390625\n", + "global step=19562496, episodic return=1848.5523681640625\n", + "global step=19564544, episodic return=1931.893310546875\n", + "global step=19564544, episodic return=787.4052734375\n", + "global step=19566592, episodic return=1986.849853515625\n", + "global step=19566592, episodic return=2015.8812255859375\n", + "global step=19568640, episodic return=684.7780151367188\n", + "global step=19568640, episodic return=1262.473388671875\n", + "global step=19568640, episodic return=1893.152587890625\n", + "global step=19570688, episodic return=1956.8370361328125\n", + "global step=19570688, episodic return=1112.413818359375\n", + "global step=19572736, episodic return=1889.640625\n", + "global step=19572736, episodic return=1907.201904296875\n", + "global step=19572736, episodic return=1971.0379638671875\n", + "global step=19574784, episodic return=690.200439453125\n", + "global step=19574784, episodic return=1920.17041015625\n", + "global step=19574784, episodic return=1913.2845458984375\n", + "global step=19574784, episodic return=570.8816528320312\n", + "global step=19574784, episodic return=616.7659912109375\n", + "global step=19576832, episodic return=1522.4241943359375\n", + "global step=19576832, episodic return=1913.169921875\n", + "global step=19578880, episodic return=1929.482177734375\n", + "global step=19578880, episodic return=542.9449462890625\n", + "global step=19578880, episodic return=943.0569458007812\n", + "global step=19578880, episodic return=1901.0712890625\n", + "global step=19578880, episodic return=903.8584594726562\n", + "global step=19578880, episodic return=689.26025390625\n", + "global step=19580928, episodic return=1883.1815185546875\n", + "global step=19580928, episodic return=516.6019897460938\n", + "global step=19582976, episodic return=1978.890869140625\n", + "global step=19582976, episodic return=819.4910888671875\n", + "global step=19585024, episodic return=975.7567749023438\n", + "global step=19585024, episodic return=1873.10302734375\n", + "global step=19585024, episodic return=2022.046142578125\n", + "global step=19585024, episodic return=710.6622314453125\n", + "global step=19587072, episodic return=1877.523681640625\n", + "global step=19587072, episodic return=1883.7183837890625\n", + "global step=19587072, episodic return=865.0140991210938\n", + "global step=19589120, episodic return=1860.3106689453125\n", + "global step=19589120, episodic return=1929.49365234375\n", + "global step=19589120, episodic return=756.474365234375\n", + "global step=19589120, episodic return=709.0709228515625\n", + "global step=19589120, episodic return=1913.56884765625\n", + "global step=19589120, episodic return=757.7645874023438\n", + "global step=19589120, episodic return=1926.445068359375\n", + "global step=19589120, episodic return=583.3350830078125\n", + "global step=19589120, episodic return=638.6383056640625\n", + "global step=19591168, episodic return=807.3335571289062\n", + "global step=19591168, episodic return=1906.8472900390625\n", + "global step=19591168, episodic return=1964.298583984375\n", + "global step=19591168, episodic return=1920.081787109375\n", + "global step=19593216, episodic return=647.662841796875\n", + "global step=19593216, episodic return=1955.5079345703125\n", + "global step=19595264, episodic return=1232.774658203125\n", + "global step=19595264, episodic return=1890.937744140625\n", + "global step=19595264, episodic return=1903.6368408203125\n", + "global step=19597312, episodic return=1875.457275390625\n", + "global step=19597312, episodic return=792.502685546875\n", + "global step=19597312, episodic return=1944.96826171875\n", + "global step=19597312, episodic return=1623.886962890625\n", + "global step=19597312, episodic return=1509.0032958984375\n", + "global step=19601408, episodic return=1894.0548095703125\n", + "global step=19603456, episodic return=717.2099609375\n", + "global step=19603456, episodic return=1921.04345703125\n", + "global step=19603456, episodic return=2002.0823974609375\n", + "global step=19605504, episodic return=726.8001708984375\n", + "global step=19605504, episodic return=840.8895874023438\n", + "global step=19605504, episodic return=794.0045166015625\n", + "global step=19607552, episodic return=1901.6488037109375\n", + "global step=19607552, episodic return=1968.681640625\n", + "global step=19607552, episodic return=1954.9024658203125\n", + "global step=19609600, episodic return=1045.782958984375\n", + "global step=19609600, episodic return=795.7759399414062\n", + "global step=19611648, episodic return=1924.116943359375\n", + "global step=19611648, episodic return=1922.160400390625\n", + "global step=19613696, episodic return=892.4555053710938\n", + "global step=19613696, episodic return=1898.48388671875\n", + "global step=19613696, episodic return=728.1290893554688\n", + "global step=19615744, episodic return=1956.5926513671875\n", + "global step=19615744, episodic return=1915.484619140625\n", + "global step=19617792, episodic return=1788.48095703125\n", + "global step=19617792, episodic return=1924.664306640625\n", + "global step=19619840, episodic return=1914.84375\n", + "global step=19619840, episodic return=2034.8865966796875\n", + "global step=19621888, episodic return=1378.14794921875\n", + "global step=19623936, episodic return=511.3760681152344\n", + "global step=19623936, episodic return=2003.3323974609375\n", + "global step=19623936, episodic return=1898.379638671875\n", + "global step=19625984, episodic return=947.0538940429688\n", + "global step=19628032, episodic return=1977.611083984375\n", + "global step=19628032, episodic return=549.9723510742188\n", + "global step=19630080, episodic return=1960.9197998046875\n", + "global step=19630080, episodic return=907.7537841796875\n", + "global step=19630080, episodic return=1888.86474609375\n", + "global step=19630080, episodic return=1853.583740234375\n", + "global step=19632128, episodic return=1983.6900634765625\n", + "global step=19632128, episodic return=1899.8948974609375\n", + "global step=19634176, episodic return=1313.3841552734375\n", + "global step=19636224, episodic return=1910.5694580078125\n", + "global step=19636224, episodic return=1893.48193359375\n", + "global step=19636224, episodic return=1908.735595703125\n", + "global step=19638272, episodic return=1904.781494140625\n", + "global step=19638272, episodic return=1891.4896240234375\n", + "global step=19638272, episodic return=1879.09423828125\n", + "global step=19640320, episodic return=1925.767822265625\n", + "global step=19642368, episodic return=1822.936279296875\n", + "global step=19642368, episodic return=1870.1519775390625\n", + "global step=19642368, episodic return=1900.0267333984375\n", + "global step=19644416, episodic return=1500.07861328125\n", + "global step=19644416, episodic return=2017.272216796875\n", + "global step=19644416, episodic return=1906.6304931640625\n", + "global step=19646464, episodic return=791.531005859375\n", + "global step=19646464, episodic return=1170.516845703125\n", + "global step=19646464, episodic return=729.343505859375\n", + "global step=19646464, episodic return=948.7068481445312\n", + "global step=19648512, episodic return=843.3926391601562\n", + "global step=19648512, episodic return=1901.680419921875\n", + "global step=19650560, episodic return=970.0403442382812\n", + "global step=19650560, episodic return=1901.792724609375\n", + "global step=19650560, episodic return=1587.4622802734375\n", + "global step=19650560, episodic return=836.9088134765625\n", + "global step=19652608, episodic return=1930.4713134765625\n", + "global step=19652608, episodic return=1933.0673828125\n", + "global step=19652608, episodic return=1813.27880859375\n", + "global step=19654656, episodic return=712.4666137695312\n", + "global step=19654656, episodic return=823.1527709960938\n", + "global step=19654656, episodic return=1954.982666015625\n", + "global step=19654656, episodic return=1030.9993896484375\n", + "global step=19654656, episodic return=1925.422607421875\n", + "global step=19654656, episodic return=787.1250610351562\n", + "global step=19656704, episodic return=1880.597412109375\n", + "global step=19656704, episodic return=1948.5897216796875\n", + "global step=19656704, episodic return=1415.47265625\n", + "global step=19656704, episodic return=1616.910400390625\n", + "global step=19656704, episodic return=1919.2301025390625\n", + "global step=19656704, episodic return=1924.1116943359375\n", + "global step=19658752, episodic return=1912.5616455078125\n", + "global step=19658752, episodic return=266.1658630371094\n", + "global step=19660800, episodic return=1003.866943359375\n", + "global step=19660800, episodic return=1762.6534423828125\n", + "global step=19662848, episodic return=1910.740234375\n", + "global step=19664896, episodic return=1959.0987548828125\n", + "global step=19666944, episodic return=2095.8076171875\n", + "global step=19666944, episodic return=1880.239501953125\n", + "global step=19668992, episodic return=1951.8740234375\n", + "global step=19668992, episodic return=1906.8939208984375\n", + "global step=19668992, episodic return=888.588134765625\n", + "global step=19671040, episodic return=1938.3504638671875\n", + "global step=19671040, episodic return=1286.4830322265625\n", + "global step=19671040, episodic return=698.8336181640625\n", + "global step=19671040, episodic return=866.0218505859375\n", + "global step=19673088, episodic return=1897.609130859375\n", + "global step=19673088, episodic return=567.149169921875\n", + "global step=19673088, episodic return=762.5170288085938\n", + "global step=19673088, episodic return=2087.140869140625\n", + "global step=19673088, episodic return=1910.238037109375\n", + "global step=19673088, episodic return=1939.4859619140625\n", + "global step=19675136, episodic return=484.1033020019531\n", + "global step=19675136, episodic return=1924.7337646484375\n", + "global step=19677184, episodic return=1904.0328369140625\n", + "global step=19677184, episodic return=1943.67626953125\n", + "global step=19677184, episodic return=1904.1776123046875\n", + "global step=19677184, episodic return=283.3893127441406\n", + "global step=19677184, episodic return=1297.715576171875\n", + "global step=19677184, episodic return=344.0665588378906\n", + "global step=19677184, episodic return=2003.0142822265625\n", + "global step=19679232, episodic return=1050.6688232421875\n", + "global step=19679232, episodic return=1387.240234375\n", + "global step=19679232, episodic return=1238.6103515625\n", + "global step=19679232, episodic return=824.66015625\n", + "global step=19679232, episodic return=773.5341796875\n", + "global step=19681280, episodic return=824.1644897460938\n", + "global step=19681280, episodic return=544.3618774414062\n", + "global step=19681280, episodic return=2033.6461181640625\n", + "global step=19681280, episodic return=1908.2569580078125\n", + "global step=19683328, episodic return=1937.23193359375\n", + "global step=19683328, episodic return=1993.2640380859375\n", + "global step=19685376, episodic return=1894.1248779296875\n", + "global step=19685376, episodic return=1913.846435546875\n", + "global step=19685376, episodic return=766.701416015625\n", + "global step=19685376, episodic return=891.95654296875\n", + "global step=19685376, episodic return=373.71923828125\n", + "global step=19687424, episodic return=1904.4952392578125\n", + "global step=19687424, episodic return=806.8543701171875\n", + "global step=19689472, episodic return=1958.38427734375\n", + "global step=19689472, episodic return=1028.4825439453125\n", + "global step=19689472, episodic return=561.115966796875\n", + "global step=19691520, episodic return=1877.857666015625\n", + "global step=19691520, episodic return=1839.9915771484375\n", + "global step=19691520, episodic return=2023.7913818359375\n", + "global step=19693568, episodic return=898.7822265625\n", + "global step=19695616, episodic return=1264.7392578125\n", + "global step=19695616, episodic return=1007.7657470703125\n", + "global step=19695616, episodic return=741.9810791015625\n", + "global step=19695616, episodic return=1946.495361328125\n", + "global step=19697664, episodic return=1906.4185791015625\n", + "global step=19699712, episodic return=1937.984375\n", + "global step=19699712, episodic return=818.7733154296875\n", + "global step=19699712, episodic return=2047.1002197265625\n", + "global step=19701760, episodic return=2012.072998046875\n", + "global step=19701760, episodic return=1969.76025390625\n", + "global step=19703808, episodic return=955.4766235351562\n", + "global step=19703808, episodic return=837.3671875\n", + "global step=19705856, episodic return=1894.2008056640625\n", + "global step=19705856, episodic return=1920.8253173828125\n", + "global step=19705856, episodic return=1892.6929931640625\n", + "global step=19705856, episodic return=1915.799560546875\n", + "global step=19707904, episodic return=1859.0396728515625\n", + "global step=19707904, episodic return=1924.28662109375\n", + "global step=19709952, episodic return=951.25634765625\n", + "global step=19709952, episodic return=498.29644775390625\n", + "global step=19709952, episodic return=1911.2593994140625\n", + "global step=19712000, episodic return=701.8748779296875\n", + "global step=19712000, episodic return=1897.6966552734375\n", + "global step=19714048, episodic return=1941.656005859375\n", + "global step=19714048, episodic return=836.9315185546875\n", + "global step=19716096, episodic return=1908.3641357421875\n", + "global step=19716096, episodic return=2042.5240478515625\n", + "global step=19716096, episodic return=1557.2388916015625\n", + "global step=19716096, episodic return=1955.7882080078125\n", + "global step=19716096, episodic return=1899.07568359375\n", + "global step=19718144, episodic return=1929.4874267578125\n", + "global step=19718144, episodic return=1908.318115234375\n", + "global step=19718144, episodic return=1946.6253662109375\n", + "global step=19718144, episodic return=1906.7215576171875\n", + "global step=19718144, episodic return=1134.16064453125\n", + "global step=19720192, episodic return=1970.0919189453125\n", + "global step=19720192, episodic return=1167.0941162109375\n", + "global step=19720192, episodic return=1966.4112548828125\n", + "global step=19722240, episodic return=1012.1873779296875\n", + "global step=19722240, episodic return=1985.3408203125\n", + "global step=19722240, episodic return=1844.2442626953125\n", + "global step=19722240, episodic return=2025.8101806640625\n", + "global step=19722240, episodic return=1925.8770751953125\n", + "global step=19722240, episodic return=1932.0352783203125\n", + "global step=19724288, episodic return=1078.3428955078125\n", + "global step=19724288, episodic return=1518.574462890625\n", + "global step=19724288, episodic return=1892.21435546875\n", + "global step=19726336, episodic return=959.6102294921875\n", + "global step=19726336, episodic return=1908.3408203125\n", + "global step=19726336, episodic return=1908.7481689453125\n", + "global step=19728384, episodic return=1902.331298828125\n", + "global step=19728384, episodic return=1920.6016845703125\n", + "global step=19728384, episodic return=893.9121704101562\n", + "global step=19728384, episodic return=1891.80224609375\n", + "global step=19730432, episodic return=1914.52880859375\n", + "global step=19730432, episodic return=1903.8101806640625\n", + "global step=19732480, episodic return=1963.4091796875\n", + "global step=19732480, episodic return=1983.6839599609375\n", + "global step=19732480, episodic return=904.1071166992188\n", + "global step=19734528, episodic return=865.8507080078125\n", + "global step=19734528, episodic return=892.8231201171875\n", + "global step=19734528, episodic return=897.2647705078125\n", + "global step=19734528, episodic return=1014.1550903320312\n", + "global step=19734528, episodic return=1431.0172119140625\n", + "global step=19734528, episodic return=1950.49169921875\n", + "global step=19736576, episodic return=1946.2371826171875\n", + "global step=19736576, episodic return=1045.764892578125\n", + "global step=19736576, episodic return=745.3478393554688\n", + "global step=19736576, episodic return=812.8729858398438\n", + "global step=19736576, episodic return=1511.83349609375\n", + "global step=19738624, episodic return=1704.1190185546875\n", + "global step=19738624, episodic return=1895.322021484375\n", + "global step=19738624, episodic return=952.412841796875\n", + "global step=19738624, episodic return=1028.81787109375\n", + "global step=19738624, episodic return=838.8160400390625\n", + "global step=19740672, episodic return=795.5982666015625\n", + "global step=19740672, episodic return=1904.9307861328125\n", + "global step=19740672, episodic return=805.7179565429688\n", + "global step=19740672, episodic return=1904.673828125\n", + "global step=19742720, episodic return=741.2340698242188\n", + "global step=19742720, episodic return=1947.955078125\n", + "global step=19742720, episodic return=1929.1826171875\n", + "global step=19742720, episodic return=2088.246337890625\n", + "global step=19744768, episodic return=1358.2235107421875\n", + "global step=19744768, episodic return=893.81005859375\n", + "global step=19744768, episodic return=785.3018188476562\n", + "global step=19746816, episodic return=515.5067749023438\n", + "global step=19746816, episodic return=974.8126220703125\n", + "global step=19748864, episodic return=927.6454467773438\n", + "global step=19748864, episodic return=1901.95849609375\n", + "global step=19748864, episodic return=1937.7957763671875\n", + "global step=19748864, episodic return=2006.6124267578125\n", + "global step=19750912, episodic return=2048.531494140625\n", + "global step=19752960, episodic return=512.739990234375\n", + "global step=19752960, episodic return=1099.1722412109375\n", + "global step=19755008, episodic return=1881.5970458984375\n", + "global step=19755008, episodic return=2052.937744140625\n", + "global step=19757056, episodic return=1957.608154296875\n", + "global step=19759104, episodic return=1017.6171875\n", + "global step=19759104, episodic return=1428.91455078125\n", + "global step=19759104, episodic return=1979.9381103515625\n", + "global step=19759104, episodic return=1928.0606689453125\n", + "global step=19761152, episodic return=776.8060913085938\n", + "global step=19761152, episodic return=1958.137939453125\n", + "global step=19761152, episodic return=1896.4866943359375\n", + "global step=19761152, episodic return=1139.087890625\n", + "global step=19761152, episodic return=1876.4283447265625\n", + "global step=19761152, episodic return=1902.2686767578125\n", + "global step=19761152, episodic return=2050.06591796875\n", + "global step=19763200, episodic return=1396.459228515625\n", + "global step=19763200, episodic return=1488.55126953125\n", + "global step=19763200, episodic return=949.4596557617188\n", + "global step=19763200, episodic return=830.0380249023438\n", + "global step=19763200, episodic return=1087.4818115234375\n", + "global step=19763200, episodic return=1908.5440673828125\n", + "global step=19765248, episodic return=2074.905029296875\n", + "global step=19765248, episodic return=600.1185302734375\n", + "global step=19765248, episodic return=997.341552734375\n", + "global step=19765248, episodic return=1917.46484375\n", + "global step=19765248, episodic return=1571.152099609375\n", + "global step=19767296, episodic return=1946.8798828125\n", + "global step=19767296, episodic return=1004.38037109375\n", + "global step=19767296, episodic return=1911.4227294921875\n", + "global step=19769344, episodic return=1914.8466796875\n", + "global step=19769344, episodic return=1988.9609375\n", + "global step=19769344, episodic return=1121.6396484375\n", + "global step=19769344, episodic return=1897.1175537109375\n", + "global step=19769344, episodic return=1899.592529296875\n", + "global step=19769344, episodic return=1902.223876953125\n", + "global step=19771392, episodic return=1978.685546875\n", + "global step=19771392, episodic return=1970.9100341796875\n", + "global step=19771392, episodic return=1957.286865234375\n", + "global step=19771392, episodic return=1073.24365234375\n", + "global step=19771392, episodic return=2066.722412109375\n", + "global step=19771392, episodic return=910.4541015625\n", + "global step=19773440, episodic return=924.209228515625\n", + "global step=19773440, episodic return=1971.9075927734375\n", + "global step=19773440, episodic return=1993.82763671875\n", + "global step=19773440, episodic return=539.7077026367188\n", + "global step=19773440, episodic return=999.9986572265625\n", + "global step=19775488, episodic return=1898.318359375\n", + "global step=19775488, episodic return=1843.3016357421875\n", + "global step=19775488, episodic return=1914.751220703125\n", + "global step=19777536, episodic return=853.5674438476562\n", + "global step=19777536, episodic return=968.0133056640625\n", + "global step=19779584, episodic return=838.5623779296875\n", + "global step=19779584, episodic return=1893.9061279296875\n", + "global step=19779584, episodic return=1907.39697265625\n", + "global step=19779584, episodic return=1938.0462646484375\n", + "global step=19779584, episodic return=2111.0419921875\n", + "global step=19779584, episodic return=608.044921875\n", + "global step=19781632, episodic return=817.2359619140625\n", + "global step=19781632, episodic return=1905.298828125\n", + "global step=19781632, episodic return=1259.904052734375\n", + "global step=19783680, episodic return=1921.229248046875\n", + "global step=19783680, episodic return=546.1307983398438\n", + "global step=19783680, episodic return=1011.0527954101562\n", + "global step=19783680, episodic return=1953.0814208984375\n", + "global step=19785728, episodic return=1926.987060546875\n", + "global step=19785728, episodic return=1082.4630126953125\n", + "global step=19785728, episodic return=1927.6610107421875\n", + "global step=19785728, episodic return=982.1055908203125\n", + "global step=19787776, episodic return=1303.1549072265625\n", + "global step=19787776, episodic return=329.2908630371094\n", + "global step=19787776, episodic return=1944.354248046875\n", + "global step=19787776, episodic return=982.8872680664062\n", + "global step=19789824, episodic return=918.5993041992188\n", + "global step=19789824, episodic return=937.1851196289062\n", + "global step=19789824, episodic return=1082.1514892578125\n", + "global step=19789824, episodic return=1022.5513305664062\n", + "global step=19789824, episodic return=1067.966796875\n", + "global step=19791872, episodic return=1915.3214111328125\n", + "global step=19793920, episodic return=2009.397216796875\n", + "global step=19793920, episodic return=975.39794921875\n", + "global step=19795968, episodic return=1971.886474609375\n", + "global step=19795968, episodic return=24.989660263061523\n", + "global step=19795968, episodic return=1097.89404296875\n", + "global step=19795968, episodic return=887.2806396484375\n", + "global step=19795968, episodic return=1973.3597412109375\n", + "global step=19795968, episodic return=1287.831787109375\n", + "global step=19798016, episodic return=1932.1605224609375\n", + "global step=19798016, episodic return=1507.735107421875\n", + "global step=19798016, episodic return=1296.2603759765625\n", + "global step=19800064, episodic return=1986.378173828125\n", + "global step=19800064, episodic return=1769.9122314453125\n", + "global step=19802112, episodic return=1975.2318115234375\n", + "global step=19802112, episodic return=627.4022827148438\n", + "global step=19802112, episodic return=543.5900268554688\n", + "global step=19804160, episodic return=1942.8360595703125\n", + "global step=19804160, episodic return=1907.28173828125\n", + "global step=19804160, episodic return=1105.46923828125\n", + "global step=19806208, episodic return=30.64137077331543\n", + "global step=19806208, episodic return=667.4805908203125\n", + "global step=19806208, episodic return=1765.2845458984375\n", + "global step=19806208, episodic return=1925.1405029296875\n", + "global step=19810304, episodic return=1041.591552734375\n", + "global step=19810304, episodic return=960.09716796875\n", + "global step=19810304, episodic return=2095.583740234375\n", + "global step=19812352, episodic return=1134.5850830078125\n", + "global step=19812352, episodic return=1939.7208251953125\n", + "global step=19812352, episodic return=1213.0526123046875\n", + "global step=19814400, episodic return=1910.3748779296875\n", + "global step=19814400, episodic return=1944.97314453125\n", + "global step=19814400, episodic return=1119.426513671875\n", + "global step=19814400, episodic return=1920.21484375\n", + "global step=19816448, episodic return=882.687744140625\n", + "global step=19816448, episodic return=1299.81982421875\n", + "global step=19816448, episodic return=1183.7158203125\n", + "global step=19818496, episodic return=972.5076293945312\n", + "global step=19818496, episodic return=1128.2498779296875\n", + "global step=19820544, episodic return=1927.46826171875\n", + "global step=19820544, episodic return=1936.8756103515625\n", + "global step=19820544, episodic return=1241.392578125\n", + "global step=19822592, episodic return=1936.87646484375\n", + "global step=19822592, episodic return=651.7189331054688\n", + "global step=19822592, episodic return=1769.6597900390625\n", + "global step=19822592, episodic return=1999.033935546875\n", + "global step=19824640, episodic return=1918.3846435546875\n", + "global step=19824640, episodic return=1318.8309326171875\n", + "global step=19826688, episodic return=2022.7576904296875\n", + "global step=19826688, episodic return=952.1031494140625\n", + "global step=19826688, episodic return=1935.614990234375\n", + "global step=19828736, episodic return=1942.2232666015625\n", + "global step=19830784, episodic return=1936.8233642578125\n", + "global step=19834880, episodic return=1904.1983642578125\n", + "global step=19834880, episodic return=1923.2684326171875\n", + "global step=19836928, episodic return=1921.8438720703125\n", + "global step=19836928, episodic return=1887.49658203125\n", + "global step=19836928, episodic return=1150.55419921875\n", + "global step=19838976, episodic return=1070.72412109375\n", + "global step=19838976, episodic return=1002.6434326171875\n", + "global step=19838976, episodic return=1015.8168334960938\n", + "global step=19841024, episodic return=693.1670532226562\n", + "global step=19843072, episodic return=1654.5594482421875\n", + "global step=19845120, episodic return=1962.7315673828125\n", + "global step=19845120, episodic return=544.60400390625\n", + "global step=19847168, episodic return=1095.4664306640625\n", + "global step=19847168, episodic return=1063.7705078125\n", + "global step=19849216, episodic return=1134.28369140625\n", + "global step=19849216, episodic return=1920.1461181640625\n", + "global step=19849216, episodic return=1227.93603515625\n", + "global step=19849216, episodic return=1964.095947265625\n", + "global step=19849216, episodic return=911.0052490234375\n", + "global step=19851264, episodic return=1913.1390380859375\n", + "global step=19851264, episodic return=1965.5438232421875\n", + "global step=19853312, episodic return=1015.9367065429688\n", + "global step=19853312, episodic return=1648.5103759765625\n", + "global step=19853312, episodic return=1792.114990234375\n", + "global step=19855360, episodic return=1949.1536865234375\n", + "global step=19855360, episodic return=1089.889404296875\n", + "global step=19855360, episodic return=1960.69384765625\n", + "global step=19857408, episodic return=1183.4163818359375\n", + "global step=19857408, episodic return=2020.055908203125\n", + "global step=19857408, episodic return=1904.8427734375\n", + "global step=19859456, episodic return=993.3786010742188\n", + "global step=19859456, episodic return=1939.96728515625\n", + "global step=19861504, episodic return=1995.871826171875\n", + "global step=19861504, episodic return=1722.707275390625\n", + "global step=19861504, episodic return=1071.9295654296875\n", + "global step=19861504, episodic return=1969.5006103515625\n", + "global step=19863552, episodic return=1932.2088623046875\n", + "global step=19863552, episodic return=552.2538452148438\n", + "global step=19863552, episodic return=1056.7420654296875\n", + "global step=19865600, episodic return=1489.76904296875\n", + "global step=19865600, episodic return=594.1443481445312\n", + "global step=19867648, episodic return=1536.87158203125\n", + "global step=19867648, episodic return=984.0577392578125\n", + "global step=19867648, episodic return=1097.67041015625\n", + "global step=19869696, episodic return=829.9847412109375\n", + "global step=19869696, episodic return=1212.8197021484375\n", + "global step=19871744, episodic return=1210.70654296875\n", + "global step=19871744, episodic return=518.89453125\n", + "global step=19871744, episodic return=1934.3494873046875\n", + "global step=19871744, episodic return=1001.2028198242188\n", + "global step=19873792, episodic return=682.4903564453125\n", + "global step=19873792, episodic return=1088.5450439453125\n", + "global step=19873792, episodic return=1799.5185546875\n", + "global step=19873792, episodic return=560.7146606445312\n", + "global step=19875840, episodic return=948.4195556640625\n", + "global step=19875840, episodic return=1968.1170654296875\n", + "global step=19879936, episodic return=1954.676025390625\n", + "global step=19879936, episodic return=1269.222412109375\n", + "global step=19879936, episodic return=1844.2823486328125\n", + "global step=19879936, episodic return=1955.653076171875\n", + "global step=19879936, episodic return=2025.820556640625\n", + "global step=19881984, episodic return=1560.19873046875\n", + "global step=19881984, episodic return=1915.9334716796875\n", + "global step=19881984, episodic return=1026.997314453125\n", + "global step=19881984, episodic return=1007.834228515625\n", + "global step=19884032, episodic return=840.9390869140625\n", + "global step=19886080, episodic return=1810.3116455078125\n", + "global step=19886080, episodic return=514.370361328125\n", + "global step=19886080, episodic return=957.1202392578125\n", + "global step=19888128, episodic return=1001.4472045898438\n", + "global step=19888128, episodic return=741.4851684570312\n", + "global step=19890176, episodic return=708.122802734375\n", + "global step=19890176, episodic return=27.850526809692383\n", + "global step=19890176, episodic return=1736.72412109375\n", + "global step=19890176, episodic return=1942.2445068359375\n", + "global step=19892224, episodic return=1016.0687866210938\n", + "global step=19892224, episodic return=2058.905517578125\n", + "global step=19892224, episodic return=670.7780151367188\n", + "global step=19892224, episodic return=1531.6961669921875\n", + "global step=19894272, episodic return=1355.83056640625\n", + "global step=19894272, episodic return=1970.1026611328125\n", + "global step=19896320, episodic return=1916.0142822265625\n", + "global step=19896320, episodic return=1158.45068359375\n", + "global step=19896320, episodic return=1935.8883056640625\n", + "global step=19896320, episodic return=1311.8648681640625\n", + "global step=19896320, episodic return=1121.5064697265625\n", + "global step=19898368, episodic return=1100.65234375\n", + "global step=19900416, episodic return=988.1951904296875\n", + "global step=19900416, episodic return=2003.4918212890625\n", + "global step=19902464, episodic return=2004.144775390625\n", + "global step=19902464, episodic return=1320.85205078125\n", + "global step=19902464, episodic return=1151.12744140625\n", + "global step=19902464, episodic return=788.69970703125\n", + "global step=19902464, episodic return=769.5717163085938\n", + "global step=19902464, episodic return=759.2509155273438\n", + "global step=19904512, episodic return=1789.37158203125\n", + "global step=19904512, episodic return=896.780029296875\n", + "global step=19904512, episodic return=1127.3935546875\n", + "global step=19904512, episodic return=2064.731689453125\n", + "global step=19904512, episodic return=1212.627685546875\n", + "global step=19904512, episodic return=1919.3876953125\n", + "global step=19904512, episodic return=934.2005004882812\n", + "global step=19906560, episodic return=1021.0805053710938\n", + "global step=19906560, episodic return=1645.0589599609375\n", + "global step=19908608, episodic return=920.2421264648438\n", + "global step=19908608, episodic return=1347.70263671875\n", + "global step=19908608, episodic return=919.0088500976562\n", + "global step=19910656, episodic return=1949.622802734375\n", + "global step=19910656, episodic return=1154.3477783203125\n", + "global step=19910656, episodic return=1156.8428955078125\n", + "global step=19910656, episodic return=954.195068359375\n", + "global step=19912704, episodic return=1113.8604736328125\n", + "global step=19912704, episodic return=53.50811767578125\n", + "global step=19912704, episodic return=1061.6025390625\n", + "global step=19914752, episodic return=905.4063720703125\n", + "global step=19914752, episodic return=2055.024169921875\n", + "global step=19914752, episodic return=759.1741333007812\n", + "global step=19914752, episodic return=1087.4359130859375\n", + "global step=19914752, episodic return=1266.9609375\n", + "global step=19916800, episodic return=925.054931640625\n", + "global step=19916800, episodic return=1734.7239990234375\n", + "global step=19916800, episodic return=1918.689208984375\n", + "global step=19916800, episodic return=1969.2994384765625\n", + "global step=19916800, episodic return=1925.04736328125\n", + "global step=19918848, episodic return=1063.9395751953125\n", + "global step=19920896, episodic return=1629.589111328125\n", + "global step=19920896, episodic return=1088.835205078125\n", + "global step=19920896, episodic return=1955.245849609375\n", + "global step=19920896, episodic return=1982.8824462890625\n", + "global step=19920896, episodic return=697.1778564453125\n", + "global step=19920896, episodic return=801.3082275390625\n", + "global step=19922944, episodic return=1144.5384521484375\n", + "global step=19922944, episodic return=1271.8306884765625\n", + "global step=19922944, episodic return=1038.574951171875\n", + "global step=19922944, episodic return=1104.6702880859375\n", + "global step=19922944, episodic return=1964.2742919921875\n", + "global step=19924992, episodic return=1059.2412109375\n", + "global step=19927040, episodic return=1987.2054443359375\n", + "global step=19927040, episodic return=967.2347412109375\n", + "global step=19927040, episodic return=1941.794677734375\n", + "global step=19929088, episodic return=1952.8150634765625\n", + "global step=19929088, episodic return=1985.8331298828125\n", + "global step=19929088, episodic return=2075.492919921875\n", + "global step=19929088, episodic return=1130.7686767578125\n", + "global step=19929088, episodic return=1248.6226806640625\n", + "global step=19931136, episodic return=1946.6536865234375\n", + "global step=19931136, episodic return=1358.9625244140625\n", + "global step=19933184, episodic return=1076.1259765625\n", + "global step=19933184, episodic return=31.027009963989258\n", + "global step=19935232, episodic return=931.85888671875\n", + "global step=19935232, episodic return=1069.96240234375\n", + "global step=19937280, episodic return=1925.9359130859375\n", + "global step=19937280, episodic return=891.989501953125\n", + "global step=19939328, episodic return=1163.4503173828125\n", + "global step=19941376, episodic return=932.5157470703125\n", + "global step=19941376, episodic return=1089.83642578125\n", + "global step=19941376, episodic return=1998.451171875\n", + "global step=19941376, episodic return=1534.89501953125\n", + "global step=19941376, episodic return=1062.9501953125\n", + "global step=19941376, episodic return=2016.7080078125\n", + "global step=19943424, episodic return=855.244384765625\n", + "global step=19943424, episodic return=807.8078002929688\n", + "global step=19945472, episodic return=1936.9742431640625\n", + "global step=19949568, episodic return=930.7158203125\n", + "global step=19949568, episodic return=1672.42138671875\n", + "global step=19949568, episodic return=1969.8924560546875\n", + "global step=19949568, episodic return=1951.4051513671875\n", + "global step=19949568, episodic return=1971.22802734375\n", + "global step=19949568, episodic return=50.391204833984375\n", + "global step=19949568, episodic return=1328.9676513671875\n", + "global step=19951616, episodic return=1251.140869140625\n", + "global step=19953664, episodic return=1921.91796875\n", + "global step=19953664, episodic return=1066.4478759765625\n", + "global step=19953664, episodic return=1471.2716064453125\n", + "global step=19953664, episodic return=789.1317138671875\n", + "global step=19955712, episodic return=800.44384765625\n", + "global step=19955712, episodic return=681.5621337890625\n", + "global step=19955712, episodic return=1649.900634765625\n", + "global step=19955712, episodic return=1154.661376953125\n", + "global step=19957760, episodic return=538.82470703125\n", + "global step=19957760, episodic return=1021.9916381835938\n", + "global step=19957760, episodic return=1053.6669921875\n", + "global step=19957760, episodic return=1934.2734375\n", + "global step=19957760, episodic return=1034.31201171875\n", + "global step=19959808, episodic return=1599.375732421875\n", + "global step=19959808, episodic return=1242.8140869140625\n", + "global step=19959808, episodic return=1926.0767822265625\n", + "global step=19959808, episodic return=1947.4244384765625\n", + "global step=19959808, episodic return=45.122039794921875\n", + "global step=19959808, episodic return=1267.1456298828125\n", + "global step=19961856, episodic return=1626.301025390625\n", + "global step=19961856, episodic return=2028.904052734375\n", + "global step=19963904, episodic return=1936.807373046875\n", + "global step=19963904, episodic return=1958.6094970703125\n", + "global step=19963904, episodic return=1935.1124267578125\n", + "global step=19965952, episodic return=1528.5284423828125\n", + "global step=19965952, episodic return=1967.6229248046875\n", + "global step=19968000, episodic return=1748.099853515625\n", + "global step=19968000, episodic return=1975.843017578125\n", + "global step=19970048, episodic return=1247.42626953125\n", + "global step=19970048, episodic return=799.015625\n", + "global step=19970048, episodic return=2061.632568359375\n", + "global step=19970048, episodic return=955.1447143554688\n", + "global step=19970048, episodic return=1932.7364501953125\n", + "global step=19970048, episodic return=280.9364013671875\n", + "global step=19970048, episodic return=1979.4605712890625\n", + "global step=19970048, episodic return=924.3914794921875\n", + "global step=19972096, episodic return=1282.2392578125\n", + "global step=19972096, episodic return=1954.739013671875\n", + "global step=19972096, episodic return=1954.341552734375\n", + "global step=19972096, episodic return=2007.751953125\n", + "global step=19972096, episodic return=1908.0042724609375\n", + "global step=19974144, episodic return=1360.345947265625\n", + "global step=19974144, episodic return=1936.418212890625\n", + "global step=19974144, episodic return=1240.1739501953125\n", + "global step=19974144, episodic return=621.972412109375\n", + "global step=19974144, episodic return=1388.3778076171875\n", + "global step=19974144, episodic return=1921.2694091796875\n", + "global step=19974144, episodic return=1353.615478515625\n", + "global step=19976192, episodic return=545.990478515625\n", + "global step=19976192, episodic return=2046.0732421875\n", + "global step=19976192, episodic return=1991.489013671875\n", + "global step=19978240, episodic return=1169.294921875\n", + "global step=19978240, episodic return=1891.70068359375\n", + "global step=19978240, episodic return=2007.80419921875\n", + "global step=19980288, episodic return=1137.7303466796875\n", + "global step=19980288, episodic return=1953.0904541015625\n", + "global step=19980288, episodic return=1277.168701171875\n", + "global step=19980288, episodic return=889.552734375\n", + "global step=19982336, episodic return=1774.7325439453125\n", + "global step=19982336, episodic return=1088.06494140625\n", + "global step=19982336, episodic return=1215.5032958984375\n", + "global step=19984384, episodic return=823.007568359375\n", + "global step=19984384, episodic return=1990.57275390625\n", + "global step=19984384, episodic return=19.99640464782715\n", + "global step=19984384, episodic return=579.8194580078125\n", + "global step=19986432, episodic return=1196.1683349609375\n", + "global step=19986432, episodic return=536.624755859375\n", + "global step=19986432, episodic return=899.8685302734375\n", + "global step=19986432, episodic return=1617.3787841796875\n", + "global step=19986432, episodic return=2012.927490234375\n", + "global step=19986432, episodic return=1960.6019287109375\n", + "global step=19986432, episodic return=1977.8404541015625\n", + "global step=19988480, episodic return=2037.2386474609375\n", + "global step=19988480, episodic return=1369.3184814453125\n", + "global step=19988480, episodic return=1361.831298828125\n", + "global step=19990528, episodic return=1751.8299560546875\n", + "global step=19990528, episodic return=951.0966796875\n", + "global step=19990528, episodic return=2062.718994140625\n", + "global step=19990528, episodic return=2033.0106201171875\n", + "global step=19992576, episodic return=820.6429443359375\n", + "global step=19994624, episodic return=2131.9404296875\n", + "global step=19994624, episodic return=1305.3934326171875\n", + "global step=19996672, episodic return=1194.8798828125\n", + "global step=19996672, episodic return=1326.5758056640625\n", + "global step=19996672, episodic return=1313.5162353515625\n", + "global step=19996672, episodic return=869.090087890625\n", + "global step=19996672, episodic return=1279.7454833984375\n", + "global step=19996672, episodic return=1965.6826171875\n", + "global step=19998720, episodic return=1400.905517578125\n", + "global step=19998720, episodic return=913.1373291015625\n", + "global step=20000768, episodic return=1501.2694091796875\n", + "global step=20002816, episodic return=2002.471435546875\n", + "global step=20002816, episodic return=1191.232177734375\n", + "global step=20002816, episodic return=52.747039794921875\n", + "global step=20002816, episodic return=1936.649169921875\n", + "global step=20004864, episodic return=1145.8885498046875\n", + "global step=20004864, episodic return=1239.128662109375\n", + "global step=20006912, episodic return=1947.3607177734375\n", + "global step=20006912, episodic return=1426.530517578125\n", + "global step=20006912, episodic return=1532.6229248046875\n", + "global step=20006912, episodic return=1369.6146240234375\n", + "global step=20006912, episodic return=1244.9273681640625\n", + "global step=20008960, episodic return=1999.0697021484375\n", + "global step=20011008, episodic return=1264.6986083984375\n", + "global step=20011008, episodic return=1135.07470703125\n", + "global step=20011008, episodic return=1097.9112548828125\n", + "global step=20013056, episodic return=1927.1397705078125\n", + "global step=20013056, episodic return=1125.7783203125\n", + "global step=20013056, episodic return=866.5082397460938\n", + "global step=20013056, episodic return=1941.48046875\n", + "global step=20015104, episodic return=2015.2607421875\n", + "global step=20015104, episodic return=1090.9324951171875\n", + "global step=20015104, episodic return=1119.393798828125\n", + "global step=20015104, episodic return=758.87890625\n", + "global step=20015104, episodic return=1956.4422607421875\n", + "global step=20019200, episodic return=811.8890380859375\n", + "global step=20019200, episodic return=864.9812622070312\n", + "global step=20021248, episodic return=1139.394287109375\n", + "global step=20021248, episodic return=1975.82421875\n", + "global step=20021248, episodic return=1588.08349609375\n", + "global step=20021248, episodic return=1939.269287109375\n", + "global step=20021248, episodic return=858.7783813476562\n", + "global step=20021248, episodic return=887.9798583984375\n", + "global step=20021248, episodic return=1992.984619140625\n", + "global step=20021248, episodic return=1979.2701416015625\n", + "global step=20023296, episodic return=1155.070556640625\n", + "global step=20025344, episodic return=1030.6522216796875\n", + "global step=20025344, episodic return=1960.1512451171875\n", + "global step=20025344, episodic return=916.55078125\n", + "global step=20027392, episodic return=2037.1378173828125\n", + "global step=20027392, episodic return=1934.633544921875\n", + "global step=20029440, episodic return=1072.498291015625\n", + "global step=20029440, episodic return=1079.7430419921875\n", + "global step=20029440, episodic return=944.694091796875\n", + "global step=20029440, episodic return=2094.66796875\n", + "global step=20031488, episodic return=1993.2265625\n", + "global step=20031488, episodic return=1111.8231201171875\n", + "global step=20031488, episodic return=1279.58837890625\n", + "global step=20031488, episodic return=1285.3880615234375\n", + "global step=20031488, episodic return=1986.9407958984375\n", + "global step=20033536, episodic return=2026.0926513671875\n", + "global step=20033536, episodic return=1980.03662109375\n", + "global step=20035584, episodic return=1920.9267578125\n", + "global step=20035584, episodic return=931.3277587890625\n", + "global step=20037632, episodic return=1314.3843994140625\n", + "global step=20039680, episodic return=771.60546875\n", + "global step=20039680, episodic return=1984.36083984375\n", + "global step=20039680, episodic return=1587.4117431640625\n", + "global step=20041728, episodic return=2012.5740966796875\n", + "global step=20043776, episodic return=1182.9664306640625\n", + "global step=20043776, episodic return=620.1077880859375\n", + "global step=20043776, episodic return=1373.5224609375\n", + "global step=20043776, episodic return=919.39306640625\n", + "global step=20043776, episodic return=1179.2191162109375\n", + "global step=20045824, episodic return=1966.0858154296875\n", + "global step=20045824, episodic return=950.8038330078125\n", + "global step=20047872, episodic return=470.60479736328125\n", + "global step=20047872, episodic return=748.3662719726562\n", + "global step=20047872, episodic return=2041.56298828125\n", + "global step=20049920, episodic return=1665.4935302734375\n", + "global step=20051968, episodic return=2035.885009765625\n", + "global step=20051968, episodic return=1945.3470458984375\n", + "global step=20051968, episodic return=782.759521484375\n", + "global step=20051968, episodic return=1954.761962890625\n", + "global step=20051968, episodic return=1947.4691162109375\n", + "global step=20054016, episodic return=893.2335205078125\n", + "global step=20054016, episodic return=1236.0484619140625\n", + "global step=20054016, episodic return=914.2410278320312\n", + "global step=20056064, episodic return=2037.83984375\n", + "global step=20056064, episodic return=879.114501953125\n", + "global step=20056064, episodic return=1820.0745849609375\n", + "global step=20056064, episodic return=1167.994140625\n", + "global step=20056064, episodic return=943.3027954101562\n", + "global step=20056064, episodic return=1943.387451171875\n", + "global step=20056064, episodic return=887.88427734375\n", + "global step=20056064, episodic return=309.8050842285156\n", + "global step=20056064, episodic return=1487.5887451171875\n", + "global step=20056064, episodic return=1373.5948486328125\n", + "global step=20058112, episodic return=2065.297607421875\n", + "global step=20058112, episodic return=2069.61962890625\n", + "global step=20058112, episodic return=841.83349609375\n", + "global step=20058112, episodic return=2009.1741943359375\n", + "global step=20058112, episodic return=1365.856201171875\n", + "global step=20060160, episodic return=929.8560180664062\n", + "global step=20060160, episodic return=834.3820190429688\n", + "global step=20060160, episodic return=1945.534912109375\n", + "global step=20062208, episodic return=858.4974365234375\n", + "global step=20064256, episodic return=1192.970947265625\n", + "global step=20064256, episodic return=1954.837890625\n", + "global step=20064256, episodic return=1222.2198486328125\n", + "global step=20066304, episodic return=1454.6158447265625\n", + "global step=20066304, episodic return=1404.5498046875\n", + "global step=20066304, episodic return=616.1103515625\n", + "global step=20066304, episodic return=1229.642822265625\n", + "global step=20068352, episodic return=1222.8173828125\n", + "global step=20068352, episodic return=961.15234375\n", + "global step=20068352, episodic return=1968.242919921875\n", + "global step=20070400, episodic return=2007.5693359375\n", + "global step=20070400, episodic return=1990.502685546875\n", + "global step=20072448, episodic return=969.7168579101562\n", + "global step=20072448, episodic return=1002.9880981445312\n", + "global step=20072448, episodic return=1473.604736328125\n", + "global step=20072448, episodic return=1391.7720947265625\n", + "global step=20072448, episodic return=1018.502197265625\n", + "global step=20074496, episodic return=1288.2041015625\n", + "global step=20074496, episodic return=1416.9144287109375\n", + "global step=20074496, episodic return=2003.1119384765625\n", + "global step=20074496, episodic return=1963.55126953125\n", + "global step=20074496, episodic return=945.4042358398438\n", + "global step=20074496, episodic return=2045.579833984375\n", + "global step=20076544, episodic return=755.97705078125\n", + "global step=20076544, episodic return=1974.8489990234375\n", + "global step=20078592, episodic return=1936.7862548828125\n", + "global step=20078592, episodic return=1941.209228515625\n", + "global step=20078592, episodic return=1459.984375\n", + "global step=20078592, episodic return=1970.5296630859375\n", + "global step=20078592, episodic return=1443.0740966796875\n", + "global step=20080640, episodic return=1120.965576171875\n", + "global step=20080640, episodic return=796.4986572265625\n", + "global step=20080640, episodic return=1358.965576171875\n", + "global step=20080640, episodic return=1078.9041748046875\n", + "global step=20080640, episodic return=957.2131958007812\n", + "global step=20080640, episodic return=876.9934692382812\n", + "global step=20082688, episodic return=1860.306884765625\n", + "global step=20082688, episodic return=1381.4642333984375\n", + "global step=20082688, episodic return=1971.1529541015625\n", + "global step=20084736, episodic return=1232.9617919921875\n", + "global step=20084736, episodic return=982.0840454101562\n", + "global step=20086784, episodic return=594.1381225585938\n", + "global step=20088832, episodic return=1153.368896484375\n", + "global step=20088832, episodic return=1241.3099365234375\n", + "global step=20090880, episodic return=1517.7213134765625\n", + "global step=20090880, episodic return=1329.2252197265625\n", + "global step=20090880, episodic return=1590.8253173828125\n", + "global step=20090880, episodic return=874.8355102539062\n", + "global step=20092928, episodic return=1480.904541015625\n", + "global step=20092928, episodic return=1038.164794921875\n", + "global step=20094976, episodic return=1502.776611328125\n", + "global step=20094976, episodic return=2078.11865234375\n", + "global step=20094976, episodic return=1943.6207275390625\n", + "global step=20094976, episodic return=1522.4481201171875\n", + "global step=20094976, episodic return=1792.7078857421875\n", + "global step=20094976, episodic return=1022.3814086914062\n", + "global step=20094976, episodic return=1371.0355224609375\n", + "global step=20094976, episodic return=1384.1455078125\n", + "global step=20097024, episodic return=841.342529296875\n", + "global step=20099072, episodic return=1965.7197265625\n", + "global step=20099072, episodic return=1981.0374755859375\n", + "global step=20099072, episodic return=1077.003662109375\n", + "global step=20101120, episodic return=1483.9273681640625\n", + "global step=20101120, episodic return=1796.2733154296875\n", + "global step=20103168, episodic return=974.0048828125\n", + "global step=20103168, episodic return=1039.041259765625\n", + "global step=20103168, episodic return=1516.673095703125\n", + "global step=20103168, episodic return=924.009765625\n", + "global step=20103168, episodic return=1067.2496337890625\n", + "global step=20105216, episodic return=1329.9322509765625\n", + "global step=20105216, episodic return=1038.3743896484375\n", + "global step=20105216, episodic return=635.0660400390625\n", + "global step=20105216, episodic return=1044.43798828125\n", + "global step=20105216, episodic return=2027.514892578125\n", + "global step=20107264, episodic return=505.8088073730469\n", + "global step=20107264, episodic return=1439.9713134765625\n", + "global step=20107264, episodic return=771.921875\n", + "global step=20107264, episodic return=1952.0802001953125\n", + "global step=20107264, episodic return=1988.94677734375\n", + "global step=20109312, episodic return=1639.592529296875\n", + "global step=20109312, episodic return=1962.637939453125\n", + "global step=20109312, episodic return=2095.365478515625\n", + "global step=20109312, episodic return=2000.440673828125\n", + "global step=20109312, episodic return=1248.7266845703125\n", + "global step=20111360, episodic return=1347.2117919921875\n", + "global step=20111360, episodic return=1659.65087890625\n", + "global step=20113408, episodic return=1466.4329833984375\n", + "global step=20113408, episodic return=1982.1903076171875\n", + "global step=20115456, episodic return=1382.027099609375\n", + "global step=20117504, episodic return=1724.6334228515625\n", + "global step=20117504, episodic return=524.5679321289062\n", + "global step=20117504, episodic return=1515.0277099609375\n", + "global step=20119552, episodic return=1857.347900390625\n", + "global step=20121600, episodic return=898.1074829101562\n", + "global step=20123648, episodic return=1985.892578125\n", + "global step=20123648, episodic return=1437.8441162109375\n", + "global step=20125696, episodic return=1108.25732421875\n", + "global step=20125696, episodic return=1184.8734130859375\n", + "global step=20127744, episodic return=706.9931030273438\n", + "global step=20129792, episodic return=2059.829345703125\n", + "global step=20129792, episodic return=1980.3017578125\n", + "global step=20129792, episodic return=1446.1400146484375\n", + "global step=20129792, episodic return=1528.6512451171875\n", + "global step=20133888, episodic return=1370.48291015625\n", + "global step=20135936, episodic return=1493.546875\n", + "global step=20135936, episodic return=1530.8314208984375\n", + "global step=20137984, episodic return=1228.4583740234375\n", + "global step=20137984, episodic return=897.81396484375\n", + "global step=20137984, episodic return=1546.248046875\n", + "global step=20137984, episodic return=1836.499267578125\n", + "global step=20137984, episodic return=1189.70751953125\n", + "global step=20137984, episodic return=1053.4749755859375\n", + "global step=20140032, episodic return=1526.0421142578125\n", + "global step=20140032, episodic return=1726.2747802734375\n", + "global step=20140032, episodic return=1974.970458984375\n", + "global step=20140032, episodic return=1992.2469482421875\n", + "global step=20144128, episodic return=1117.3314208984375\n", + "global step=20144128, episodic return=1971.62548828125\n", + "global step=20144128, episodic return=1992.5220947265625\n", + "global step=20144128, episodic return=959.5475463867188\n", + "global step=20144128, episodic return=1082.5587158203125\n", + "global step=20146176, episodic return=848.6438598632812\n", + "global step=20146176, episodic return=1428.7869873046875\n", + "global step=20146176, episodic return=1521.3382568359375\n", + "global step=20146176, episodic return=1451.5445556640625\n", + "global step=20148224, episodic return=1120.430419921875\n", + "global step=20148224, episodic return=1356.0223388671875\n", + "global step=20148224, episodic return=1076.6275634765625\n", + "global step=20148224, episodic return=1343.540283203125\n", + "global step=20148224, episodic return=1248.422607421875\n", + "global step=20152320, episodic return=1823.9971923828125\n", + "global step=20152320, episodic return=724.895751953125\n", + "global step=20152320, episodic return=1828.0833740234375\n", + "global step=20152320, episodic return=563.2077026367188\n", + "global step=20154368, episodic return=2037.7529296875\n", + "global step=20154368, episodic return=868.18505859375\n", + "global step=20156416, episodic return=1831.502197265625\n", + "global step=20156416, episodic return=1052.1396484375\n", + "global step=20156416, episodic return=1823.53515625\n", + "global step=20156416, episodic return=1217.6412353515625\n", + "global step=20158464, episodic return=1139.1842041015625\n", + "global step=20158464, episodic return=1608.6429443359375\n", + "global step=20158464, episodic return=1260.266357421875\n", + "global step=20158464, episodic return=1310.0478515625\n", + "global step=20158464, episodic return=1535.467529296875\n", + "global step=20158464, episodic return=1779.5994873046875\n", + "global step=20160512, episodic return=1286.68359375\n", + "global step=20160512, episodic return=1955.0155029296875\n", + "global step=20162560, episodic return=1505.826171875\n", + "global step=20162560, episodic return=1042.933349609375\n", + "global step=20162560, episodic return=1448.18896484375\n", + "global step=20164608, episodic return=1514.578125\n", + "global step=20164608, episodic return=433.38885498046875\n", + "global step=20164608, episodic return=1636.865234375\n", + "global step=20164608, episodic return=1541.1160888671875\n", + "global step=20166656, episodic return=631.2557983398438\n", + "global step=20166656, episodic return=1960.9354248046875\n", + "global step=20166656, episodic return=813.0076904296875\n", + "global step=20168704, episodic return=1851.4871826171875\n", + "global step=20168704, episodic return=1225.2249755859375\n", + "global step=20170752, episodic return=898.6615600585938\n", + "global step=20170752, episodic return=2032.997802734375\n", + "global step=20170752, episodic return=1105.0670166015625\n", + "global step=20172800, episodic return=1420.0860595703125\n", + "global step=20172800, episodic return=2002.383056640625\n", + "global step=20172800, episodic return=1094.7249755859375\n", + "global step=20174848, episodic return=1579.4757080078125\n", + "global step=20174848, episodic return=973.9202880859375\n", + "global step=20176896, episodic return=1621.8350830078125\n", + "global step=20176896, episodic return=1490.4405517578125\n", + "global step=20178944, episodic return=1181.593017578125\n", + "global step=20178944, episodic return=1989.0302734375\n", + "global step=20178944, episodic return=807.8715209960938\n", + "global step=20178944, episodic return=1385.2052001953125\n", + "global step=20180992, episodic return=2030.324462890625\n", + "global step=20180992, episodic return=1188.8101806640625\n", + "global step=20183040, episodic return=1971.8057861328125\n", + "global step=20183040, episodic return=1552.0833740234375\n", + "global step=20183040, episodic return=1318.0447998046875\n", + "global step=20185088, episodic return=1639.256591796875\n", + "global step=20185088, episodic return=1061.464111328125\n", + "global step=20189184, episodic return=1901.870849609375\n", + "global step=20189184, episodic return=855.421630859375\n", + "global step=20189184, episodic return=1369.5689697265625\n", + "global step=20191232, episodic return=1816.9404296875\n", + "global step=20191232, episodic return=1379.9183349609375\n", + "global step=20191232, episodic return=1905.5025634765625\n", + "global step=20191232, episodic return=1969.9140625\n", + "global step=20191232, episodic return=926.844482421875\n", + "global step=20191232, episodic return=2049.520751953125\n", + "global step=20195328, episodic return=2050.65625\n", + "global step=20195328, episodic return=907.9883422851562\n", + "global step=20201472, episodic return=1499.1483154296875\n", + "global step=20201472, episodic return=169.99484252929688\n", + "global step=20203520, episodic return=1290.6029052734375\n", + "global step=20205568, episodic return=540.7077026367188\n", + "global step=20205568, episodic return=1221.5592041015625\n", + "global step=20205568, episodic return=1662.586181640625\n", + "global step=20207616, episodic return=1215.582275390625\n", + "global step=20207616, episodic return=1966.766845703125\n", + "global step=20209664, episodic return=162.4159698486328\n", + "global step=20209664, episodic return=1008.7367553710938\n", + "global step=20209664, episodic return=881.08251953125\n", + "global step=20209664, episodic return=1527.5499267578125\n", + "global step=20209664, episodic return=733.7471313476562\n", + "global step=20211712, episodic return=913.9717407226562\n", + "global step=20211712, episodic return=1989.98974609375\n", + "global step=20211712, episodic return=1987.8507080078125\n", + "global step=20211712, episodic return=946.83642578125\n", + "global step=20211712, episodic return=909.51708984375\n", + "global step=20213760, episodic return=1394.2264404296875\n", + "global step=20213760, episodic return=1199.063232421875\n", + "global step=20215808, episodic return=1785.8221435546875\n", + "global step=20217856, episodic return=1229.318359375\n", + "global step=20219904, episodic return=1523.9320068359375\n", + "global step=20219904, episodic return=1194.80419921875\n", + "global step=20219904, episodic return=1689.3021240234375\n", + "global step=20221952, episodic return=924.6588134765625\n", + "global step=20221952, episodic return=902.4198608398438\n", + "global step=20224000, episodic return=956.6594848632812\n", + "global step=20224000, episodic return=2012.0233154296875\n", + "global step=20224000, episodic return=1149.8297119140625\n", + "global step=20226048, episodic return=851.7254638671875\n", + "global step=20226048, episodic return=1180.598876953125\n", + "global step=20228096, episodic return=1266.502685546875\n", + "global step=20230144, episodic return=1626.4615478515625\n", + "global step=20232192, episodic return=803.8368530273438\n", + "global step=20232192, episodic return=202.62962341308594\n", + "global step=20236288, episodic return=1696.4412841796875\n", + "global step=20238336, episodic return=1298.635498046875\n", + "global step=20238336, episodic return=2003.3363037109375\n", + "global step=20238336, episodic return=1449.3990478515625\n", + "global step=20238336, episodic return=1535.4677734375\n", + "global step=20238336, episodic return=1261.073974609375\n", + "global step=20242432, episodic return=1111.5345458984375\n", + "global step=20242432, episodic return=1673.1859130859375\n", + "global step=20244480, episodic return=1489.577880859375\n", + "global step=20244480, episodic return=1969.98828125\n", + "global step=20244480, episodic return=1554.8382568359375\n", + "global step=20246528, episodic return=1839.8485107421875\n", + "global step=20246528, episodic return=768.7142333984375\n", + "global step=20246528, episodic return=1430.3702392578125\n", + "global step=20246528, episodic return=1117.3961181640625\n", + "global step=20246528, episodic return=908.5152587890625\n", + "global step=20246528, episodic return=1583.237548828125\n", + "global step=20248576, episodic return=716.4838256835938\n", + "global step=20248576, episodic return=976.0735473632812\n", + "global step=20248576, episodic return=1175.3836669921875\n", + "global step=20248576, episodic return=1534.762939453125\n", + "global step=20250624, episodic return=1004.0371704101562\n", + "global step=20250624, episodic return=1404.5716552734375\n", + "global step=20250624, episodic return=1612.915283203125\n", + "global step=20252672, episodic return=1784.276123046875\n", + "global step=20252672, episodic return=1418.43359375\n", + "global step=20252672, episodic return=1585.4290771484375\n", + "global step=20254720, episodic return=1072.6744384765625\n", + "global step=20254720, episodic return=1081.0018310546875\n", + "global step=20256768, episodic return=608.7598266601562\n", + "global step=20256768, episodic return=1118.2103271484375\n", + "global step=20256768, episodic return=1103.03857421875\n", + "global step=20256768, episodic return=1216.4805908203125\n", + "global step=20258816, episodic return=937.9904174804688\n", + "global step=20260864, episodic return=1985.861572265625\n", + "global step=20260864, episodic return=1096.05126953125\n", + "global step=20262912, episodic return=2024.62646484375\n", + "global step=20262912, episodic return=2063.53271484375\n", + "global step=20262912, episodic return=1327.1953125\n", + "global step=20262912, episodic return=1263.3150634765625\n", + "global step=20264960, episodic return=1160.46533203125\n", + "global step=20264960, episodic return=1455.2139892578125\n", + "global step=20264960, episodic return=1986.033203125\n", + "global step=20267008, episodic return=552.9526977539062\n", + "global step=20267008, episodic return=1136.7470703125\n", + "global step=20267008, episodic return=563.7588500976562\n", + "global step=20269056, episodic return=656.27978515625\n", + "global step=20269056, episodic return=1589.6920166015625\n", + "global step=20269056, episodic return=1372.80419921875\n", + "global step=20269056, episodic return=977.395751953125\n", + "global step=20271104, episodic return=2031.0548095703125\n", + "global step=20275200, episodic return=1637.759521484375\n", + "global step=20275200, episodic return=1648.5048828125\n", + "global step=20277248, episodic return=1744.44775390625\n", + "global step=20277248, episodic return=1260.3016357421875\n", + "global step=20279296, episodic return=1006.3106689453125\n", + "global step=20279296, episodic return=1114.8631591796875\n", + "global step=20279296, episodic return=1290.8270263671875\n", + "global step=20281344, episodic return=1611.89892578125\n", + "global step=20281344, episodic return=1348.934326171875\n", + "global step=20281344, episodic return=1070.7135009765625\n", + "global step=20281344, episodic return=1553.759521484375\n", + "global step=20281344, episodic return=1888.110107421875\n", + "global step=20281344, episodic return=2017.57373046875\n", + "global step=20281344, episodic return=1986.4256591796875\n", + "global step=20283392, episodic return=929.6437377929688\n", + "global step=20283392, episodic return=1508.722900390625\n", + "global step=20283392, episodic return=1927.486572265625\n", + "global step=20283392, episodic return=1707.4954833984375\n", + "global step=20283392, episodic return=1977.8865966796875\n", + "global step=20283392, episodic return=1989.7623291015625\n", + "global step=20285440, episodic return=1328.9349365234375\n", + "global step=20285440, episodic return=1887.3924560546875\n", + "global step=20287488, episodic return=1851.5694580078125\n", + "global step=20287488, episodic return=2035.6099853515625\n", + "global step=20287488, episodic return=1102.5301513671875\n", + "global step=20287488, episodic return=1430.5889892578125\n", + "global step=20289536, episodic return=1334.6956787109375\n", + "global step=20289536, episodic return=1051.5738525390625\n", + "global step=20291584, episodic return=657.5310668945312\n", + "global step=20291584, episodic return=1968.449951171875\n", + "global step=20291584, episodic return=1115.10791015625\n", + "global step=20293632, episodic return=970.1487426757812\n", + "global step=20293632, episodic return=1683.44677734375\n", + "global step=20293632, episodic return=1086.1923828125\n", + "global step=20295680, episodic return=1194.4991455078125\n", + "global step=20295680, episodic return=1668.9976806640625\n", + "global step=20299776, episodic return=1901.47509765625\n", + "global step=20299776, episodic return=1596.2491455078125\n", + "global step=20299776, episodic return=1941.8056640625\n", + "global step=20299776, episodic return=1084.23681640625\n", + "global step=20299776, episodic return=2007.3729248046875\n", + "global step=20301824, episodic return=1052.5389404296875\n", + "global step=20301824, episodic return=1613.948486328125\n", + "global step=20301824, episodic return=1423.9224853515625\n", + "global step=20303872, episodic return=2025.2427978515625\n", + "global step=20303872, episodic return=1624.0994873046875\n", + "global step=20303872, episodic return=1119.5655517578125\n", + "global step=20303872, episodic return=1159.0537109375\n", + "global step=20305920, episodic return=1251.2646484375\n", + "global step=20305920, episodic return=1649.7750244140625\n", + "global step=20305920, episodic return=2023.24853515625\n", + "global step=20307968, episodic return=1440.7608642578125\n", + "global step=20307968, episodic return=984.2362060546875\n", + "global step=20310016, episodic return=1984.2677001953125\n", + "global step=20310016, episodic return=1384.4239501953125\n", + "global step=20310016, episodic return=1060.554931640625\n", + "global step=20310016, episodic return=1250.29443359375\n", + "global step=20310016, episodic return=1155.347412109375\n", + "global step=20312064, episodic return=2008.54638671875\n", + "global step=20312064, episodic return=1142.433837890625\n", + "global step=20314112, episodic return=1390.8070068359375\n", + "global step=20316160, episodic return=1285.9144287109375\n", + "global step=20316160, episodic return=1367.738037109375\n", + "global step=20316160, episodic return=1835.8604736328125\n", + "global step=20316160, episodic return=1363.1898193359375\n", + "global step=20316160, episodic return=1104.886474609375\n", + "global step=20318208, episodic return=1099.7001953125\n", + "global step=20318208, episodic return=1085.442138671875\n", + "global step=20318208, episodic return=1519.1536865234375\n", + "global step=20318208, episodic return=1670.0845947265625\n", + "global step=20318208, episodic return=1743.591064453125\n", + "global step=20318208, episodic return=958.6605834960938\n", + "global step=20318208, episodic return=1522.968994140625\n", + "global step=20318208, episodic return=2023.3526611328125\n", + "global step=20318208, episodic return=1409.5355224609375\n", + "global step=20322304, episodic return=1188.3570556640625\n", + "global step=20322304, episodic return=2044.3096923828125\n", + "global step=20322304, episodic return=933.4427490234375\n", + "global step=20324352, episodic return=2085.704345703125\n", + "global step=20324352, episodic return=1081.934326171875\n", + "global step=20324352, episodic return=2093.46484375\n", + "global step=20326400, episodic return=1202.662353515625\n", + "global step=20326400, episodic return=1341.895751953125\n", + "global step=20328448, episodic return=1086.4246826171875\n", + "global step=20330496, episodic return=1026.4000244140625\n", + "global step=20330496, episodic return=2063.500732421875\n", + "global step=20330496, episodic return=1476.9715576171875\n", + "global step=20330496, episodic return=1266.8328857421875\n", + "global step=20330496, episodic return=2073.30078125\n", + "global step=20332544, episodic return=1391.128662109375\n", + "global step=20332544, episodic return=1488.6932373046875\n", + "global step=20332544, episodic return=1253.840576171875\n", + "global step=20332544, episodic return=1958.8887939453125\n", + "global step=20334592, episodic return=1262.2252197265625\n", + "global step=20334592, episodic return=1113.819580078125\n", + "global step=20334592, episodic return=1110.051513671875\n", + "global step=20334592, episodic return=1137.1219482421875\n", + "global step=20336640, episodic return=1364.1165771484375\n", + "global step=20338688, episodic return=1577.07568359375\n", + "global step=20338688, episodic return=1086.78564453125\n", + "global step=20340736, episodic return=1988.2012939453125\n", + "global step=20342784, episodic return=1457.7921142578125\n", + "global step=20344832, episodic return=1238.29248046875\n", + "global step=20346880, episodic return=1684.1468505859375\n", + "global step=20346880, episodic return=1076.301025390625\n", + "global step=20346880, episodic return=1835.370361328125\n", + "global step=20348928, episodic return=1361.743408203125\n", + "global step=20348928, episodic return=1490.462890625\n", + "global step=20348928, episodic return=833.61328125\n", + "global step=20353024, episodic return=1971.8057861328125\n", + "global step=20353024, episodic return=552.1134033203125\n", + "global step=20355072, episodic return=1138.816650390625\n", + "global step=20355072, episodic return=1448.3414306640625\n", + "global step=20355072, episodic return=957.4320068359375\n", + "global step=20357120, episodic return=2040.699951171875\n", + "global step=20357120, episodic return=281.70318603515625\n", + "global step=20357120, episodic return=1142.814208984375\n", + "global step=20359168, episodic return=1476.7115478515625\n", + "global step=20359168, episodic return=1262.0928955078125\n", + "global step=20359168, episodic return=1337.9281005859375\n", + "global step=20361216, episodic return=1338.8270263671875\n", + "global step=20361216, episodic return=1087.2113037109375\n", + "global step=20363264, episodic return=1473.3919677734375\n", + "global step=20365312, episodic return=1556.8846435546875\n", + "global step=20367360, episodic return=1698.1475830078125\n", + "global step=20367360, episodic return=1912.6785888671875\n", + "global step=20367360, episodic return=960.75439453125\n", + "global step=20369408, episodic return=2069.60791015625\n", + "global step=20371456, episodic return=1367.3822021484375\n", + "global step=20371456, episodic return=1376.2943115234375\n", + "global step=20371456, episodic return=2070.086669921875\n", + "global step=20373504, episodic return=1265.3035888671875\n", + "global step=20373504, episodic return=1203.6287841796875\n", + "global step=20373504, episodic return=1482.57373046875\n", + "global step=20373504, episodic return=1514.75830078125\n", + "global step=20373504, episodic return=1096.45068359375\n", + "global step=20373504, episodic return=1432.42626953125\n", + "global step=20375552, episodic return=2048.715576171875\n", + "global step=20375552, episodic return=1221.139892578125\n", + "global step=20375552, episodic return=645.661376953125\n", + "global step=20375552, episodic return=1662.693359375\n", + "global step=20375552, episodic return=1226.0361328125\n", + "global step=20375552, episodic return=1207.9403076171875\n", + "global step=20375552, episodic return=1809.1865234375\n", + "global step=20377600, episodic return=2015.9483642578125\n", + "global step=20377600, episodic return=1703.6766357421875\n", + "global step=20377600, episodic return=2073.88720703125\n", + "global step=20381696, episodic return=967.760009765625\n", + "global step=20381696, episodic return=1471.0023193359375\n", + "global step=20381696, episodic return=1329.0009765625\n", + "global step=20383744, episodic return=1241.78271484375\n", + "global step=20389888, episodic return=1229.5252685546875\n", + "global step=20391936, episodic return=51.78314971923828\n", + "global step=20391936, episodic return=1559.0035400390625\n", + "global step=20393984, episodic return=1077.878173828125\n", + "global step=20396032, episodic return=873.2888793945312\n", + "global step=20398080, episodic return=1276.0828857421875\n", + "global step=20398080, episodic return=642.4097290039062\n", + "global step=20398080, episodic return=1283.3740234375\n", + "global step=20398080, episodic return=1018.9209594726562\n", + "global step=20400128, episodic return=1443.1875\n", + "global step=20400128, episodic return=1317.8660888671875\n", + "global step=20400128, episodic return=1772.9805908203125\n", + "global step=20402176, episodic return=1144.5970458984375\n", + "global step=20402176, episodic return=1877.2445068359375\n", + "global step=20402176, episodic return=1289.003173828125\n", + "global step=20404224, episodic return=1427.6990966796875\n", + "global step=20404224, episodic return=1051.2921142578125\n", + "global step=20410368, episodic return=1059.5858154296875\n", + "global step=20410368, episodic return=1934.5535888671875\n", + "global step=20410368, episodic return=1224.5562744140625\n", + "global step=20412416, episodic return=1721.5595703125\n", + "global step=20412416, episodic return=1516.71533203125\n", + "global step=20414464, episodic return=1204.53955078125\n", + "global step=20414464, episodic return=935.6460571289062\n", + "global step=20414464, episodic return=1148.2730712890625\n", + "global step=20416512, episodic return=1778.0625\n", + "global step=20418560, episodic return=330.9234924316406\n", + "global step=20418560, episodic return=1914.5228271484375\n", + "global step=20420608, episodic return=1905.7010498046875\n", + "global step=20420608, episodic return=1243.284423828125\n", + "global step=20420608, episodic return=2065.973876953125\n", + "global step=20424704, episodic return=1450.509765625\n", + "global step=20424704, episodic return=2092.734375\n", + "global step=20426752, episodic return=2071.4326171875\n", + "global step=20426752, episodic return=853.1641845703125\n", + "global step=20428800, episodic return=1454.34326171875\n", + "global step=20428800, episodic return=1864.1236572265625\n", + "global step=20428800, episodic return=1393.948486328125\n", + "global step=20430848, episodic return=1140.2294921875\n", + "global step=20430848, episodic return=1785.8953857421875\n", + "global step=20432896, episodic return=2012.312744140625\n", + "global step=20432896, episodic return=1761.6885986328125\n", + "global step=20432896, episodic return=2008.71435546875\n", + "global step=20432896, episodic return=2032.04736328125\n", + "global step=20432896, episodic return=1224.638916015625\n", + "global step=20432896, episodic return=1462.2369384765625\n", + "global step=20434944, episodic return=945.0109252929688\n", + "global step=20434944, episodic return=1598.2198486328125\n", + "global step=20436992, episodic return=1769.1207275390625\n", + "global step=20436992, episodic return=2052.66552734375\n", + "global step=20436992, episodic return=1370.7862548828125\n", + "global step=20439040, episodic return=2019.554931640625\n", + "global step=20439040, episodic return=1869.8961181640625\n", + "global step=20439040, episodic return=1952.201171875\n", + "global step=20439040, episodic return=1491.8831787109375\n", + "global step=20441088, episodic return=1824.4224853515625\n", + "global step=20441088, episodic return=2029.8870849609375\n", + "global step=20441088, episodic return=1980.513427734375\n", + "global step=20443136, episodic return=1555.8375244140625\n", + "global step=20443136, episodic return=2048.7216796875\n", + "global step=20443136, episodic return=2042.968994140625\n", + "global step=20443136, episodic return=1431.3287353515625\n", + "global step=20445184, episodic return=2043.346923828125\n", + "global step=20445184, episodic return=2013.95068359375\n", + "global step=20447232, episodic return=816.7049560546875\n", + "global step=20447232, episodic return=952.8565673828125\n", + "global step=20449280, episodic return=2027.029052734375\n", + "global step=20451328, episodic return=1046.3052978515625\n", + "global step=20451328, episodic return=1349.5145263671875\n", + "global step=20453376, episodic return=1164.0316162109375\n", + "global step=20455424, episodic return=1195.535888671875\n", + "global step=20457472, episodic return=1469.4129638671875\n", + "global step=20457472, episodic return=1745.32421875\n", + "global step=20459520, episodic return=1336.0382080078125\n", + "global step=20459520, episodic return=1368.037353515625\n", + "global step=20461568, episodic return=1151.3563232421875\n", + "global step=20461568, episodic return=1995.658203125\n", + "global step=20463616, episodic return=1250.50390625\n", + "global step=20463616, episodic return=1709.9769287109375\n", + "global step=20467712, episodic return=2030.9119873046875\n", + "global step=20467712, episodic return=2083.141357421875\n", + "global step=20469760, episodic return=1511.0145263671875\n", + "global step=20469760, episodic return=1579.2783203125\n", + "global step=20469760, episodic return=1217.737060546875\n", + "global step=20469760, episodic return=2061.5078125\n", + "global step=20471808, episodic return=976.0081787109375\n", + "global step=20471808, episodic return=1153.0499267578125\n", + "global step=20471808, episodic return=1813.9962158203125\n", + "global step=20473856, episodic return=1153.142333984375\n", + "global step=20473856, episodic return=2043.6492919921875\n", + "global step=20473856, episodic return=1897.225341796875\n", + "global step=20475904, episodic return=2058.84228515625\n", + "global step=20475904, episodic return=1784.566162109375\n", + "global step=20480000, episodic return=1210.128173828125\n", + "global step=20480000, episodic return=639.9790649414062\n", + "global step=20480000, episodic return=2018.9921875\n", + "global step=20482048, episodic return=1970.8623046875\n", + "global step=20482048, episodic return=1364.7982177734375\n", + "global step=20484096, episodic return=1434.6356201171875\n", + "global step=20486144, episodic return=1899.3133544921875\n", + "global step=20486144, episodic return=1984.5816650390625\n", + "global step=20486144, episodic return=1297.5538330078125\n", + "global step=20486144, episodic return=1250.3104248046875\n", + "global step=20486144, episodic return=2023.1800537109375\n", + "global step=20488192, episodic return=2053.826171875\n", + "global step=20492288, episodic return=1138.9169921875\n", + "global step=20492288, episodic return=1855.70166015625\n", + "global step=20494336, episodic return=1765.80517578125\n", + "global step=20496384, episodic return=1443.14111328125\n", + "global step=20496384, episodic return=1433.8316650390625\n", + "global step=20498432, episodic return=2009.0911865234375\n", + "global step=20500480, episodic return=1873.91552734375\n", + "global step=20500480, episodic return=1264.2403564453125\n", + "global step=20500480, episodic return=2030.87451171875\n", + "global step=20500480, episodic return=1645.1610107421875\n", + "global step=20502528, episodic return=2031.20458984375\n", + "global step=20506624, episodic return=1243.445556640625\n", + "global step=20506624, episodic return=2001.31982421875\n", + "global step=20506624, episodic return=2019.8023681640625\n", + "global step=20508672, episodic return=2020.938232421875\n", + "global step=20508672, episodic return=602.7064208984375\n", + "global step=20508672, episodic return=1892.65869140625\n", + "global step=20510720, episodic return=2063.021484375\n", + "global step=20510720, episodic return=2043.8157958984375\n", + "global step=20512768, episodic return=1902.2396240234375\n", + "global step=20516864, episodic return=1926.9874267578125\n", + "global step=20516864, episodic return=1980.48046875\n", + "global step=20516864, episodic return=2040.1123046875\n", + "global step=20518912, episodic return=2020.5369873046875\n", + "global step=20518912, episodic return=1429.11328125\n", + "global step=20518912, episodic return=1910.0313720703125\n", + "global step=20520960, episodic return=1916.58251953125\n", + "global step=20520960, episodic return=1996.635986328125\n", + "global step=20520960, episodic return=431.7439270019531\n", + "global step=20523008, episodic return=1045.89599609375\n", + "global step=20527104, episodic return=2005.1717529296875\n", + "global step=20527104, episodic return=2000.9195556640625\n", + "global step=20527104, episodic return=2040.9927978515625\n", + "global step=20529152, episodic return=2009.40673828125\n", + "global step=20531200, episodic return=1984.9342041015625\n", + "global step=20533248, episodic return=1466.15673828125\n", + "global step=20533248, episodic return=1940.752685546875\n", + "global step=20533248, episodic return=2018.276611328125\n", + "global step=20533248, episodic return=1951.7801513671875\n", + "global step=20533248, episodic return=1492.7266845703125\n", + "global step=20535296, episodic return=1596.91455078125\n", + "global step=20537344, episodic return=1486.08935546875\n", + "global step=20537344, episodic return=2006.35986328125\n", + "global step=20539392, episodic return=1301.2498779296875\n", + "global step=20541440, episodic return=2013.7021484375\n", + "global step=20543488, episodic return=2000.2352294921875\n", + "global step=20543488, episodic return=2010.0030517578125\n", + "global step=20543488, episodic return=1751.17431640625\n", + "global step=20543488, episodic return=1622.614990234375\n", + "global step=20547584, episodic return=1328.2989501953125\n", + "global step=20551680, episodic return=2003.3675537109375\n", + "global step=20553728, episodic return=1125.32421875\n", + "global step=20555776, episodic return=1383.1622314453125\n", + "global step=20555776, episodic return=2014.616455078125\n", + "global step=20555776, episodic return=2022.300537109375\n", + "global step=20555776, episodic return=1966.4034423828125\n", + "global step=20557824, episodic return=1311.5084228515625\n", + "global step=20557824, episodic return=2021.480712890625\n", + "global step=20557824, episodic return=1844.2724609375\n", + "global step=20557824, episodic return=2036.4854736328125\n", + "global step=20559872, episodic return=2040.29443359375\n", + "global step=20561920, episodic return=1349.1029052734375\n", + "global step=20561920, episodic return=1633.8441162109375\n", + "global step=20561920, episodic return=1995.3511962890625\n", + "global step=20563968, episodic return=1630.7864990234375\n", + "global step=20566016, episodic return=1183.701416015625\n", + "global step=20566016, episodic return=1771.443359375\n", + "global step=20568064, episodic return=2053.638671875\n", + "global step=20570112, episodic return=2039.8919677734375\n", + "global step=20570112, episodic return=1236.608642578125\n", + "global step=20570112, episodic return=780.7308959960938\n", + "global step=20572160, episodic return=2010.017822265625\n", + "global step=20574208, episodic return=2060.284912109375\n", + "global step=20576256, episodic return=926.9122314453125\n", + "global step=20578304, episodic return=1362.0958251953125\n", + "global step=20578304, episodic return=1493.9476318359375\n", + "global step=20578304, episodic return=2015.3387451171875\n", + "global step=20580352, episodic return=1684.7103271484375\n", + "global step=20580352, episodic return=2059.150390625\n", + "global step=20580352, episodic return=1106.87109375\n", + "global step=20582400, episodic return=1698.9827880859375\n", + "global step=20582400, episodic return=2031.8067626953125\n", + "global step=20582400, episodic return=1730.0487060546875\n", + "global step=20584448, episodic return=2042.9669189453125\n", + "global step=20586496, episodic return=984.3342895507812\n", + "global step=20586496, episodic return=2081.14892578125\n", + "global step=20590592, episodic return=1913.1258544921875\n", + "global step=20590592, episodic return=1434.4371337890625\n", + "global step=20590592, episodic return=212.5944061279297\n", + "global step=20594688, episodic return=1470.04443359375\n", + "global step=20594688, episodic return=2040.5235595703125\n", + "global step=20594688, episodic return=1367.4766845703125\n", + "global step=20596736, episodic return=2064.2900390625\n", + "global step=20596736, episodic return=2037.8345947265625\n", + "global step=20598784, episodic return=2018.659912109375\n", + "global step=20598784, episodic return=1124.3779296875\n", + "global step=20598784, episodic return=1399.846923828125\n", + "global step=20598784, episodic return=2041.3214111328125\n", + "global step=20598784, episodic return=2089.5810546875\n", + "global step=20600832, episodic return=2005.8233642578125\n", + "global step=20600832, episodic return=2031.0787353515625\n", + "global step=20600832, episodic return=2049.492431640625\n", + "global step=20602880, episodic return=567.139404296875\n", + "global step=20602880, episodic return=2076.88330078125\n", + "global step=20602880, episodic return=1374.90478515625\n", + "global step=20604928, episodic return=2050.631103515625\n", + "global step=20604928, episodic return=2012.0399169921875\n", + "global step=20609024, episodic return=1755.1275634765625\n", + "global step=20609024, episodic return=1124.373779296875\n", + "global step=20609024, episodic return=2053.82275390625\n", + "global step=20611072, episodic return=2037.08349609375\n", + "global step=20613120, episodic return=403.09478759765625\n", + "global step=20613120, episodic return=1993.865478515625\n", + "global step=20613120, episodic return=1985.9669189453125\n", + "global step=20613120, episodic return=2062.8720703125\n", + "global step=20613120, episodic return=2039.067626953125\n", + "global step=20613120, episodic return=2050.755615234375\n", + "global step=20615168, episodic return=2002.08837890625\n", + "global step=20615168, episodic return=1483.253173828125\n", + "global step=20619264, episodic return=1258.695068359375\n", + "global step=20619264, episodic return=328.18011474609375\n", + "global step=20619264, episodic return=2039.837890625\n", + "global step=20621312, episodic return=202.031005859375\n", + "global step=20623360, episodic return=2023.787353515625\n", + "global step=20623360, episodic return=1985.728759765625\n", + "global step=20625408, episodic return=2008.640869140625\n", + "global step=20627456, episodic return=1998.660888671875\n", + "global step=20627456, episodic return=1991.011474609375\n", + "global step=20629504, episodic return=1526.4266357421875\n", + "global step=20631552, episodic return=1810.180419921875\n", + "global step=20631552, episodic return=2019.0762939453125\n", + "global step=20633600, episodic return=1237.437255859375\n", + "global step=20633600, episodic return=1062.8004150390625\n", + "global step=20635648, episodic return=336.5842590332031\n", + "global step=20635648, episodic return=1438.7823486328125\n", + "global step=20635648, episodic return=738.5704345703125\n", + "global step=20639744, episodic return=2073.22802734375\n", + "global step=20639744, episodic return=2022.4266357421875\n", + "global step=20641792, episodic return=2015.5916748046875\n", + "global step=20643840, episodic return=2032.0694580078125\n", + "global step=20645888, episodic return=1996.2379150390625\n", + "global step=20645888, episodic return=1541.8828125\n", + "global step=20649984, episodic return=2018.7767333984375\n", + "global step=20649984, episodic return=761.2948608398438\n", + "global step=20654080, episodic return=2037.3916015625\n", + "global step=20654080, episodic return=1592.0023193359375\n", + "global step=20656128, episodic return=2071.191650390625\n", + "global step=20658176, episodic return=1989.0438232421875\n", + "global step=20658176, episodic return=2082.290283203125\n", + "global step=20660224, episodic return=1183.41015625\n", + "global step=20660224, episodic return=2050.40185546875\n", + "global step=20660224, episodic return=2013.73291015625\n", + "global step=20660224, episodic return=1545.0008544921875\n", + "global step=20662272, episodic return=1752.12109375\n", + "global step=20662272, episodic return=1543.7232666015625\n", + "global step=20664320, episodic return=1725.6256103515625\n", + "global step=20666368, episodic return=2009.400634765625\n", + "global step=20670464, episodic return=2020.564208984375\n", + "global step=20674560, episodic return=2028.8414306640625\n", + "global step=20674560, episodic return=2018.7222900390625\n", + "global step=20676608, episodic return=2025.85302734375\n", + "global step=20680704, episodic return=2059.9287109375\n", + "global step=20680704, episodic return=1075.173095703125\n", + "global step=20682752, episodic return=1297.641845703125\n", + "global step=20688896, episodic return=2082.938720703125\n", + "global step=20688896, episodic return=1461.845947265625\n", + "global step=20688896, episodic return=1780.3712158203125\n", + "global step=20692992, episodic return=2047.1982421875\n", + "global step=20695040, episodic return=2000.4412841796875\n", + "global step=20695040, episodic return=2064.15087890625\n", + "global step=20695040, episodic return=1365.166015625\n", + "global step=20695040, episodic return=1486.174560546875\n", + "global step=20697088, episodic return=2081.453857421875\n", + "global step=20699136, episodic return=1004.5826416015625\n", + "global step=20699136, episodic return=973.822998046875\n", + "global step=20703232, episodic return=791.3115234375\n", + "global step=20703232, episodic return=1156.806396484375\n", + "global step=20705280, episodic return=2047.930908203125\n", + "global step=20705280, episodic return=1400.820556640625\n", + "global step=20707328, episodic return=2035.124267578125\n", + "global step=20707328, episodic return=2040.700927734375\n", + "global step=20709376, episodic return=1505.788818359375\n", + "global step=20709376, episodic return=2016.90771484375\n", + "global step=20711424, episodic return=1810.272705078125\n", + "global step=20711424, episodic return=2100.07275390625\n", + "global step=20713472, episodic return=2079.63671875\n", + "global step=20713472, episodic return=2025.396484375\n", + "global step=20719616, episodic return=2043.5167236328125\n", + "global step=20721664, episodic return=2075.650634765625\n", + "global step=20721664, episodic return=2086.35693359375\n", + "global step=20723712, episodic return=1670.2181396484375\n", + "global step=20723712, episodic return=2060.77587890625\n", + "global step=20729856, episodic return=1780.4315185546875\n", + "global step=20729856, episodic return=2023.878662109375\n", + "global step=20729856, episodic return=2051.56640625\n", + "global step=20731904, episodic return=755.171142578125\n", + "global step=20733952, episodic return=1659.9140625\n", + "global step=20733952, episodic return=1465.3939208984375\n", + "global step=20733952, episodic return=2047.667724609375\n", + "global step=20733952, episodic return=389.44781494140625\n", + "global step=20736000, episodic return=1460.9842529296875\n", + "global step=20736000, episodic return=982.6155395507812\n", + "global step=20738048, episodic return=1555.8221435546875\n", + "global step=20740096, episodic return=2047.5899658203125\n", + "global step=20740096, episodic return=2063.413330078125\n", + "global step=20742144, episodic return=2074.83251953125\n", + "global step=20742144, episodic return=2092.244140625\n", + "global step=20746240, episodic return=2059.515380859375\n", + "global step=20750336, episodic return=2072.4140625\n", + "global step=20754432, episodic return=2070.10302734375\n", + "global step=20756480, episodic return=1270.2164306640625\n", + "global step=20756480, episodic return=1283.142333984375\n", + "global step=20758528, episodic return=2029.280029296875\n", + "global step=20766720, episodic return=2004.400146484375\n", + "global step=20766720, episodic return=1977.49169921875\n", + "global step=20770816, episodic return=2060.76025390625\n", + "global step=20770816, episodic return=2070.407470703125\n", + "global step=20770816, episodic return=1807.3055419921875\n", + "global step=20770816, episodic return=2034.6177978515625\n", + "global step=20776960, episodic return=2043.5123291015625\n", + "global step=20779008, episodic return=520.3588256835938\n", + "global step=20779008, episodic return=2055.91552734375\n", + "global step=20779008, episodic return=2047.96533203125\n", + "global step=20783104, episodic return=2062.265869140625\n", + "global step=20785152, episodic return=2091.00439453125\n", + "global step=20787200, episodic return=1480.6971435546875\n", + "global step=20791296, episodic return=2061.590087890625\n", + "global step=20791296, episodic return=2069.396728515625\n", + "global step=20793344, episodic return=2096.9794921875\n", + "global step=20795392, episodic return=2063.956298828125\n", + "global step=20795392, episodic return=1104.8017578125\n", + "global step=20795392, episodic return=2060.322998046875\n", + "global step=20795392, episodic return=1239.5823974609375\n", + "global step=20797440, episodic return=1198.112548828125\n", + "global step=20803584, episodic return=1266.5621337890625\n", + "global step=20805632, episodic return=2057.67236328125\n", + "global step=20805632, episodic return=751.0689086914062\n", + "global step=20805632, episodic return=2072.964599609375\n", + "global step=20805632, episodic return=798.7891235351562\n", + "global step=20811776, episodic return=2015.83544921875\n", + "global step=20811776, episodic return=2018.368896484375\n", + "global step=20813824, episodic return=2074.320068359375\n", + "global step=20817920, episodic return=2083.90234375\n", + "global step=20822016, episodic return=2062.454833984375\n", + "global step=20824064, episodic return=1759.869140625\n", + "global step=20826112, episodic return=1958.958740234375\n", + "global step=20828160, episodic return=2075.59912109375\n", + "global step=20830208, episodic return=2089.463134765625\n", + "global step=20832256, episodic return=2073.534912109375\n", + "global step=20834304, episodic return=2071.960693359375\n", + "global step=20834304, episodic return=2063.239013671875\n", + "global step=20840448, episodic return=2083.8720703125\n", + "global step=20840448, episodic return=2088.5078125\n", + "global step=20844544, episodic return=2046.4822998046875\n", + "global step=20848640, episodic return=2073.580810546875\n", + "global step=20848640, episodic return=1242.9298095703125\n", + "global step=20848640, episodic return=2061.859130859375\n", + "global step=20848640, episodic return=2003.6737060546875\n", + "global step=20850688, episodic return=2062.192626953125\n", + "global step=20854784, episodic return=2064.7431640625\n", + "global step=20854784, episodic return=2030.96337890625\n", + "global step=20854784, episodic return=2108.89453125\n", + "global step=20856832, episodic return=1701.0469970703125\n", + "global step=20860928, episodic return=2069.16064453125\n", + "global step=20860928, episodic return=645.0096435546875\n", + "global step=20862976, episodic return=2010.7547607421875\n", + "global step=20862976, episodic return=1586.80908203125\n", + "global step=20862976, episodic return=2067.124267578125\n", + "global step=20862976, episodic return=2076.579345703125\n", + "global step=20862976, episodic return=2073.249267578125\n", + "global step=20865024, episodic return=584.8982543945312\n", + "global step=20865024, episodic return=2029.6236572265625\n", + "global step=20869120, episodic return=2078.483154296875\n", + "global step=20871168, episodic return=2106.528564453125\n", + "global step=20871168, episodic return=2098.391357421875\n", + "global step=20873216, episodic return=2106.831298828125\n", + "global step=20873216, episodic return=1907.791259765625\n", + "global step=20877312, episodic return=1720.59033203125\n", + "global step=20879360, episodic return=2046.478271484375\n", + "global step=20881408, episodic return=2068.763916015625\n", + "global step=20883456, episodic return=2028.5078125\n", + "global step=20883456, episodic return=1150.01806640625\n", + "global step=20883456, episodic return=2019.4561767578125\n", + "global step=20883456, episodic return=2056.507080078125\n", + "global step=20885504, episodic return=1887.266357421875\n", + "global step=20885504, episodic return=2082.90966796875\n", + "global step=20889600, episodic return=2079.839111328125\n", + "global step=20889600, episodic return=2025.820556640625\n", + "global step=20891648, episodic return=1443.0458984375\n", + "global step=20893696, episodic return=542.1485595703125\n", + "global step=20895744, episodic return=2061.252197265625\n", + "global step=20895744, episodic return=1134.200439453125\n", + "global step=20895744, episodic return=1415.6873779296875\n", + "global step=20897792, episodic return=2099.591064453125\n", + "global step=20897792, episodic return=2022.6834716796875\n", + "global step=20897792, episodic return=2026.89990234375\n", + "global step=20905984, episodic return=2090.047607421875\n", + "global step=20908032, episodic return=2071.0546875\n", + "global step=20912128, episodic return=2037.0689697265625\n", + "global step=20912128, episodic return=578.275146484375\n", + "global step=20916224, episodic return=2049.14306640625\n", + "global step=20916224, episodic return=1445.1593017578125\n", + "global step=20918272, episodic return=2104.467041015625\n", + "global step=20918272, episodic return=2042.7386474609375\n", + "global step=20918272, episodic return=2060.111083984375\n", + "global step=20920320, episodic return=2103.9990234375\n", + "global step=20922368, episodic return=2087.7001953125\n", + "global step=20922368, episodic return=558.4601440429688\n", + "global step=20924416, episodic return=2028.68505859375\n", + "global step=20924416, episodic return=2058.482666015625\n", + "global step=20924416, episodic return=2046.5830078125\n", + "global step=20924416, episodic return=2082.181396484375\n", + "global step=20926464, episodic return=2059.20947265625\n", + "global step=20926464, episodic return=2075.374267578125\n", + "global step=20928512, episodic return=2075.474365234375\n", + "global step=20928512, episodic return=968.8784790039062\n", + "global step=20930560, episodic return=2044.73046875\n", + "global step=20930560, episodic return=2023.6385498046875\n", + "global step=20930560, episodic return=2095.878173828125\n", + "global step=20930560, episodic return=2065.47412109375\n", + "global step=20932608, episodic return=2086.83642578125\n", + "global step=20932608, episodic return=2083.168701171875\n", + "global step=20934656, episodic return=1703.0516357421875\n", + "global step=20934656, episodic return=2045.3192138671875\n", + "global step=20936704, episodic return=2028.2059326171875\n", + "global step=20938752, episodic return=2061.163330078125\n", + "global step=20940800, episodic return=2094.03564453125\n", + "global step=20940800, episodic return=2070.699462890625\n", + "global step=20940800, episodic return=2089.697998046875\n", + "global step=20942848, episodic return=2089.271728515625\n", + "global step=20942848, episodic return=2090.729736328125\n", + "global step=20942848, episodic return=531.91650390625\n", + "global step=20942848, episodic return=2072.31298828125\n", + "global step=20944896, episodic return=2093.363037109375\n", + "global step=20944896, episodic return=2103.060302734375\n", + "global step=20946944, episodic return=2063.701416015625\n", + "global step=20946944, episodic return=2086.204833984375\n", + "global step=20946944, episodic return=711.9478759765625\n", + "global step=20948992, episodic return=2083.55029296875\n", + "global step=20951040, episodic return=2041.73583984375\n", + "global step=20953088, episodic return=2063.0283203125\n", + "global step=20953088, episodic return=1507.156982421875\n", + "global step=20953088, episodic return=2095.138427734375\n", + "global step=20957184, episodic return=2097.552001953125\n", + "global step=20957184, episodic return=2042.6593017578125\n", + "global step=20959232, episodic return=2062.09521484375\n", + "global step=20965376, episodic return=1538.728271484375\n", + "global step=20965376, episodic return=2078.224609375\n", + "global step=20965376, episodic return=2082.736083984375\n", + "global step=20965376, episodic return=2104.167724609375\n", + "global step=20967424, episodic return=2052.4248046875\n", + "global step=20967424, episodic return=2089.05859375\n", + "global step=20971520, episodic return=2049.41552734375\n", + "global step=20971520, episodic return=1550.95703125\n", + "global step=20973568, episodic return=2069.198486328125\n", + "global step=20973568, episodic return=2084.851806640625\n", + "global step=20975616, episodic return=2044.4857177734375\n", + "global step=20977664, episodic return=2115.030029296875\n", + "global step=20977664, episodic return=2075.275634765625\n", + "global step=20981760, episodic return=2042.6217041015625\n", + "global step=20983808, episodic return=1841.7869873046875\n", + "global step=20985856, episodic return=2053.052734375\n", + "global step=20987904, episodic return=2059.904052734375\n", + "global step=20989952, episodic return=2062.45703125\n", + "global step=20989952, episodic return=2113.246826171875\n", + "global step=20989952, episodic return=2104.86328125\n", + "global step=20989952, episodic return=2072.081298828125\n", + "global step=20992000, episodic return=2070.018310546875\n", + "global step=20994048, episodic return=2055.165283203125\n", + "global step=20994048, episodic return=707.2918090820312\n", + "global step=20996096, episodic return=2064.784912109375\n", + "global step=20996096, episodic return=2114.740478515625\n", + "global step=20996096, episodic return=2055.956298828125\n", + "global step=21002240, episodic return=2096.0888671875\n", + "global step=21004288, episodic return=2058.158447265625\n", + "global step=21006336, episodic return=2034.592529296875\n", + "global step=21006336, episodic return=2062.531494140625\n", + "global step=21010432, episodic return=2105.15380859375\n", + "global step=21012480, episodic return=1178.3642578125\n", + "global step=21012480, episodic return=2095.895263671875\n", + "global step=21012480, episodic return=2053.04345703125\n", + "global step=21012480, episodic return=449.3847961425781\n", + "global step=21016576, episodic return=979.7990112304688\n", + "global step=21018624, episodic return=2057.992431640625\n", + "global step=21018624, episodic return=508.2926025390625\n", + "global step=21024768, episodic return=2078.74169921875\n", + "global step=21028864, episodic return=2066.998046875\n", + "global step=21028864, episodic return=1520.1209716796875\n", + "global step=21030912, episodic return=2018.0274658203125\n", + "global step=21032960, episodic return=2037.6168212890625\n", + "global step=21035008, episodic return=2088.689453125\n", + "global step=21035008, episodic return=2060.041015625\n", + "global step=21039104, episodic return=1658.4573974609375\n", + "global step=21039104, episodic return=1566.34228515625\n", + "global step=21039104, episodic return=2084.6455078125\n", + "global step=21039104, episodic return=2102.471923828125\n", + "global step=21041152, episodic return=2053.8701171875\n", + "global step=21043200, episodic return=2109.028076171875\n", + "global step=21045248, episodic return=2084.149169921875\n", + "global step=21047296, episodic return=2027.380859375\n", + "global step=21047296, episodic return=2042.44091796875\n", + "global step=21049344, episodic return=2060.299072265625\n", + "global step=21049344, episodic return=2062.69140625\n", + "global step=21051392, episodic return=2071.8291015625\n", + "global step=21053440, episodic return=2067.63037109375\n", + "global step=21053440, episodic return=1053.276123046875\n", + "global step=21055488, episodic return=2121.6826171875\n", + "global step=21059584, episodic return=2102.277099609375\n", + "global step=21059584, episodic return=2069.12841796875\n", + "global step=21061632, episodic return=2083.012451171875\n", + "global step=21065728, episodic return=2066.80029296875\n", + "global step=21065728, episodic return=2082.48486328125\n", + "global step=21067776, episodic return=18.373790740966797\n", + "global step=21073920, episodic return=2059.06689453125\n", + "global step=21075968, episodic return=2044.4368896484375\n", + "global step=21075968, episodic return=2084.6005859375\n", + "global step=21080064, episodic return=2039.1627197265625\n", + "global step=21084160, episodic return=2117.6884765625\n", + "global step=21084160, episodic return=1382.0928955078125\n", + "global step=21084160, episodic return=2061.05419921875\n", + "global step=21084160, episodic return=2025.25634765625\n", + "global step=21086208, episodic return=2082.921875\n", + "global step=21086208, episodic return=563.9246826171875\n", + "global step=21090304, episodic return=2099.759765625\n", + "global step=21092352, episodic return=1806.0225830078125\n", + "global step=21092352, episodic return=2096.37548828125\n", + "global step=21096448, episodic return=2089.348388671875\n", + "global step=21102592, episodic return=2092.64306640625\n", + "global step=21104640, episodic return=2105.05615234375\n", + "global step=21104640, episodic return=2062.890869140625\n", + "global step=21104640, episodic return=1877.8848876953125\n", + "global step=21106688, episodic return=1856.3331298828125\n", + "global step=21106688, episodic return=2059.82373046875\n", + "global step=21108736, episodic return=2107.20263671875\n", + "global step=21108736, episodic return=2084.794189453125\n", + "global step=21110784, episodic return=2036.37841796875\n", + "global step=21110784, episodic return=2077.9013671875\n", + "global step=21112832, episodic return=2091.1826171875\n", + "global step=21112832, episodic return=2103.35009765625\n", + "global step=21114880, episodic return=2088.516845703125\n", + "global step=21114880, episodic return=2062.05859375\n", + "global step=21116928, episodic return=2086.783935546875\n", + "global step=21121024, episodic return=2069.710693359375\n", + "global step=21121024, episodic return=1751.0047607421875\n", + "global step=21123072, episodic return=2064.965087890625\n", + "global step=21123072, episodic return=2044.00732421875\n", + "global step=21129216, episodic return=47.394927978515625\n", + "global step=21129216, episodic return=2089.990966796875\n", + "global step=21129216, episodic return=2089.856201171875\n", + "global step=21129216, episodic return=2057.13427734375\n", + "global step=21129216, episodic return=2077.989501953125\n", + "global step=21129216, episodic return=2154.149658203125\n", + "global step=21131264, episodic return=2085.984130859375\n", + "global step=21131264, episodic return=1271.1553955078125\n", + "global step=21133312, episodic return=2068.99072265625\n", + "global step=21133312, episodic return=2072.95361328125\n", + "global step=21137408, episodic return=2052.071044921875\n", + "global step=21139456, episodic return=2097.091552734375\n", + "global step=21143552, episodic return=589.2367553710938\n", + "global step=21145600, episodic return=2062.3681640625\n", + "global step=21149696, episodic return=2035.384033203125\n", + "global step=21151744, episodic return=1129.5753173828125\n", + "global step=21153792, episodic return=2075.980712890625\n", + "global step=21155840, episodic return=2046.8338623046875\n", + "global step=21157888, episodic return=2075.453857421875\n", + "global step=21159936, episodic return=2093.629150390625\n", + "global step=21164032, episodic return=2059.675048828125\n", + "global step=21164032, episodic return=1564.749755859375\n", + "global step=21166080, episodic return=1987.5068359375\n", + "global step=21170176, episodic return=2069.596923828125\n", + "global step=21172224, episodic return=2078.620849609375\n", + "global step=21172224, episodic return=2112.361572265625\n", + "global step=21174272, episodic return=2051.468017578125\n", + "global step=21176320, episodic return=2097.378173828125\n", + "global step=21176320, episodic return=2103.087646484375\n", + "global step=21176320, episodic return=2091.3984375\n", + "global step=21176320, episodic return=2079.150146484375\n", + "global step=21178368, episodic return=2052.22216796875\n", + "global step=21178368, episodic return=2100.944580078125\n", + "global step=21180416, episodic return=2099.42333984375\n", + "global step=21180416, episodic return=2103.34423828125\n", + "global step=21188608, episodic return=2080.112548828125\n", + "global step=21188608, episodic return=2069.92626953125\n", + "global step=21190656, episodic return=2097.647705078125\n", + "global step=21190656, episodic return=2068.817626953125\n", + "global step=21192704, episodic return=2089.980224609375\n", + "global step=21196800, episodic return=2098.44970703125\n", + "global step=21198848, episodic return=2062.40869140625\n", + "global step=21198848, episodic return=2111.58837890625\n", + "global step=21200896, episodic return=2092.59619140625\n", + "global step=21202944, episodic return=2111.534912109375\n", + "global step=21204992, episodic return=2077.28271484375\n", + "global step=21204992, episodic return=1914.9947509765625\n", + "global step=21209088, episodic return=2074.373779296875\n", + "global step=21211136, episodic return=2042.830810546875\n", + "global step=21213184, episodic return=2097.022216796875\n", + "global step=21215232, episodic return=1964.0679931640625\n", + "global step=21215232, episodic return=2074.0654296875\n", + "global step=21217280, episodic return=2068.966796875\n", + "global step=21219328, episodic return=2116.817626953125\n", + "global step=21221376, episodic return=2134.649658203125\n", + "global step=21221376, episodic return=2100.75439453125\n", + "global step=21225472, episodic return=2103.78125\n", + "global step=21229568, episodic return=2115.3515625\n", + "global step=21231616, episodic return=2091.924560546875\n", + "global step=21231616, episodic return=256.2243347167969\n", + "global step=21231616, episodic return=2107.814453125\n", + "global step=21231616, episodic return=2096.465576171875\n", + "global step=21233664, episodic return=2084.8271484375\n", + "global step=21235712, episodic return=2095.042724609375\n", + "global step=21235712, episodic return=2096.031005859375\n", + "global step=21237760, episodic return=2100.314453125\n", + "global step=21237760, episodic return=2093.47802734375\n", + "global step=21237760, episodic return=820.0060424804688\n", + "global step=21241856, episodic return=2096.069580078125\n", + "global step=21243904, episodic return=2099.2158203125\n", + "global step=21245952, episodic return=2096.173095703125\n", + "global step=21245952, episodic return=1350.8953857421875\n", + "global step=21248000, episodic return=2088.84130859375\n", + "global step=21250048, episodic return=2092.90576171875\n", + "global step=21250048, episodic return=2082.09326171875\n", + "global step=21250048, episodic return=2085.37890625\n", + "global step=21252096, episodic return=2078.2685546875\n", + "global step=21252096, episodic return=2116.91796875\n", + "global step=21254144, episodic return=2098.33984375\n", + "global step=21254144, episodic return=2099.140869140625\n", + "global step=21256192, episodic return=2089.526611328125\n", + "global step=21258240, episodic return=2087.608154296875\n", + "global step=21258240, episodic return=2104.447998046875\n", + "global step=21258240, episodic return=617.7940673828125\n", + "global step=21260288, episodic return=2085.216796875\n", + "global step=21260288, episodic return=2115.8427734375\n", + "global step=21260288, episodic return=2099.609130859375\n", + "global step=21268480, episodic return=2101.0810546875\n", + "global step=21276672, episodic return=2084.356201171875\n", + "global step=21278720, episodic return=2084.712646484375\n", + "global step=21280768, episodic return=2071.193603515625\n", + "global step=21286912, episodic return=2014.258056640625\n", + "global step=21286912, episodic return=2126.763427734375\n", + "global step=21288960, episodic return=2058.720947265625\n", + "global step=21291008, episodic return=849.5093383789062\n", + "global step=21291008, episodic return=2097.657470703125\n", + "global step=21291008, episodic return=2104.10107421875\n", + "global step=21293056, episodic return=2103.45263671875\n", + "global step=21293056, episodic return=2090.822998046875\n", + "global step=21295104, episodic return=2006.625244140625\n", + "global step=21295104, episodic return=2087.971923828125\n", + "global step=21297152, episodic return=2121.954833984375\n", + "global step=21297152, episodic return=2107.1787109375\n", + "global step=21297152, episodic return=2049.954833984375\n", + "global step=21299200, episodic return=2081.603515625\n", + "global step=21301248, episodic return=678.618408203125\n", + "global step=21301248, episodic return=2086.330322265625\n", + "global step=21301248, episodic return=2125.90771484375\n", + "global step=21303296, episodic return=2086.494140625\n", + "global step=21303296, episodic return=2096.863037109375\n", + "global step=21305344, episodic return=2089.387451171875\n", + "global step=21309440, episodic return=2120.058837890625\n", + "global step=21313536, episodic return=2091.533447265625\n", + "global step=21313536, episodic return=2084.272705078125\n", + "global step=21315584, episodic return=2071.03662109375\n", + "global step=21315584, episodic return=314.1126403808594\n", + "global step=21315584, episodic return=2049.166015625\n", + "global step=21315584, episodic return=2067.01025390625\n", + "global step=21317632, episodic return=2108.396728515625\n", + "global step=21319680, episodic return=2107.053466796875\n", + "global step=21319680, episodic return=2083.833251953125\n", + "global step=21319680, episodic return=2095.571044921875\n", + "global step=21319680, episodic return=2096.752197265625\n", + "global step=21319680, episodic return=2087.40576171875\n", + "global step=21321728, episodic return=2097.384521484375\n", + "global step=21323776, episodic return=1872.2474365234375\n", + "global step=21323776, episodic return=723.6018676757812\n", + "global step=21323776, episodic return=2103.858642578125\n", + "global step=21325824, episodic return=2108.10986328125\n", + "global step=21325824, episodic return=2120.095703125\n", + "global step=21329920, episodic return=2131.90380859375\n", + "global step=21329920, episodic return=2093.346923828125\n", + "global step=21331968, episodic return=2107.383056640625\n", + "global step=21331968, episodic return=2032.599609375\n", + "global step=21334016, episodic return=2103.252197265625\n", + "global step=21334016, episodic return=2109.520751953125\n", + "global step=21336064, episodic return=629.7517700195312\n", + "global step=21336064, episodic return=2089.5576171875\n", + "global step=21338112, episodic return=2099.962158203125\n", + "global step=21340160, episodic return=2096.807861328125\n", + "global step=21340160, episodic return=2110.145751953125\n", + "global step=21342208, episodic return=2093.2177734375\n", + "global step=21342208, episodic return=2099.66796875\n", + "global step=21344256, episodic return=2044.423583984375\n", + "global step=21344256, episodic return=2105.904541015625\n", + "global step=21346304, episodic return=2126.987060546875\n", + "global step=21346304, episodic return=2105.94287109375\n", + "global step=21348352, episodic return=2088.210693359375\n", + "global step=21348352, episodic return=2067.725341796875\n", + "global step=21348352, episodic return=1978.473876953125\n", + "global step=21348352, episodic return=2020.1488037109375\n", + "global step=21348352, episodic return=2090.156494140625\n", + "global step=21348352, episodic return=2082.101806640625\n", + "global step=21348352, episodic return=2063.336181640625\n", + "global step=21348352, episodic return=2119.13525390625\n", + "global step=21348352, episodic return=2112.019775390625\n", + "global step=21348352, episodic return=2092.846435546875\n", + "global step=21350400, episodic return=2123.375732421875\n", + "global step=21352448, episodic return=2084.857421875\n", + "global step=21352448, episodic return=2115.556396484375\n", + "global step=21354496, episodic return=2100.074951171875\n", + "global step=21354496, episodic return=2091.467041015625\n", + "global step=21356544, episodic return=2117.157958984375\n", + "global step=21356544, episodic return=2082.782958984375\n", + "global step=21358592, episodic return=2076.88525390625\n", + "global step=21358592, episodic return=711.7833862304688\n", + "global step=21360640, episodic return=2102.107177734375\n", + "global step=21360640, episodic return=2067.3115234375\n", + "global step=21362688, episodic return=2111.709228515625\n", + "global step=21362688, episodic return=2080.245849609375\n", + "global step=21364736, episodic return=2129.37646484375\n", + "global step=21366784, episodic return=2103.9140625\n", + "global step=21368832, episodic return=2110.056640625\n", + "global step=21368832, episodic return=2110.739990234375\n", + "global step=21370880, episodic return=2122.097900390625\n", + "global step=21370880, episodic return=1338.709228515625\n", + "global step=21372928, episodic return=2089.42236328125\n", + "global step=21374976, episodic return=2133.0126953125\n", + "global step=21374976, episodic return=2091.58544921875\n", + "global step=21374976, episodic return=2107.024658203125\n", + "global step=21379072, episodic return=2114.56982421875\n", + "global step=21379072, episodic return=2077.929931640625\n", + "global step=21381120, episodic return=2038.1907958984375\n", + "global step=21381120, episodic return=2080.186279296875\n", + "global step=21383168, episodic return=2116.28955078125\n", + "global step=21383168, episodic return=2093.236572265625\n", + "global step=21391360, episodic return=2083.64892578125\n", + "global step=21391360, episodic return=2104.507568359375\n", + "global step=21391360, episodic return=2069.087890625\n", + "global step=21391360, episodic return=2106.681396484375\n", + "global step=21393408, episodic return=2115.01171875\n", + "global step=21393408, episodic return=2097.2998046875\n", + "global step=21395456, episodic return=2059.51708984375\n", + "global step=21399552, episodic return=2075.115966796875\n", + "global step=21399552, episodic return=2116.005615234375\n", + "global step=21401600, episodic return=2059.014404296875\n", + "global step=21405696, episodic return=2130.6259765625\n", + "global step=21407744, episodic return=2102.87841796875\n", + "global step=21407744, episodic return=2079.84130859375\n", + "global step=21407744, episodic return=2104.375244140625\n", + "global step=21409792, episodic return=2118.169189453125\n", + "global step=21411840, episodic return=2100.509521484375\n", + "global step=21413888, episodic return=2075.12939453125\n", + "global step=21413888, episodic return=2121.9404296875\n", + "global step=21415936, episodic return=2110.96337890625\n", + "global step=21422080, episodic return=2112.789306640625\n", + "global step=21422080, episodic return=2141.192626953125\n", + "global step=21424128, episodic return=268.5829772949219\n", + "global step=21424128, episodic return=2072.5712890625\n", + "global step=21432320, episodic return=2089.301025390625\n", + "global step=21432320, episodic return=2107.9248046875\n", + "global step=21436416, episodic return=2072.821044921875\n", + "global step=21436416, episodic return=2099.986083984375\n", + "global step=21436416, episodic return=2128.30224609375\n", + "global step=21436416, episodic return=2092.533935546875\n", + "global step=21438464, episodic return=677.9097290039062\n", + "global step=21438464, episodic return=2096.114990234375\n", + "global step=21438464, episodic return=2115.361328125\n", + "global step=21440512, episodic return=2105.4365234375\n", + "global step=21442560, episodic return=171.4541015625\n", + "global step=21444608, episodic return=1464.0418701171875\n", + "global step=21444608, episodic return=2104.4501953125\n", + "global step=21446656, episodic return=2066.782470703125\n", + "global step=21446656, episodic return=2093.515869140625\n", + "global step=21446656, episodic return=2110.0947265625\n", + "global step=21448704, episodic return=2132.084228515625\n", + "global step=21450752, episodic return=2088.68701171875\n", + "global step=21450752, episodic return=2126.519775390625\n", + "global step=21450752, episodic return=2062.01123046875\n", + "global step=21450752, episodic return=2095.46728515625\n", + "global step=21452800, episodic return=2097.93017578125\n", + "global step=21454848, episodic return=2099.71923828125\n", + "global step=21456896, episodic return=2101.99365234375\n", + "global step=21456896, episodic return=2071.623291015625\n", + "global step=21456896, episodic return=2125.640380859375\n", + "global step=21456896, episodic return=2128.815185546875\n", + "global step=21463040, episodic return=1736.785400390625\n", + "global step=21465088, episodic return=2120.00537109375\n", + "global step=21467136, episodic return=2133.38427734375\n", + "global step=21467136, episodic return=2119.482421875\n", + "global step=21467136, episodic return=2067.60107421875\n", + "global step=21467136, episodic return=2131.637939453125\n", + "global step=21469184, episodic return=257.92547607421875\n", + "global step=21469184, episodic return=2127.685546875\n", + "global step=21469184, episodic return=2113.610595703125\n", + "global step=21469184, episodic return=2124.08349609375\n", + "global step=21469184, episodic return=2082.89208984375\n", + "global step=21469184, episodic return=2096.59619140625\n", + "global step=21471232, episodic return=2114.939697265625\n", + "global step=21471232, episodic return=2113.2412109375\n", + "global step=21471232, episodic return=2110.930908203125\n", + "global step=21471232, episodic return=2117.5966796875\n", + "global step=21473280, episodic return=1621.5267333984375\n", + "global step=21473280, episodic return=2125.60009765625\n", + "global step=21475328, episodic return=2094.788330078125\n", + "global step=21475328, episodic return=2111.743408203125\n", + "global step=21477376, episodic return=2085.954345703125\n", + "global step=21477376, episodic return=2117.374755859375\n", + "global step=21477376, episodic return=2129.011962890625\n", + "global step=21479424, episodic return=2099.79052734375\n", + "global step=21481472, episodic return=2117.142822265625\n", + "global step=21481472, episodic return=2118.5771484375\n", + "global step=21481472, episodic return=2098.06298828125\n", + "global step=21483520, episodic return=326.6226501464844\n", + "global step=21483520, episodic return=153.3855743408203\n", + "global step=21483520, episodic return=2093.882568359375\n", + "global step=21483520, episodic return=2107.610595703125\n", + "global step=21485568, episodic return=2117.013427734375\n", + "global step=21489664, episodic return=2098.67529296875\n", + "global step=21489664, episodic return=2117.656494140625\n", + "global step=21489664, episodic return=1773.60595703125\n", + "global step=21493760, episodic return=2093.214111328125\n", + "global step=21493760, episodic return=2123.14892578125\n", + "global step=21493760, episodic return=2131.28369140625\n", + "global step=21495808, episodic return=2095.129150390625\n", + "global step=21495808, episodic return=2069.308837890625\n", + "global step=21495808, episodic return=157.01539611816406\n", + "global step=21497856, episodic return=2085.123779296875\n", + "global step=21497856, episodic return=25.201086044311523\n", + "global step=21497856, episodic return=2118.196044921875\n", + "global step=21497856, episodic return=2082.2890625\n", + "global step=21499904, episodic return=2098.063232421875\n", + "global step=21499904, episodic return=1259.834716796875\n", + "global step=21501952, episodic return=2127.91748046875\n", + "global step=21501952, episodic return=631.2852172851562\n", + "global step=21504000, episodic return=2111.56494140625\n", + "global step=21504000, episodic return=2083.08642578125\n", + "global step=21504000, episodic return=2099.19287109375\n", + "global step=21506048, episodic return=2145.38720703125\n", + "global step=21506048, episodic return=2100.973388671875\n", + "global step=21506048, episodic return=2108.783935546875\n", + "global step=21506048, episodic return=2122.694091796875\n", + "global step=21506048, episodic return=2111.705322265625\n", + "global step=21510144, episodic return=2109.455078125\n", + "global step=21512192, episodic return=2069.951416015625\n", + "global step=21512192, episodic return=2120.28662109375\n", + "global step=21516288, episodic return=1575.64697265625\n", + "global step=21516288, episodic return=2083.3935546875\n", + "global step=21518336, episodic return=2120.259033203125\n", + "global step=21520384, episodic return=2096.77392578125\n", + "global step=21520384, episodic return=2119.711181640625\n", + "global step=21520384, episodic return=19.443866729736328\n", + "global step=21522432, episodic return=2128.39697265625\n", + "global step=21522432, episodic return=2083.36572265625\n", + "global step=21524480, episodic return=2103.967529296875\n", + "global step=21524480, episodic return=2088.269287109375\n", + "global step=21526528, episodic return=2108.15869140625\n", + "global step=21528576, episodic return=2095.9111328125\n", + "global step=21528576, episodic return=2104.568603515625\n", + "global step=21534720, episodic return=2100.65576171875\n", + "global step=21536768, episodic return=2101.53173828125\n", + "global step=21536768, episodic return=2132.2958984375\n", + "global step=21536768, episodic return=2105.19140625\n", + "global step=21538816, episodic return=2106.948974609375\n", + "global step=21540864, episodic return=2127.862548828125\n", + "global step=21540864, episodic return=2096.90625\n", + "global step=21542912, episodic return=2088.679931640625\n", + "global step=21542912, episodic return=2137.28173828125\n", + "global step=21542912, episodic return=2154.1474609375\n", + "global step=21544960, episodic return=2090.23095703125\n", + "global step=21544960, episodic return=2106.031494140625\n", + "global step=21547008, episodic return=2090.177001953125\n", + "global step=21547008, episodic return=2098.95751953125\n", + "global step=21549056, episodic return=2118.424560546875\n", + "global step=21549056, episodic return=2102.638427734375\n", + "global step=21549056, episodic return=842.5956420898438\n", + "global step=21549056, episodic return=2127.46142578125\n", + "global step=21549056, episodic return=2081.975830078125\n", + "global step=21551104, episodic return=2051.074951171875\n", + "global step=21551104, episodic return=2077.6240234375\n", + "global step=21551104, episodic return=2111.614501953125\n", + "global step=21551104, episodic return=2134.115966796875\n", + "global step=21553152, episodic return=2090.68505859375\n", + "global step=21553152, episodic return=2124.610107421875\n", + "global step=21555200, episodic return=2085.771240234375\n", + "global step=21555200, episodic return=2085.901123046875\n", + "global step=21555200, episodic return=849.7288208007812\n", + "global step=21557248, episodic return=2101.38525390625\n", + "global step=21559296, episodic return=2116.1494140625\n", + "global step=21559296, episodic return=2131.792724609375\n", + "global step=21559296, episodic return=2113.4091796875\n", + "global step=21559296, episodic return=2107.01953125\n", + "global step=21559296, episodic return=2114.601806640625\n", + "global step=21561344, episodic return=2113.431640625\n", + "global step=21561344, episodic return=2110.868896484375\n", + "global step=21561344, episodic return=2121.112548828125\n", + "global step=21561344, episodic return=2121.06005859375\n", + "global step=21563392, episodic return=2120.657958984375\n", + "global step=21565440, episodic return=2130.47509765625\n", + "global step=21565440, episodic return=2101.56640625\n", + "global step=21565440, episodic return=2115.817138671875\n", + "global step=21567488, episodic return=2110.880615234375\n", + "global step=21569536, episodic return=2115.962890625\n", + "global step=21569536, episodic return=2091.778076171875\n", + "global step=21569536, episodic return=2073.563720703125\n", + "global step=21569536, episodic return=2113.260009765625\n", + "global step=21569536, episodic return=2057.364013671875\n", + "global step=21571584, episodic return=2132.78173828125\n", + "global step=21571584, episodic return=2115.65966796875\n", + "global step=21571584, episodic return=2105.521728515625\n", + "global step=21571584, episodic return=1405.901611328125\n", + "global step=21573632, episodic return=2080.8447265625\n", + "global step=21573632, episodic return=2140.142578125\n", + "global step=21573632, episodic return=2128.123291015625\n", + "global step=21575680, episodic return=2096.638427734375\n", + "global step=21575680, episodic return=694.0677490234375\n", + "global step=21575680, episodic return=2100.507568359375\n", + "global step=21577728, episodic return=2155.732421875\n", + "global step=21577728, episodic return=2082.75390625\n", + "global step=21581824, episodic return=2110.390380859375\n", + "global step=21581824, episodic return=2114.27001953125\n", + "global step=21583872, episodic return=2108.23974609375\n", + "global step=21585920, episodic return=2118.05419921875\n", + "global step=21585920, episodic return=2110.468505859375\n", + "global step=21585920, episodic return=2088.044921875\n", + "global step=21585920, episodic return=2106.829345703125\n", + "global step=21587968, episodic return=2099.628173828125\n", + "global step=21587968, episodic return=2111.274658203125\n", + "global step=21587968, episodic return=2108.438232421875\n", + "global step=21590016, episodic return=2113.03857421875\n", + "global step=21590016, episodic return=1962.9783935546875\n", + "global step=21592064, episodic return=1433.2900390625\n", + "global step=21592064, episodic return=2109.043212890625\n", + "global step=21592064, episodic return=2140.6611328125\n", + "global step=21594112, episodic return=2107.628173828125\n", + "global step=21594112, episodic return=2107.065185546875\n", + "global step=21596160, episodic return=2112.572509765625\n", + "global step=21598208, episodic return=2126.233642578125\n", + "global step=21598208, episodic return=2128.93798828125\n", + "global step=21600256, episodic return=2092.4287109375\n", + "global step=21600256, episodic return=2112.973388671875\n", + "global step=21604352, episodic return=2091.51611328125\n", + "global step=21604352, episodic return=2111.260009765625\n", + "global step=21606400, episodic return=2098.28466796875\n", + "global step=21606400, episodic return=2122.585205078125\n", + "global step=21606400, episodic return=523.8218383789062\n", + "global step=21606400, episodic return=2109.87060546875\n", + "global step=21608448, episodic return=1727.6597900390625\n", + "global step=21610496, episodic return=2125.38232421875\n", + "global step=21610496, episodic return=2081.75634765625\n", + "global step=21610496, episodic return=2121.70654296875\n", + "global step=21612544, episodic return=2118.453125\n", + "global step=21612544, episodic return=2137.55859375\n", + "global step=21614592, episodic return=2114.19091796875\n", + "global step=21614592, episodic return=2110.187744140625\n", + "global step=21614592, episodic return=1340.0687255859375\n", + "global step=21616640, episodic return=2103.393310546875\n", + "global step=21616640, episodic return=2132.873291015625\n", + "global step=21616640, episodic return=2108.8525390625\n", + "global step=21618688, episodic return=2106.098876953125\n", + "global step=21618688, episodic return=2071.4052734375\n", + "global step=21620736, episodic return=2104.198974609375\n", + "global step=21620736, episodic return=2126.19677734375\n", + "global step=21622784, episodic return=2093.027099609375\n", + "global step=21622784, episodic return=2117.28515625\n", + "global step=21622784, episodic return=2110.66552734375\n", + "global step=21624832, episodic return=2113.619873046875\n", + "global step=21624832, episodic return=2063.877197265625\n", + "global step=21626880, episodic return=2107.2744140625\n", + "global step=21626880, episodic return=2090.087158203125\n", + "global step=21626880, episodic return=2098.550048828125\n", + "global step=21626880, episodic return=2115.021240234375\n", + "global step=21626880, episodic return=2119.548095703125\n", + "global step=21626880, episodic return=2091.599853515625\n", + "global step=21626880, episodic return=1812.284912109375\n", + "global step=21628928, episodic return=1183.612548828125\n", + "global step=21628928, episodic return=2119.665283203125\n", + "global step=21628928, episodic return=2103.501953125\n", + "global step=21630976, episodic return=2130.959228515625\n", + "global step=21630976, episodic return=2068.99267578125\n", + "global step=21633024, episodic return=2115.88232421875\n", + "global step=21633024, episodic return=2104.583251953125\n", + "global step=21633024, episodic return=2100.647705078125\n", + "global step=21635072, episodic return=2109.056396484375\n", + "global step=21635072, episodic return=2058.947509765625\n", + "global step=21635072, episodic return=2111.289794921875\n", + "global step=21637120, episodic return=2132.31982421875\n", + "global step=21637120, episodic return=2104.59033203125\n", + "global step=21637120, episodic return=2133.427978515625\n", + "global step=21637120, episodic return=1927.787841796875\n", + "global step=21637120, episodic return=2130.425048828125\n", + "global step=21637120, episodic return=2088.16259765625\n", + "global step=21637120, episodic return=2112.32275390625\n", + "global step=21637120, episodic return=2106.37841796875\n", + "global step=21637120, episodic return=2075.108642578125\n", + "global step=21637120, episodic return=2097.69140625\n", + "global step=21639168, episodic return=2099.316650390625\n", + "global step=21639168, episodic return=2096.801025390625\n", + "global step=21641216, episodic return=2108.939453125\n", + "global step=21641216, episodic return=2094.71875\n", + "global step=21643264, episodic return=2092.73876953125\n", + "global step=21643264, episodic return=2070.78955078125\n", + "global step=21643264, episodic return=2090.697021484375\n", + "global step=21645312, episodic return=2104.539306640625\n", + "global step=21645312, episodic return=2102.287841796875\n", + "global step=21645312, episodic return=2099.20849609375\n", + "global step=21645312, episodic return=2122.80224609375\n", + "global step=21645312, episodic return=2101.104248046875\n", + "global step=21649408, episodic return=1703.3052978515625\n", + "global step=21649408, episodic return=2095.108154296875\n", + "global step=21651456, episodic return=594.3825073242188\n", + "global step=21651456, episodic return=2095.021728515625\n", + "global step=21651456, episodic return=2092.306884765625\n", + "global step=21653504, episodic return=2131.272705078125\n", + "global step=21653504, episodic return=2107.81982421875\n", + "global step=21655552, episodic return=2067.87939453125\n", + "global step=21655552, episodic return=2106.491455078125\n", + "global step=21657600, episodic return=2094.800537109375\n", + "global step=21659648, episodic return=2091.432373046875\n", + "global step=21659648, episodic return=2119.582763671875\n", + "global step=21661696, episodic return=2093.24853515625\n", + "global step=21661696, episodic return=2104.992919921875\n", + "global step=21661696, episodic return=2122.055908203125\n", + "global step=21663744, episodic return=2086.582763671875\n", + "global step=21663744, episodic return=2134.14990234375\n", + "global step=21665792, episodic return=2113.274658203125\n", + "global step=21665792, episodic return=2092.342529296875\n", + "global step=21667840, episodic return=2120.951904296875\n", + "global step=21667840, episodic return=2110.815673828125\n", + "global step=21669888, episodic return=1572.5406494140625\n", + "global step=21669888, episodic return=2107.710693359375\n", + "global step=21671936, episodic return=2059.711669921875\n", + "global step=21671936, episodic return=2106.369873046875\n", + "global step=21671936, episodic return=2136.21240234375\n", + "global step=21673984, episodic return=2116.0478515625\n", + "global step=21673984, episodic return=566.00537109375\n", + "global step=21676032, episodic return=2097.143310546875\n", + "global step=21676032, episodic return=2125.721923828125\n", + "global step=21678080, episodic return=2110.2333984375\n", + "global step=21678080, episodic return=2112.58203125\n", + "global step=21678080, episodic return=2117.953369140625\n", + "global step=21678080, episodic return=2148.181640625\n", + "global step=21678080, episodic return=2027.27490234375\n", + "global step=21680128, episodic return=2120.398193359375\n", + "global step=21680128, episodic return=2111.520263671875\n", + "global step=21682176, episodic return=2063.945068359375\n", + "global step=21682176, episodic return=1769.837890625\n", + "global step=21684224, episodic return=2072.063720703125\n", + "global step=21684224, episodic return=2091.15966796875\n", + "global step=21684224, episodic return=2116.627685546875\n", + "global step=21686272, episodic return=2116.4951171875\n", + "global step=21686272, episodic return=2122.566162109375\n", + "global step=21686272, episodic return=2100.33251953125\n", + "global step=21688320, episodic return=2086.755126953125\n", + "global step=21690368, episodic return=2111.146728515625\n", + "global step=21690368, episodic return=2143.259033203125\n", + "global step=21690368, episodic return=2111.500244140625\n", + "global step=21692416, episodic return=2111.8115234375\n", + "global step=21692416, episodic return=2112.65380859375\n", + "global step=21694464, episodic return=2089.03271484375\n", + "global step=21694464, episodic return=2109.1083984375\n", + "global step=21694464, episodic return=2106.642578125\n", + "global step=21694464, episodic return=2126.130126953125\n", + "global step=21696512, episodic return=2094.460205078125\n", + "global step=21696512, episodic return=2124.812744140625\n", + "global step=21698560, episodic return=2102.813720703125\n", + "global step=21698560, episodic return=2098.172119140625\n", + "global step=21698560, episodic return=2120.497802734375\n", + "global step=21700608, episodic return=2087.23779296875\n", + "global step=21700608, episodic return=2116.70751953125\n", + "global step=21702656, episodic return=2130.78369140625\n", + "global step=21702656, episodic return=2092.58837890625\n", + "global step=21702656, episodic return=2129.704833984375\n", + "global step=21702656, episodic return=2102.1806640625\n", + "global step=21704704, episodic return=2081.611083984375\n", + "global step=21704704, episodic return=2087.6416015625\n", + "global step=21704704, episodic return=2111.95751953125\n", + "global step=21704704, episodic return=2120.0068359375\n", + "global step=21704704, episodic return=2070.821533203125\n", + "global step=21704704, episodic return=2109.3154296875\n", + "global step=21706752, episodic return=2104.327392578125\n", + "global step=21706752, episodic return=2111.328857421875\n", + "global step=21706752, episodic return=2056.684326171875\n", + "global step=21708800, episodic return=2122.19189453125\n", + "global step=21708800, episodic return=2100.517578125\n", + "global step=21710848, episodic return=2127.03173828125\n", + "global step=21712896, episodic return=2077.2216796875\n", + "global step=21714944, episodic return=2096.685546875\n", + "global step=21714944, episodic return=2130.632568359375\n", + "global step=21716992, episodic return=2102.051513671875\n", + "global step=21716992, episodic return=2106.996826171875\n", + "global step=21716992, episodic return=2102.259521484375\n", + "global step=21719040, episodic return=2126.18212890625\n", + "global step=21719040, episodic return=2100.96826171875\n", + "global step=21719040, episodic return=2104.81103515625\n", + "global step=21719040, episodic return=2106.66162109375\n", + "global step=21721088, episodic return=2105.009033203125\n", + "global step=21721088, episodic return=2122.26318359375\n", + "global step=21721088, episodic return=2121.6328125\n", + "global step=21721088, episodic return=2147.165283203125\n", + "global step=21721088, episodic return=2102.410888671875\n", + "global step=21721088, episodic return=2117.870361328125\n", + "global step=21723136, episodic return=2125.49951171875\n", + "global step=21723136, episodic return=2112.860595703125\n", + "global step=21725184, episodic return=2077.2197265625\n", + "global step=21725184, episodic return=2143.444091796875\n", + "global step=21725184, episodic return=2094.8818359375\n", + "global step=21725184, episodic return=955.4108276367188\n", + "global step=21725184, episodic return=2114.971923828125\n", + "global step=21725184, episodic return=2137.691162109375\n", + "global step=21725184, episodic return=2112.60595703125\n", + "global step=21727232, episodic return=2102.29150390625\n", + "global step=21727232, episodic return=2091.72509765625\n", + "global step=21727232, episodic return=2098.771240234375\n", + "global step=21727232, episodic return=2124.05712890625\n", + "global step=21727232, episodic return=204.77047729492188\n", + "global step=21727232, episodic return=2089.112060546875\n", + "global step=21729280, episodic return=2108.513671875\n", + "global step=21729280, episodic return=2117.891845703125\n", + "global step=21729280, episodic return=574.1637573242188\n", + "global step=21729280, episodic return=2123.493896484375\n", + "global step=21729280, episodic return=2107.017822265625\n", + "global step=21731328, episodic return=2097.050537109375\n", + "global step=21731328, episodic return=2093.121337890625\n", + "global step=21733376, episodic return=2078.484130859375\n", + "global step=21733376, episodic return=2114.422607421875\n", + "global step=21733376, episodic return=1775.5469970703125\n", + "global step=21733376, episodic return=2095.1552734375\n", + "global step=21733376, episodic return=2142.469482421875\n", + "global step=21733376, episodic return=2106.8955078125\n", + "global step=21735424, episodic return=2086.691650390625\n", + "global step=21735424, episodic return=2121.707763671875\n", + "global step=21735424, episodic return=2064.58935546875\n", + "global step=21737472, episodic return=2116.1025390625\n", + "global step=21737472, episodic return=2081.197265625\n", + "global step=21739520, episodic return=2136.61474609375\n", + "global step=21739520, episodic return=2098.419921875\n", + "global step=21741568, episodic return=2126.927978515625\n", + "global step=21743616, episodic return=2102.327880859375\n", + "global step=21743616, episodic return=2043.957763671875\n", + "global step=21743616, episodic return=2080.00146484375\n", + "global step=21743616, episodic return=2096.3095703125\n", + "global step=21745664, episodic return=2114.298095703125\n", + "global step=21747712, episodic return=2075.35205078125\n", + "global step=21747712, episodic return=2086.652099609375\n", + "global step=21749760, episodic return=2133.119140625\n", + "global step=21751808, episodic return=2128.326416015625\n", + "global step=21753856, episodic return=2126.856201171875\n", + "global step=21753856, episodic return=2091.140869140625\n", + "global step=21753856, episodic return=2108.3291015625\n", + "global step=21753856, episodic return=2101.09033203125\n", + "global step=21755904, episodic return=1873.538330078125\n", + "global step=21755904, episodic return=2111.904296875\n", + "global step=21755904, episodic return=2049.41650390625\n", + "global step=21757952, episodic return=2081.40283203125\n", + "global step=21757952, episodic return=2132.722900390625\n", + "global step=21757952, episodic return=2116.267333984375\n", + "global step=21760000, episodic return=2142.063232421875\n", + "global step=21760000, episodic return=2120.34521484375\n", + "global step=21762048, episodic return=2097.24462890625\n", + "global step=21762048, episodic return=2155.1220703125\n", + "global step=21764096, episodic return=2142.604736328125\n", + "global step=21764096, episodic return=2122.80029296875\n", + "global step=21764096, episodic return=2097.49560546875\n", + "global step=21764096, episodic return=882.9721069335938\n", + "global step=21764096, episodic return=2117.669677734375\n", + "global step=21766144, episodic return=2113.443603515625\n", + "global step=21766144, episodic return=2097.543212890625\n", + "global step=21766144, episodic return=2102.99853515625\n", + "global step=21766144, episodic return=2101.45849609375\n", + "global step=21766144, episodic return=2096.6435546875\n", + "global step=21768192, episodic return=2109.86669921875\n", + "global step=21768192, episodic return=2131.270263671875\n", + "global step=21768192, episodic return=2103.293701171875\n", + "global step=21770240, episodic return=2089.997802734375\n", + "global step=21770240, episodic return=2079.505859375\n", + "global step=21770240, episodic return=2094.41064453125\n", + "global step=21770240, episodic return=2097.8759765625\n", + "global step=21770240, episodic return=2123.100341796875\n", + "global step=21770240, episodic return=2109.59765625\n", + "global step=21772288, episodic return=2120.66748046875\n", + "global step=21772288, episodic return=2112.39794921875\n", + "global step=21774336, episodic return=2150.021484375\n", + "global step=21774336, episodic return=2120.1220703125\n", + "global step=21774336, episodic return=2079.763671875\n", + "global step=21776384, episodic return=2097.56640625\n", + "global step=21776384, episodic return=2114.732421875\n", + "global step=21776384, episodic return=2100.0\n", + "global step=21776384, episodic return=2093.626220703125\n", + "global step=21778432, episodic return=2133.861328125\n", + "global step=21778432, episodic return=2119.904052734375\n", + "global step=21778432, episodic return=2034.934326171875\n", + "global step=21780480, episodic return=2099.890380859375\n", + "global step=21780480, episodic return=2092.920654296875\n", + "global step=21780480, episodic return=2145.50244140625\n", + "global step=21782528, episodic return=2123.334716796875\n", + "global step=21782528, episodic return=2095.96923828125\n", + "global step=21782528, episodic return=2107.794189453125\n", + "global step=21782528, episodic return=2027.357421875\n", + "global step=21782528, episodic return=2091.079345703125\n", + "global step=21782528, episodic return=2082.802001953125\n", + "global step=21782528, episodic return=2117.465576171875\n", + "global step=21784576, episodic return=2143.52099609375\n", + "global step=21784576, episodic return=2135.772216796875\n", + "global step=21784576, episodic return=2102.259521484375\n", + "global step=21784576, episodic return=2121.147705078125\n", + "global step=21784576, episodic return=2114.493896484375\n", + "global step=21786624, episodic return=2122.763916015625\n", + "global step=21786624, episodic return=2139.666015625\n", + "global step=21786624, episodic return=2117.519287109375\n", + "global step=21786624, episodic return=2109.9541015625\n", + "global step=21788672, episodic return=2100.4423828125\n", + "global step=21788672, episodic return=2091.192138671875\n", + "global step=21788672, episodic return=2088.169189453125\n", + "global step=21790720, episodic return=2105.269775390625\n", + "global step=21790720, episodic return=2134.912109375\n", + "global step=21790720, episodic return=2129.11865234375\n", + "global step=21790720, episodic return=2089.3623046875\n", + "global step=21792768, episodic return=2131.608154296875\n", + "global step=21792768, episodic return=2084.451904296875\n", + "global step=21792768, episodic return=2102.555908203125\n", + "global step=21794816, episodic return=2140.336669921875\n", + "global step=21794816, episodic return=2104.209716796875\n", + "global step=21796864, episodic return=2135.73828125\n", + "global step=21796864, episodic return=2118.382568359375\n", + "global step=21796864, episodic return=2145.36572265625\n", + "global step=21798912, episodic return=2141.7001953125\n", + "global step=21800960, episodic return=2112.020263671875\n", + "global step=21800960, episodic return=2085.712890625\n", + "global step=21803008, episodic return=2109.777099609375\n", + "global step=21803008, episodic return=2086.93603515625\n", + "global step=21805056, episodic return=796.0037841796875\n", + "global step=21805056, episodic return=2114.95703125\n", + "global step=21807104, episodic return=2120.45849609375\n", + "global step=21807104, episodic return=2111.771240234375\n", + "global step=21807104, episodic return=2121.592041015625\n", + "global step=21807104, episodic return=2092.884765625\n", + "global step=21809152, episodic return=2077.4970703125\n", + "global step=21809152, episodic return=2071.02978515625\n", + "global step=21809152, episodic return=1889.68701171875\n", + "global step=21809152, episodic return=2116.889892578125\n", + "global step=21809152, episodic return=2128.188720703125\n", + "global step=21809152, episodic return=2107.154541015625\n", + "global step=21809152, episodic return=2046.8409423828125\n", + "global step=21809152, episodic return=2097.840087890625\n", + "global step=21811200, episodic return=2104.436767578125\n", + "global step=21811200, episodic return=2116.77001953125\n", + "global step=21811200, episodic return=2093.96826171875\n", + "global step=21811200, episodic return=2115.297119140625\n", + "global step=21811200, episodic return=2094.83203125\n", + "global step=21813248, episodic return=2101.521728515625\n", + "global step=21813248, episodic return=2090.68798828125\n", + "global step=21813248, episodic return=2084.07958984375\n", + "global step=21813248, episodic return=2087.62841796875\n", + "global step=21813248, episodic return=2118.41455078125\n", + "global step=21815296, episodic return=2078.517578125\n", + "global step=21815296, episodic return=2089.739013671875\n", + "global step=21817344, episodic return=2082.259521484375\n", + "global step=21817344, episodic return=2121.28662109375\n", + "global step=21817344, episodic return=2077.080810546875\n", + "global step=21817344, episodic return=2117.453369140625\n", + "global step=21817344, episodic return=2121.3291015625\n", + "global step=21817344, episodic return=2113.84814453125\n", + "global step=21819392, episodic return=2107.8916015625\n", + "global step=21819392, episodic return=2102.1845703125\n", + "global step=21819392, episodic return=2133.647705078125\n", + "global step=21819392, episodic return=2070.071533203125\n", + "global step=21821440, episodic return=2133.37353515625\n", + "global step=21821440, episodic return=2107.7802734375\n", + "global step=21821440, episodic return=2112.378662109375\n", + "global step=21821440, episodic return=2101.1611328125\n", + "global step=21821440, episodic return=2094.98974609375\n", + "global step=21823488, episodic return=625.794189453125\n", + "global step=21823488, episodic return=2096.505615234375\n", + "global step=21823488, episodic return=2094.66259765625\n", + "global step=21823488, episodic return=2110.25439453125\n", + "global step=21825536, episodic return=2084.251220703125\n", + "global step=21827584, episodic return=2106.50244140625\n", + "global step=21827584, episodic return=2079.414306640625\n", + "global step=21827584, episodic return=2090.4423828125\n", + "global step=21827584, episodic return=2095.3037109375\n", + "global step=21827584, episodic return=2088.44677734375\n", + "global step=21827584, episodic return=2116.906494140625\n", + "global step=21829632, episodic return=2115.26416015625\n", + "global step=21829632, episodic return=2111.6728515625\n", + "global step=21829632, episodic return=2102.674560546875\n", + "global step=21831680, episodic return=2102.4814453125\n", + "global step=21831680, episodic return=2085.414794921875\n", + "global step=21831680, episodic return=2124.09765625\n", + "global step=21833728, episodic return=2088.001953125\n", + "global step=21833728, episodic return=907.669677734375\n", + "global step=21833728, episodic return=2083.416748046875\n", + "global step=21833728, episodic return=2119.851806640625\n", + "global step=21833728, episodic return=2127.0400390625\n", + "global step=21835776, episodic return=2111.678466796875\n", + "global step=21835776, episodic return=2115.980224609375\n", + "global step=21835776, episodic return=2121.920166015625\n", + "global step=21835776, episodic return=2113.324951171875\n", + "global step=21837824, episodic return=2089.48974609375\n", + "global step=21837824, episodic return=2139.807861328125\n", + "global step=21837824, episodic return=2101.427978515625\n", + "global step=21837824, episodic return=2125.853759765625\n", + "global step=21839872, episodic return=1925.1124267578125\n", + "global step=21839872, episodic return=2116.81298828125\n", + "global step=21839872, episodic return=1888.0362548828125\n", + "global step=21841920, episodic return=2094.5703125\n", + "global step=21841920, episodic return=2098.90966796875\n", + "global step=21843968, episodic return=2108.246826171875\n", + "global step=21843968, episodic return=2097.700439453125\n", + "global step=21843968, episodic return=2090.840576171875\n", + "global step=21843968, episodic return=2124.243896484375\n", + "global step=21843968, episodic return=2097.660400390625\n", + "global step=21843968, episodic return=623.2623291015625\n", + "global step=21843968, episodic return=2097.870361328125\n", + "global step=21846016, episodic return=2083.36181640625\n", + "global step=21846016, episodic return=514.2239990234375\n", + "global step=21846016, episodic return=2118.603271484375\n", + "global step=21846016, episodic return=2095.6953125\n", + "global step=21848064, episodic return=2078.816162109375\n", + "global step=21848064, episodic return=2139.63330078125\n", + "global step=21850112, episodic return=2118.01513671875\n", + "global step=21850112, episodic return=2140.01025390625\n", + "global step=21850112, episodic return=2097.3671875\n", + "global step=21852160, episodic return=2123.275146484375\n", + "global step=21852160, episodic return=2111.898681640625\n", + "global step=21852160, episodic return=2123.96533203125\n", + "global step=21854208, episodic return=2078.687744140625\n", + "global step=21854208, episodic return=2131.11083984375\n", + "global step=21854208, episodic return=2096.32275390625\n", + "global step=21858304, episodic return=2096.81103515625\n", + "global step=21860352, episodic return=2111.6240234375\n", + "global step=21860352, episodic return=2095.376708984375\n", + "global step=21860352, episodic return=2120.03125\n", + "global step=21862400, episodic return=2112.087646484375\n", + "global step=21862400, episodic return=2113.3828125\n", + "global step=21862400, episodic return=2131.313232421875\n", + "global step=21862400, episodic return=483.3652038574219\n", + "global step=21862400, episodic return=2115.041015625\n", + "global step=21864448, episodic return=2101.98095703125\n", + "global step=21864448, episodic return=2108.838623046875\n", + "global step=21864448, episodic return=2128.44580078125\n", + "global step=21866496, episodic return=2132.87255859375\n", + "global step=21866496, episodic return=2121.44921875\n", + "global step=21868544, episodic return=2126.04931640625\n", + "global step=21868544, episodic return=2100.678466796875\n", + "global step=21868544, episodic return=2117.98779296875\n", + "global step=21870592, episodic return=2071.5537109375\n", + "global step=21870592, episodic return=2107.22265625\n", + "global step=21870592, episodic return=2123.34912109375\n", + "global step=21870592, episodic return=2107.18359375\n", + "global step=21872640, episodic return=2115.253173828125\n", + "global step=21872640, episodic return=2131.03271484375\n", + "global step=21874688, episodic return=2144.600341796875\n", + "global step=21874688, episodic return=2100.65380859375\n", + "global step=21874688, episodic return=2117.8935546875\n", + "global step=21876736, episodic return=2109.821044921875\n", + "global step=21878784, episodic return=2149.055419921875\n", + "global step=21882880, episodic return=213.61959838867188\n", + "global step=21882880, episodic return=2122.423095703125\n", + "global step=21884928, episodic return=2101.433837890625\n", + "global step=21884928, episodic return=2127.22314453125\n", + "global step=21884928, episodic return=44.7520866394043\n", + "global step=21884928, episodic return=2099.384765625\n", + "global step=21886976, episodic return=2138.189697265625\n", + "global step=21886976, episodic return=2116.09619140625\n", + "global step=21886976, episodic return=2106.850341796875\n", + "global step=21889024, episodic return=2094.41259765625\n", + "global step=21891072, episodic return=2123.626220703125\n", + "global step=21893120, episodic return=2096.896484375\n", + "global step=21893120, episodic return=2110.952392578125\n", + "global step=21895168, episodic return=2125.235595703125\n", + "global step=21895168, episodic return=1319.396484375\n", + "global step=21895168, episodic return=2120.441650390625\n", + "global step=21897216, episodic return=2127.918701171875\n", + "global step=21897216, episodic return=2103.031982421875\n", + "global step=21897216, episodic return=2112.797119140625\n", + "global step=21897216, episodic return=2124.581298828125\n", + "global step=21897216, episodic return=2095.30615234375\n", + "global step=21899264, episodic return=2126.435546875\n", + "global step=21899264, episodic return=2096.523681640625\n", + "global step=21901312, episodic return=2095.7978515625\n", + "global step=21901312, episodic return=2090.64990234375\n", + "global step=21901312, episodic return=62.526588439941406\n", + "global step=21903360, episodic return=2122.329345703125\n", + "global step=21903360, episodic return=2076.160888671875\n", + "global step=21903360, episodic return=1401.5379638671875\n", + "global step=21903360, episodic return=541.5286254882812\n", + "global step=21903360, episodic return=2134.149169921875\n", + "global step=21905408, episodic return=2099.315673828125\n", + "global step=21905408, episodic return=2091.380859375\n", + "global step=21905408, episodic return=21.717296600341797\n", + "global step=21907456, episodic return=57.54072952270508\n", + "global step=21907456, episodic return=2115.501708984375\n", + "global step=21907456, episodic return=2105.431884765625\n", + "global step=21909504, episodic return=2133.05908203125\n", + "global step=21909504, episodic return=2088.465576171875\n", + "global step=21909504, episodic return=2119.8759765625\n", + "global step=21911552, episodic return=2105.4365234375\n", + "global step=21911552, episodic return=2048.76513671875\n", + "global step=21913600, episodic return=2125.806884765625\n", + "global step=21913600, episodic return=2131.667724609375\n", + "global step=21915648, episodic return=2119.083984375\n", + "global step=21915648, episodic return=2118.978515625\n", + "global step=21915648, episodic return=2131.110595703125\n", + "global step=21917696, episodic return=2136.09814453125\n", + "global step=21917696, episodic return=2128.016357421875\n", + "global step=21919744, episodic return=2078.258544921875\n", + "global step=21919744, episodic return=2100.09228515625\n", + "global step=21919744, episodic return=2128.576904296875\n", + "global step=21921792, episodic return=2107.750244140625\n", + "global step=21921792, episodic return=2115.15673828125\n", + "global step=21921792, episodic return=2093.359130859375\n", + "global step=21921792, episodic return=2109.36767578125\n", + "global step=21923840, episodic return=2126.714599609375\n", + "global step=21923840, episodic return=2102.074951171875\n", + "global step=21927936, episodic return=2109.52734375\n", + "global step=21927936, episodic return=2117.361328125\n", + "global step=21927936, episodic return=2094.932373046875\n", + "global step=21927936, episodic return=2116.574462890625\n", + "global step=21927936, episodic return=2102.29541015625\n", + "global step=21929984, episodic return=2118.481689453125\n", + "global step=21929984, episodic return=2130.2080078125\n", + "global step=21929984, episodic return=2131.957763671875\n", + "global step=21929984, episodic return=2122.699951171875\n", + "global step=21932032, episodic return=2101.531982421875\n", + "global step=21934080, episodic return=2136.237060546875\n", + "global step=21934080, episodic return=2108.0712890625\n", + "global step=21934080, episodic return=2095.368896484375\n", + "global step=21936128, episodic return=2123.48095703125\n", + "global step=21938176, episodic return=2125.595458984375\n", + "global step=21938176, episodic return=2145.883544921875\n", + "global step=21938176, episodic return=2115.47021484375\n", + "global step=21940224, episodic return=2133.85400390625\n", + "global step=21940224, episodic return=2115.16796875\n", + "global step=21940224, episodic return=2149.3544921875\n", + "global step=21942272, episodic return=2118.047119140625\n", + "global step=21942272, episodic return=2121.127197265625\n", + "global step=21944320, episodic return=2120.89306640625\n", + "global step=21944320, episodic return=2095.8212890625\n", + "global step=21944320, episodic return=2098.920654296875\n", + "global step=21944320, episodic return=2116.113525390625\n", + "global step=21944320, episodic return=2114.3017578125\n", + "global step=21946368, episodic return=2116.279052734375\n", + "global step=21948416, episodic return=2120.27783203125\n", + "global step=21950464, episodic return=2106.952392578125\n", + "global step=21950464, episodic return=2139.40478515625\n", + "global step=21950464, episodic return=2116.576171875\n", + "global step=21950464, episodic return=2126.553466796875\n", + "global step=21950464, episodic return=2140.530029296875\n", + "global step=21950464, episodic return=2101.077392578125\n", + "global step=21952512, episodic return=2107.428466796875\n", + "global step=21952512, episodic return=2153.777587890625\n", + "global step=21952512, episodic return=2098.687744140625\n", + "global step=21952512, episodic return=2103.830810546875\n", + "global step=21952512, episodic return=2120.998291015625\n", + "global step=21954560, episodic return=2102.561767578125\n", + "global step=21954560, episodic return=2129.906005859375\n", + "global step=21956608, episodic return=2123.67236328125\n", + "global step=21956608, episodic return=2090.781005859375\n", + "global step=21956608, episodic return=2105.443115234375\n", + "global step=21958656, episodic return=2104.16015625\n", + "global step=21958656, episodic return=2101.506591796875\n", + "global step=21958656, episodic return=2115.6025390625\n", + "global step=21958656, episodic return=2124.11181640625\n", + "global step=21960704, episodic return=2122.0673828125\n", + "global step=21960704, episodic return=2116.656005859375\n", + "global step=21960704, episodic return=2109.701171875\n", + "global step=21962752, episodic return=2105.20703125\n", + "global step=21962752, episodic return=2095.599853515625\n", + "global step=21962752, episodic return=2113.108642578125\n", + "global step=21962752, episodic return=2128.490234375\n", + "global step=21962752, episodic return=2081.123291015625\n", + "global step=21964800, episodic return=2102.51416015625\n", + "global step=21964800, episodic return=2118.347900390625\n", + "global step=21964800, episodic return=2092.3193359375\n", + "global step=21964800, episodic return=2113.259033203125\n", + "global step=21964800, episodic return=2119.55859375\n", + "global step=21966848, episodic return=2083.432373046875\n", + "global step=21968896, episodic return=2101.685791015625\n", + "global step=21968896, episodic return=2133.87841796875\n", + "global step=21968896, episodic return=2120.119873046875\n", + "global step=21968896, episodic return=2126.413818359375\n", + "global step=21968896, episodic return=2111.524169921875\n", + "global step=21968896, episodic return=2068.855224609375\n", + "global step=21970944, episodic return=2085.767822265625\n", + "global step=21970944, episodic return=2120.831787109375\n", + "global step=21970944, episodic return=2103.934814453125\n", + "global step=21972992, episodic return=2087.20263671875\n", + "global step=21975040, episodic return=2144.1416015625\n", + "global step=21975040, episodic return=2102.07861328125\n", + "global step=21977088, episodic return=2125.644287109375\n", + "global step=21977088, episodic return=2138.277099609375\n", + "global step=21977088, episodic return=2121.740966796875\n", + "global step=21977088, episodic return=2122.811767578125\n", + "global step=21977088, episodic return=2110.52294921875\n", + "global step=21979136, episodic return=2117.229248046875\n", + "global step=21979136, episodic return=2127.04541015625\n", + "global step=21981184, episodic return=2111.894775390625\n", + "global step=21981184, episodic return=2120.46044921875\n", + "global step=21983232, episodic return=2120.55419921875\n", + "global step=21985280, episodic return=2146.506103515625\n", + "global step=21985280, episodic return=2122.7177734375\n", + "global step=21987328, episodic return=2125.202880859375\n", + "global step=21989376, episodic return=2104.078369140625\n", + "global step=21989376, episodic return=2121.00537109375\n", + "global step=21989376, episodic return=2114.0361328125\n", + "global step=21989376, episodic return=2099.940673828125\n", + "global step=21991424, episodic return=2123.197998046875\n", + "global step=21991424, episodic return=2115.465576171875\n", + "global step=21993472, episodic return=2109.68701171875\n", + "global step=21997568, episodic return=2098.190185546875\n", + "global step=21997568, episodic return=2118.486328125\n", + "global step=21997568, episodic return=2137.09375\n", + "global step=21997568, episodic return=2096.815673828125\n", + "global step=21997568, episodic return=2092.269775390625\n", + "global step=21999616, episodic return=2121.9150390625\n", + "global step=22001664, episodic return=2124.515625\n", + "global step=22001664, episodic return=2108.1416015625\n", + "global step=22001664, episodic return=2127.205078125\n", + "global step=22001664, episodic return=2112.14013671875\n", + "global step=22003712, episodic return=2138.788818359375\n", + "global step=22003712, episodic return=2108.244140625\n", + "global step=22003712, episodic return=2107.81201171875\n", + "global step=22003712, episodic return=2114.25732421875\n", + "global step=22005760, episodic return=2111.029052734375\n", + "global step=22005760, episodic return=2102.8369140625\n", + "global step=22005760, episodic return=2096.970947265625\n", + "global step=22005760, episodic return=2101.08935546875\n", + "global step=22005760, episodic return=2110.2744140625\n", + "global step=22007808, episodic return=2097.15869140625\n", + "global step=22007808, episodic return=2107.5654296875\n", + "global step=22007808, episodic return=2135.91748046875\n", + "global step=22007808, episodic return=2119.6220703125\n", + "global step=22009856, episodic return=2107.4833984375\n", + "global step=22011904, episodic return=2109.443603515625\n", + "global step=22011904, episodic return=2137.6259765625\n", + "global step=22013952, episodic return=2103.631103515625\n", + "global step=22016000, episodic return=2111.311767578125\n", + "global step=22018048, episodic return=2127.218505859375\n", + "global step=22018048, episodic return=2060.04736328125\n", + "global step=22018048, episodic return=2146.492431640625\n", + "global step=22018048, episodic return=2116.509765625\n", + "global step=22018048, episodic return=2106.220458984375\n", + "global step=22018048, episodic return=2125.22509765625\n", + "global step=22018048, episodic return=2087.4765625\n", + "global step=22020096, episodic return=2100.94873046875\n", + "global step=22020096, episodic return=2096.97314453125\n", + "global step=22020096, episodic return=2099.318359375\n", + "global step=22020096, episodic return=2088.728271484375\n", + "global step=22020096, episodic return=2138.603515625\n", + "global step=22022144, episodic return=2126.602294921875\n", + "global step=22022144, episodic return=2103.71826171875\n", + "global step=22022144, episodic return=2126.32421875\n", + "global step=22022144, episodic return=2118.299072265625\n", + "global step=22022144, episodic return=2112.75\n", + "global step=22024192, episodic return=2110.23779296875\n", + "global step=22024192, episodic return=2101.598876953125\n", + "global step=22026240, episodic return=2132.424560546875\n", + "global step=22026240, episodic return=2103.201171875\n", + "global step=22026240, episodic return=2143.48388671875\n", + "global step=22028288, episodic return=2106.724365234375\n", + "global step=22028288, episodic return=2120.979736328125\n", + "global step=22028288, episodic return=2113.1123046875\n", + "global step=22028288, episodic return=2101.0849609375\n", + "global step=22030336, episodic return=2123.43994140625\n", + "global step=22030336, episodic return=2119.722412109375\n", + "global step=22030336, episodic return=2102.362060546875\n", + "global step=22032384, episodic return=2089.26513671875\n", + "global step=22032384, episodic return=2094.85693359375\n", + "global step=22034432, episodic return=2123.818603515625\n", + "global step=22034432, episodic return=2120.002197265625\n", + "global step=22034432, episodic return=2126.732177734375\n", + "global step=22034432, episodic return=2104.726318359375\n", + "global step=22034432, episodic return=2111.26513671875\n", + "global step=22034432, episodic return=2098.542236328125\n", + "global step=22034432, episodic return=64.29713439941406\n", + "global step=22034432, episodic return=2092.328369140625\n", + "global step=22036480, episodic return=2131.414306640625\n", + "global step=22036480, episodic return=2111.99609375\n", + "global step=22036480, episodic return=2117.343505859375\n", + "global step=22038528, episodic return=2079.912353515625\n", + "global step=22038528, episodic return=2096.513427734375\n", + "global step=22038528, episodic return=2105.4052734375\n", + "global step=22040576, episodic return=2127.170166015625\n", + "global step=22040576, episodic return=718.7492065429688\n", + "global step=22042624, episodic return=2102.872314453125\n", + "global step=22044672, episodic return=2090.3212890625\n", + "global step=22044672, episodic return=2119.39697265625\n", + "global step=22044672, episodic return=2108.852294921875\n", + "global step=22044672, episodic return=2112.039306640625\n", + "global step=22044672, episodic return=2129.206787109375\n", + "global step=22044672, episodic return=2137.654541015625\n", + "global step=22046720, episodic return=2137.373291015625\n", + "global step=22046720, episodic return=2096.70703125\n", + "global step=22048768, episodic return=2115.028564453125\n", + "global step=22050816, episodic return=2089.396728515625\n", + "global step=22050816, episodic return=2135.826171875\n", + "global step=22050816, episodic return=2124.023193359375\n", + "global step=22050816, episodic return=2113.0458984375\n", + "global step=22052864, episodic return=2118.4091796875\n", + "global step=22052864, episodic return=2152.505615234375\n", + "global step=22054912, episodic return=2097.40576171875\n", + "global step=22054912, episodic return=2096.455078125\n", + "global step=22054912, episodic return=2154.841552734375\n", + "global step=22054912, episodic return=2139.658203125\n", + "global step=22054912, episodic return=2125.232421875\n", + "global step=22056960, episodic return=2117.118408203125\n", + "global step=22059008, episodic return=2119.718505859375\n", + "global step=22059008, episodic return=279.48614501953125\n", + "global step=22059008, episodic return=2101.474853515625\n", + "global step=22061056, episodic return=2120.984619140625\n", + "global step=22061056, episodic return=2137.978515625\n", + "global step=22061056, episodic return=2106.626953125\n", + "global step=22061056, episodic return=2121.400634765625\n", + "global step=22063104, episodic return=2099.02734375\n", + "global step=22063104, episodic return=2109.05126953125\n", + "global step=22063104, episodic return=2122.7138671875\n", + "global step=22063104, episodic return=2136.20556640625\n", + "global step=22063104, episodic return=2117.798095703125\n", + "global step=22067200, episodic return=2103.96484375\n", + "global step=22067200, episodic return=2102.262939453125\n", + "global step=22069248, episodic return=2124.796142578125\n", + "global step=22069248, episodic return=2111.24560546875\n", + "global step=22069248, episodic return=2138.4794921875\n", + "global step=22069248, episodic return=2088.845947265625\n", + "global step=22069248, episodic return=2119.770751953125\n", + "global step=22069248, episodic return=2109.580078125\n", + "global step=22069248, episodic return=2100.4169921875\n", + "global step=22069248, episodic return=2114.6376953125\n", + "global step=22071296, episodic return=2118.5986328125\n", + "global step=22073344, episodic return=2107.7060546875\n", + "global step=22073344, episodic return=2115.863525390625\n", + "global step=22073344, episodic return=2110.130615234375\n", + "global step=22075392, episodic return=2149.29296875\n", + "global step=22075392, episodic return=2092.99169921875\n", + "global step=22077440, episodic return=2102.927734375\n", + "global step=22077440, episodic return=2116.24853515625\n", + "global step=22077440, episodic return=2131.8623046875\n", + "global step=22077440, episodic return=2118.153076171875\n", + "global step=22079488, episodic return=2126.28076171875\n", + "global step=22079488, episodic return=2088.39111328125\n", + "global step=22079488, episodic return=989.0387573242188\n", + "global step=22079488, episodic return=2115.30859375\n", + "global step=22079488, episodic return=2110.667236328125\n", + "global step=22079488, episodic return=2110.302001953125\n", + "global step=22081536, episodic return=2100.0126953125\n", + "global step=22081536, episodic return=2091.40185546875\n", + "global step=22083584, episodic return=2101.942626953125\n", + "global step=22083584, episodic return=2127.955322265625\n", + "global step=22085632, episodic return=2095.09033203125\n", + "global step=22087680, episodic return=2116.3642578125\n", + "global step=22087680, episodic return=2155.410888671875\n", + "global step=22087680, episodic return=2117.009521484375\n", + "global step=22089728, episodic return=2116.04736328125\n", + "global step=22091776, episodic return=2125.65673828125\n", + "global step=22091776, episodic return=2114.54541015625\n", + "global step=22091776, episodic return=2139.002685546875\n", + "global step=22091776, episodic return=2104.43310546875\n", + "global step=22091776, episodic return=2109.23828125\n", + "global step=22093824, episodic return=280.47235107421875\n", + "global step=22093824, episodic return=2087.297119140625\n", + "global step=22093824, episodic return=2145.248046875\n", + "global step=22095872, episodic return=2100.302001953125\n", + "global step=22095872, episodic return=2121.221923828125\n", + "global step=22095872, episodic return=2117.103271484375\n", + "global step=22095872, episodic return=2117.13232421875\n", + "global step=22097920, episodic return=2098.296142578125\n", + "global step=22097920, episodic return=202.7457275390625\n", + "global step=22099968, episodic return=2107.06982421875\n", + "global step=22099968, episodic return=2135.493408203125\n", + "global step=22099968, episodic return=2100.521728515625\n", + "global step=22099968, episodic return=2114.886474609375\n", + "global step=22099968, episodic return=2114.668701171875\n", + "global step=22102016, episodic return=2103.015625\n", + "global step=22102016, episodic return=2121.728271484375\n", + "global step=22102016, episodic return=2086.69970703125\n", + "global step=22104064, episodic return=2123.875732421875\n", + "global step=22104064, episodic return=2110.180908203125\n", + "global step=22104064, episodic return=2102.30078125\n", + "global step=22104064, episodic return=2129.860595703125\n", + "global step=22104064, episodic return=2095.603271484375\n", + "global step=22104064, episodic return=2116.460205078125\n", + "global step=22104064, episodic return=2116.139404296875\n", + "global step=22104064, episodic return=2090.539306640625\n", + "global step=22104064, episodic return=2109.272705078125\n", + "global step=22106112, episodic return=2100.133544921875\n", + "global step=22106112, episodic return=2117.28125\n", + "global step=22106112, episodic return=2130.642333984375\n", + "global step=22106112, episodic return=2093.009033203125\n", + "global step=22106112, episodic return=2143.789306640625\n", + "global step=22108160, episodic return=2128.07080078125\n", + "global step=22108160, episodic return=2102.749755859375\n", + "global step=22108160, episodic return=2122.1416015625\n", + "global step=22110208, episodic return=2103.390625\n", + "global step=22112256, episodic return=1855.9088134765625\n", + "global step=22112256, episodic return=2122.062255859375\n", + "global step=22112256, episodic return=2142.607177734375\n", + "global step=22112256, episodic return=2137.233642578125\n", + "global step=22114304, episodic return=2120.553466796875\n", + "global step=22114304, episodic return=2095.039306640625\n", + "global step=22114304, episodic return=2087.971923828125\n", + "global step=22114304, episodic return=2112.59326171875\n", + "global step=22116352, episodic return=2120.1904296875\n", + "global step=22116352, episodic return=2113.736572265625\n", + "global step=22116352, episodic return=2117.744384765625\n", + "global step=22118400, episodic return=2109.834228515625\n", + "global step=22118400, episodic return=2135.31005859375\n", + "global step=22120448, episodic return=2099.186279296875\n", + "global step=22120448, episodic return=2104.74658203125\n", + "global step=22120448, episodic return=2126.40576171875\n", + "global step=22120448, episodic return=2124.4072265625\n", + "global step=22120448, episodic return=2108.660400390625\n", + "global step=22122496, episodic return=2136.146240234375\n", + "global step=22122496, episodic return=2106.0224609375\n", + "global step=22122496, episodic return=382.4111328125\n", + "global step=22122496, episodic return=2114.446533203125\n", + "global step=22122496, episodic return=231.35287475585938\n", + "global step=22122496, episodic return=2142.578125\n", + "global step=22122496, episodic return=2113.14013671875\n", + "global step=22122496, episodic return=2109.500732421875\n", + "global step=22124544, episodic return=2106.52392578125\n", + "global step=22124544, episodic return=2099.714599609375\n", + "global step=22124544, episodic return=394.5003967285156\n", + "global step=22126592, episodic return=521.2246704101562\n", + "global step=22126592, episodic return=2119.39306640625\n", + "global step=22126592, episodic return=2112.50439453125\n", + "global step=22126592, episodic return=2076.08056640625\n", + "global step=22126592, episodic return=2103.5625\n", + "global step=22126592, episodic return=2102.5556640625\n", + "global step=22128640, episodic return=2097.83544921875\n", + "global step=22128640, episodic return=2128.528076171875\n", + "global step=22128640, episodic return=2136.096435546875\n", + "global step=22128640, episodic return=2115.10400390625\n", + "global step=22128640, episodic return=2082.37353515625\n", + "global step=22128640, episodic return=2133.098876953125\n", + "global step=22130688, episodic return=2116.422607421875\n", + "global step=22130688, episodic return=2104.15673828125\n", + "global step=22130688, episodic return=2116.3408203125\n", + "global step=22132736, episodic return=2132.826171875\n", + "global step=22132736, episodic return=2141.074462890625\n", + "global step=22134784, episodic return=2118.92236328125\n", + "global step=22136832, episodic return=2118.49755859375\n", + "global step=22136832, episodic return=2115.931396484375\n", + "global step=22138880, episodic return=2102.48388671875\n", + "global step=22138880, episodic return=2104.11572265625\n", + "global step=22138880, episodic return=316.1471862792969\n", + "global step=22140928, episodic return=2135.912841796875\n", + "global step=22140928, episodic return=2082.53466796875\n", + "global step=22142976, episodic return=2100.486572265625\n", + "global step=22142976, episodic return=2129.59814453125\n", + "global step=22142976, episodic return=2100.884521484375\n", + "global step=22142976, episodic return=2139.31396484375\n", + "global step=22142976, episodic return=2113.52001953125\n", + "global step=22142976, episodic return=2106.202392578125\n", + "global step=22142976, episodic return=2115.45654296875\n", + "global step=22145024, episodic return=2140.119140625\n", + "global step=22147072, episodic return=2088.076171875\n", + "global step=22147072, episodic return=2098.4892578125\n", + "global step=22149120, episodic return=2107.007080078125\n", + "global step=22149120, episodic return=2101.97802734375\n", + "global step=22151168, episodic return=2115.832763671875\n", + "global step=22151168, episodic return=2116.259521484375\n", + "global step=22151168, episodic return=2100.340087890625\n", + "global step=22151168, episodic return=2145.78369140625\n", + "global step=22151168, episodic return=2080.783447265625\n", + "global step=22153216, episodic return=2119.81103515625\n", + "global step=22153216, episodic return=2119.708740234375\n", + "global step=22153216, episodic return=2098.8798828125\n", + "global step=22153216, episodic return=2126.566162109375\n", + "global step=22155264, episodic return=2108.96337890625\n", + "global step=22155264, episodic return=2112.450927734375\n", + "global step=22155264, episodic return=2087.691162109375\n", + "global step=22155264, episodic return=2084.98193359375\n", + "global step=22155264, episodic return=2061.1025390625\n", + "global step=22157312, episodic return=2100.529296875\n", + "global step=22157312, episodic return=2135.11669921875\n", + "global step=22157312, episodic return=164.355712890625\n", + "global step=22157312, episodic return=2091.087646484375\n", + "global step=22157312, episodic return=2136.37255859375\n", + "global step=22157312, episodic return=2116.0751953125\n", + "global step=22159360, episodic return=2096.115966796875\n", + "global step=22159360, episodic return=2132.949951171875\n", + "global step=22161408, episodic return=2134.6162109375\n", + "global step=22161408, episodic return=2116.53369140625\n", + "global step=22163456, episodic return=479.2552185058594\n", + "global step=22163456, episodic return=2117.01171875\n", + "global step=22165504, episodic return=2128.02001953125\n", + "global step=22165504, episodic return=2112.686279296875\n", + "global step=22165504, episodic return=2074.3525390625\n", + "global step=22167552, episodic return=2116.4296875\n", + "global step=22169600, episodic return=398.7799987792969\n", + "global step=22169600, episodic return=549.5283203125\n", + "global step=22169600, episodic return=2131.55517578125\n", + "global step=22169600, episodic return=501.9924011230469\n", + "global step=22171648, episodic return=2129.075927734375\n", + "global step=22171648, episodic return=2124.7529296875\n", + "global step=22171648, episodic return=138.66659545898438\n", + "global step=22173696, episodic return=504.9539794921875\n", + "global step=22173696, episodic return=2116.6923828125\n", + "global step=22173696, episodic return=468.78912353515625\n", + "global step=22173696, episodic return=2122.61083984375\n", + "global step=22175744, episodic return=47.3515739440918\n", + "global step=22175744, episodic return=2074.690673828125\n", + "global step=22175744, episodic return=441.7668151855469\n", + "global step=22175744, episodic return=2116.7373046875\n", + "global step=22177792, episodic return=2094.53955078125\n", + "global step=22177792, episodic return=2101.092041015625\n", + "global step=22177792, episodic return=2121.796142578125\n", + "global step=22181888, episodic return=2087.378662109375\n", + "global step=22183936, episodic return=2136.72119140625\n", + "global step=22183936, episodic return=2127.404296875\n", + "global step=22185984, episodic return=2106.38037109375\n", + "global step=22185984, episodic return=2104.281982421875\n", + "global step=22185984, episodic return=2122.604248046875\n", + "global step=22185984, episodic return=2092.878662109375\n", + "global step=22185984, episodic return=2101.97607421875\n", + "global step=22185984, episodic return=2113.923583984375\n", + "global step=22188032, episodic return=2142.50390625\n", + "global step=22188032, episodic return=2100.7578125\n", + "global step=22188032, episodic return=2145.037109375\n", + "global step=22188032, episodic return=2125.255615234375\n", + "global step=22190080, episodic return=834.4367065429688\n", + "global step=22192128, episodic return=2125.13427734375\n", + "global step=22192128, episodic return=2097.89990234375\n", + "global step=22192128, episodic return=2089.511962890625\n", + "global step=22192128, episodic return=2114.684814453125\n", + "global step=22192128, episodic return=2086.7548828125\n", + "global step=22194176, episodic return=2121.204345703125\n", + "global step=22194176, episodic return=2093.35302734375\n", + "global step=22194176, episodic return=2112.2041015625\n", + "global step=22194176, episodic return=2104.532470703125\n", + "global step=22196224, episodic return=2145.357177734375\n", + "global step=22196224, episodic return=2124.3896484375\n", + "global step=22196224, episodic return=2120.98291015625\n", + "global step=22196224, episodic return=2116.099365234375\n", + "global step=22200320, episodic return=2142.760986328125\n", + "global step=22200320, episodic return=2124.544921875\n", + "global step=22200320, episodic return=2139.747802734375\n", + "global step=22200320, episodic return=2107.45166015625\n", + "global step=22202368, episodic return=2093.13232421875\n", + "global step=22202368, episodic return=2108.505126953125\n", + "global step=22204416, episodic return=153.7843017578125\n", + "global step=22204416, episodic return=2116.001953125\n", + "global step=22204416, episodic return=2127.93701171875\n", + "global step=22204416, episodic return=2093.282958984375\n", + "global step=22204416, episodic return=2114.073974609375\n", + "global step=22206464, episodic return=2100.656494140625\n", + "global step=22206464, episodic return=2111.00341796875\n", + "global step=22206464, episodic return=2144.29736328125\n", + "global step=22206464, episodic return=2141.26025390625\n", + "global step=22206464, episodic return=2118.4658203125\n", + "global step=22208512, episodic return=2133.44287109375\n", + "global step=22208512, episodic return=2078.945068359375\n", + "global step=22210560, episodic return=2131.258056640625\n", + "global step=22210560, episodic return=23.177059173583984\n", + "global step=22210560, episodic return=2117.74267578125\n", + "global step=22210560, episodic return=2129.14453125\n", + "global step=22212608, episodic return=2118.05322265625\n", + "global step=22212608, episodic return=2121.595458984375\n", + "global step=22212608, episodic return=2121.9951171875\n", + "global step=22212608, episodic return=2118.6767578125\n", + "global step=22214656, episodic return=430.3052062988281\n", + "global step=22214656, episodic return=2127.478515625\n", + "global step=22214656, episodic return=2112.084228515625\n", + "global step=22214656, episodic return=786.2111206054688\n", + "global step=22216704, episodic return=2108.998779296875\n", + "global step=22216704, episodic return=2122.947998046875\n", + "global step=22218752, episodic return=2101.501220703125\n", + "global step=22218752, episodic return=2103.130859375\n", + "global step=22218752, episodic return=2119.646240234375\n", + "global step=22220800, episodic return=2114.08447265625\n", + "global step=22220800, episodic return=2130.76171875\n", + "global step=22220800, episodic return=2122.57958984375\n", + "global step=22220800, episodic return=154.1309356689453\n", + "global step=22222848, episodic return=2088.591552734375\n", + "global step=22222848, episodic return=2119.02001953125\n", + "global step=22224896, episodic return=487.1688232421875\n", + "global step=22224896, episodic return=2127.046630859375\n", + "global step=22224896, episodic return=2132.047607421875\n", + "global step=22226944, episodic return=2119.75830078125\n", + "global step=22226944, episodic return=2111.913818359375\n", + "global step=22226944, episodic return=2137.064697265625\n", + "global step=22226944, episodic return=2111.174560546875\n", + "global step=22228992, episodic return=2117.35693359375\n", + "global step=22228992, episodic return=2112.810302734375\n", + "global step=22231040, episodic return=2125.1494140625\n", + "global step=22231040, episodic return=2059.640869140625\n", + "global step=22233088, episodic return=2104.177490234375\n", + "global step=22233088, episodic return=2133.87451171875\n", + "global step=22237184, episodic return=2099.776123046875\n", + "global step=22237184, episodic return=2093.19287109375\n", + "global step=22237184, episodic return=2116.447021484375\n", + "global step=22239232, episodic return=2096.688232421875\n", + "global step=22239232, episodic return=2151.476318359375\n", + "global step=22239232, episodic return=2104.706787109375\n", + "global step=22239232, episodic return=1824.7327880859375\n", + "global step=22239232, episodic return=2109.15283203125\n", + "global step=22239232, episodic return=2100.237060546875\n", + "global step=22243328, episodic return=2097.1494140625\n", + "global step=22245376, episodic return=330.3510437011719\n", + "global step=22247424, episodic return=2025.78125\n", + "global step=22249472, episodic return=403.9381408691406\n", + "global step=22249472, episodic return=509.533935546875\n", + "global step=22249472, episodic return=2143.265380859375\n", + "global step=22249472, episodic return=2100.435302734375\n", + "global step=22251520, episodic return=2089.473876953125\n", + "global step=22253568, episodic return=2127.6123046875\n", + "global step=22253568, episodic return=2115.747802734375\n", + "global step=22253568, episodic return=2126.071533203125\n", + "global step=22255616, episodic return=2106.5478515625\n", + "global step=22257664, episodic return=2094.777587890625\n", + "global step=22257664, episodic return=2121.199951171875\n", + "global step=22257664, episodic return=2141.3466796875\n", + "global step=22257664, episodic return=2125.397216796875\n", + "global step=22259712, episodic return=2114.318115234375\n", + "global step=22259712, episodic return=2135.883056640625\n", + "global step=22259712, episodic return=2101.587890625\n", + "global step=22259712, episodic return=234.6167755126953\n", + "global step=22259712, episodic return=2145.221435546875\n", + "global step=22259712, episodic return=2125.384033203125\n", + "global step=22261760, episodic return=2107.6796875\n", + "global step=22261760, episodic return=2131.183349609375\n", + "global step=22263808, episodic return=192.1840362548828\n", + "global step=22263808, episodic return=2097.2470703125\n", + "global step=22265856, episodic return=2084.9453125\n", + "global step=22267904, episodic return=2071.905517578125\n", + "global step=22267904, episodic return=2132.2919921875\n", + "global step=22269952, episodic return=2124.8173828125\n", + "global step=22269952, episodic return=495.8301696777344\n", + "global step=22269952, episodic return=2129.099609375\n", + "global step=22272000, episodic return=2119.434814453125\n", + "global step=22272000, episodic return=2115.32177734375\n", + "global step=22272000, episodic return=2088.091552734375\n", + "global step=22274048, episodic return=2077.818359375\n", + "global step=22274048, episodic return=2134.68115234375\n", + "global step=22276096, episodic return=2110.04736328125\n", + "global step=22278144, episodic return=2120.0771484375\n", + "global step=22280192, episodic return=2094.732177734375\n", + "global step=22280192, episodic return=2054.525390625\n", + "global step=22280192, episodic return=2139.076416015625\n", + "global step=22284288, episodic return=253.13845825195312\n", + "global step=22284288, episodic return=2106.114013671875\n", + "global step=22286336, episodic return=2133.87548828125\n", + "global step=22286336, episodic return=2102.681884765625\n", + "global step=22286336, episodic return=2106.79296875\n", + "global step=22286336, episodic return=2094.758544921875\n", + "global step=22288384, episodic return=443.0888671875\n", + "global step=22290432, episodic return=2138.51171875\n", + "global step=22290432, episodic return=2141.6689453125\n", + "global step=22292480, episodic return=2109.772705078125\n", + "global step=22292480, episodic return=2140.890869140625\n", + "global step=22294528, episodic return=2107.652099609375\n", + "global step=22294528, episodic return=2102.49169921875\n", + "global step=22294528, episodic return=2102.361328125\n", + "global step=22294528, episodic return=535.3621215820312\n", + "global step=22294528, episodic return=2112.5380859375\n", + "global step=22294528, episodic return=2076.409423828125\n", + "global step=22296576, episodic return=2098.799560546875\n", + "global step=22296576, episodic return=2127.1025390625\n", + "global step=22296576, episodic return=189.57627868652344\n", + "global step=22296576, episodic return=2098.157958984375\n", + "global step=22296576, episodic return=2124.244873046875\n", + "global step=22298624, episodic return=2072.970947265625\n", + "global step=22298624, episodic return=2095.486083984375\n", + "global step=22298624, episodic return=2091.376220703125\n", + "global step=22300672, episodic return=2135.865234375\n", + "global step=22300672, episodic return=2103.037109375\n", + "global step=22300672, episodic return=2135.76953125\n", + "global step=22302720, episodic return=2119.7314453125\n", + "global step=22302720, episodic return=2115.39794921875\n", + "global step=22304768, episodic return=2106.5361328125\n", + "global step=22304768, episodic return=2040.9605712890625\n", + "global step=22304768, episodic return=2088.225341796875\n", + "global step=22304768, episodic return=2126.64404296875\n", + "global step=22306816, episodic return=2094.1884765625\n", + "global step=22308864, episodic return=2109.13134765625\n", + "global step=22308864, episodic return=2085.837646484375\n", + "global step=22310912, episodic return=2091.3427734375\n", + "global step=22310912, episodic return=2122.55029296875\n", + "global step=22310912, episodic return=2125.739501953125\n", + "global step=22312960, episodic return=2104.60986328125\n", + "global step=22312960, episodic return=2104.6044921875\n", + "global step=22312960, episodic return=2104.173828125\n", + "global step=22315008, episodic return=2102.445068359375\n", + "global step=22315008, episodic return=2122.240234375\n", + "global step=22315008, episodic return=2137.0546875\n", + "global step=22317056, episodic return=2103.22607421875\n", + "global step=22317056, episodic return=2097.477294921875\n", + "global step=22317056, episodic return=2105.173095703125\n", + "global step=22317056, episodic return=2093.8798828125\n", + "global step=22319104, episodic return=2094.74462890625\n", + "global step=22321152, episodic return=53.11191177368164\n", + "global step=22321152, episodic return=268.9756164550781\n", + "global step=22323200, episodic return=2091.73095703125\n", + "global step=22323200, episodic return=423.2073059082031\n", + "global step=22325248, episodic return=2104.36767578125\n", + "global step=22325248, episodic return=2117.966552734375\n", + "global step=22327296, episodic return=2055.990234375\n", + "global step=22327296, episodic return=2130.6025390625\n", + "global step=22327296, episodic return=2107.933349609375\n", + "global step=22329344, episodic return=2105.952392578125\n", + "global step=22329344, episodic return=2134.631591796875\n", + "global step=22329344, episodic return=2085.554443359375\n", + "global step=22329344, episodic return=2084.910400390625\n", + "global step=22329344, episodic return=2082.4560546875\n", + "global step=22329344, episodic return=2105.70849609375\n", + "global step=22331392, episodic return=2115.278076171875\n", + "global step=22331392, episodic return=2115.2978515625\n", + "global step=22331392, episodic return=2091.194091796875\n", + "global step=22331392, episodic return=2130.032470703125\n", + "global step=22331392, episodic return=2104.32177734375\n", + "global step=22331392, episodic return=2064.3212890625\n", + "global step=22333440, episodic return=2114.999755859375\n", + "global step=22333440, episodic return=2097.898681640625\n", + "global step=22335488, episodic return=2098.89453125\n", + "global step=22335488, episodic return=2113.865234375\n", + "global step=22335488, episodic return=2107.404541015625\n", + "global step=22335488, episodic return=2117.663330078125\n", + "global step=22337536, episodic return=2131.019287109375\n", + "global step=22337536, episodic return=2117.98876953125\n", + "global step=22339584, episodic return=2082.21484375\n", + "global step=22339584, episodic return=2103.734619140625\n", + "global step=22339584, episodic return=2098.34326171875\n", + "global step=22341632, episodic return=770.6218872070312\n", + "global step=22341632, episodic return=2086.27197265625\n", + "global step=22341632, episodic return=2109.52734375\n", + "global step=22341632, episodic return=2112.052978515625\n", + "global step=22343680, episodic return=2131.15087890625\n", + "global step=22347776, episodic return=2107.1826171875\n", + "global step=22347776, episodic return=2079.890869140625\n", + "global step=22347776, episodic return=2134.946044921875\n", + "global step=22347776, episodic return=2086.755615234375\n", + "global step=22347776, episodic return=2109.364501953125\n", + "global step=22349824, episodic return=2108.393310546875\n", + "global step=22349824, episodic return=2063.406005859375\n", + "global step=22351872, episodic return=2109.37841796875\n", + "global step=22351872, episodic return=2128.4521484375\n", + "global step=22351872, episodic return=2101.544921875\n", + "global step=22351872, episodic return=2140.45849609375\n", + "global step=22353920, episodic return=2086.71240234375\n", + "global step=22353920, episodic return=2119.14453125\n", + "global step=22353920, episodic return=2124.03271484375\n", + "global step=22355968, episodic return=2126.82763671875\n", + "global step=22355968, episodic return=267.680419921875\n", + "global step=22355968, episodic return=2107.373779296875\n", + "global step=22358016, episodic return=2098.15966796875\n", + "global step=22358016, episodic return=2098.3369140625\n", + "global step=22358016, episodic return=2123.242919921875\n", + "global step=22358016, episodic return=2115.67431640625\n", + "global step=22358016, episodic return=1287.09619140625\n", + "global step=22358016, episodic return=2120.163818359375\n", + "global step=22360064, episodic return=2096.32373046875\n", + "global step=22362112, episodic return=2133.69091796875\n", + "global step=22364160, episodic return=2052.037841796875\n", + "global step=22364160, episodic return=2088.21044921875\n", + "global step=22364160, episodic return=2098.669189453125\n", + "global step=22364160, episodic return=2110.925537109375\n", + "global step=22364160, episodic return=2100.73193359375\n", + "global step=22366208, episodic return=2102.535888671875\n", + "global step=22366208, episodic return=2087.03857421875\n", + "global step=22366208, episodic return=2101.617919921875\n", + "global step=22366208, episodic return=2125.960693359375\n", + "global step=22366208, episodic return=2085.653564453125\n", + "global step=22366208, episodic return=2097.53173828125\n", + "global step=22366208, episodic return=2092.515869140625\n", + "global step=22366208, episodic return=2132.54248046875\n", + "global step=22366208, episodic return=2092.319580078125\n", + "global step=22370304, episodic return=2091.800537109375\n", + "global step=22370304, episodic return=2068.489013671875\n", + "global step=22370304, episodic return=1320.315673828125\n", + "global step=22370304, episodic return=2117.40478515625\n", + "global step=22372352, episodic return=2139.004638671875\n", + "global step=22372352, episodic return=2105.4677734375\n", + "global step=22372352, episodic return=2117.466064453125\n", + "global step=22374400, episodic return=2113.651123046875\n", + "global step=22374400, episodic return=2103.58349609375\n", + "global step=22376448, episodic return=2111.585693359375\n", + "global step=22378496, episodic return=2112.665283203125\n", + "global step=22378496, episodic return=2121.659423828125\n", + "global step=22378496, episodic return=2129.03759765625\n", + "global step=22378496, episodic return=2123.200439453125\n", + "global step=22380544, episodic return=2108.94921875\n", + "global step=22380544, episodic return=2097.257568359375\n", + "global step=22380544, episodic return=2089.756591796875\n", + "global step=22380544, episodic return=2114.706298828125\n", + "global step=22382592, episodic return=2082.241455078125\n", + "global step=22382592, episodic return=2065.260986328125\n", + "global step=22382592, episodic return=2103.689208984375\n", + "global step=22382592, episodic return=2112.443603515625\n", + "global step=22384640, episodic return=2094.571044921875\n", + "global step=22384640, episodic return=1982.099609375\n", + "global step=22386688, episodic return=2085.137939453125\n", + "global step=22386688, episodic return=2110.526123046875\n", + "global step=22388736, episodic return=2100.9072265625\n", + "global step=22390784, episodic return=2123.218994140625\n", + "global step=22392832, episodic return=2132.01708984375\n", + "global step=22394880, episodic return=2067.321533203125\n", + "global step=22394880, episodic return=2101.20361328125\n", + "global step=22394880, episodic return=2103.171630859375\n", + "global step=22396928, episodic return=2098.98583984375\n", + "global step=22396928, episodic return=2092.1513671875\n", + "global step=22396928, episodic return=2111.91357421875\n", + "global step=22401024, episodic return=2066.419677734375\n", + "global step=22401024, episodic return=2103.487548828125\n", + "global step=22403072, episodic return=2106.917236328125\n", + "global step=22405120, episodic return=2100.058837890625\n", + "global step=22405120, episodic return=2053.6748046875\n", + "global step=22405120, episodic return=482.3985900878906\n", + "global step=22405120, episodic return=2063.04345703125\n", + "global step=22407168, episodic return=2083.28173828125\n", + "global step=22407168, episodic return=2112.976318359375\n", + "global step=22407168, episodic return=2119.79248046875\n", + "global step=22409216, episodic return=2094.788330078125\n", + "global step=22409216, episodic return=2090.552734375\n", + "global step=22411264, episodic return=473.57659912109375\n", + "global step=22411264, episodic return=1691.928955078125\n", + "global step=22411264, episodic return=2101.3251953125\n", + "global step=22413312, episodic return=2089.228759765625\n", + "global step=22415360, episodic return=2090.1337890625\n", + "global step=22415360, episodic return=2093.03662109375\n", + "global step=22415360, episodic return=2109.35498046875\n", + "global step=22417408, episodic return=2086.896728515625\n", + "global step=22419456, episodic return=2100.139404296875\n", + "global step=22419456, episodic return=2105.73486328125\n", + "global step=22419456, episodic return=2114.915283203125\n", + "global step=22421504, episodic return=2104.021240234375\n", + "global step=22421504, episodic return=2081.488037109375\n", + "global step=22421504, episodic return=2107.781005859375\n", + "global step=22421504, episodic return=2098.0537109375\n", + "global step=22421504, episodic return=2107.15625\n", + "global step=22421504, episodic return=2109.445068359375\n", + "global step=22423552, episodic return=2109.16748046875\n", + "global step=22423552, episodic return=2106.026611328125\n", + "global step=22423552, episodic return=2104.890380859375\n", + "global step=22423552, episodic return=2123.58349609375\n", + "global step=22423552, episodic return=2084.014404296875\n", + "global step=22423552, episodic return=2096.433349609375\n", + "global step=22425600, episodic return=2093.063720703125\n", + "global step=22425600, episodic return=2099.73828125\n", + "global step=22425600, episodic return=2114.19189453125\n", + "global step=22425600, episodic return=635.9755249023438\n", + "global step=22429696, episodic return=2102.35546875\n", + "global step=22429696, episodic return=2122.093017578125\n", + "global step=22429696, episodic return=2107.035888671875\n", + "global step=22431744, episodic return=2113.768798828125\n", + "global step=22437888, episodic return=2116.892578125\n", + "global step=22439936, episodic return=2089.184814453125\n", + "global step=22439936, episodic return=2102.376220703125\n", + "global step=22441984, episodic return=2089.158447265625\n", + "global step=22444032, episodic return=2120.655517578125\n", + "global step=22446080, episodic return=2078.992431640625\n", + "global step=22446080, episodic return=2080.608154296875\n", + "global step=22446080, episodic return=2104.677734375\n", + "global step=22448128, episodic return=2111.8515625\n", + "global step=22448128, episodic return=2086.861328125\n", + "global step=22448128, episodic return=2113.53662109375\n", + "global step=22450176, episodic return=2094.62353515625\n", + "global step=22450176, episodic return=195.6625213623047\n", + "global step=22452224, episodic return=2086.269287109375\n", + "global step=22452224, episodic return=2092.641845703125\n", + "global step=22458368, episodic return=2117.92529296875\n", + "global step=22458368, episodic return=2089.983642578125\n", + "global step=22458368, episodic return=2085.76611328125\n", + "global step=22460416, episodic return=2106.913330078125\n", + "global step=22460416, episodic return=2092.308837890625\n", + "global step=22462464, episodic return=2082.27978515625\n", + "global step=22462464, episodic return=2091.034912109375\n", + "global step=22462464, episodic return=2087.1962890625\n", + "global step=22464512, episodic return=219.33065795898438\n", + "global step=22464512, episodic return=2079.957763671875\n", + "global step=22466560, episodic return=2083.580322265625\n", + "global step=22466560, episodic return=2081.0146484375\n", + "global step=22468608, episodic return=2087.755859375\n", + "global step=22468608, episodic return=2086.446044921875\n", + "global step=22468608, episodic return=2096.886474609375\n", + "global step=22472704, episodic return=2102.846923828125\n", + "global step=22472704, episodic return=282.0402526855469\n", + "global step=22472704, episodic return=2066.542236328125\n", + "global step=22474752, episodic return=2108.08984375\n", + "global step=22474752, episodic return=2107.693603515625\n", + "global step=22476800, episodic return=2065.177734375\n", + "global step=22476800, episodic return=2086.795654296875\n", + "global step=22476800, episodic return=2075.301513671875\n", + "global step=22478848, episodic return=2063.598388671875\n", + "global step=22478848, episodic return=2117.721923828125\n", + "global step=22478848, episodic return=230.6416015625\n", + "global step=22480896, episodic return=2128.09130859375\n", + "global step=22480896, episodic return=2087.5537109375\n", + "global step=22480896, episodic return=2102.578369140625\n", + "global step=22480896, episodic return=2099.36474609375\n", + "global step=22480896, episodic return=2085.467041015625\n", + "global step=22480896, episodic return=2076.242919921875\n", + "global step=22482944, episodic return=2097.79541015625\n", + "global step=22482944, episodic return=2073.19091796875\n", + "global step=22484992, episodic return=290.13848876953125\n", + "global step=22484992, episodic return=364.456787109375\n", + "global step=22484992, episodic return=2077.8525390625\n", + "global step=22484992, episodic return=2091.759765625\n", + "global step=22484992, episodic return=2069.20654296875\n", + "global step=22487040, episodic return=2082.735107421875\n", + "global step=22487040, episodic return=2110.16650390625\n", + "global step=22487040, episodic return=2089.25048828125\n", + "global step=22489088, episodic return=2093.815673828125\n", + "global step=22489088, episodic return=2117.69287109375\n", + "global step=22491136, episodic return=2085.51220703125\n", + "global step=22491136, episodic return=2062.8818359375\n", + "global step=22491136, episodic return=2096.796875\n", + "global step=22491136, episodic return=2081.458984375\n", + "global step=22493184, episodic return=2136.369140625\n", + "global step=22493184, episodic return=432.1761474609375\n", + "global step=22493184, episodic return=654.0377807617188\n", + "global step=22495232, episodic return=2109.134521484375\n", + "global step=22495232, episodic return=2125.02978515625\n", + "global step=22497280, episodic return=2102.022216796875\n", + "global step=22499328, episodic return=2090.4345703125\n", + "global step=22499328, episodic return=2110.672607421875\n", + "global step=22499328, episodic return=422.03057861328125\n", + "global step=22501376, episodic return=2117.471435546875\n", + "global step=22501376, episodic return=360.0035400390625\n", + "global step=22503424, episodic return=2032.8720703125\n", + "global step=22503424, episodic return=2085.29638671875\n", + "global step=22505472, episodic return=2108.775146484375\n", + "global step=22505472, episodic return=2110.595703125\n", + "global step=22507520, episodic return=359.8929748535156\n", + "global step=22507520, episodic return=2088.81787109375\n", + "global step=22507520, episodic return=2113.181884765625\n", + "global step=22509568, episodic return=2108.0546875\n", + "global step=22509568, episodic return=2076.66455078125\n", + "global step=22511616, episodic return=2101.359619140625\n", + "global step=22511616, episodic return=232.85023498535156\n", + "global step=22511616, episodic return=2119.785400390625\n", + "global step=22515712, episodic return=2085.78125\n", + "global step=22515712, episodic return=2088.8662109375\n", + "global step=22517760, episodic return=2078.043212890625\n", + "global step=22517760, episodic return=2073.404541015625\n", + "global step=22517760, episodic return=2103.18115234375\n", + "global step=22517760, episodic return=2125.3955078125\n", + "global step=22519808, episodic return=2084.737060546875\n", + "global step=22519808, episodic return=2075.92578125\n", + "global step=22519808, episodic return=2081.09716796875\n", + "global step=22521856, episodic return=2084.03759765625\n", + "global step=22521856, episodic return=2072.02392578125\n", + "global step=22521856, episodic return=2098.030517578125\n", + "global step=22523904, episodic return=2142.689453125\n", + "global step=22523904, episodic return=2084.176513671875\n", + "global step=22528000, episodic return=2114.4013671875\n", + "global step=22528000, episodic return=2093.373779296875\n", + "global step=22530048, episodic return=2073.692138671875\n", + "global step=22530048, episodic return=2094.923583984375\n", + "global step=22530048, episodic return=249.2779083251953\n", + "global step=22532096, episodic return=2083.7880859375\n", + "global step=22534144, episodic return=2100.435791015625\n", + "global step=22534144, episodic return=2095.575439453125\n", + "global step=22534144, episodic return=2116.290771484375\n", + "global step=22534144, episodic return=2096.44482421875\n", + "global step=22536192, episodic return=2078.89013671875\n", + "global step=22540288, episodic return=2108.99267578125\n", + "global step=22542336, episodic return=1384.0362548828125\n", + "global step=22542336, episodic return=2110.919921875\n", + "global step=22544384, episodic return=2076.948486328125\n", + "global step=22544384, episodic return=2084.4541015625\n", + "global step=22546432, episodic return=2108.4951171875\n", + "global step=22548480, episodic return=2107.41552734375\n", + "global step=22548480, episodic return=2054.574462890625\n", + "global step=22548480, episodic return=2105.47802734375\n", + "global step=22550528, episodic return=2087.513427734375\n", + "global step=22554624, episodic return=2092.888427734375\n", + "global step=22554624, episodic return=2079.539306640625\n", + "global step=22554624, episodic return=2076.566650390625\n", + "global step=22556672, episodic return=2088.591796875\n", + "global step=22556672, episodic return=2079.59033203125\n", + "global step=22556672, episodic return=2101.991943359375\n", + "global step=22558720, episodic return=2092.553466796875\n", + "global step=22560768, episodic return=2066.999755859375\n", + "global step=22564864, episodic return=2112.690185546875\n", + "global step=22564864, episodic return=2084.795166015625\n", + "global step=22564864, episodic return=2106.801513671875\n", + "global step=22566912, episodic return=2081.3818359375\n", + "global step=22566912, episodic return=2111.000732421875\n", + "global step=22566912, episodic return=2102.3330078125\n", + "global step=22568960, episodic return=2117.113525390625\n", + "global step=22568960, episodic return=2060.44970703125\n", + "global step=22568960, episodic return=2088.38134765625\n", + "global step=22571008, episodic return=2084.24560546875\n", + "global step=22575104, episodic return=2103.66064453125\n", + "global step=22575104, episodic return=2082.869140625\n", + "global step=22575104, episodic return=2068.71875\n", + "global step=22577152, episodic return=2083.194580078125\n", + "global step=22579200, episodic return=2104.31982421875\n", + "global step=22581248, episodic return=2061.1318359375\n", + "global step=22581248, episodic return=2087.645751953125\n", + "global step=22581248, episodic return=2088.7197265625\n", + "global step=22581248, episodic return=2101.5126953125\n", + "global step=22581248, episodic return=2116.453125\n", + "global step=22583296, episodic return=2103.834228515625\n", + "global step=22585344, episodic return=2106.911376953125\n", + "global step=22585344, episodic return=2076.815185546875\n", + "global step=22587392, episodic return=2099.421142578125\n", + "global step=22589440, episodic return=442.4364929199219\n", + "global step=22589440, episodic return=2079.155029296875\n", + "global step=22591488, episodic return=2104.06103515625\n", + "global step=22591488, episodic return=2072.540283203125\n", + "global step=22591488, episodic return=1262.4451904296875\n", + "global step=22591488, episodic return=2108.455322265625\n", + "global step=22595584, episodic return=2090.1923828125\n", + "global step=22599680, episodic return=2052.88037109375\n", + "global step=22601728, episodic return=2112.10791015625\n", + "global step=22603776, episodic return=2129.13525390625\n", + "global step=22603776, episodic return=2100.814697265625\n", + "global step=22603776, episodic return=2081.67236328125\n", + "global step=22603776, episodic return=2083.078369140625\n", + "global step=22605824, episodic return=2066.181884765625\n", + "global step=22605824, episodic return=2069.60791015625\n", + "global step=22605824, episodic return=2069.174560546875\n", + "global step=22605824, episodic return=2065.45263671875\n", + "global step=22607872, episodic return=2082.473388671875\n", + "global step=22609920, episodic return=2087.765625\n", + "global step=22609920, episodic return=2079.418212890625\n", + "global step=22609920, episodic return=2091.1435546875\n", + "global step=22611968, episodic return=2088.878662109375\n", + "global step=22614016, episodic return=2100.55810546875\n", + "global step=22616064, episodic return=2073.673095703125\n", + "global step=22618112, episodic return=2065.02197265625\n", + "global step=22618112, episodic return=2072.6650390625\n", + "global step=22618112, episodic return=2090.3037109375\n", + "global step=22620160, episodic return=1342.34716796875\n", + "global step=22620160, episodic return=2063.014404296875\n", + "global step=22622208, episodic return=2097.76953125\n", + "global step=22624256, episodic return=2105.360595703125\n", + "global step=22626304, episodic return=2076.110107421875\n", + "global step=22626304, episodic return=2073.65185546875\n", + "global step=22626304, episodic return=2064.112060546875\n", + "global step=22628352, episodic return=2057.13720703125\n", + "global step=22628352, episodic return=2089.142578125\n", + "global step=22628352, episodic return=2067.9697265625\n", + "global step=22630400, episodic return=2083.449462890625\n", + "global step=22630400, episodic return=2089.689697265625\n", + "global step=22632448, episodic return=2079.558837890625\n", + "global step=22634496, episodic return=2082.201171875\n", + "global step=22634496, episodic return=2099.609130859375\n", + "global step=22638592, episodic return=2072.0869140625\n", + "global step=22638592, episodic return=2073.633056640625\n", + "global step=22638592, episodic return=2074.31689453125\n", + "global step=22642688, episodic return=2082.017333984375\n", + "global step=22642688, episodic return=2103.738037109375\n", + "global step=22642688, episodic return=2081.16357421875\n", + "global step=22644736, episodic return=2087.497314453125\n", + "global step=22644736, episodic return=2089.30224609375\n", + "global step=22646784, episodic return=2058.65478515625\n", + "global step=22646784, episodic return=2084.945068359375\n", + "global step=22646784, episodic return=2081.555419921875\n", + "global step=22646784, episodic return=2074.10009765625\n", + "global step=22648832, episodic return=2088.334228515625\n", + "global step=22648832, episodic return=2071.2802734375\n", + "global step=22648832, episodic return=2067.010009765625\n", + "global step=22650880, episodic return=2093.18505859375\n", + "global step=22650880, episodic return=2063.8134765625\n", + "global step=22650880, episodic return=2081.347412109375\n", + "global step=22652928, episodic return=2106.55908203125\n", + "global step=22652928, episodic return=2091.530517578125\n", + "global step=22657024, episodic return=2094.048828125\n", + "global step=22657024, episodic return=2024.684814453125\n", + "global step=22657024, episodic return=2090.0947265625\n", + "global step=22661120, episodic return=2059.565185546875\n", + "global step=22661120, episodic return=2065.24658203125\n", + "global step=22661120, episodic return=2092.54248046875\n", + "global step=22661120, episodic return=2093.09375\n", + "global step=22661120, episodic return=2091.6669921875\n", + "global step=22661120, episodic return=2114.183837890625\n", + "global step=22663168, episodic return=2081.71240234375\n", + "global step=22663168, episodic return=2108.99267578125\n", + "global step=22667264, episodic return=2045.5048828125\n", + "global step=22667264, episodic return=2063.89013671875\n", + "global step=22667264, episodic return=2054.779296875\n", + "global step=22669312, episodic return=2096.381103515625\n", + "global step=22671360, episodic return=2051.4248046875\n", + "global step=22673408, episodic return=2061.346435546875\n", + "global step=22675456, episodic return=2111.643798828125\n", + "global step=22675456, episodic return=2079.973876953125\n", + "global step=22677504, episodic return=2097.68994140625\n", + "global step=22679552, episodic return=2086.921630859375\n", + "global step=22679552, episodic return=2078.330810546875\n", + "global step=22681600, episodic return=2058.369873046875\n", + "global step=22681600, episodic return=2069.9150390625\n", + "global step=22683648, episodic return=2069.921875\n", + "global step=22683648, episodic return=2057.451171875\n", + "global step=22683648, episodic return=2086.239990234375\n", + "global step=22687744, episodic return=2075.191162109375\n", + "global step=22687744, episodic return=512.3724365234375\n", + "global step=22687744, episodic return=2081.779296875\n", + "global step=22689792, episodic return=2122.797119140625\n", + "global step=22691840, episodic return=2065.1650390625\n", + "global step=22693888, episodic return=2082.404296875\n", + "global step=22693888, episodic return=2103.3369140625\n", + "global step=22697984, episodic return=2089.929443359375\n", + "global step=22697984, episodic return=2065.685302734375\n", + "global step=22700032, episodic return=1889.9395751953125\n", + "global step=22702080, episodic return=2065.6640625\n", + "global step=22702080, episodic return=2077.022705078125\n", + "global step=22704128, episodic return=2078.635009765625\n", + "global step=22706176, episodic return=2123.953125\n", + "global step=22706176, episodic return=2067.48876953125\n", + "global step=22708224, episodic return=2078.971923828125\n", + "global step=22708224, episodic return=2059.419677734375\n", + "global step=22708224, episodic return=2105.40869140625\n", + "global step=22708224, episodic return=2075.01416015625\n", + "global step=22710272, episodic return=2086.512939453125\n", + "global step=22710272, episodic return=2074.14697265625\n", + "global step=22712320, episodic return=2090.271484375\n", + "global step=22714368, episodic return=2085.17333984375\n", + "global step=22718464, episodic return=2060.182373046875\n", + "global step=22722560, episodic return=2075.830078125\n", + "global step=22722560, episodic return=2064.859130859375\n", + "global step=22724608, episodic return=2069.219482421875\n", + "global step=22728704, episodic return=2082.6376953125\n", + "global step=22728704, episodic return=2093.185791015625\n", + "global step=22730752, episodic return=2060.284912109375\n", + "global step=22734848, episodic return=833.034423828125\n", + "global step=22736896, episodic return=2076.1630859375\n", + "global step=22736896, episodic return=2078.384765625\n", + "global step=22736896, episodic return=2071.534912109375\n", + "global step=22740992, episodic return=2047.7696533203125\n", + "global step=22743040, episodic return=2086.331787109375\n", + "global step=22743040, episodic return=2079.712158203125\n", + "global step=22743040, episodic return=2049.7568359375\n", + "global step=22743040, episodic return=2097.86474609375\n", + "global step=22745088, episodic return=2094.453369140625\n", + "global step=22747136, episodic return=2077.431396484375\n", + "global step=22747136, episodic return=2075.549560546875\n", + "global step=22751232, episodic return=2052.47021484375\n", + "global step=22751232, episodic return=2085.763427734375\n", + "global step=22753280, episodic return=2061.482177734375\n", + "global step=22753280, episodic return=2035.601806640625\n", + "global step=22755328, episodic return=432.6962585449219\n", + "global step=22755328, episodic return=2083.724609375\n", + "global step=22755328, episodic return=2083.188232421875\n", + "global step=22757376, episodic return=2069.045166015625\n", + "global step=22757376, episodic return=2076.25537109375\n", + "global step=22759424, episodic return=2052.22509765625\n", + "global step=22761472, episodic return=2095.54296875\n", + "global step=22761472, episodic return=2080.691162109375\n", + "global step=22767616, episodic return=2053.414794921875\n", + "global step=22769664, episodic return=2072.0537109375\n", + "global step=22769664, episodic return=2067.109130859375\n", + "global step=22771712, episodic return=2077.093505859375\n", + "global step=22777856, episodic return=2044.6768798828125\n", + "global step=22777856, episodic return=2084.086181640625\n", + "global step=22777856, episodic return=2061.21630859375\n", + "global step=22779904, episodic return=2090.30517578125\n", + "global step=22781952, episodic return=2108.398681640625\n", + "global step=22781952, episodic return=2083.327392578125\n", + "global step=22781952, episodic return=2094.351318359375\n", + "global step=22781952, episodic return=2068.857177734375\n", + "global step=22784000, episodic return=2105.38037109375\n", + "global step=22784000, episodic return=1995.5771484375\n", + "global step=22784000, episodic return=2099.0244140625\n", + "global step=22786048, episodic return=1397.2794189453125\n", + "global step=22788096, episodic return=2046.9913330078125\n", + "global step=22788096, episodic return=2077.90625\n", + "global step=22790144, episodic return=2061.143310546875\n", + "global step=22790144, episodic return=2064.53955078125\n", + "global step=22798336, episodic return=2057.37109375\n", + "global step=22802432, episodic return=556.7367553710938\n", + "global step=22802432, episodic return=2122.588623046875\n", + "global step=22804480, episodic return=2069.687744140625\n", + "global step=22804480, episodic return=2073.251953125\n", + "global step=22806528, episodic return=2071.208740234375\n", + "global step=22814720, episodic return=2021.2900390625\n", + "global step=22818816, episodic return=2071.89306640625\n", + "global step=22818816, episodic return=2076.880615234375\n", + "global step=22818816, episodic return=2055.65087890625\n", + "global step=22818816, episodic return=2090.331298828125\n", + "global step=22824960, episodic return=2065.271484375\n", + "global step=22827008, episodic return=2058.179443359375\n", + "global step=22827008, episodic return=2067.187255859375\n", + "global step=22827008, episodic return=2091.154052734375\n", + "global step=22831104, episodic return=2055.4208984375\n", + "global step=22833152, episodic return=2037.155517578125\n", + "global step=22835200, episodic return=2094.591552734375\n", + "global step=22839296, episodic return=2073.02197265625\n", + "global step=22839296, episodic return=2086.559326171875\n", + "global step=22841344, episodic return=2059.760986328125\n", + "global step=22843392, episodic return=2099.537109375\n", + "global step=22843392, episodic return=2022.708251953125\n", + "global step=22843392, episodic return=2060.057373046875\n", + "global step=22843392, episodic return=2062.92822265625\n", + "global step=22851584, episodic return=2073.976318359375\n", + "global step=22853632, episodic return=2063.652587890625\n", + "global step=22853632, episodic return=2101.368408203125\n", + "global step=22853632, episodic return=2089.439208984375\n", + "global step=22853632, episodic return=2047.97607421875\n", + "global step=22859776, episodic return=2050.61181640625\n", + "global step=22859776, episodic return=2080.299560546875\n", + "global step=22861824, episodic return=2059.376953125\n", + "global step=22863872, episodic return=517.4232177734375\n", + "global step=22865920, episodic return=2067.397216796875\n", + "global step=22870016, episodic return=2073.2783203125\n", + "global step=22872064, episodic return=2068.31005859375\n", + "global step=22874112, episodic return=2045.6475830078125\n", + "global step=22874112, episodic return=521.7666015625\n", + "global step=22876160, episodic return=2100.376708984375\n", + "global step=22878208, episodic return=2075.582763671875\n", + "global step=22880256, episodic return=2089.541259765625\n", + "global step=22882304, episodic return=2069.251708984375\n", + "global step=22882304, episodic return=2073.231689453125\n", + "global step=22888448, episodic return=2072.879638671875\n", + "global step=22888448, episodic return=2050.027587890625\n", + "global step=22896640, episodic return=2043.400390625\n", + "global step=22896640, episodic return=2075.1337890625\n", + "global step=22896640, episodic return=2049.130859375\n", + "global step=22896640, episodic return=2071.799072265625\n", + "global step=22898688, episodic return=2051.70263671875\n", + "global step=22902784, episodic return=1666.667236328125\n", + "global step=22902784, episodic return=2071.71240234375\n", + "global step=22902784, episodic return=2101.901123046875\n", + "global step=22904832, episodic return=2073.22021484375\n", + "global step=22908928, episodic return=2063.443115234375\n", + "global step=22908928, episodic return=2072.43017578125\n", + "global step=22910976, episodic return=2068.278564453125\n", + "global step=22910976, episodic return=2070.46142578125\n", + "global step=22910976, episodic return=2079.79150390625\n", + "global step=22910976, episodic return=2085.815673828125\n", + "global step=22910976, episodic return=2085.758544921875\n", + "global step=22910976, episodic return=161.89544677734375\n", + "global step=22913024, episodic return=2061.107666015625\n", + "global step=22913024, episodic return=2071.4228515625\n", + "global step=22917120, episodic return=2102.217529296875\n", + "global step=22919168, episodic return=2076.992919921875\n", + "global step=22919168, episodic return=2039.857177734375\n", + "global step=22921216, episodic return=2065.699951171875\n", + "global step=22921216, episodic return=2066.85400390625\n", + "global step=22925312, episodic return=2041.8992919921875\n", + "global step=22925312, episodic return=1366.7755126953125\n", + "global step=22927360, episodic return=2049.28759765625\n", + "global step=22927360, episodic return=519.7807006835938\n", + "global step=22929408, episodic return=2055.442626953125\n", + "global step=22931456, episodic return=2052.1748046875\n", + "global step=22931456, episodic return=2102.37548828125\n", + "global step=22931456, episodic return=2087.4736328125\n", + "global step=22931456, episodic return=2072.147216796875\n", + "global step=22931456, episodic return=619.5076293945312\n", + "global step=22933504, episodic return=2075.38232421875\n", + "global step=22933504, episodic return=2056.089599609375\n", + "global step=22935552, episodic return=591.5001220703125\n", + "global step=22937600, episodic return=2082.87060546875\n", + "global step=22937600, episodic return=2059.50732421875\n", + "global step=22941696, episodic return=2065.9326171875\n", + "global step=22943744, episodic return=2079.3642578125\n", + "global step=22943744, episodic return=2077.37939453125\n", + "global step=22943744, episodic return=2075.180419921875\n", + "global step=22943744, episodic return=407.098388671875\n", + "global step=22945792, episodic return=2031.0101318359375\n", + "global step=22945792, episodic return=2074.535400390625\n", + "global step=22945792, episodic return=2047.498779296875\n", + "global step=22953984, episodic return=2058.485107421875\n", + "global step=22960128, episodic return=2067.87255859375\n", + "global step=22960128, episodic return=2075.772705078125\n", + "global step=22964224, episodic return=2042.711669921875\n", + "global step=22964224, episodic return=1276.74072265625\n", + "global step=22964224, episodic return=2049.712646484375\n", + "global step=22966272, episodic return=2075.958740234375\n", + "global step=22966272, episodic return=2047.869873046875\n", + "global step=22966272, episodic return=2072.82177734375\n", + "global step=22968320, episodic return=2046.152099609375\n", + "global step=22968320, episodic return=1582.9183349609375\n", + "global step=22970368, episodic return=2098.736083984375\n", + "global step=22970368, episodic return=2067.3056640625\n", + "global step=22972416, episodic return=376.644775390625\n", + "global step=22972416, episodic return=2052.09130859375\n", + "global step=22972416, episodic return=2066.594970703125\n", + "global step=22972416, episodic return=2059.79150390625\n", + "global step=22972416, episodic return=2019.09912109375\n", + "global step=22974464, episodic return=2097.52783203125\n", + "global step=22974464, episodic return=2047.550537109375\n", + "global step=22974464, episodic return=200.62432861328125\n", + "global step=22976512, episodic return=2076.3515625\n", + "global step=22976512, episodic return=628.4666137695312\n", + "global step=22978560, episodic return=2055.04150390625\n", + "global step=22978560, episodic return=2053.086669921875\n", + "global step=22978560, episodic return=2089.4130859375\n", + "global step=22978560, episodic return=2065.593994140625\n", + "global step=22980608, episodic return=2056.668212890625\n", + "global step=22980608, episodic return=2050.363525390625\n", + "global step=22982656, episodic return=2084.644775390625\n", + "global step=22982656, episodic return=2056.984619140625\n", + "global step=22984704, episodic return=2036.8466796875\n", + "global step=22984704, episodic return=310.8224182128906\n", + "global step=22986752, episodic return=2065.14599609375\n", + "global step=22988800, episodic return=2056.262451171875\n", + "global step=22988800, episodic return=1998.3626708984375\n", + "global step=22990848, episodic return=2069.209228515625\n", + "global step=22990848, episodic return=2028.797607421875\n", + "global step=22990848, episodic return=2055.796142578125\n", + "global step=22990848, episodic return=2066.757080078125\n", + "global step=22992896, episodic return=2053.64453125\n", + "global step=22994944, episodic return=2066.6220703125\n", + "global step=22994944, episodic return=2054.147216796875\n", + "global step=22994944, episodic return=2048.55712890625\n", + "global step=22994944, episodic return=1025.7972412109375\n", + "global step=22996992, episodic return=2070.3740234375\n", + "global step=22999040, episodic return=2085.49169921875\n", + "global step=22999040, episodic return=1646.2462158203125\n", + "global step=23001088, episodic return=2053.854248046875\n", + "global step=23001088, episodic return=2085.125\n", + "global step=23001088, episodic return=2070.676025390625\n", + "global step=23005184, episodic return=2070.389404296875\n", + "global step=23005184, episodic return=263.9178161621094\n", + "global step=23005184, episodic return=2048.5556640625\n", + "global step=23007232, episodic return=228.68386840820312\n", + "global step=23007232, episodic return=2025.3275146484375\n", + "global step=23011328, episodic return=297.66802978515625\n", + "global step=23013376, episodic return=2055.977783203125\n", + "global step=23013376, episodic return=2039.625244140625\n", + "global step=23013376, episodic return=2023.1146240234375\n", + "global step=23013376, episodic return=2064.760986328125\n", + "global step=23015424, episodic return=2081.820556640625\n", + "global step=23015424, episodic return=2039.386962890625\n", + "global step=23019520, episodic return=2063.290283203125\n", + "global step=23019520, episodic return=2040.867431640625\n", + "global step=23021568, episodic return=2054.57421875\n", + "global step=23021568, episodic return=2093.11962890625\n", + "global step=23023616, episodic return=2066.548095703125\n", + "global step=23023616, episodic return=428.87725830078125\n", + "global step=23025664, episodic return=2049.543701171875\n", + "global step=23025664, episodic return=2057.0830078125\n", + "global step=23029760, episodic return=2028.614501953125\n", + "global step=23031808, episodic return=2068.622314453125\n", + "global step=23033856, episodic return=2045.1510009765625\n", + "global step=23035904, episodic return=981.9964599609375\n", + "global step=23035904, episodic return=994.1126708984375\n", + "global step=23035904, episodic return=2068.739990234375\n", + "global step=23037952, episodic return=2069.197265625\n", + "global step=23037952, episodic return=2069.917724609375\n", + "global step=23037952, episodic return=2077.369384765625\n", + "global step=23037952, episodic return=448.9654235839844\n", + "global step=23037952, episodic return=2003.728515625\n", + "global step=23040000, episodic return=2059.946044921875\n", + "global step=23042048, episodic return=2092.0263671875\n", + "global step=23042048, episodic return=2059.646240234375\n", + "global step=23044096, episodic return=2056.260498046875\n", + "global step=23044096, episodic return=1010.561767578125\n", + "global step=23044096, episodic return=2001.9140625\n", + "global step=23044096, episodic return=2047.039794921875\n", + "global step=23050240, episodic return=2019.056396484375\n", + "global step=23052288, episodic return=1215.8468017578125\n", + "global step=23052288, episodic return=2024.8387451171875\n", + "global step=23054336, episodic return=2027.33544921875\n", + "global step=23058432, episodic return=2070.895263671875\n", + "global step=23058432, episodic return=1555.5311279296875\n", + "global step=23060480, episodic return=2048.780517578125\n", + "global step=23060480, episodic return=2043.775634765625\n", + "global step=23062528, episodic return=1505.0889892578125\n", + "global step=23064576, episodic return=2080.513671875\n", + "global step=23066624, episodic return=2062.344482421875\n", + "global step=23066624, episodic return=2054.768310546875\n", + "global step=23072768, episodic return=2079.65087890625\n", + "global step=23076864, episodic return=1057.3271484375\n", + "global step=23076864, episodic return=2063.67724609375\n", + "global step=23076864, episodic return=2059.42529296875\n", + "global step=23078912, episodic return=1789.3448486328125\n", + "global step=23078912, episodic return=2028.0416259765625\n", + "global step=23080960, episodic return=511.5114440917969\n", + "global step=23083008, episodic return=2016.100830078125\n", + "global step=23083008, episodic return=2060.69775390625\n", + "global step=23087104, episodic return=2066.7890625\n", + "global step=23087104, episodic return=2025.6541748046875\n", + "global step=23087104, episodic return=2040.9259033203125\n", + "global step=23089152, episodic return=2058.0947265625\n", + "global step=23091200, episodic return=2063.34228515625\n", + "global step=23095296, episodic return=360.5124816894531\n", + "global step=23095296, episodic return=2063.3671875\n", + "global step=23095296, episodic return=2037.8365478515625\n", + "global step=23097344, episodic return=2044.64208984375\n", + "global step=23097344, episodic return=2067.311767578125\n", + "global step=23099392, episodic return=2050.935302734375\n", + "global step=23101440, episodic return=2060.694580078125\n", + "global step=23101440, episodic return=2075.0009765625\n", + "global step=23103488, episodic return=2044.2083740234375\n", + "global step=23107584, episodic return=2048.90576171875\n", + "global step=23107584, episodic return=2074.84033203125\n", + "global step=23109632, episodic return=2063.166748046875\n", + "global step=23109632, episodic return=991.4425048828125\n", + "global step=23113728, episodic return=2034.6270751953125\n", + "global step=23117824, episodic return=1291.2078857421875\n", + "global step=23123968, episodic return=2087.04052734375\n", + "global step=23128064, episodic return=414.0411071777344\n", + "global step=23128064, episodic return=2034.302001953125\n", + "global step=23132160, episodic return=2038.6890869140625\n", + "global step=23132160, episodic return=2027.3299560546875\n", + "global step=23132160, episodic return=2045.88330078125\n", + "global step=23132160, episodic return=2081.110107421875\n", + "global step=23134208, episodic return=2041.9384765625\n", + "global step=23134208, episodic return=2026.2359619140625\n", + "global step=23138304, episodic return=2054.091552734375\n", + "global step=23140352, episodic return=2040.9461669921875\n", + "global step=23144448, episodic return=1312.659912109375\n", + "global step=23144448, episodic return=2057.60205078125\n", + "global step=23150592, episodic return=2023.8226318359375\n", + "global step=23152640, episodic return=2011.3924560546875\n", + "global step=23152640, episodic return=2050.121826171875\n", + "global step=23152640, episodic return=2049.199462890625\n", + "global step=23154688, episodic return=2037.5306396484375\n", + "global step=23154688, episodic return=524.3568115234375\n", + "global step=23154688, episodic return=2091.872314453125\n", + "global step=23156736, episodic return=2029.8187255859375\n", + "global step=23156736, episodic return=2062.3427734375\n", + "global step=23158784, episodic return=2048.219970703125\n", + "global step=23160832, episodic return=1992.5794677734375\n", + "global step=23160832, episodic return=2018.1561279296875\n", + "global step=23162880, episodic return=2051.428466796875\n", + "global step=23162880, episodic return=2046.720947265625\n", + "global step=23164928, episodic return=2042.4122314453125\n", + "global step=23169024, episodic return=2046.8564453125\n", + "global step=23169024, episodic return=2002.5654296875\n", + "global step=23171072, episodic return=2017.9659423828125\n", + "global step=23171072, episodic return=2061.49853515625\n", + "global step=23177216, episodic return=2049.34521484375\n", + "global step=23177216, episodic return=2054.18896484375\n", + "global step=23177216, episodic return=2033.147705078125\n", + "global step=23177216, episodic return=2041.4080810546875\n", + "global step=23177216, episodic return=2049.4609375\n", + "global step=23179264, episodic return=2050.630615234375\n", + "global step=23181312, episodic return=474.739990234375\n", + "global step=23181312, episodic return=2027.3480224609375\n", + "global step=23181312, episodic return=2086.2001953125\n", + "global step=23185408, episodic return=2039.5074462890625\n", + "global step=23187456, episodic return=2085.631103515625\n", + "global step=23191552, episodic return=2020.2816162109375\n", + "global step=23193600, episodic return=2060.67822265625\n", + "global step=23197696, episodic return=2044.636962890625\n", + "global step=23199744, episodic return=2039.77099609375\n", + "global step=23201792, episodic return=2047.1451416015625\n", + "global step=23203840, episodic return=1263.286865234375\n", + "global step=23203840, episodic return=2047.296142578125\n", + "global step=23205888, episodic return=2056.032958984375\n", + "global step=23207936, episodic return=2062.147216796875\n", + "global step=23212032, episodic return=2060.0107421875\n", + "global step=23212032, episodic return=2020.6397705078125\n", + "global step=23214080, episodic return=2048.100341796875\n", + "global step=23218176, episodic return=2036.8441162109375\n", + "global step=23220224, episodic return=2039.4091796875\n", + "global step=23220224, episodic return=1858.9544677734375\n", + "global step=23220224, episodic return=2056.0341796875\n", + "global step=23222272, episodic return=2053.679443359375\n", + "global step=23224320, episodic return=2037.969482421875\n", + "global step=23224320, episodic return=2031.0787353515625\n", + "global step=23224320, episodic return=2065.473388671875\n", + "global step=23224320, episodic return=2012.4771728515625\n", + "global step=23226368, episodic return=837.3357543945312\n", + "global step=23226368, episodic return=2052.52783203125\n", + "global step=23226368, episodic return=2039.2333984375\n", + "global step=23228416, episodic return=2050.150146484375\n", + "global step=23228416, episodic return=2016.7449951171875\n", + "global step=23236608, episodic return=2068.436767578125\n", + "global step=23236608, episodic return=2026.5018310546875\n", + "global step=23238656, episodic return=2038.816162109375\n", + "global step=23238656, episodic return=2033.206298828125\n", + "global step=23240704, episodic return=2058.419189453125\n", + "global step=23246848, episodic return=2009.244873046875\n", + "global step=23246848, episodic return=2031.5863037109375\n", + "global step=23248896, episodic return=2034.845947265625\n", + "global step=23250944, episodic return=2046.4215087890625\n", + "global step=23252992, episodic return=2032.39208984375\n", + "global step=23252992, episodic return=2037.5687255859375\n", + "global step=23252992, episodic return=1250.989990234375\n", + "global step=23259136, episodic return=2057.9609375\n", + "global step=23261184, episodic return=2050.8427734375\n", + "global step=23263232, episodic return=2062.49560546875\n", + "global step=23263232, episodic return=2013.1051025390625\n", + "global step=23265280, episodic return=2057.248046875\n", + "global step=23267328, episodic return=2039.7291259765625\n", + "global step=23269376, episodic return=2022.1229248046875\n", + "global step=23269376, episodic return=2059.375\n", + "global step=23273472, episodic return=2050.64892578125\n", + "global step=23279616, episodic return=1990.8511962890625\n", + "global step=23279616, episodic return=2061.471923828125\n", + "global step=23279616, episodic return=2000.8140869140625\n", + "global step=23279616, episodic return=2025.942138671875\n", + "global step=23283712, episodic return=2017.7398681640625\n", + "global step=23285760, episodic return=2021.8643798828125\n", + "global step=23285760, episodic return=1075.2430419921875\n", + "global step=23285760, episodic return=2023.6904296875\n", + "global step=23285760, episodic return=2041.2176513671875\n", + "global step=23287808, episodic return=1530.3756103515625\n", + "global step=23289856, episodic return=1996.61279296875\n", + "global step=23289856, episodic return=668.7769165039062\n", + "global step=23291904, episodic return=2011.7935791015625\n", + "global step=23293952, episodic return=2037.633056640625\n", + "global step=23293952, episodic return=2051.49853515625\n", + "global step=23296000, episodic return=1860.947998046875\n", + "global step=23296000, episodic return=2026.674072265625\n", + "global step=23298048, episodic return=2054.22802734375\n", + "global step=23298048, episodic return=2021.9658203125\n", + "global step=23300096, episodic return=2027.224853515625\n", + "global step=23300096, episodic return=2044.8531494140625\n", + "global step=23302144, episodic return=2026.843505859375\n", + "global step=23302144, episodic return=2024.8304443359375\n", + "global step=23304192, episodic return=2030.7547607421875\n", + "global step=23306240, episodic return=1033.7366943359375\n", + "global step=23306240, episodic return=2034.958251953125\n", + "global step=23308288, episodic return=2055.863037109375\n", + "global step=23308288, episodic return=2037.8388671875\n", + "global step=23308288, episodic return=2025.859130859375\n", + "global step=23318528, episodic return=1121.6044921875\n", + "global step=23320576, episodic return=617.4925537109375\n", + "global step=23324672, episodic return=1065.125732421875\n", + "global step=23324672, episodic return=2030.32763671875\n", + "global step=23326720, episodic return=2060.431640625\n", + "global step=23326720, episodic return=760.08154296875\n", + "global step=23328768, episodic return=2043.458251953125\n", + "global step=23332864, episodic return=1442.1307373046875\n", + "global step=23334912, episodic return=2014.9075927734375\n", + "global step=23334912, episodic return=2055.894287109375\n", + "global step=23336960, episodic return=2027.0316162109375\n", + "global step=23339008, episodic return=2027.4737548828125\n", + "global step=23339008, episodic return=2012.018310546875\n", + "global step=23339008, episodic return=2028.8560791015625\n", + "global step=23341056, episodic return=2048.129150390625\n", + "global step=23341056, episodic return=2004.41162109375\n", + "global step=23343104, episodic return=2031.850830078125\n", + "global step=23343104, episodic return=2057.652587890625\n", + "global step=23345152, episodic return=2042.1285400390625\n", + "global step=23345152, episodic return=2032.1214599609375\n", + "global step=23347200, episodic return=2064.12841796875\n", + "global step=23349248, episodic return=2034.51806640625\n", + "global step=23349248, episodic return=2025.849365234375\n", + "global step=23349248, episodic return=2024.76123046875\n", + "global step=23349248, episodic return=1719.8138427734375\n", + "global step=23351296, episodic return=2051.857177734375\n", + "global step=23351296, episodic return=2044.7674560546875\n", + "global step=23357440, episodic return=1980.873291015625\n", + "global step=23359488, episodic return=936.5467529296875\n", + "global step=23361536, episodic return=2019.5838623046875\n", + "global step=23361536, episodic return=555.4710083007812\n", + "global step=23361536, episodic return=2034.6480712890625\n", + "global step=23363584, episodic return=1993.022216796875\n", + "global step=23363584, episodic return=2054.38720703125\n", + "global step=23363584, episodic return=2046.25\n", + "global step=23365632, episodic return=2017.3143310546875\n", + "global step=23367680, episodic return=2052.1572265625\n", + "global step=23367680, episodic return=2015.611083984375\n", + "global step=23367680, episodic return=2014.8536376953125\n", + "global step=23367680, episodic return=2020.6279296875\n", + "global step=23367680, episodic return=2029.9375\n", + "global step=23369728, episodic return=2035.5587158203125\n", + "global step=23371776, episodic return=2056.00244140625\n", + "global step=23371776, episodic return=2035.961669921875\n", + "global step=23371776, episodic return=2041.024169921875\n", + "global step=23371776, episodic return=1830.89404296875\n", + "global step=23373824, episodic return=1697.616455078125\n", + "global step=23373824, episodic return=2056.228759765625\n", + "global step=23373824, episodic return=2054.7080078125\n", + "global step=23377920, episodic return=2050.9970703125\n", + "global step=23379968, episodic return=2012.222900390625\n", + "global step=23379968, episodic return=2006.681640625\n", + "global step=23382016, episodic return=2047.4774169921875\n", + "global step=23382016, episodic return=2034.1419677734375\n", + "global step=23384064, episodic return=2008.770751953125\n", + "global step=23384064, episodic return=2031.977294921875\n", + "global step=23386112, episodic return=2037.663818359375\n", + "global step=23388160, episodic return=2028.13427734375\n", + "global step=23388160, episodic return=1086.6160888671875\n", + "global step=23390208, episodic return=2074.027099609375\n", + "global step=23392256, episodic return=2034.7178955078125\n", + "global step=23392256, episodic return=957.1202392578125\n", + "global step=23394304, episodic return=2040.779052734375\n", + "global step=23394304, episodic return=2027.6505126953125\n", + "global step=23396352, episodic return=2030.297607421875\n", + "global step=23396352, episodic return=2031.7320556640625\n", + "global step=23396352, episodic return=2036.327880859375\n", + "global step=23396352, episodic return=2039.95751953125\n", + "global step=23396352, episodic return=2024.7421875\n", + "global step=23396352, episodic return=2063.008544921875\n", + "global step=23396352, episodic return=2026.990234375\n", + "global step=23396352, episodic return=2039.532958984375\n", + "global step=23396352, episodic return=2038.4798583984375\n", + "global step=23396352, episodic return=2071.845703125\n", + "global step=23398400, episodic return=2025.5435791015625\n", + "global step=23398400, episodic return=1543.677978515625\n", + "global step=23400448, episodic return=2054.851806640625\n", + "global step=23400448, episodic return=1998.2474365234375\n", + "global step=23402496, episodic return=2036.5672607421875\n", + "global step=23402496, episodic return=1989.78857421875\n", + "global step=23402496, episodic return=1592.9388427734375\n", + "global step=23402496, episodic return=367.28533935546875\n", + "global step=23404544, episodic return=2036.281494140625\n", + "global step=23404544, episodic return=2011.6859130859375\n", + "global step=23404544, episodic return=2004.0174560546875\n", + "global step=23406592, episodic return=2018.9124755859375\n", + "global step=23406592, episodic return=2071.00927734375\n", + "global step=23408640, episodic return=2072.540771484375\n", + "global step=23408640, episodic return=2023.904541015625\n", + "global step=23408640, episodic return=985.956298828125\n", + "global step=23410688, episodic return=2014.8348388671875\n", + "global step=23410688, episodic return=2040.2615966796875\n", + "global step=23412736, episodic return=1125.90185546875\n", + "global step=23412736, episodic return=2054.011962890625\n", + "global step=23414784, episodic return=1812.2591552734375\n", + "global step=23414784, episodic return=2039.3251953125\n", + "global step=23416832, episodic return=563.6215209960938\n", + "global step=23416832, episodic return=2021.5067138671875\n", + "global step=23418880, episodic return=2037.692138671875\n", + "global step=23418880, episodic return=2048.0927734375\n", + "global step=23420928, episodic return=2008.564697265625\n", + "global step=23422976, episodic return=2000.5279541015625\n", + "global step=23422976, episodic return=2064.081298828125\n", + "global step=23422976, episodic return=2054.49658203125\n", + "global step=23425024, episodic return=1238.026123046875\n", + "global step=23427072, episodic return=2049.289306640625\n", + "global step=23427072, episodic return=2049.87890625\n", + "global step=23429120, episodic return=2048.0439453125\n", + "global step=23431168, episodic return=2078.11962890625\n", + "global step=23431168, episodic return=2016.1148681640625\n", + "global step=23433216, episodic return=1262.9739990234375\n", + "global step=23433216, episodic return=1446.485107421875\n", + "global step=23433216, episodic return=1645.7135009765625\n", + "global step=23435264, episodic return=1659.4219970703125\n", + "global step=23439360, episodic return=2038.531982421875\n", + "global step=23439360, episodic return=2068.592041015625\n", + "global step=23439360, episodic return=2040.135498046875\n", + "global step=23439360, episodic return=1274.1607666015625\n", + "global step=23439360, episodic return=1972.454833984375\n", + "global step=23441408, episodic return=2022.44140625\n", + "global step=23443456, episodic return=2038.535400390625\n", + "global step=23443456, episodic return=1625.8568115234375\n", + "global step=23447552, episodic return=2036.7401123046875\n", + "global step=23447552, episodic return=2014.7847900390625\n", + "global step=23449600, episodic return=1065.6287841796875\n", + "global step=23449600, episodic return=2069.390869140625\n", + "global step=23451648, episodic return=1023.4005737304688\n", + "global step=23451648, episodic return=1624.3916015625\n", + "global step=23453696, episodic return=1024.4344482421875\n", + "global step=23453696, episodic return=2002.4727783203125\n", + "global step=23455744, episodic return=2054.093017578125\n", + "global step=23455744, episodic return=2048.83203125\n", + "global step=23455744, episodic return=2086.794921875\n", + "global step=23455744, episodic return=1148.0819091796875\n", + "global step=23457792, episodic return=2032.794921875\n", + "global step=23459840, episodic return=2054.105224609375\n", + "global step=23459840, episodic return=1347.530517578125\n", + "global step=23461888, episodic return=2031.25244140625\n", + "global step=23461888, episodic return=2010.0748291015625\n", + "global step=23463936, episodic return=2030.67333984375\n", + "global step=23465984, episodic return=1361.4923095703125\n", + "global step=23468032, episodic return=1607.7364501953125\n", + "global step=23468032, episodic return=1651.0023193359375\n", + "global step=23470080, episodic return=1678.0206298828125\n", + "global step=23470080, episodic return=2027.4898681640625\n", + "global step=23470080, episodic return=2045.96484375\n", + "global step=23472128, episodic return=2046.17919921875\n", + "global step=23472128, episodic return=1996.3902587890625\n", + "global step=23472128, episodic return=1758.5074462890625\n", + "global step=23474176, episodic return=1112.249755859375\n", + "global step=23476224, episodic return=1032.48583984375\n", + "global step=23478272, episodic return=1158.8365478515625\n", + "global step=23478272, episodic return=1848.1165771484375\n", + "global step=23480320, episodic return=2005.609375\n", + "global step=23480320, episodic return=1757.62255859375\n", + "global step=23480320, episodic return=2040.2452392578125\n", + "global step=23484416, episodic return=2036.1417236328125\n", + "global step=23484416, episodic return=2009.421142578125\n", + "global step=23484416, episodic return=2040.513916015625\n", + "global step=23484416, episodic return=2066.019287109375\n", + "global step=23484416, episodic return=1056.224609375\n", + "global step=23486464, episodic return=2006.838134765625\n", + "global step=23486464, episodic return=2040.842529296875\n", + "global step=23486464, episodic return=1349.88916015625\n", + "global step=23486464, episodic return=1259.1334228515625\n", + "global step=23486464, episodic return=2047.5677490234375\n", + "global step=23488512, episodic return=2030.243896484375\n", + "global step=23488512, episodic return=1136.6407470703125\n", + "global step=23490560, episodic return=758.9751586914062\n", + "global step=23490560, episodic return=2038.7672119140625\n", + "global step=23490560, episodic return=1593.2918701171875\n", + "global step=23492608, episodic return=2040.640380859375\n", + "global step=23492608, episodic return=1366.0537109375\n", + "global step=23494656, episodic return=2018.180419921875\n", + "global step=23494656, episodic return=1801.52587890625\n", + "global step=23494656, episodic return=2061.621337890625\n", + "global step=23494656, episodic return=2036.22607421875\n", + "global step=23494656, episodic return=1753.7467041015625\n", + "global step=23496704, episodic return=2036.68212890625\n", + "global step=23498752, episodic return=2046.3399658203125\n", + "global step=23498752, episodic return=1640.1287841796875\n", + "global step=23498752, episodic return=2034.0823974609375\n", + "global step=23498752, episodic return=1945.9742431640625\n", + "global step=23500800, episodic return=1982.9249267578125\n", + "global step=23502848, episodic return=1258.8135986328125\n", + "global step=23502848, episodic return=2052.494384765625\n", + "global step=23502848, episodic return=1947.830810546875\n", + "global step=23504896, episodic return=695.95947265625\n", + "global step=23504896, episodic return=2018.15771484375\n", + "global step=23504896, episodic return=2024.6607666015625\n", + "global step=23504896, episodic return=2083.802978515625\n", + "global step=23506944, episodic return=1296.55859375\n", + "global step=23508992, episodic return=1884.10888671875\n", + "global step=23511040, episodic return=2018.833740234375\n", + "global step=23511040, episodic return=782.398681640625\n", + "global step=23513088, episodic return=125.39764404296875\n", + "global step=23513088, episodic return=2017.6187744140625\n", + "global step=23515136, episodic return=1989.8209228515625\n", + "global step=23515136, episodic return=2017.6392822265625\n", + "global step=23515136, episodic return=1370.494384765625\n", + "global step=23515136, episodic return=2042.3560791015625\n", + "global step=23517184, episodic return=2076.2900390625\n", + "global step=23517184, episodic return=1662.689208984375\n", + "global step=23517184, episodic return=2006.9129638671875\n", + "global step=23517184, episodic return=1281.8377685546875\n", + "global step=23517184, episodic return=1396.8614501953125\n", + "global step=23517184, episodic return=2037.6756591796875\n", + "global step=23517184, episodic return=2018.11083984375\n", + "global step=23517184, episodic return=2046.4310302734375\n", + "global step=23519232, episodic return=1054.3782958984375\n", + "global step=23519232, episodic return=2063.595947265625\n", + "global step=23519232, episodic return=2012.6273193359375\n", + "global step=23519232, episodic return=2019.95556640625\n", + "global step=23519232, episodic return=2036.32373046875\n", + "global step=23519232, episodic return=1576.1856689453125\n", + "global step=23521280, episodic return=1211.0496826171875\n", + "global step=23521280, episodic return=2049.788330078125\n", + "global step=23521280, episodic return=1077.0250244140625\n", + "global step=23523328, episodic return=2032.16552734375\n", + "global step=23523328, episodic return=1989.9112548828125\n", + "global step=23525376, episodic return=1358.1224365234375\n", + "global step=23525376, episodic return=2064.588623046875\n", + "global step=23525376, episodic return=2013.6553955078125\n", + "global step=23525376, episodic return=2071.814697265625\n", + "global step=23527424, episodic return=1340.800537109375\n", + "global step=23527424, episodic return=2067.5869140625\n", + "global step=23529472, episodic return=1870.15576171875\n", + "global step=23529472, episodic return=2035.8773193359375\n", + "global step=23529472, episodic return=2042.25341796875\n", + "global step=23529472, episodic return=134.8914031982422\n", + "global step=23531520, episodic return=2024.017333984375\n", + "global step=23531520, episodic return=2054.517822265625\n", + "global step=23531520, episodic return=2037.8458251953125\n", + "global step=23531520, episodic return=949.6751708984375\n", + "global step=23531520, episodic return=2029.1356201171875\n", + "global step=23533568, episodic return=2027.3076171875\n", + "global step=23533568, episodic return=1200.675537109375\n", + "global step=23537664, episodic return=913.0702514648438\n", + "global step=23537664, episodic return=2026.8009033203125\n", + "global step=23537664, episodic return=2022.116455078125\n", + "global step=23539712, episodic return=139.4125213623047\n", + "global step=23541760, episodic return=2057.978759765625\n", + "global step=23541760, episodic return=2037.0205078125\n", + "global step=23541760, episodic return=2029.9970703125\n", + "global step=23541760, episodic return=1135.53271484375\n", + "global step=23543808, episodic return=2054.591796875\n", + "global step=23543808, episodic return=2055.490966796875\n", + "global step=23543808, episodic return=2056.79443359375\n", + "global step=23545856, episodic return=2044.8995361328125\n", + "global step=23545856, episodic return=2036.920654296875\n", + "global step=23547904, episodic return=2067.654541015625\n", + "global step=23547904, episodic return=2038.8826904296875\n", + "global step=23549952, episodic return=1726.50244140625\n", + "global step=23549952, episodic return=2030.5479736328125\n", + "global step=23549952, episodic return=1025.1490478515625\n", + "global step=23549952, episodic return=2052.648193359375\n", + "global step=23552000, episodic return=1013.9917602539062\n", + "global step=23552000, episodic return=1630.2532958984375\n", + "global step=23552000, episodic return=2054.479736328125\n", + "global step=23552000, episodic return=2053.12060546875\n", + "global step=23552000, episodic return=2058.58203125\n", + "global step=23554048, episodic return=2042.0169677734375\n", + "global step=23554048, episodic return=2054.223388671875\n", + "global step=23554048, episodic return=2050.3544921875\n", + "global step=23554048, episodic return=1975.9654541015625\n", + "global step=23554048, episodic return=1105.1484375\n", + "global step=23554048, episodic return=1746.4708251953125\n", + "global step=23554048, episodic return=2026.7294921875\n", + "global step=23558144, episodic return=2052.552001953125\n", + "global step=23560192, episodic return=1689.7569580078125\n", + "global step=23560192, episodic return=2053.9814453125\n", + "global step=23560192, episodic return=2040.631591796875\n", + "global step=23562240, episodic return=1105.3148193359375\n", + "global step=23562240, episodic return=1920.9178466796875\n", + "global step=23562240, episodic return=1890.6905517578125\n", + "global step=23562240, episodic return=1360.9613037109375\n", + "global step=23564288, episodic return=2038.121337890625\n", + "global step=23564288, episodic return=2013.47119140625\n", + "global step=23566336, episodic return=2041.8499755859375\n", + "global step=23568384, episodic return=1751.7900390625\n", + "global step=23568384, episodic return=470.2232666015625\n", + "global step=23568384, episodic return=2016.2431640625\n", + "global step=23568384, episodic return=1981.52587890625\n", + "global step=23568384, episodic return=1998.8697509765625\n", + "global step=23570432, episodic return=2001.841064453125\n", + "global step=23570432, episodic return=2049.011474609375\n", + "global step=23570432, episodic return=1440.9283447265625\n", + "global step=23570432, episodic return=1537.716552734375\n", + "global step=23572480, episodic return=2031.87060546875\n", + "global step=23572480, episodic return=2019.8916015625\n", + "global step=23572480, episodic return=1102.0257568359375\n", + "global step=23574528, episodic return=1922.706298828125\n", + "global step=23576576, episodic return=2027.4852294921875\n", + "global step=23576576, episodic return=2056.59228515625\n", + "global step=23576576, episodic return=1354.0758056640625\n", + "global step=23578624, episodic return=1348.857666015625\n", + "global step=23582720, episodic return=2003.16650390625\n", + "global step=23584768, episodic return=2047.686279296875\n", + "global step=23584768, episodic return=2053.288818359375\n", + "global step=23584768, episodic return=2037.9189453125\n", + "global step=23584768, episodic return=1108.859619140625\n", + "global step=23584768, episodic return=932.130615234375\n", + "global step=23584768, episodic return=1223.81201171875\n", + "global step=23586816, episodic return=2040.2159423828125\n", + "global step=23586816, episodic return=1306.2197265625\n", + "global step=23586816, episodic return=1553.2431640625\n", + "global step=23588864, episodic return=2062.380126953125\n", + "global step=23588864, episodic return=2084.820556640625\n", + "global step=23588864, episodic return=123.00899505615234\n", + "global step=23590912, episodic return=2055.9306640625\n", + "global step=23590912, episodic return=2053.78515625\n", + "global step=23590912, episodic return=2073.35302734375\n", + "global step=23592960, episodic return=2045.913818359375\n", + "global step=23592960, episodic return=978.6923828125\n", + "global step=23592960, episodic return=2033.3402099609375\n", + "global step=23592960, episodic return=1473.885009765625\n", + "global step=23595008, episodic return=2050.8310546875\n", + "global step=23595008, episodic return=2047.9385986328125\n", + "global step=23597056, episodic return=1563.677001953125\n", + "global step=23597056, episodic return=662.5039672851562\n", + "global step=23597056, episodic return=2040.3575439453125\n", + "global step=23597056, episodic return=2037.795654296875\n", + "global step=23597056, episodic return=2048.73876953125\n", + "global step=23597056, episodic return=2043.6009521484375\n", + "global step=23597056, episodic return=2085.597900390625\n", + "global step=23599104, episodic return=2029.831787109375\n", + "global step=23599104, episodic return=2056.031494140625\n", + "global step=23601152, episodic return=2062.262939453125\n", + "global step=23603200, episodic return=2030.734130859375\n", + "global step=23603200, episodic return=1987.878662109375\n", + "global step=23603200, episodic return=2049.283447265625\n", + "global step=23607296, episodic return=2072.230224609375\n", + "global step=23607296, episodic return=876.7603149414062\n", + "global step=23607296, episodic return=2058.323974609375\n", + "global step=23607296, episodic return=2075.079833984375\n", + "global step=23607296, episodic return=2024.6134033203125\n", + "global step=23607296, episodic return=2019.6702880859375\n", + "global step=23609344, episodic return=2041.8140869140625\n", + "global step=23609344, episodic return=2038.3160400390625\n", + "global step=23609344, episodic return=1515.5152587890625\n", + "global step=23609344, episodic return=2047.5159912109375\n", + "global step=23609344, episodic return=721.9051513671875\n", + "global step=23609344, episodic return=2092.527587890625\n", + "global step=23609344, episodic return=1721.214599609375\n", + "global step=23611392, episodic return=2042.87060546875\n", + "global step=23611392, episodic return=1201.3204345703125\n", + "global step=23611392, episodic return=1284.818115234375\n", + "global step=23613440, episodic return=2055.01953125\n", + "global step=23613440, episodic return=2038.7708740234375\n", + "global step=23613440, episodic return=2007.868408203125\n", + "global step=23617536, episodic return=2080.63525390625\n", + "global step=23617536, episodic return=2018.0390625\n", + "global step=23617536, episodic return=1224.078857421875\n", + "global step=23617536, episodic return=2063.32080078125\n", + "global step=23617536, episodic return=2061.44775390625\n", + "global step=23617536, episodic return=2016.94775390625\n", + "global step=23619584, episodic return=2015.956298828125\n", + "global step=23619584, episodic return=2015.6824951171875\n", + "global step=23619584, episodic return=2044.305419921875\n", + "global step=23619584, episodic return=1652.05224609375\n", + "global step=23619584, episodic return=2010.3275146484375\n", + "global step=23619584, episodic return=1232.486083984375\n", + "global step=23621632, episodic return=1188.732666015625\n", + "global step=23621632, episodic return=2002.17431640625\n", + "global step=23621632, episodic return=2020.08154296875\n", + "global step=23621632, episodic return=2003.43359375\n", + "global step=23623680, episodic return=2059.903564453125\n", + "global step=23623680, episodic return=1910.8216552734375\n", + "global step=23623680, episodic return=2043.8319091796875\n", + "global step=23623680, episodic return=2011.107421875\n", + "global step=23623680, episodic return=1945.8980712890625\n", + "global step=23625728, episodic return=1877.7607421875\n", + "global step=23625728, episodic return=1712.11376953125\n", + "global step=23625728, episodic return=2052.9482421875\n", + "global step=23625728, episodic return=953.68701171875\n", + "global step=23629824, episodic return=2078.75146484375\n", + "global step=23629824, episodic return=2057.75537109375\n", + "global step=23631872, episodic return=2043.65625\n", + "global step=23633920, episodic return=2013.6766357421875\n", + "global step=23633920, episodic return=2065.900390625\n", + "global step=23633920, episodic return=1211.53515625\n", + "global step=23633920, episodic return=2045.438232421875\n", + "global step=23635968, episodic return=1149.137939453125\n", + "global step=23635968, episodic return=2045.206787109375\n", + "global step=23635968, episodic return=1728.8431396484375\n", + "global step=23635968, episodic return=1298.329833984375\n", + "global step=23635968, episodic return=2113.306640625\n", + "global step=23638016, episodic return=2031.217041015625\n", + "global step=23638016, episodic return=2042.6112060546875\n", + "global step=23640064, episodic return=2017.9658203125\n", + "global step=23640064, episodic return=2074.665283203125\n", + "global step=23640064, episodic return=948.6854248046875\n", + "global step=23640064, episodic return=2047.0098876953125\n", + "global step=23640064, episodic return=1840.76171875\n", + "global step=23642112, episodic return=2033.79345703125\n", + "global step=23642112, episodic return=2031.9818115234375\n", + "global step=23642112, episodic return=1706.880615234375\n", + "global step=23646208, episodic return=1165.086181640625\n", + "global step=23646208, episodic return=2068.377685546875\n", + "global step=23646208, episodic return=1793.21728515625\n", + "global step=23648256, episodic return=2006.464599609375\n", + "global step=23648256, episodic return=2041.6256103515625\n", + "global step=23648256, episodic return=2013.07470703125\n", + "global step=23648256, episodic return=1188.8228759765625\n", + "global step=23650304, episodic return=1035.7783203125\n", + "global step=23650304, episodic return=1265.3712158203125\n", + "global step=23650304, episodic return=840.2172241210938\n", + "global step=23652352, episodic return=1977.985595703125\n", + "global step=23652352, episodic return=2002.67822265625\n", + "global step=23652352, episodic return=1902.0809326171875\n", + "global step=23654400, episodic return=1000.9041137695312\n", + "global step=23654400, episodic return=2066.058349609375\n", + "global step=23654400, episodic return=2034.410400390625\n", + "global step=23654400, episodic return=2035.2320556640625\n", + "global step=23654400, episodic return=2066.110107421875\n", + "global step=23656448, episodic return=2017.93359375\n", + "global step=23656448, episodic return=1054.446044921875\n", + "global step=23656448, episodic return=1501.4461669921875\n", + "global step=23658496, episodic return=2067.148193359375\n", + "global step=23658496, episodic return=1771.123291015625\n", + "global step=23658496, episodic return=2000.1483154296875\n", + "global step=23658496, episodic return=2018.1937255859375\n", + "global step=23660544, episodic return=2057.09521484375\n", + "global step=23660544, episodic return=1522.8834228515625\n", + "global step=23662592, episodic return=2032.44873046875\n", + "global step=23662592, episodic return=1928.588623046875\n", + "global step=23662592, episodic return=942.077880859375\n", + "global step=23662592, episodic return=1497.683349609375\n", + "global step=23664640, episodic return=824.041748046875\n", + "global step=23664640, episodic return=1980.180908203125\n", + "global step=23664640, episodic return=2026.2734375\n", + "global step=23664640, episodic return=2051.89404296875\n", + "global step=23666688, episodic return=2070.871337890625\n", + "global step=23666688, episodic return=2028.0843505859375\n", + "global step=23668736, episodic return=1335.521728515625\n", + "global step=23668736, episodic return=2069.7275390625\n", + "global step=23670784, episodic return=2019.91943359375\n", + "global step=23670784, episodic return=1899.7003173828125\n", + "global step=23670784, episodic return=2002.670654296875\n", + "global step=23670784, episodic return=2048.274169921875\n", + "global step=23670784, episodic return=896.046875\n", + "global step=23672832, episodic return=2094.263427734375\n", + "global step=23674880, episodic return=2090.626220703125\n", + "global step=23674880, episodic return=2045.460205078125\n", + "global step=23674880, episodic return=2080.731201171875\n", + "global step=23674880, episodic return=2066.211181640625\n", + "global step=23674880, episodic return=2004.18505859375\n", + "global step=23674880, episodic return=2029.1453857421875\n", + "global step=23676928, episodic return=2056.543701171875\n", + "global step=23676928, episodic return=2065.391845703125\n", + "global step=23678976, episodic return=2017.4041748046875\n", + "global step=23678976, episodic return=2032.6627197265625\n", + "global step=23678976, episodic return=947.1343383789062\n", + "global step=23681024, episodic return=2011.4072265625\n", + "global step=23681024, episodic return=2042.0728759765625\n", + "global step=23683072, episodic return=2055.407958984375\n", + "global step=23683072, episodic return=1978.7125244140625\n", + "global step=23685120, episodic return=2061.044189453125\n", + "global step=23685120, episodic return=2017.4735107421875\n", + "global step=23685120, episodic return=2092.959228515625\n", + "global step=23685120, episodic return=2057.074462890625\n", + "global step=23685120, episodic return=2024.626953125\n", + "global step=23685120, episodic return=2064.07958984375\n", + "global step=23685120, episodic return=2032.5242919921875\n", + "global step=23687168, episodic return=2040.73095703125\n", + "global step=23689216, episodic return=2102.830810546875\n", + "global step=23689216, episodic return=1991.9854736328125\n", + "global step=23689216, episodic return=1086.466064453125\n", + "global step=23691264, episodic return=2048.49169921875\n", + "global step=23691264, episodic return=2038.8472900390625\n", + "global step=23691264, episodic return=2060.91357421875\n", + "global step=23693312, episodic return=2059.950439453125\n", + "global step=23693312, episodic return=2055.99560546875\n", + "global step=23693312, episodic return=1401.956298828125\n", + "global step=23693312, episodic return=1831.70263671875\n", + "global step=23693312, episodic return=2034.3651123046875\n", + "global step=23693312, episodic return=2032.825439453125\n", + "global step=23693312, episodic return=1571.4954833984375\n", + "global step=23693312, episodic return=2047.3221435546875\n", + "global step=23693312, episodic return=1728.7862548828125\n", + "global step=23695360, episodic return=1296.008544921875\n", + "global step=23695360, episodic return=1837.5704345703125\n", + "global step=23695360, episodic return=1267.7615966796875\n", + "global step=23695360, episodic return=1492.2525634765625\n", + "global step=23697408, episodic return=2011.703125\n", + "global step=23697408, episodic return=1391.3533935546875\n", + "global step=23697408, episodic return=2042.360107421875\n", + "global step=23699456, episodic return=886.925048828125\n", + "global step=23699456, episodic return=2053.934814453125\n", + "global step=23699456, episodic return=1998.209716796875\n", + "global step=23701504, episodic return=42.594051361083984\n", + "global step=23701504, episodic return=2000.6502685546875\n", + "global step=23701504, episodic return=1872.53271484375\n", + "global step=23701504, episodic return=182.5457305908203\n", + "global step=23701504, episodic return=2037.93603515625\n", + "global step=23703552, episodic return=1029.005859375\n", + "global step=23703552, episodic return=2031.5263671875\n", + "global step=23703552, episodic return=1394.6888427734375\n", + "global step=23703552, episodic return=1540.870361328125\n", + "global step=23703552, episodic return=2020.7630615234375\n", + "global step=23703552, episodic return=1693.4227294921875\n", + "global step=23705600, episodic return=1561.431884765625\n", + "global step=23705600, episodic return=2051.032958984375\n", + "global step=23705600, episodic return=937.8111572265625\n", + "global step=23705600, episodic return=1306.1343994140625\n", + "global step=23707648, episodic return=2080.2548828125\n", + "global step=23709696, episodic return=2068.528564453125\n", + "global step=23709696, episodic return=2041.2108154296875\n", + "global step=23709696, episodic return=2032.8216552734375\n", + "global step=23711744, episodic return=2022.13232421875\n", + "global step=23711744, episodic return=2035.1845703125\n", + "global step=23713792, episodic return=2061.9560546875\n", + "global step=23713792, episodic return=2053.318115234375\n", + "global step=23713792, episodic return=1421.567138671875\n", + "global step=23715840, episodic return=2012.093994140625\n", + "global step=23715840, episodic return=2042.7894287109375\n", + "global step=23715840, episodic return=1503.2657470703125\n", + "global step=23717888, episodic return=2045.2421875\n", + "global step=23717888, episodic return=2068.732177734375\n", + "global step=23719936, episodic return=1542.101806640625\n", + "global step=23719936, episodic return=2047.14697265625\n", + "global step=23719936, episodic return=2041.0166015625\n", + "global step=23719936, episodic return=1579.568115234375\n", + "global step=23721984, episodic return=1392.3199462890625\n", + "global step=23721984, episodic return=2070.87353515625\n", + "global step=23721984, episodic return=2063.42919921875\n", + "global step=23724032, episodic return=1921.888671875\n", + "global step=23724032, episodic return=1318.5111083984375\n", + "global step=23724032, episodic return=2041.4307861328125\n", + "global step=23724032, episodic return=2043.879150390625\n", + "global step=23726080, episodic return=2062.911865234375\n", + "global step=23726080, episodic return=1362.367431640625\n", + "global step=23726080, episodic return=2031.161376953125\n", + "global step=23728128, episodic return=2056.166748046875\n", + "global step=23728128, episodic return=1541.27001953125\n", + "global step=23728128, episodic return=1629.3411865234375\n", + "global step=23728128, episodic return=2038.7098388671875\n", + "global step=23730176, episodic return=2060.3095703125\n", + "global step=23730176, episodic return=2054.865234375\n", + "global step=23732224, episodic return=2009.0418701171875\n", + "global step=23732224, episodic return=1999.6435546875\n", + "global step=23732224, episodic return=1368.184326171875\n", + "global step=23732224, episodic return=1680.8743896484375\n", + "global step=23732224, episodic return=2032.5020751953125\n", + "global step=23734272, episodic return=2090.693359375\n", + "global step=23734272, episodic return=2055.595947265625\n", + "global step=23734272, episodic return=1731.1962890625\n", + "global step=23734272, episodic return=2051.77197265625\n", + "global step=23736320, episodic return=2032.1024169921875\n", + "global step=23736320, episodic return=1466.398681640625\n", + "global step=23736320, episodic return=1669.056884765625\n", + "global step=23738368, episodic return=1473.2886962890625\n", + "global step=23740416, episodic return=2061.779541015625\n", + "global step=23740416, episodic return=2085.83349609375\n", + "global step=23742464, episodic return=2068.471435546875\n", + "global step=23742464, episodic return=2038.531982421875\n", + "global step=23742464, episodic return=1990.9130859375\n", + "global step=23742464, episodic return=2062.564208984375\n", + "global step=23742464, episodic return=1994.4853515625\n", + "global step=23742464, episodic return=1540.204345703125\n", + "global step=23742464, episodic return=1645.9742431640625\n", + "global step=23744512, episodic return=43.72389602661133\n", + "global step=23744512, episodic return=2027.7691650390625\n", + "global step=23744512, episodic return=2021.1907958984375\n", + "global step=23746560, episodic return=2051.7578125\n", + "global step=23746560, episodic return=1381.33203125\n", + "global step=23746560, episodic return=2059.539794921875\n", + "global step=23748608, episodic return=2037.6856689453125\n", + "global step=23748608, episodic return=1607.0047607421875\n", + "global step=23750656, episodic return=2026.3436279296875\n", + "global step=23750656, episodic return=1958.7523193359375\n", + "global step=23750656, episodic return=1898.5809326171875\n", + "global step=23750656, episodic return=2052.45849609375\n", + "global step=23750656, episodic return=2046.0794677734375\n", + "global step=23750656, episodic return=2015.1474609375\n", + "global step=23752704, episodic return=2037.3955078125\n", + "global step=23752704, episodic return=2068.480712890625\n", + "global step=23752704, episodic return=2028.4359130859375\n", + "global step=23752704, episodic return=2059.222900390625\n", + "global step=23752704, episodic return=2058.4306640625\n", + "global step=23754752, episodic return=1997.064453125\n", + "global step=23754752, episodic return=2075.104248046875\n", + "global step=23756800, episodic return=2008.125732421875\n", + "global step=23756800, episodic return=477.2301940917969\n", + "global step=23756800, episodic return=2054.78466796875\n", + "global step=23756800, episodic return=1559.7489013671875\n", + "global step=23758848, episodic return=1995.878662109375\n", + "global step=23758848, episodic return=1811.096923828125\n", + "global step=23760896, episodic return=2026.2769775390625\n", + "global step=23762944, episodic return=2038.34033203125\n", + "global step=23764992, episodic return=2037.8140869140625\n", + "global step=23764992, episodic return=2007.8359375\n", + "global step=23764992, episodic return=2059.64599609375\n", + "global step=23767040, episodic return=2051.0224609375\n", + "global step=23767040, episodic return=2019.482421875\n", + "global step=23767040, episodic return=1383.376953125\n", + "global step=23767040, episodic return=2059.013916015625\n", + "global step=23767040, episodic return=2038.5225830078125\n", + "global step=23769088, episodic return=2073.910888671875\n", + "global step=23769088, episodic return=2048.011962890625\n", + "global step=23769088, episodic return=994.7164306640625\n", + "global step=23769088, episodic return=2063.269775390625\n", + "global step=23769088, episodic return=2060.055908203125\n", + "global step=23769088, episodic return=2023.2899169921875\n", + "global step=23769088, episodic return=2054.212158203125\n", + "global step=23771136, episodic return=2038.4774169921875\n", + "global step=23773184, episodic return=2015.106201171875\n", + "global step=23773184, episodic return=2041.2974853515625\n", + "global step=23773184, episodic return=2018.9559326171875\n", + "global step=23773184, episodic return=2054.27880859375\n", + "global step=23773184, episodic return=2078.341796875\n", + "global step=23773184, episodic return=2067.126953125\n", + "global step=23773184, episodic return=2019.74951171875\n", + "global step=23775232, episodic return=1997.7537841796875\n", + "global step=23775232, episodic return=2021.731689453125\n", + "global step=23775232, episodic return=2057.36865234375\n", + "global step=23775232, episodic return=2118.2177734375\n", + "global step=23775232, episodic return=2033.5357666015625\n", + "global step=23775232, episodic return=2044.56640625\n", + "global step=23777280, episodic return=2041.87109375\n", + "global step=23777280, episodic return=2050.094482421875\n", + "global step=23777280, episodic return=2089.214111328125\n", + "global step=23777280, episodic return=2084.29638671875\n", + "global step=23779328, episodic return=2064.15234375\n", + "global step=23781376, episodic return=2056.710205078125\n", + "global step=23781376, episodic return=2035.582275390625\n", + "global step=23781376, episodic return=2041.392822265625\n", + "global step=23781376, episodic return=2050.70849609375\n", + "global step=23781376, episodic return=2035.576171875\n", + "global step=23783424, episodic return=1729.2086181640625\n", + "global step=23783424, episodic return=1173.8052978515625\n", + "global step=23783424, episodic return=2082.6923828125\n", + "global step=23783424, episodic return=2027.916748046875\n", + "global step=23783424, episodic return=2053.35205078125\n", + "global step=23785472, episodic return=2093.819580078125\n", + "global step=23785472, episodic return=2014.2373046875\n", + "global step=23787520, episodic return=2043.2554931640625\n", + "global step=23789568, episodic return=1326.982177734375\n", + "global step=23789568, episodic return=2030.0618896484375\n", + "global step=23789568, episodic return=1699.37744140625\n", + "global step=23789568, episodic return=1550.75390625\n", + "global step=23791616, episodic return=2053.408203125\n", + "global step=23791616, episodic return=2060.796142578125\n", + "global step=23791616, episodic return=2055.532470703125\n", + "global step=23791616, episodic return=1595.786376953125\n", + "global step=23793664, episodic return=1614.41015625\n", + "global step=23795712, episodic return=1391.760986328125\n", + "global step=23795712, episodic return=2084.40283203125\n", + "global step=23795712, episodic return=1779.3677978515625\n", + "global step=23795712, episodic return=2044.3721923828125\n", + "global step=23797760, episodic return=2085.86865234375\n", + "global step=23799808, episodic return=438.8341979980469\n", + "global step=23799808, episodic return=2027.66943359375\n", + "global step=23799808, episodic return=684.0751953125\n", + "global step=23801856, episodic return=2086.960693359375\n", + "global step=23801856, episodic return=2022.9903564453125\n", + "global step=23801856, episodic return=1491.034423828125\n", + "global step=23801856, episodic return=925.9486083984375\n", + "global step=23801856, episodic return=1159.82080078125\n", + "global step=23803904, episodic return=1974.8975830078125\n", + "global step=23803904, episodic return=2044.59716796875\n", + "global step=23803904, episodic return=1887.677490234375\n", + "global step=23803904, episodic return=1437.815185546875\n", + "global step=23803904, episodic return=2042.0921630859375\n", + "global step=23805952, episodic return=2045.01708984375\n", + "global step=23805952, episodic return=2042.5655517578125\n", + "global step=23805952, episodic return=2015.4366455078125\n", + "global step=23808000, episodic return=922.3040161132812\n", + "global step=23808000, episodic return=2073.52783203125\n", + "global step=23810048, episodic return=2043.736572265625\n", + "global step=23810048, episodic return=1163.8211669921875\n", + "global step=23810048, episodic return=1254.4010009765625\n", + "global step=23812096, episodic return=2061.335693359375\n", + "global step=23812096, episodic return=2026.4512939453125\n", + "global step=23812096, episodic return=2037.6005859375\n", + "global step=23812096, episodic return=1146.8238525390625\n", + "global step=23812096, episodic return=1948.693603515625\n", + "global step=23814144, episodic return=1479.3724365234375\n", + "global step=23814144, episodic return=2044.5419921875\n", + "global step=23814144, episodic return=1724.52392578125\n", + "global step=23814144, episodic return=2028.42919921875\n", + "global step=23814144, episodic return=2052.12548828125\n", + "global step=23814144, episodic return=2039.789306640625\n", + "global step=23814144, episodic return=2060.447998046875\n", + "global step=23816192, episodic return=1867.227294921875\n", + "global step=23816192, episodic return=2043.15380859375\n", + "global step=23816192, episodic return=2054.29541015625\n", + "global step=23816192, episodic return=2070.145263671875\n", + "global step=23816192, episodic return=1979.2587890625\n", + "global step=23818240, episodic return=2043.9827880859375\n", + "global step=23818240, episodic return=2074.093505859375\n", + "global step=23818240, episodic return=2032.63525390625\n", + "global step=23818240, episodic return=2021.4696044921875\n", + "global step=23820288, episodic return=2011.087158203125\n", + "global step=23820288, episodic return=2051.717041015625\n", + "global step=23822336, episodic return=2070.836669921875\n", + "global step=23822336, episodic return=2089.10693359375\n", + "global step=23824384, episodic return=2059.0927734375\n", + "global step=23824384, episodic return=2001.996337890625\n", + "global step=23824384, episodic return=2067.99462890625\n", + "global step=23824384, episodic return=2068.072509765625\n", + "global step=23826432, episodic return=2062.728759765625\n", + "global step=23826432, episodic return=1597.256103515625\n", + "global step=23826432, episodic return=2066.976806640625\n", + "global step=23826432, episodic return=2053.892578125\n", + "global step=23828480, episodic return=2011.6976318359375\n", + "global step=23828480, episodic return=2088.35009765625\n", + "global step=23828480, episodic return=1402.8079833984375\n", + "global step=23830528, episodic return=1980.1541748046875\n", + "global step=23830528, episodic return=2033.503662109375\n", + "global step=23830528, episodic return=2027.352783203125\n", + "global step=23830528, episodic return=2054.4296875\n", + "global step=23830528, episodic return=2040.8450927734375\n", + "global step=23830528, episodic return=2057.9833984375\n", + "global step=23830528, episodic return=2066.068115234375\n", + "global step=23832576, episodic return=2057.723388671875\n", + "global step=23832576, episodic return=2028.4586181640625\n", + "global step=23832576, episodic return=2068.96630859375\n", + "global step=23832576, episodic return=2035.5418701171875\n", + "global step=23832576, episodic return=46.19391632080078\n", + "global step=23832576, episodic return=2019.02978515625\n", + "global step=23834624, episodic return=2031.5133056640625\n", + "global step=23834624, episodic return=2062.3349609375\n", + "global step=23834624, episodic return=2052.109375\n", + "global step=23834624, episodic return=1900.9287109375\n", + "global step=23836672, episodic return=2024.4234619140625\n", + "global step=23836672, episodic return=1996.8070068359375\n", + "global step=23836672, episodic return=2057.683349609375\n", + "global step=23838720, episodic return=2000.266357421875\n", + "global step=23838720, episodic return=1394.448974609375\n", + "global step=23838720, episodic return=1678.964111328125\n", + "global step=23838720, episodic return=2063.672607421875\n", + "global step=23840768, episodic return=2059.10205078125\n", + "global step=23840768, episodic return=2089.581787109375\n", + "global step=23840768, episodic return=2051.455078125\n", + "global step=23842816, episodic return=2033.3404541015625\n", + "global step=23842816, episodic return=2047.4869384765625\n", + "global step=23844864, episodic return=2063.17822265625\n", + "global step=23844864, episodic return=2042.7630615234375\n", + "global step=23844864, episodic return=2041.74169921875\n", + "global step=23844864, episodic return=1269.4366455078125\n", + "global step=23846912, episodic return=922.0486450195312\n", + "global step=23848960, episodic return=2008.8165283203125\n", + "global step=23848960, episodic return=696.4364013671875\n", + "global step=23848960, episodic return=2034.8031005859375\n", + "global step=23851008, episodic return=2076.76025390625\n", + "global step=23851008, episodic return=2070.166015625\n", + "global step=23853056, episodic return=2053.77734375\n", + "global step=23855104, episodic return=2027.6690673828125\n", + "global step=23855104, episodic return=2065.945068359375\n", + "global step=23855104, episodic return=2093.819580078125\n", + "global step=23857152, episodic return=2039.0689697265625\n", + "global step=23857152, episodic return=2015.6846923828125\n", + "global step=23857152, episodic return=2069.299560546875\n", + "global step=23857152, episodic return=2052.747314453125\n", + "global step=23857152, episodic return=2077.914306640625\n", + "global step=23857152, episodic return=2048.702392578125\n", + "global step=23859200, episodic return=2053.012939453125\n", + "global step=23859200, episodic return=2061.326416015625\n", + "global step=23859200, episodic return=2059.21728515625\n", + "global step=23859200, episodic return=2078.75146484375\n", + "global step=23861248, episodic return=1984.026123046875\n", + "global step=23861248, episodic return=2058.789306640625\n", + "global step=23861248, episodic return=2012.266845703125\n", + "global step=23861248, episodic return=2055.247314453125\n", + "global step=23863296, episodic return=2048.064453125\n", + "global step=23865344, episodic return=2091.32080078125\n", + "global step=23865344, episodic return=2063.752685546875\n", + "global step=23865344, episodic return=2048.163330078125\n", + "global step=23865344, episodic return=2073.1591796875\n", + "global step=23867392, episodic return=2066.05615234375\n", + "global step=23867392, episodic return=2082.215087890625\n", + "global step=23867392, episodic return=2075.66748046875\n", + "global step=23867392, episodic return=2036.0286865234375\n", + "global step=23869440, episodic return=2100.2734375\n", + "global step=23869440, episodic return=2043.2392578125\n", + "global step=23869440, episodic return=2042.563720703125\n", + "global step=23869440, episodic return=1432.31005859375\n", + "global step=23869440, episodic return=2046.4083251953125\n", + "global step=23871488, episodic return=2081.636962890625\n", + "global step=23871488, episodic return=2047.8297119140625\n", + "global step=23871488, episodic return=2081.26171875\n", + "global step=23871488, episodic return=1732.8631591796875\n", + "global step=23871488, episodic return=2065.778564453125\n", + "global step=23873536, episodic return=1867.7974853515625\n", + "global step=23875584, episodic return=2091.02783203125\n", + "global step=23875584, episodic return=2072.576416015625\n", + "global step=23875584, episodic return=2040.0028076171875\n", + "global step=23875584, episodic return=1555.874267578125\n", + "global step=23875584, episodic return=2090.94580078125\n", + "global step=23875584, episodic return=2058.095703125\n", + "global step=23877632, episodic return=1997.7908935546875\n", + "global step=23877632, episodic return=2037.467529296875\n", + "global step=23879680, episodic return=2088.83251953125\n", + "global step=23879680, episodic return=2064.72265625\n", + "global step=23879680, episodic return=2059.925048828125\n", + "global step=23881728, episodic return=2044.011474609375\n", + "global step=23881728, episodic return=2042.6212158203125\n", + "global step=23881728, episodic return=2095.109130859375\n", + "global step=23881728, episodic return=2053.97119140625\n", + "global step=23883776, episodic return=2066.71533203125\n", + "global step=23883776, episodic return=2053.193115234375\n", + "global step=23885824, episodic return=2036.5369873046875\n", + "global step=23885824, episodic return=2026.0587158203125\n", + "global step=23885824, episodic return=2050.324951171875\n", + "global step=23885824, episodic return=1811.6722412109375\n", + "global step=23885824, episodic return=2078.003173828125\n", + "global step=23887872, episodic return=2095.891845703125\n", + "global step=23887872, episodic return=2029.893798828125\n", + "global step=23887872, episodic return=1934.25537109375\n", + "global step=23887872, episodic return=2092.260986328125\n", + "global step=23889920, episodic return=2051.87255859375\n", + "global step=23889920, episodic return=1818.2308349609375\n", + "global step=23889920, episodic return=1347.765625\n", + "global step=23889920, episodic return=2077.791015625\n", + "global step=23891968, episodic return=2086.800048828125\n", + "global step=23891968, episodic return=2085.545166015625\n", + "global step=23891968, episodic return=2056.11962890625\n", + "global step=23891968, episodic return=2101.83935546875\n", + "global step=23891968, episodic return=2068.275390625\n", + "global step=23891968, episodic return=2083.833251953125\n", + "global step=23894016, episodic return=2011.93359375\n", + "global step=23894016, episodic return=1013.658935546875\n", + "global step=23896064, episodic return=1988.7232666015625\n", + "global step=23896064, episodic return=1620.96337890625\n", + "global step=23896064, episodic return=2087.623291015625\n", + "global step=23896064, episodic return=2055.494140625\n", + "global step=23898112, episodic return=1884.4920654296875\n", + "global step=23898112, episodic return=2032.790771484375\n", + "global step=23898112, episodic return=1989.5235595703125\n", + "global step=23900160, episodic return=2031.7215576171875\n", + "global step=23902208, episodic return=2045.1605224609375\n", + "global step=23902208, episodic return=2075.656982421875\n", + "global step=23904256, episodic return=1999.69091796875\n", + "global step=23906304, episodic return=1752.9371337890625\n", + "global step=23908352, episodic return=2073.952880859375\n", + "global step=23908352, episodic return=2047.5550537109375\n", + "global step=23910400, episodic return=2055.81103515625\n", + "global step=23910400, episodic return=2060.110595703125\n", + "global step=23910400, episodic return=2106.779052734375\n", + "global step=23910400, episodic return=1548.326904296875\n", + "global step=23912448, episodic return=2034.543701171875\n", + "global step=23912448, episodic return=2033.047607421875\n", + "global step=23912448, episodic return=2069.189453125\n", + "global step=23914496, episodic return=2059.026123046875\n", + "global step=23914496, episodic return=2084.92529296875\n", + "global step=23914496, episodic return=1049.0428466796875\n", + "global step=23916544, episodic return=43.61178970336914\n", + "global step=23916544, episodic return=2065.22705078125\n", + "global step=23916544, episodic return=2080.767822265625\n", + "global step=23916544, episodic return=2052.681884765625\n", + "global step=23918592, episodic return=2045.6588134765625\n", + "global step=23918592, episodic return=2078.203369140625\n", + "global step=23918592, episodic return=2055.19580078125\n", + "global step=23918592, episodic return=2070.0615234375\n", + "global step=23920640, episodic return=2023.6671142578125\n", + "global step=23920640, episodic return=1727.852783203125\n", + "global step=23920640, episodic return=2089.902099609375\n", + "global step=23922688, episodic return=2078.674072265625\n", + "global step=23922688, episodic return=1168.465576171875\n", + "global step=23922688, episodic return=2062.9580078125\n", + "global step=23924736, episodic return=1673.5975341796875\n", + "global step=23924736, episodic return=1616.9569091796875\n", + "global step=23924736, episodic return=2049.84033203125\n", + "global step=23924736, episodic return=1482.527587890625\n", + "global step=23924736, episodic return=2034.596923828125\n", + "global step=23926784, episodic return=2027.042236328125\n", + "global step=23928832, episodic return=714.5635986328125\n", + "global step=23930880, episodic return=2104.3046875\n", + "global step=23930880, episodic return=1235.594482421875\n", + "global step=23932928, episodic return=2077.372802734375\n", + "global step=23932928, episodic return=1572.362060546875\n", + "global step=23932928, episodic return=2075.2998046875\n", + "global step=23932928, episodic return=2114.061767578125\n", + "global step=23934976, episodic return=2027.4112548828125\n", + "global step=23934976, episodic return=1427.901123046875\n", + "global step=23934976, episodic return=2078.644287109375\n", + "global step=23937024, episodic return=2068.819091796875\n", + "global step=23939072, episodic return=1597.2235107421875\n", + "global step=23941120, episodic return=722.1814575195312\n", + "global step=23941120, episodic return=2068.6083984375\n", + "global step=23941120, episodic return=2078.113525390625\n", + "global step=23943168, episodic return=2097.9091796875\n", + "global step=23943168, episodic return=2074.30126953125\n", + "global step=23943168, episodic return=2080.674072265625\n", + "global step=23945216, episodic return=2104.39892578125\n", + "global step=23945216, episodic return=2052.95458984375\n", + "global step=23945216, episodic return=1633.906494140625\n", + "global step=23945216, episodic return=2067.96484375\n", + "global step=23945216, episodic return=2036.9312744140625\n", + "global step=23945216, episodic return=2051.619140625\n", + "global step=23947264, episodic return=2034.28173828125\n", + "global step=23947264, episodic return=2030.158447265625\n", + "global step=23949312, episodic return=2035.3443603515625\n", + "global step=23949312, episodic return=2087.25732421875\n", + "global step=23951360, episodic return=2067.326171875\n", + "global step=23951360, episodic return=2078.71826171875\n", + "global step=23951360, episodic return=2089.529296875\n", + "global step=23951360, episodic return=2053.79052734375\n", + "global step=23951360, episodic return=1549.0806884765625\n", + "global step=23953408, episodic return=1774.8140869140625\n", + "global step=23953408, episodic return=2040.774658203125\n", + "global step=23953408, episodic return=2059.163330078125\n", + "global step=23955456, episodic return=2106.616455078125\n", + "global step=23955456, episodic return=2041.322021484375\n", + "global step=23955456, episodic return=1846.913818359375\n", + "global step=23955456, episodic return=2044.432373046875\n", + "global step=23957504, episodic return=2044.966064453125\n", + "global step=23957504, episodic return=2093.76220703125\n", + "global step=23957504, episodic return=1721.9798583984375\n", + "global step=23957504, episodic return=2068.883056640625\n", + "global step=23959552, episodic return=2088.149658203125\n", + "global step=23959552, episodic return=2019.7607421875\n", + "global step=23961600, episodic return=2068.871826171875\n", + "global step=23961600, episodic return=2030.420166015625\n", + "global step=23963648, episodic return=2094.908935546875\n", + "global step=23965696, episodic return=2048.463623046875\n", + "global step=23965696, episodic return=2099.00830078125\n", + "global step=23967744, episodic return=2025.631591796875\n", + "global step=23967744, episodic return=617.8849487304688\n", + "global step=23969792, episodic return=1950.5595703125\n", + "global step=23969792, episodic return=2092.55908203125\n", + "global step=23969792, episodic return=2101.016845703125\n", + "global step=23969792, episodic return=2006.603271484375\n", + "global step=23969792, episodic return=2068.959716796875\n", + "global step=23969792, episodic return=2058.474609375\n", + "global step=23971840, episodic return=2061.207763671875\n", + "global step=23971840, episodic return=2069.661865234375\n", + "global step=23973888, episodic return=1440.7906494140625\n", + "global step=23975936, episodic return=1550.6129150390625\n", + "global step=23975936, episodic return=2046.24609375\n", + "global step=23975936, episodic return=1023.013916015625\n", + "global step=23975936, episodic return=2017.889892578125\n", + "global step=23975936, episodic return=2081.013916015625\n", + "global step=23977984, episodic return=2053.673095703125\n", + "global step=23977984, episodic return=2078.96044921875\n", + "global step=23977984, episodic return=2067.83154296875\n", + "global step=23977984, episodic return=2058.693115234375\n", + "global step=23980032, episodic return=2033.0389404296875\n", + "global step=23980032, episodic return=1427.5889892578125\n", + "global step=23980032, episodic return=1830.02880859375\n", + "global step=23982080, episodic return=1800.771484375\n", + "global step=23982080, episodic return=2031.8072509765625\n", + "global step=23982080, episodic return=2043.8399658203125\n", + "global step=23982080, episodic return=1620.44873046875\n", + "global step=23984128, episodic return=1525.5211181640625\n", + "global step=23986176, episodic return=2087.49853515625\n", + "global step=23986176, episodic return=2052.3291015625\n", + "global step=23986176, episodic return=2058.631103515625\n", + "global step=23988224, episodic return=1705.6702880859375\n", + "global step=23988224, episodic return=2049.21484375\n", + "global step=23988224, episodic return=2073.431640625\n", + "global step=23988224, episodic return=1134.19775390625\n", + "global step=23988224, episodic return=1995.1103515625\n", + "global step=23990272, episodic return=2075.693115234375\n", + "global step=23990272, episodic return=1852.361083984375\n", + "global step=23992320, episodic return=2063.74462890625\n", + "global step=23992320, episodic return=2037.27001953125\n", + "global step=23992320, episodic return=2071.742919921875\n", + "global step=23992320, episodic return=2100.936279296875\n", + "global step=23996416, episodic return=1469.3634033203125\n", + "global step=23996416, episodic return=765.3740844726562\n", + "global step=23998464, episodic return=2081.109619140625\n", + "global step=23998464, episodic return=2070.37060546875\n", + "global step=23998464, episodic return=2066.701904296875\n", + "global step=23998464, episodic return=2006.552734375\n", + "global step=24000512, episodic return=2020.64990234375\n", + "global step=24000512, episodic return=2051.0263671875\n", + "global step=24000512, episodic return=2096.385986328125\n", + "global step=24000512, episodic return=2068.525390625\n", + "global step=24002560, episodic return=2077.521484375\n", + "global step=24002560, episodic return=2027.018798828125\n", + "global step=24004608, episodic return=1797.853271484375\n", + "global step=24004608, episodic return=2091.1875\n", + "global step=24006656, episodic return=2039.78564453125\n", + "global step=24006656, episodic return=2082.230712890625\n", + "global step=24006656, episodic return=2089.306884765625\n", + "global step=24008704, episodic return=2026.307373046875\n", + "global step=24008704, episodic return=2069.618896484375\n", + "global step=24008704, episodic return=1976.5347900390625\n", + "global step=24008704, episodic return=2058.877685546875\n", + "global step=24010752, episodic return=2082.34130859375\n", + "global step=24010752, episodic return=2108.783935546875\n", + "global step=24010752, episodic return=2069.736328125\n", + "global step=24010752, episodic return=1755.0352783203125\n", + "global step=24012800, episodic return=2058.28662109375\n", + "global step=24012800, episodic return=2045.685546875\n", + "global step=24012800, episodic return=2030.6263427734375\n", + "global step=24014848, episodic return=2023.0594482421875\n", + "global step=24014848, episodic return=1461.9412841796875\n", + "global step=24016896, episodic return=2078.5146484375\n", + "global step=24016896, episodic return=2000.3553466796875\n", + "global step=24016896, episodic return=2041.095458984375\n", + "global step=24016896, episodic return=2083.736572265625\n", + "global step=24016896, episodic return=2045.5968017578125\n", + "global step=24016896, episodic return=2029.4462890625\n", + "global step=24018944, episodic return=2058.677978515625\n", + "global step=24018944, episodic return=2054.87890625\n", + "global step=24018944, episodic return=2069.02001953125\n", + "global step=24020992, episodic return=2018.9617919921875\n", + "global step=24020992, episodic return=1695.293212890625\n", + "global step=24023040, episodic return=2086.642333984375\n", + "global step=24023040, episodic return=2037.698974609375\n", + "global step=24025088, episodic return=2029.55029296875\n", + "global step=24025088, episodic return=2040.8272705078125\n", + "global step=24025088, episodic return=2000.640869140625\n", + "global step=24025088, episodic return=2061.860107421875\n", + "global step=24027136, episodic return=2089.786376953125\n", + "global step=24027136, episodic return=1461.27734375\n", + "global step=24029184, episodic return=2006.54443359375\n", + "global step=24029184, episodic return=2053.53759765625\n", + "global step=24031232, episodic return=2080.11083984375\n", + "global step=24031232, episodic return=430.3702392578125\n", + "global step=24031232, episodic return=2081.076416015625\n", + "global step=24033280, episodic return=2090.035888671875\n", + "global step=24033280, episodic return=2085.983642578125\n", + "global step=24035328, episodic return=1515.76953125\n", + "global step=24035328, episodic return=2070.57958984375\n", + "global step=24037376, episodic return=2051.14013671875\n", + "global step=24037376, episodic return=2074.795166015625\n", + "global step=24037376, episodic return=2094.763916015625\n", + "global step=24039424, episodic return=2083.228515625\n", + "global step=24039424, episodic return=2089.398681640625\n", + "global step=24039424, episodic return=1227.6202392578125\n", + "global step=24041472, episodic return=2040.08251953125\n", + "global step=24045568, episodic return=2077.25390625\n", + "global step=24045568, episodic return=2040.8916015625\n", + "global step=24045568, episodic return=2071.06005859375\n", + "global step=24047616, episodic return=1342.8154296875\n", + "global step=24047616, episodic return=2091.051025390625\n", + "global step=24047616, episodic return=1602.630615234375\n", + "global step=24047616, episodic return=1706.500244140625\n", + "global step=24049664, episodic return=2055.299072265625\n", + "global step=24049664, episodic return=1391.52587890625\n", + "global step=24049664, episodic return=2068.3876953125\n", + "global step=24049664, episodic return=2070.420166015625\n", + "global step=24051712, episodic return=2059.47265625\n", + "global step=24051712, episodic return=1731.9749755859375\n", + "global step=24051712, episodic return=2058.509765625\n", + "global step=24051712, episodic return=458.97479248046875\n", + "global step=24051712, episodic return=2072.232666015625\n", + "global step=24051712, episodic return=2043.2777099609375\n", + "global step=24053760, episodic return=2078.019775390625\n", + "global step=24055808, episodic return=2096.50048828125\n", + "global step=24055808, episodic return=2040.445556640625\n", + "global step=24055808, episodic return=2088.228759765625\n", + "global step=24059904, episodic return=2039.2408447265625\n", + "global step=24061952, episodic return=2027.4666748046875\n", + "global step=24064000, episodic return=2064.151123046875\n", + "global step=24066048, episodic return=1475.1513671875\n", + "global step=24066048, episodic return=2069.16455078125\n", + "global step=24066048, episodic return=2043.645751953125\n", + "global step=24066048, episodic return=2027.3426513671875\n", + "global step=24066048, episodic return=1999.39404296875\n", + "global step=24066048, episodic return=2033.63623046875\n", + "global step=24068096, episodic return=2049.6630859375\n", + "global step=24068096, episodic return=2045.7510986328125\n", + "global step=24068096, episodic return=2071.0341796875\n", + "global step=24068096, episodic return=2073.73583984375\n", + "global step=24068096, episodic return=1111.170654296875\n", + "global step=24070144, episodic return=2086.014404296875\n", + "global step=24070144, episodic return=2034.414794921875\n", + "global step=24070144, episodic return=2046.5755615234375\n", + "global step=24070144, episodic return=2054.539306640625\n", + "global step=24070144, episodic return=2118.057861328125\n", + "global step=24070144, episodic return=2062.201416015625\n", + "global step=24072192, episodic return=2072.53857421875\n", + "global step=24072192, episodic return=1077.301513671875\n", + "global step=24072192, episodic return=2080.2080078125\n", + "global step=24072192, episodic return=1878.6724853515625\n", + "global step=24074240, episodic return=2087.178955078125\n", + "global step=24074240, episodic return=2023.271728515625\n", + "global step=24076288, episodic return=2091.429931640625\n", + "global step=24076288, episodic return=2089.37548828125\n", + "global step=24076288, episodic return=1376.775146484375\n", + "global step=24076288, episodic return=2023.875732421875\n", + "global step=24076288, episodic return=2061.942626953125\n", + "global step=24078336, episodic return=2062.184814453125\n", + "global step=24078336, episodic return=2070.9208984375\n", + "global step=24080384, episodic return=1722.3092041015625\n", + "global step=24080384, episodic return=2065.989501953125\n", + "global step=24080384, episodic return=2059.9765625\n", + "global step=24080384, episodic return=1687.7486572265625\n", + "global step=24082432, episodic return=2056.468994140625\n", + "global step=24082432, episodic return=2070.999267578125\n", + "global step=24082432, episodic return=2066.157958984375\n", + "global step=24082432, episodic return=2056.908447265625\n", + "global step=24082432, episodic return=2065.663818359375\n", + "global step=24082432, episodic return=2048.987060546875\n", + "global step=24082432, episodic return=1723.8529052734375\n", + "global step=24084480, episodic return=2067.738525390625\n", + "global step=24084480, episodic return=1990.5057373046875\n", + "global step=24086528, episodic return=2076.195068359375\n", + "global step=24088576, episodic return=1277.8912353515625\n", + "global step=24088576, episodic return=2045.8385009765625\n", + "global step=24088576, episodic return=2032.829345703125\n", + "global step=24088576, episodic return=2067.358642578125\n", + "global step=24088576, episodic return=1979.662841796875\n", + "global step=24088576, episodic return=1872.363525390625\n", + "global step=24090624, episodic return=2061.0595703125\n", + "global step=24092672, episodic return=1915.9945068359375\n", + "global step=24092672, episodic return=2042.614501953125\n", + "global step=24092672, episodic return=2070.6630859375\n", + "global step=24092672, episodic return=2074.9052734375\n", + "global step=24092672, episodic return=2052.390869140625\n", + "global step=24092672, episodic return=1799.1744384765625\n", + "global step=24092672, episodic return=2095.1162109375\n", + "global step=24094720, episodic return=2038.268310546875\n", + "global step=24094720, episodic return=153.90676879882812\n", + "global step=24094720, episodic return=2036.943115234375\n", + "global step=24096768, episodic return=2059.90576171875\n", + "global step=24098816, episodic return=2095.75390625\n", + "global step=24098816, episodic return=2063.453857421875\n", + "global step=24098816, episodic return=2042.424072265625\n", + "global step=24098816, episodic return=2090.25390625\n", + "global step=24100864, episodic return=2077.604736328125\n", + "global step=24100864, episodic return=1984.92822265625\n", + "global step=24102912, episodic return=2100.07861328125\n", + "global step=24102912, episodic return=1884.7469482421875\n", + "global step=24102912, episodic return=2037.016845703125\n", + "global step=24102912, episodic return=2073.24169921875\n", + "global step=24102912, episodic return=1447.968994140625\n", + "global step=24104960, episodic return=2018.7000732421875\n", + "global step=24104960, episodic return=1928.669921875\n", + "global step=24107008, episodic return=2077.61181640625\n", + "global step=24109056, episodic return=1688.7542724609375\n", + "global step=24109056, episodic return=2059.13720703125\n", + "global step=24109056, episodic return=1968.6197509765625\n", + "global step=24109056, episodic return=2035.576171875\n", + "global step=24109056, episodic return=2098.38330078125\n", + "global step=24111104, episodic return=1655.650146484375\n", + "global step=24111104, episodic return=2013.0821533203125\n", + "global step=24111104, episodic return=2066.115478515625\n", + "global step=24111104, episodic return=2052.5146484375\n", + "global step=24115200, episodic return=1413.0758056640625\n", + "global step=24115200, episodic return=1766.55810546875\n", + "global step=24115200, episodic return=2024.036376953125\n", + "global step=24117248, episodic return=2064.74853515625\n", + "global step=24117248, episodic return=2081.09912109375\n", + "global step=24117248, episodic return=2043.7003173828125\n", + "global step=24117248, episodic return=2078.016357421875\n", + "global step=24117248, episodic return=2031.324951171875\n", + "global step=24117248, episodic return=2083.28857421875\n", + "global step=24119296, episodic return=1825.660400390625\n", + "global step=24121344, episodic return=2063.816162109375\n", + "global step=24121344, episodic return=2115.758056640625\n", + "global step=24121344, episodic return=2109.224365234375\n", + "global step=24123392, episodic return=1955.3507080078125\n", + "global step=24125440, episodic return=2045.6722412109375\n", + "global step=24125440, episodic return=2079.79638671875\n", + "global step=24125440, episodic return=1736.7398681640625\n", + "global step=24125440, episodic return=2106.1162109375\n", + "global step=24127488, episodic return=2064.58544921875\n", + "global step=24127488, episodic return=2089.5869140625\n", + "global step=24127488, episodic return=2042.0750732421875\n", + "global step=24127488, episodic return=2061.215576171875\n", + "global step=24127488, episodic return=2102.136474609375\n", + "global step=24129536, episodic return=2049.5107421875\n", + "global step=24129536, episodic return=2043.1612548828125\n", + "global step=24129536, episodic return=2049.875244140625\n", + "global step=24131584, episodic return=2086.113037109375\n", + "global step=24133632, episodic return=1994.673583984375\n", + "global step=24135680, episodic return=2117.9443359375\n", + "global step=24135680, episodic return=2073.14404296875\n", + "global step=24137728, episodic return=2106.484619140625\n", + "global step=24137728, episodic return=1925.2576904296875\n", + "global step=24139776, episodic return=2075.4833984375\n", + "global step=24139776, episodic return=2032.8983154296875\n", + "global step=24139776, episodic return=2044.1417236328125\n", + "global step=24139776, episodic return=2046.3612060546875\n", + "global step=24139776, episodic return=2085.933837890625\n", + "global step=24139776, episodic return=2090.7265625\n", + "global step=24139776, episodic return=1629.1773681640625\n", + "global step=24141824, episodic return=2056.405517578125\n", + "global step=24141824, episodic return=805.322265625\n", + "global step=24141824, episodic return=2040.5382080078125\n", + "global step=24143872, episodic return=2022.243408203125\n", + "global step=24143872, episodic return=2081.255859375\n", + "global step=24143872, episodic return=2004.318359375\n", + "global step=24143872, episodic return=1026.7027587890625\n", + "global step=24143872, episodic return=2044.8240966796875\n", + "global step=24147968, episodic return=2099.079833984375\n", + "global step=24147968, episodic return=2071.547119140625\n", + "global step=24150016, episodic return=2019.7978515625\n", + "global step=24150016, episodic return=2081.321044921875\n", + "global step=24152064, episodic return=2118.8046875\n", + "global step=24152064, episodic return=2097.264892578125\n", + "global step=24152064, episodic return=2113.236572265625\n", + "global step=24152064, episodic return=2124.560791015625\n", + "global step=24152064, episodic return=2089.56298828125\n", + "global step=24152064, episodic return=2114.8515625\n", + "global step=24154112, episodic return=2055.728515625\n", + "global step=24154112, episodic return=2101.149658203125\n", + "global step=24154112, episodic return=2079.691650390625\n", + "global step=24156160, episodic return=2061.5498046875\n", + "global step=24156160, episodic return=2056.1201171875\n", + "global step=24156160, episodic return=2091.07080078125\n", + "global step=24156160, episodic return=2120.762939453125\n", + "global step=24158208, episodic return=1357.3359375\n", + "global step=24158208, episodic return=2033.7442626953125\n", + "global step=24160256, episodic return=2053.6787109375\n", + "global step=24160256, episodic return=2144.3154296875\n", + "global step=24160256, episodic return=2085.144287109375\n", + "global step=24162304, episodic return=2123.7373046875\n", + "global step=24162304, episodic return=2078.826171875\n", + "global step=24164352, episodic return=1020.3359985351562\n", + "global step=24164352, episodic return=1396.88427734375\n", + "global step=24164352, episodic return=2099.873046875\n", + "global step=24164352, episodic return=2016.3779296875\n", + "global step=24164352, episodic return=2061.291015625\n", + "global step=24164352, episodic return=1999.798583984375\n", + "global step=24166400, episodic return=2080.820068359375\n", + "global step=24166400, episodic return=2088.01708984375\n", + "global step=24168448, episodic return=2058.375732421875\n", + "global step=24168448, episodic return=2063.083740234375\n", + "global step=24168448, episodic return=2067.29296875\n", + "global step=24170496, episodic return=2030.4296875\n", + "global step=24170496, episodic return=2064.8544921875\n", + "global step=24170496, episodic return=1755.2896728515625\n", + "global step=24170496, episodic return=2095.484375\n", + "global step=24170496, episodic return=2060.98486328125\n", + "global step=24170496, episodic return=2092.733642578125\n", + "global step=24170496, episodic return=2083.342041015625\n", + "global step=24172544, episodic return=2044.79443359375\n", + "global step=24172544, episodic return=2059.725341796875\n", + "global step=24172544, episodic return=2113.63427734375\n", + "global step=24174592, episodic return=2067.51318359375\n", + "global step=24174592, episodic return=2042.206298828125\n", + "global step=24174592, episodic return=2095.943359375\n", + "global step=24174592, episodic return=2064.590576171875\n", + "global step=24176640, episodic return=2063.51513671875\n", + "global step=24176640, episodic return=2031.313720703125\n", + "global step=24176640, episodic return=2080.678466796875\n", + "global step=24176640, episodic return=2087.28955078125\n", + "global step=24176640, episodic return=2083.74658203125\n", + "global step=24176640, episodic return=2048.68310546875\n", + "global step=24178688, episodic return=2111.318603515625\n", + "global step=24178688, episodic return=2062.7578125\n", + "global step=24180736, episodic return=1982.9788818359375\n", + "global step=24180736, episodic return=2073.22412109375\n", + "global step=24182784, episodic return=1834.223876953125\n", + "global step=24184832, episodic return=877.6693115234375\n", + "global step=24184832, episodic return=2049.34521484375\n", + "global step=24184832, episodic return=2084.412109375\n", + "global step=24186880, episodic return=553.39208984375\n", + "global step=24186880, episodic return=1087.1361083984375\n", + "global step=24186880, episodic return=2075.77685546875\n", + "global step=24186880, episodic return=2099.523193359375\n", + "global step=24186880, episodic return=2112.837890625\n", + "global step=24188928, episodic return=2014.5809326171875\n", + "global step=24190976, episodic return=2126.33203125\n", + "global step=24190976, episodic return=2085.018310546875\n", + "global step=24190976, episodic return=2083.062744140625\n", + "global step=24193024, episodic return=2103.672119140625\n", + "global step=24193024, episodic return=1980.1153564453125\n", + "global step=24195072, episodic return=1761.3829345703125\n", + "global step=24195072, episodic return=1883.97900390625\n", + "global step=24195072, episodic return=2085.247802734375\n", + "global step=24195072, episodic return=2105.29638671875\n", + "global step=24197120, episodic return=2104.05322265625\n", + "global step=24197120, episodic return=2027.8118896484375\n", + "global step=24199168, episodic return=2087.67529296875\n", + "global step=24199168, episodic return=2066.0146484375\n", + "global step=24201216, episodic return=2066.12841796875\n", + "global step=24201216, episodic return=2070.46142578125\n", + "global step=24203264, episodic return=2031.797607421875\n", + "global step=24203264, episodic return=2079.654541015625\n", + "global step=24205312, episodic return=1994.546630859375\n", + "global step=24205312, episodic return=2086.390625\n", + "global step=24207360, episodic return=2069.815673828125\n", + "global step=24207360, episodic return=2039.24462890625\n", + "global step=24209408, episodic return=2002.689697265625\n", + "global step=24209408, episodic return=2094.8955078125\n", + "global step=24213504, episodic return=2048.666748046875\n", + "global step=24215552, episodic return=2042.1937255859375\n", + "global step=24217600, episodic return=2081.255859375\n", + "global step=24217600, episodic return=1441.064208984375\n", + "global step=24217600, episodic return=2067.66748046875\n", + "global step=24219648, episodic return=2031.5885009765625\n", + "global step=24219648, episodic return=1729.6812744140625\n", + "global step=24219648, episodic return=2103.457275390625\n", + "global step=24221696, episodic return=2117.670166015625\n", + "global step=24221696, episodic return=1749.452880859375\n", + "global step=24221696, episodic return=1998.2291259765625\n", + "global step=24223744, episodic return=2083.768798828125\n", + "global step=24223744, episodic return=2092.553955078125\n", + "global step=24223744, episodic return=2111.28857421875\n", + "global step=24225792, episodic return=2081.6591796875\n", + "global step=24225792, episodic return=2075.368896484375\n", + "global step=24225792, episodic return=1085.5911865234375\n", + "global step=24225792, episodic return=2099.875\n", + "global step=24231936, episodic return=1638.78759765625\n", + "global step=24231936, episodic return=2116.792724609375\n", + "global step=24233984, episodic return=2099.29248046875\n", + "global step=24233984, episodic return=2069.29150390625\n", + "global step=24233984, episodic return=2081.83349609375\n", + "global step=24233984, episodic return=2080.94873046875\n", + "global step=24233984, episodic return=2091.88427734375\n", + "global step=24236032, episodic return=1682.1270751953125\n", + "global step=24236032, episodic return=2094.02392578125\n", + "global step=24236032, episodic return=2090.78564453125\n", + "global step=24238080, episodic return=2099.369873046875\n", + "global step=24238080, episodic return=689.4814453125\n", + "global step=24240128, episodic return=2064.497802734375\n", + "global step=24240128, episodic return=2014.680908203125\n", + "global step=24242176, episodic return=2096.92041015625\n", + "global step=24244224, episodic return=2050.67822265625\n", + "global step=24244224, episodic return=1794.1158447265625\n", + "global step=24244224, episodic return=2128.33154296875\n", + "global step=24248320, episodic return=2017.944580078125\n", + "global step=24248320, episodic return=2020.7115478515625\n", + "global step=24248320, episodic return=1908.576416015625\n", + "global step=24248320, episodic return=2110.19677734375\n", + "global step=24248320, episodic return=2102.7119140625\n", + "global step=24250368, episodic return=2103.601806640625\n", + "global step=24252416, episodic return=2144.099609375\n", + "global step=24254464, episodic return=2095.706787109375\n", + "global step=24254464, episodic return=1910.8544921875\n", + "global step=24254464, episodic return=2090.208251953125\n", + "global step=24254464, episodic return=2091.97021484375\n", + "global step=24256512, episodic return=2107.19580078125\n", + "global step=24256512, episodic return=585.0321655273438\n", + "global step=24256512, episodic return=447.15283203125\n", + "global step=24256512, episodic return=2061.3310546875\n", + "global step=24258560, episodic return=2025.387451171875\n", + "global step=24258560, episodic return=1350.9376220703125\n", + "global step=24260608, episodic return=2086.290283203125\n", + "global step=24260608, episodic return=2074.322998046875\n", + "global step=24260608, episodic return=2110.321044921875\n", + "global step=24260608, episodic return=1720.727294921875\n", + "global step=24260608, episodic return=2041.01513671875\n", + "global step=24262656, episodic return=2046.207763671875\n", + "global step=24262656, episodic return=455.9147644042969\n", + "global step=24262656, episodic return=2077.874755859375\n", + "global step=24262656, episodic return=2107.459228515625\n", + "global step=24264704, episodic return=2114.8447265625\n", + "global step=24264704, episodic return=441.0248718261719\n", + "global step=24266752, episodic return=1252.8763427734375\n", + "global step=24266752, episodic return=2111.574951171875\n", + "global step=24266752, episodic return=2065.570068359375\n", + "global step=24266752, episodic return=751.7928466796875\n", + "global step=24266752, episodic return=2054.4296875\n", + "global step=24268800, episodic return=2080.40673828125\n", + "global step=24268800, episodic return=2092.332275390625\n", + "global step=24270848, episodic return=2065.436767578125\n", + "global step=24270848, episodic return=2017.1123046875\n", + "global step=24272896, episodic return=2069.873046875\n", + "global step=24272896, episodic return=2031.10546875\n", + "global step=24274944, episodic return=2107.9560546875\n", + "global step=24274944, episodic return=1102.5364990234375\n", + "global step=24274944, episodic return=1656.5625\n", + "global step=24274944, episodic return=2078.631103515625\n", + "global step=24276992, episodic return=2095.105712890625\n", + "global step=24276992, episodic return=450.64239501953125\n", + "global step=24276992, episodic return=2071.097412109375\n", + "global step=24279040, episodic return=1673.8994140625\n", + "global step=24279040, episodic return=2030.5469970703125\n", + "global step=24283136, episodic return=781.820556640625\n", + "global step=24283136, episodic return=2012.4803466796875\n", + "global step=24285184, episodic return=1965.3502197265625\n", + "global step=24285184, episodic return=2079.998291015625\n", + "global step=24285184, episodic return=1567.1768798828125\n", + "global step=24287232, episodic return=2091.412109375\n", + "global step=24287232, episodic return=2088.483154296875\n", + "global step=24287232, episodic return=481.1583251953125\n", + "global step=24287232, episodic return=2079.602294921875\n", + "global step=24287232, episodic return=2069.057861328125\n", + "global step=24293376, episodic return=683.3228149414062\n", + "global step=24293376, episodic return=1961.989013671875\n", + "global step=24293376, episodic return=789.0007934570312\n", + "global step=24297472, episodic return=2096.993896484375\n", + "global step=24297472, episodic return=1233.47021484375\n", + "global step=24297472, episodic return=2068.060546875\n", + "global step=24297472, episodic return=2135.955810546875\n", + "global step=24299520, episodic return=641.577392578125\n", + "global step=24299520, episodic return=1792.5489501953125\n", + "global step=24299520, episodic return=2083.090576171875\n", + "global step=24301568, episodic return=2072.71240234375\n", + "global step=24301568, episodic return=1770.7711181640625\n", + "global step=24301568, episodic return=2092.2685546875\n", + "global step=24303616, episodic return=1889.95068359375\n", + "global step=24303616, episodic return=1502.4512939453125\n", + "global step=24303616, episodic return=2084.753173828125\n", + "global step=24305664, episodic return=2019.94482421875\n", + "global step=24305664, episodic return=2007.4127197265625\n", + "global step=24305664, episodic return=1662.575439453125\n", + "global step=24307712, episodic return=1957.443603515625\n", + "global step=24307712, episodic return=2044.828125\n", + "global step=24309760, episodic return=2055.585693359375\n", + "global step=24311808, episodic return=2055.377685546875\n", + "global step=24311808, episodic return=1879.3804931640625\n", + "global step=24315904, episodic return=1982.387451171875\n", + "global step=24315904, episodic return=2083.938720703125\n", + "global step=24317952, episodic return=2045.802490234375\n", + "global step=24317952, episodic return=2003.8812255859375\n", + "global step=24320000, episodic return=2020.6173095703125\n", + "global step=24322048, episodic return=421.4027099609375\n", + "global step=24322048, episodic return=2070.257568359375\n", + "global step=24322048, episodic return=2023.9935302734375\n", + "global step=24324096, episodic return=2076.87255859375\n", + "global step=24326144, episodic return=1955.9371337890625\n", + "global step=24328192, episodic return=2122.47216796875\n", + "global step=24328192, episodic return=2128.269775390625\n", + "global step=24328192, episodic return=2049.085205078125\n", + "global step=24332288, episodic return=2062.90966796875\n", + "global step=24332288, episodic return=2016.1104736328125\n", + "global step=24334336, episodic return=2070.8447265625\n", + "global step=24334336, episodic return=2072.28125\n", + "global step=24336384, episodic return=2007.5447998046875\n", + "global step=24336384, episodic return=1259.7265625\n", + "global step=24338432, episodic return=2036.37060546875\n", + "global step=24340480, episodic return=2057.80224609375\n", + "global step=24342528, episodic return=2066.017578125\n", + "global step=24342528, episodic return=2047.0093994140625\n", + "global step=24342528, episodic return=2113.48291015625\n", + "global step=24342528, episodic return=2073.853515625\n", + "global step=24344576, episodic return=2006.7196044921875\n", + "global step=24344576, episodic return=2074.166259765625\n", + "global step=24344576, episodic return=2024.1815185546875\n", + "global step=24346624, episodic return=2075.41064453125\n", + "global step=24346624, episodic return=1586.8443603515625\n", + "global step=24346624, episodic return=2055.498779296875\n", + "global step=24348672, episodic return=1692.0670166015625\n", + "global step=24348672, episodic return=2050.75927734375\n", + "global step=24348672, episodic return=2063.565185546875\n", + "global step=24350720, episodic return=534.6576538085938\n", + "global step=24350720, episodic return=2109.95458984375\n", + "global step=24350720, episodic return=2056.9306640625\n", + "global step=24352768, episodic return=2080.127685546875\n", + "global step=24352768, episodic return=2108.228271484375\n", + "global step=24352768, episodic return=2018.4237060546875\n", + "global step=24352768, episodic return=2095.656494140625\n", + "global step=24352768, episodic return=456.4136047363281\n", + "global step=24354816, episodic return=2116.89990234375\n", + "global step=24356864, episodic return=2092.594970703125\n", + "global step=24356864, episodic return=1696.046142578125\n", + "global step=24358912, episodic return=1996.8262939453125\n", + "global step=24360960, episodic return=2096.506103515625\n", + "global step=24360960, episodic return=2044.614501953125\n", + "global step=24363008, episodic return=2073.35595703125\n", + "global step=24363008, episodic return=2063.272705078125\n", + "global step=24363008, episodic return=2063.53759765625\n", + "global step=24363008, episodic return=2026.4556884765625\n", + "global step=24365056, episodic return=2018.2347412109375\n", + "global step=24365056, episodic return=2024.060546875\n", + "global step=24365056, episodic return=2110.2607421875\n", + "global step=24365056, episodic return=627.23095703125\n", + "global step=24367104, episodic return=538.4657592773438\n", + "global step=24367104, episodic return=1985.873046875\n", + "global step=24369152, episodic return=2105.513916015625\n", + "global step=24369152, episodic return=2112.512939453125\n", + "global step=24371200, episodic return=2048.140625\n", + "global step=24373248, episodic return=1760.709228515625\n", + "global step=24373248, episodic return=504.1261291503906\n", + "global step=24373248, episodic return=1991.7679443359375\n", + "global step=24377344, episodic return=1998.9984130859375\n", + "global step=24377344, episodic return=2096.5498046875\n", + "global step=24377344, episodic return=2082.734130859375\n", + "global step=24377344, episodic return=2057.989501953125\n", + "global step=24379392, episodic return=814.0576171875\n", + "global step=24379392, episodic return=2058.875244140625\n", + "global step=24379392, episodic return=2029.4534912109375\n", + "global step=24379392, episodic return=2037.7501220703125\n", + "global step=24381440, episodic return=2052.062744140625\n", + "global step=24381440, episodic return=2027.46044921875\n", + "global step=24383488, episodic return=2076.986328125\n", + "global step=24385536, episodic return=1816.1103515625\n", + "global step=24385536, episodic return=2033.869873046875\n", + "global step=24387584, episodic return=2090.469482421875\n", + "global step=24387584, episodic return=1118.2529296875\n", + "global step=24387584, episodic return=1978.60400390625\n", + "global step=24389632, episodic return=2083.959716796875\n", + "global step=24389632, episodic return=2089.97900390625\n", + "global step=24389632, episodic return=2014.4886474609375\n", + "global step=24391680, episodic return=2002.1807861328125\n", + "global step=24395776, episodic return=2103.544189453125\n", + "global step=24395776, episodic return=2102.217041015625\n", + "global step=24395776, episodic return=2094.568603515625\n", + "global step=24397824, episodic return=1601.9871826171875\n", + "global step=24399872, episodic return=2115.33251953125\n", + "global step=24399872, episodic return=2035.4930419921875\n", + "global step=24399872, episodic return=2050.63037109375\n", + "global step=24401920, episodic return=2061.74658203125\n", + "global step=24401920, episodic return=2040.8079833984375\n", + "global step=24401920, episodic return=781.5970458984375\n", + "global step=24403968, episodic return=2081.070556640625\n", + "global step=24403968, episodic return=1605.798095703125\n", + "global step=24403968, episodic return=2116.627685546875\n", + "global step=24403968, episodic return=2124.117431640625\n", + "global step=24406016, episodic return=2063.29150390625\n", + "global step=24406016, episodic return=1310.640625\n", + "global step=24406016, episodic return=2082.532958984375\n", + "global step=24406016, episodic return=2095.595458984375\n", + "global step=24408064, episodic return=535.471435546875\n", + "global step=24410112, episodic return=2108.39453125\n", + "global step=24412160, episodic return=2107.831298828125\n", + "global step=24412160, episodic return=2114.102294921875\n", + "global step=24412160, episodic return=2125.87109375\n", + "global step=24414208, episodic return=2041.0169677734375\n", + "global step=24414208, episodic return=2043.8138427734375\n", + "global step=24414208, episodic return=1967.0767822265625\n", + "global step=24414208, episodic return=2067.66796875\n", + "global step=24414208, episodic return=2104.818359375\n", + "global step=24418304, episodic return=2005.4912109375\n", + "global step=24418304, episodic return=2098.55810546875\n", + "global step=24418304, episodic return=2010.6512451171875\n", + "global step=24420352, episodic return=2133.74462890625\n", + "global step=24420352, episodic return=2053.05029296875\n", + "global step=24422400, episodic return=2063.052490234375\n", + "global step=24422400, episodic return=2094.124755859375\n", + "global step=24424448, episodic return=2116.4443359375\n", + "global step=24426496, episodic return=2086.5869140625\n", + "global step=24426496, episodic return=2050.181396484375\n", + "global step=24428544, episodic return=1975.5107421875\n", + "global step=24430592, episodic return=1992.0458984375\n", + "global step=24430592, episodic return=2057.948486328125\n", + "global step=24430592, episodic return=1983.006591796875\n", + "global step=24430592, episodic return=1526.1005859375\n", + "global step=24432640, episodic return=1983.0321044921875\n", + "global step=24432640, episodic return=1788.029052734375\n", + "global step=24434688, episodic return=2005.3670654296875\n", + "global step=24436736, episodic return=2095.012451171875\n", + "global step=24438784, episodic return=2061.393310546875\n", + "global step=24440832, episodic return=2040.116455078125\n", + "global step=24440832, episodic return=1759.7333984375\n", + "global step=24440832, episodic return=2040.6552734375\n", + "global step=24442880, episodic return=2094.7265625\n", + "global step=24442880, episodic return=2069.6435546875\n", + "global step=24442880, episodic return=2032.0234375\n", + "global step=24444928, episodic return=2073.342041015625\n", + "global step=24444928, episodic return=2067.299072265625\n", + "global step=24444928, episodic return=2083.659912109375\n", + "global step=24449024, episodic return=2084.853515625\n", + "global step=24449024, episodic return=611.806396484375\n", + "global step=24451072, episodic return=1963.8809814453125\n", + "global step=24453120, episodic return=1988.747314453125\n", + "global step=24453120, episodic return=2061.07861328125\n", + "global step=24455168, episodic return=2105.9453125\n", + "global step=24455168, episodic return=1975.961669921875\n", + "global step=24457216, episodic return=1843.02294921875\n", + "global step=24457216, episodic return=2089.320068359375\n", + "global step=24459264, episodic return=2084.34375\n", + "global step=24463360, episodic return=2063.91845703125\n", + "global step=24465408, episodic return=2117.12109375\n", + "global step=24467456, episodic return=2099.236572265625\n", + "global step=24467456, episodic return=2081.740966796875\n", + "global step=24467456, episodic return=2014.158447265625\n", + "global step=24467456, episodic return=1956.1368408203125\n", + "global step=24469504, episodic return=1989.8756103515625\n", + "global step=24469504, episodic return=2007.79541015625\n", + "global step=24469504, episodic return=2108.448486328125\n", + "global step=24469504, episodic return=2094.540771484375\n", + "global step=24469504, episodic return=2098.981201171875\n", + "global step=24471552, episodic return=2107.80126953125\n", + "global step=24471552, episodic return=2043.9080810546875\n", + "global step=24471552, episodic return=1081.267822265625\n", + "global step=24471552, episodic return=2011.6236572265625\n", + "global step=24471552, episodic return=2102.513916015625\n", + "global step=24473600, episodic return=2119.43994140625\n", + "global step=24473600, episodic return=2083.539794921875\n", + "global step=24473600, episodic return=2079.383056640625\n", + "global step=24477696, episodic return=2098.18408203125\n", + "global step=24479744, episodic return=1985.29345703125\n", + "global step=24483840, episodic return=1140.3365478515625\n", + "global step=24487936, episodic return=794.3062744140625\n", + "global step=24489984, episodic return=2103.634765625\n", + "global step=24492032, episodic return=2022.1229248046875\n", + "global step=24494080, episodic return=2121.041259765625\n", + "global step=24494080, episodic return=2045.7152099609375\n", + "global step=24494080, episodic return=2066.861328125\n", + "global step=24496128, episodic return=1987.1629638671875\n", + "global step=24498176, episodic return=2021.3907470703125\n", + "global step=24500224, episodic return=2040.7432861328125\n", + "global step=24500224, episodic return=2095.31787109375\n", + "global step=24502272, episodic return=1083.1287841796875\n", + "global step=24506368, episodic return=2043.1673583984375\n", + "global step=24506368, episodic return=2024.086669921875\n", + "global step=24508416, episodic return=2121.850830078125\n", + "global step=24508416, episodic return=2093.03125\n", + "global step=24510464, episodic return=2039.2769775390625\n", + "global step=24510464, episodic return=1973.6851806640625\n", + "global step=24512512, episodic return=2086.0322265625\n", + "global step=24512512, episodic return=1034.0506591796875\n", + "global step=24514560, episodic return=2107.783203125\n", + "global step=24514560, episodic return=2097.96875\n", + "global step=24516608, episodic return=2042.6265869140625\n", + "global step=24520704, episodic return=2094.413330078125\n", + "global step=24520704, episodic return=2096.586669921875\n", + "global step=24520704, episodic return=2089.28466796875\n", + "global step=24522752, episodic return=2073.552001953125\n", + "global step=24524800, episodic return=2080.512451171875\n", + "global step=24524800, episodic return=2061.724365234375\n", + "global step=24524800, episodic return=2032.2386474609375\n", + "global step=24524800, episodic return=1920.8189697265625\n", + "global step=24526848, episodic return=2089.0244140625\n", + "global step=24526848, episodic return=1692.4605712890625\n", + "global step=24526848, episodic return=2000.819580078125\n", + "global step=24528896, episodic return=1992.6671142578125\n", + "global step=24528896, episodic return=2132.217041015625\n", + "global step=24528896, episodic return=2046.2386474609375\n", + "global step=24530944, episodic return=2093.695068359375\n", + "global step=24530944, episodic return=1998.5238037109375\n", + "global step=24530944, episodic return=976.1013793945312\n", + "global step=24532992, episodic return=2103.53955078125\n", + "global step=24532992, episodic return=2000.6773681640625\n", + "global step=24532992, episodic return=2022.3992919921875\n", + "global step=24532992, episodic return=2063.008056640625\n", + "global step=24532992, episodic return=2043.7479248046875\n", + "global step=24535040, episodic return=2085.315673828125\n", + "global step=24537088, episodic return=1918.2069091796875\n", + "global step=24537088, episodic return=1983.3743896484375\n", + "global step=24539136, episodic return=2111.0009765625\n", + "global step=24539136, episodic return=2099.559326171875\n", + "global step=24539136, episodic return=594.368408203125\n", + "global step=24539136, episodic return=2100.767333984375\n", + "global step=24541184, episodic return=1182.116455078125\n", + "global step=24541184, episodic return=2083.8642578125\n", + "global step=24541184, episodic return=2034.5390625\n", + "global step=24545280, episodic return=1240.4713134765625\n", + "global step=24547328, episodic return=2042.9599609375\n", + "global step=24547328, episodic return=2089.103271484375\n", + "global step=24549376, episodic return=1955.71630859375\n", + "global step=24549376, episodic return=2112.267822265625\n", + "global step=24551424, episodic return=2004.9300537109375\n", + "global step=24553472, episodic return=1973.0400390625\n", + "global step=24555520, episodic return=2093.049072265625\n", + "global step=24557568, episodic return=2082.450927734375\n", + "global step=24557568, episodic return=2079.4072265625\n", + "global step=24559616, episodic return=1988.5406494140625\n", + "global step=24559616, episodic return=2012.9154052734375\n", + "global step=24559616, episodic return=2037.0994873046875\n", + "global step=24559616, episodic return=1759.301513671875\n", + "global step=24561664, episodic return=2028.81298828125\n", + "global step=24561664, episodic return=1393.34130859375\n", + "global step=24563712, episodic return=2040.7486572265625\n", + "global step=24563712, episodic return=2070.31982421875\n", + "global step=24565760, episodic return=2103.6943359375\n", + "global step=24567808, episodic return=1985.1368408203125\n", + "global step=24569856, episodic return=2020.646240234375\n", + "global step=24569856, episodic return=1988.8076171875\n", + "global step=24571904, episodic return=1974.576904296875\n", + "global step=24571904, episodic return=1984.07958984375\n", + "global step=24571904, episodic return=1381.3675537109375\n", + "global step=24576000, episodic return=2036.33447265625\n", + "global step=24578048, episodic return=2081.74609375\n", + "global step=24578048, episodic return=1936.041748046875\n", + "global step=24580096, episodic return=2064.965087890625\n", + "global step=24582144, episodic return=1952.8267822265625\n", + "global step=24582144, episodic return=2018.2734375\n", + "global step=24582144, episodic return=1983.9599609375\n", + "global step=24584192, episodic return=2065.70556640625\n", + "global step=24584192, episodic return=580.0543212890625\n", + "global step=24586240, episodic return=1595.986572265625\n", + "global step=24588288, episodic return=1462.4041748046875\n", + "global step=24590336, episodic return=2102.301025390625\n", + "global step=24590336, episodic return=1699.0582275390625\n", + "global step=24592384, episodic return=2075.5068359375\n", + "global step=24594432, episodic return=2084.165771484375\n", + "global step=24594432, episodic return=1462.41552734375\n", + "global step=24598528, episodic return=640.2488403320312\n", + "global step=24600576, episodic return=1941.888671875\n", + "global step=24602624, episodic return=2007.9068603515625\n", + "global step=24602624, episodic return=2089.1845703125\n", + "global step=24602624, episodic return=2075.090576171875\n", + "global step=24604672, episodic return=787.442626953125\n", + "global step=24604672, episodic return=2051.5673828125\n", + "global step=24604672, episodic return=2087.91259765625\n", + "global step=24606720, episodic return=2065.71044921875\n", + "global step=24608768, episodic return=2070.5439453125\n", + "global step=24612864, episodic return=1947.3131103515625\n", + "global step=24612864, episodic return=2027.8841552734375\n", + "global step=24612864, episodic return=2141.961181640625\n", + "global step=24614912, episodic return=2097.965576171875\n", + "global step=24616960, episodic return=1940.5108642578125\n", + "global step=24616960, episodic return=2059.890380859375\n", + "global step=24616960, episodic return=2012.720458984375\n", + "global step=24619008, episodic return=2118.232177734375\n", + "global step=24623104, episodic return=2055.15380859375\n", + "global step=24623104, episodic return=253.96572875976562\n", + "global step=24625152, episodic return=1987.052490234375\n", + "global step=24627200, episodic return=1962.8759765625\n", + "global step=24627200, episodic return=2025.5126953125\n", + "global step=24627200, episodic return=2075.04052734375\n", + "global step=24629248, episodic return=2079.85302734375\n", + "global step=24633344, episodic return=2103.825439453125\n", + "global step=24635392, episodic return=1952.216552734375\n", + "global step=24637440, episodic return=2096.2158203125\n", + "global step=24637440, episodic return=2069.804931640625\n", + "global step=24639488, episodic return=1988.04052734375\n", + "global step=24643584, episodic return=2081.71435546875\n", + "global step=24647680, episodic return=2019.0745849609375\n", + "global step=24649728, episodic return=1941.7755126953125\n", + "global step=24651776, episodic return=2103.032470703125\n", + "global step=24651776, episodic return=1555.6732177734375\n", + "global step=24653824, episodic return=1943.369873046875\n", + "global step=24653824, episodic return=2070.615478515625\n", + "global step=24653824, episodic return=2089.75\n", + "global step=24655872, episodic return=1910.81396484375\n", + "global step=24657920, episodic return=1940.3372802734375\n", + "global step=24657920, episodic return=1943.0916748046875\n", + "global step=24657920, episodic return=2047.3233642578125\n", + "global step=24659968, episodic return=2082.91796875\n", + "global step=24662016, episodic return=2002.21728515625\n", + "global step=24664064, episodic return=1714.205810546875\n", + "global step=24666112, episodic return=1945.38134765625\n", + "global step=24666112, episodic return=1966.0635986328125\n", + "global step=24668160, episodic return=1944.222900390625\n", + "global step=24670208, episodic return=641.518310546875\n", + "global step=24670208, episodic return=2122.6435546875\n", + "global step=24674304, episodic return=510.89849853515625\n", + "global step=24674304, episodic return=1942.814208984375\n", + "global step=24674304, episodic return=1513.8956298828125\n", + "global step=24674304, episodic return=2062.434814453125\n", + "global step=24674304, episodic return=2055.105712890625\n", + "global step=24676352, episodic return=2098.863037109375\n", + "global step=24676352, episodic return=1939.800048828125\n", + "global step=24680448, episodic return=1979.6295166015625\n", + "global step=24682496, episodic return=2014.57421875\n", + "global step=24682496, episodic return=1991.200439453125\n", + "global step=24686592, episodic return=2018.4879150390625\n", + "global step=24686592, episodic return=2101.073486328125\n", + "global step=24690688, episodic return=2108.244384765625\n", + "global step=24690688, episodic return=1989.0791015625\n", + "global step=24692736, episodic return=2113.929931640625\n", + "global step=24694784, episodic return=2022.4451904296875\n", + "global step=24696832, episodic return=1957.3192138671875\n", + "global step=24698880, episodic return=2098.4404296875\n", + "global step=24698880, episodic return=2077.6533203125\n", + "global step=24698880, episodic return=1978.9700927734375\n", + "global step=24700928, episodic return=2121.8544921875\n", + "global step=24705024, episodic return=2044.7086181640625\n", + "global step=24705024, episodic return=2004.6060791015625\n", + "global step=24709120, episodic return=1964.43701171875\n", + "global step=24709120, episodic return=2123.218505859375\n", + "global step=24709120, episodic return=2121.45068359375\n", + "global step=24711168, episodic return=2072.368408203125\n", + "global step=24711168, episodic return=2045.560791015625\n", + "global step=24715264, episodic return=1972.989990234375\n", + "global step=24715264, episodic return=2031.8927001953125\n", + "global step=24717312, episodic return=673.663330078125\n", + "global step=24721408, episodic return=1946.785888671875\n", + "global step=24723456, episodic return=1936.7197265625\n", + "global step=24725504, episodic return=1971.141845703125\n", + "global step=24729600, episodic return=2107.359619140625\n", + "global step=24729600, episodic return=2065.19140625\n", + "global step=24731648, episodic return=1994.74072265625\n", + "global step=24731648, episodic return=736.6296997070312\n", + "global step=24731648, episodic return=1959.31396484375\n", + "global step=24735744, episodic return=1965.6583251953125\n", + "global step=24735744, episodic return=1937.864990234375\n", + "global step=24737792, episodic return=2033.0447998046875\n", + "global step=24741888, episodic return=2042.703369140625\n", + "global step=24743936, episodic return=1049.5064697265625\n", + "global step=24745984, episodic return=1976.8997802734375\n", + "global step=24748032, episodic return=2110.147705078125\n", + "global step=24750080, episodic return=1964.150390625\n", + "global step=24752128, episodic return=1992.902099609375\n", + "global step=24754176, episodic return=2058.76806640625\n", + "global step=24754176, episodic return=2126.50634765625\n", + "global step=24756224, episodic return=2004.86181640625\n", + "global step=24756224, episodic return=1996.5068359375\n", + "global step=24758272, episodic return=2051.55517578125\n", + "global step=24760320, episodic return=1649.876953125\n", + "global step=24764416, episodic return=638.7977294921875\n", + "global step=24766464, episodic return=1987.98583984375\n", + "global step=24770560, episodic return=2015.046630859375\n", + "global step=24770560, episodic return=1963.7677001953125\n", + "global step=24772608, episodic return=1967.192138671875\n", + "global step=24776704, episodic return=2038.0311279296875\n", + "global step=24776704, episodic return=2007.19580078125\n", + "global step=24778752, episodic return=1940.8673095703125\n", + "global step=24782848, episodic return=2117.767578125\n", + "global step=24784896, episodic return=1959.12451171875\n", + "global step=24784896, episodic return=1936.5206298828125\n", + "global step=24788992, episodic return=1953.77294921875\n", + "global step=24791040, episodic return=1946.283447265625\n", + "global step=24791040, episodic return=2015.4935302734375\n", + "global step=24791040, episodic return=2037.3477783203125\n", + "global step=24791040, episodic return=1962.92138671875\n", + "global step=24793088, episodic return=1627.6708984375\n", + "global step=24795136, episodic return=1969.759521484375\n", + "global step=24795136, episodic return=1956.46435546875\n", + "global step=24797184, episodic return=1492.6102294921875\n", + "global step=24799232, episodic return=1536.771240234375\n", + "global step=24799232, episodic return=864.9854736328125\n", + "global step=24799232, episodic return=1961.4991455078125\n", + "global step=24799232, episodic return=1998.247802734375\n", + "global step=24801280, episodic return=2025.30908203125\n", + "global step=24803328, episodic return=2039.6407470703125\n", + "global step=24803328, episodic return=1581.0364990234375\n", + "global step=24803328, episodic return=1952.8406982421875\n", + "global step=24803328, episodic return=1996.449462890625\n", + "global step=24805376, episodic return=2088.779296875\n", + "global step=24807424, episodic return=2069.52294921875\n", + "global step=24807424, episodic return=859.1273193359375\n", + "global step=24809472, episodic return=2047.538818359375\n", + "global step=24809472, episodic return=1981.3209228515625\n", + "global step=24811520, episodic return=736.7037963867188\n", + "global step=24811520, episodic return=748.1271362304688\n", + "global step=24815616, episodic return=1955.499267578125\n", + "global step=24815616, episodic return=757.4141845703125\n", + "global step=24817664, episodic return=1974.9697265625\n", + "global step=24817664, episodic return=1936.712158203125\n", + "global step=24825856, episodic return=1970.7030029296875\n", + "global step=24825856, episodic return=1967.0914306640625\n", + "global step=24825856, episodic return=1514.2957763671875\n", + "global step=24827904, episodic return=1982.38916015625\n", + "global step=24829952, episodic return=1989.9627685546875\n", + "global step=24829952, episodic return=395.86859130859375\n", + "global step=24832000, episodic return=1935.478271484375\n", + "global step=24832000, episodic return=1996.2646484375\n", + "global step=24834048, episodic return=1966.71044921875\n", + "global step=24836096, episodic return=1994.0447998046875\n", + "global step=24838144, episodic return=2098.568603515625\n", + "global step=24840192, episodic return=729.3701782226562\n", + "global step=24842240, episodic return=607.4230346679688\n", + "global step=24846336, episodic return=607.26123046875\n", + "global step=24850432, episodic return=1962.95068359375\n", + "global step=24852480, episodic return=1937.4224853515625\n", + "global step=24852480, episodic return=751.177490234375\n", + "global step=24852480, episodic return=1970.842529296875\n", + "global step=24854528, episodic return=2052.828369140625\n", + "global step=24854528, episodic return=588.5360717773438\n", + "global step=24856576, episodic return=946.8703002929688\n", + "global step=24862720, episodic return=597.048828125\n", + "global step=24866816, episodic return=1930.6300048828125\n", + "global step=24866816, episodic return=2013.845458984375\n", + "global step=24866816, episodic return=1968.2720947265625\n", + "global step=24875008, episodic return=2078.736572265625\n", + "global step=24879104, episodic return=2080.734130859375\n", + "global step=24881152, episodic return=2010.3028564453125\n", + "global step=24883200, episodic return=1979.21728515625\n", + "global step=24887296, episodic return=1992.9530029296875\n", + "global step=24887296, episodic return=2114.547119140625\n", + "global step=24889344, episodic return=1991.02783203125\n", + "global step=24891392, episodic return=2068.159423828125\n", + "global step=24891392, episodic return=1953.166748046875\n", + "global step=24891392, episodic return=1971.8394775390625\n", + "global step=24897536, episodic return=1230.0316162109375\n", + "global step=24899584, episodic return=1875.8487548828125\n", + "global step=24901632, episodic return=2008.8302001953125\n", + "global step=24901632, episodic return=2053.178955078125\n", + "global step=24901632, episodic return=2014.154296875\n", + "global step=24901632, episodic return=2080.87158203125\n", + "global step=24905728, episodic return=1040.1478271484375\n", + "global step=24907776, episodic return=1939.7359619140625\n", + "global step=24909824, episodic return=1945.53369140625\n", + "global step=24909824, episodic return=1764.0999755859375\n", + "global step=24915968, episodic return=456.49365234375\n", + "global step=24918016, episodic return=1981.0340576171875\n", + "global step=24920064, episodic return=2089.638671875\n", + "global step=24922112, episodic return=1961.323486328125\n", + "global step=24922112, episodic return=1998.0836181640625\n", + "global step=24924160, episodic return=2023.6851806640625\n", + "global step=24926208, episodic return=1948.8115234375\n", + "global step=24928256, episodic return=1940.985107421875\n", + "global step=24930304, episodic return=1975.6751708984375\n", + "global step=24930304, episodic return=2122.56005859375\n", + "global step=24936448, episodic return=1971.98681640625\n", + "global step=24936448, episodic return=2067.221923828125\n", + "global step=24936448, episodic return=1191.205078125\n", + "global step=24942592, episodic return=736.5523681640625\n", + "global step=24944640, episodic return=1950.568359375\n", + "global step=24944640, episodic return=1989.891357421875\n", + "global step=24944640, episodic return=2003.0186767578125\n", + "global step=24944640, episodic return=2038.6083984375\n", + "global step=24946688, episodic return=1972.002197265625\n", + "global step=24948736, episodic return=2009.6236572265625\n", + "global step=24950784, episodic return=1953.6688232421875\n", + "global step=24950784, episodic return=1911.9742431640625\n", + "global step=24952832, episodic return=1988.265625\n", + "global step=24956928, episodic return=1964.5943603515625\n", + "global step=24956928, episodic return=1929.0919189453125\n", + "global step=24958976, episodic return=2083.087158203125\n", + "global step=24958976, episodic return=1947.1641845703125\n", + "global step=24958976, episodic return=1949.7041015625\n", + "global step=24958976, episodic return=1990.412109375\n", + "global step=24958976, episodic return=2048.11767578125\n", + "global step=24958976, episodic return=2064.55908203125\n", + "global step=24961024, episodic return=2061.4462890625\n", + "global step=24961024, episodic return=2008.807861328125\n", + "global step=24963072, episodic return=1494.216796875\n", + "global step=24965120, episodic return=2081.007080078125\n", + "global step=24967168, episodic return=1967.0311279296875\n", + "global step=24969216, episodic return=1977.0003662109375\n", + "global step=24973312, episodic return=1969.37353515625\n", + "global step=24975360, episodic return=1979.5040283203125\n", + "global step=24975360, episodic return=1951.5439453125\n", + "global step=24977408, episodic return=1992.5601806640625\n", + "global step=24979456, episodic return=1959.870849609375\n", + "global step=24979456, episodic return=2050.97216796875\n", + "global step=24979456, episodic return=1979.57861328125\n", + "global step=24981504, episodic return=1945.9512939453125\n", + "global step=24981504, episodic return=1925.7427978515625\n", + "global step=24983552, episodic return=2099.82373046875\n", + "global step=24985600, episodic return=2011.0457763671875\n", + "global step=24985600, episodic return=1984.966552734375\n", + "global step=24989696, episodic return=730.95703125\n", + "global step=24991744, episodic return=2019.239013671875\n", + "global step=24991744, episodic return=1925.489013671875\n", + "global step=24991744, episodic return=1976.591064453125\n", + "global step=24993792, episodic return=2113.40771484375\n", + "global step=24993792, episodic return=1989.03662109375\n", + "global step=24993792, episodic return=2026.348388671875\n", + "global step=24995840, episodic return=865.5756225585938\n", + "global step=24997888, episodic return=488.4111022949219\n", + "global step=25001984, episodic return=1916.1046142578125\n", + "global step=25001984, episodic return=1922.21826171875\n", + "global step=25006080, episodic return=922.679443359375\n", + "global step=25008128, episodic return=2024.0115966796875\n", + "global step=25008128, episodic return=2007.383544921875\n", + "global step=25012224, episodic return=1969.8438720703125\n", + "global step=25012224, episodic return=1932.4356689453125\n", + "global step=25012224, episodic return=1966.8304443359375\n", + "global step=25014272, episodic return=2117.951904296875\n", + "global step=25014272, episodic return=1983.530029296875\n", + "global step=25014272, episodic return=1929.1011962890625\n", + "global step=25016320, episodic return=1946.3802490234375\n", + "global step=25016320, episodic return=1994.163330078125\n", + "global step=25018368, episodic return=2022.8992919921875\n", + "global step=25018368, episodic return=2091.401611328125\n", + "global step=25020416, episodic return=1947.497802734375\n", + "global step=25020416, episodic return=2028.9337158203125\n", + "global step=25020416, episodic return=1906.5518798828125\n", + "global step=25020416, episodic return=1939.90966796875\n", + "global step=25022464, episodic return=1998.35693359375\n", + "global step=25022464, episodic return=1987.17333984375\n", + "global step=25022464, episodic return=1982.723876953125\n", + "global step=25024512, episodic return=1934.638427734375\n", + "global step=25024512, episodic return=1989.07080078125\n", + "global step=25026560, episodic return=1957.0477294921875\n", + "global step=25026560, episodic return=1913.47900390625\n", + "global step=25026560, episodic return=1851.6119384765625\n", + "global step=25026560, episodic return=2027.12255859375\n", + "global step=25028608, episodic return=1936.964111328125\n", + "global step=25028608, episodic return=1927.9464111328125\n", + "global step=25030656, episodic return=1946.354248046875\n", + "global step=25030656, episodic return=1917.0244140625\n", + "global step=25032704, episodic return=1935.4088134765625\n", + "global step=25034752, episodic return=2047.45458984375\n", + "global step=25036800, episodic return=2041.0032958984375\n", + "global step=25036800, episodic return=1929.9976806640625\n", + "global step=25038848, episodic return=1931.98046875\n", + "global step=25038848, episodic return=1017.8666381835938\n", + "global step=25038848, episodic return=1936.2755126953125\n", + "global step=25040896, episodic return=978.5009155273438\n", + "global step=25042944, episodic return=1943.5592041015625\n", + "global step=25042944, episodic return=2007.41015625\n", + "global step=25042944, episodic return=1932.1563720703125\n", + "global step=25042944, episodic return=1938.7142333984375\n", + "global step=25044992, episodic return=1972.6912841796875\n", + "global step=25047040, episodic return=2012.9476318359375\n", + "global step=25047040, episodic return=2001.389404296875\n", + "global step=25049088, episodic return=1953.46630859375\n", + "global step=25053184, episodic return=1991.711181640625\n", + "global step=25053184, episodic return=2094.849853515625\n", + "global step=25055232, episodic return=1950.069091796875\n", + "global step=25059328, episodic return=1987.9920654296875\n", + "global step=25061376, episodic return=1923.02783203125\n", + "global step=25061376, episodic return=1985.5362548828125\n", + "global step=25065472, episodic return=1478.2777099609375\n", + "global step=25067520, episodic return=1994.1661376953125\n", + "global step=25067520, episodic return=1889.4169921875\n", + "global step=25069568, episodic return=1992.6859130859375\n", + "global step=25069568, episodic return=1955.05126953125\n", + "global step=25071616, episodic return=1316.0673828125\n", + "global step=25071616, episodic return=2030.75537109375\n", + "global step=25071616, episodic return=1948.1961669921875\n", + "global step=25071616, episodic return=1135.41796875\n", + "global step=25073664, episodic return=1937.1693115234375\n", + "global step=25073664, episodic return=1991.511474609375\n", + "global step=25077760, episodic return=2090.049072265625\n", + "global step=25079808, episodic return=1978.3983154296875\n", + "global step=25081856, episodic return=2043.1368408203125\n", + "global step=25083904, episodic return=585.300537109375\n", + "global step=25083904, episodic return=1922.5408935546875\n", + "global step=25083904, episodic return=1928.6009521484375\n", + "global step=25085952, episodic return=1926.6444091796875\n", + "global step=25085952, episodic return=1957.8509521484375\n", + "global step=25085952, episodic return=1992.4119873046875\n", + "global step=25088000, episodic return=2044.64404296875\n", + "global step=25090048, episodic return=2005.912109375\n", + "global step=25092096, episodic return=2009.5272216796875\n", + "global step=25092096, episodic return=1863.5172119140625\n", + "global step=25092096, episodic return=2070.6279296875\n", + "global step=25092096, episodic return=1907.9224853515625\n", + "global step=25098240, episodic return=1949.7230224609375\n", + "global step=25100288, episodic return=1969.1241455078125\n", + "global step=25102336, episodic return=1973.973388671875\n", + "global step=25106432, episodic return=1953.7838134765625\n", + "global step=25108480, episodic return=2058.96630859375\n", + "global step=25108480, episodic return=1901.9935302734375\n", + "global step=25110528, episodic return=2024.3072509765625\n", + "global step=25112576, episodic return=1905.4857177734375\n", + "global step=25114624, episodic return=1979.8577880859375\n", + "global step=25114624, episodic return=1954.5079345703125\n", + "global step=25120768, episodic return=1904.9039306640625\n", + "global step=25124864, episodic return=1946.0230712890625\n", + "global step=25124864, episodic return=2072.614013671875\n", + "global step=25126912, episodic return=993.646240234375\n", + "global step=25126912, episodic return=1942.989013671875\n", + "global step=25126912, episodic return=1944.675537109375\n", + "global step=25128960, episodic return=1977.242919921875\n", + "global step=25131008, episodic return=1985.65625\n", + "global step=25135104, episodic return=1920.1124267578125\n", + "global step=25135104, episodic return=2054.90625\n", + "global step=25135104, episodic return=1771.1702880859375\n", + "global step=25137152, episodic return=1962.4080810546875\n", + "global step=25139200, episodic return=1992.9921875\n", + "global step=25143296, episodic return=1926.135498046875\n", + "global step=25143296, episodic return=2012.306884765625\n", + "global step=25143296, episodic return=1972.9134521484375\n", + "global step=25145344, episodic return=1961.7757568359375\n", + "global step=25145344, episodic return=2083.5986328125\n", + "global step=25147392, episodic return=1930.55322265625\n", + "global step=25149440, episodic return=1988.763427734375\n", + "global step=25151488, episodic return=1935.1646728515625\n", + "global step=25151488, episodic return=598.2438354492188\n", + "global step=25153536, episodic return=1630.560546875\n", + "global step=25155584, episodic return=2011.3817138671875\n", + "global step=25155584, episodic return=1902.46435546875\n", + "global step=25157632, episodic return=1914.5438232421875\n", + "global step=25157632, episodic return=1930.2880859375\n", + "global step=25159680, episodic return=121.5414810180664\n", + "global step=25161728, episodic return=1935.904541015625\n", + "global step=25165824, episodic return=1906.68310546875\n", + "global step=25171968, episodic return=1865.163818359375\n", + "global step=25176064, episodic return=1905.4674072265625\n", + "global step=25176064, episodic return=153.507080078125\n", + "global step=25180160, episodic return=1968.734619140625\n", + "global step=25180160, episodic return=127.68340301513672\n", + "global step=25180160, episodic return=1934.1651611328125\n", + "global step=25180160, episodic return=1959.0645751953125\n", + "global step=25180160, episodic return=1935.2677001953125\n", + "global step=25188352, episodic return=1982.7012939453125\n", + "global step=25188352, episodic return=93.07960510253906\n", + "global step=25192448, episodic return=2027.41259765625\n", + "global step=25192448, episodic return=1980.462158203125\n", + "global step=25200640, episodic return=1938.40234375\n", + "global step=25200640, episodic return=1964.5611572265625\n", + "global step=25200640, episodic return=1947.986083984375\n", + "global step=25202688, episodic return=2098.03857421875\n", + "global step=25202688, episodic return=1982.4326171875\n", + "global step=25204736, episodic return=2027.6318359375\n", + "global step=25204736, episodic return=1974.501953125\n", + "global step=25206784, episodic return=1933.1202392578125\n", + "global step=25208832, episodic return=1978.4107666015625\n", + "global step=25208832, episodic return=1878.3851318359375\n", + "global step=25210880, episodic return=1982.3831787109375\n", + "global step=25210880, episodic return=2049.313232421875\n", + "global step=25212928, episodic return=2087.493408203125\n", + "global step=25217024, episodic return=1943.0989990234375\n", + "global step=25217024, episodic return=2009.432373046875\n", + "global step=25219072, episodic return=1986.8251953125\n", + "global step=25219072, episodic return=1972.5494384765625\n", + "global step=25225216, episodic return=1952.4102783203125\n", + "global step=25225216, episodic return=1973.92236328125\n", + "global step=25225216, episodic return=1919.80029296875\n", + "global step=25225216, episodic return=2023.8887939453125\n", + "global step=25227264, episodic return=2007.4771728515625\n", + "global step=25229312, episodic return=1910.745849609375\n", + "global step=25229312, episodic return=1861.1041259765625\n", + "global step=25233408, episodic return=2070.30224609375\n", + "global step=25233408, episodic return=934.5413208007812\n", + "global step=25235456, episodic return=2004.1485595703125\n", + "global step=25239552, episodic return=2023.40234375\n", + "global step=25245696, episodic return=2041.1893310546875\n", + "global step=25247744, episodic return=1971.224853515625\n", + "global step=25249792, episodic return=1920.261474609375\n", + "global step=25251840, episodic return=1972.74169921875\n", + "global step=25251840, episodic return=1722.1627197265625\n", + "global step=25253888, episodic return=1984.5220947265625\n", + "global step=25255936, episodic return=2027.862548828125\n", + "global step=25255936, episodic return=549.7750244140625\n", + "global step=25260032, episodic return=1938.0845947265625\n", + "global step=25260032, episodic return=1928.9530029296875\n", + "global step=25262080, episodic return=2012.2886962890625\n", + "global step=25266176, episodic return=1961.7828369140625\n", + "global step=25268224, episodic return=1999.7615966796875\n", + "global step=25268224, episodic return=2046.914794921875\n", + "global step=25268224, episodic return=1948.4796142578125\n", + "global step=25270272, episodic return=2008.854248046875\n", + "global step=25272320, episodic return=1920.4891357421875\n", + "global step=25272320, episodic return=1842.205322265625\n", + "global step=25272320, episodic return=1910.6927490234375\n", + "global step=25272320, episodic return=2014.183837890625\n", + "global step=25274368, episodic return=2030.4388427734375\n", + "global step=25276416, episodic return=1940.9127197265625\n", + "global step=25276416, episodic return=2040.0482177734375\n", + "global step=25284608, episodic return=1988.8590087890625\n", + "global step=25284608, episodic return=1938.6220703125\n", + "global step=25286656, episodic return=1961.42724609375\n", + "global step=25286656, episodic return=1976.8409423828125\n", + "global step=25290752, episodic return=1428.11669921875\n", + "global step=25294848, episodic return=2051.283935546875\n", + "global step=25298944, episodic return=1942.048095703125\n", + "global step=25300992, episodic return=2063.78955078125\n", + "global step=25300992, episodic return=1963.4212646484375\n", + "global step=25300992, episodic return=1959.7867431640625\n", + "global step=25303040, episodic return=1659.307861328125\n", + "global step=25307136, episodic return=1990.706298828125\n", + "global step=25309184, episodic return=1975.119140625\n", + "global step=25311232, episodic return=1976.5811767578125\n", + "global step=25311232, episodic return=1982.723388671875\n", + "global step=25313280, episodic return=1871.0777587890625\n", + "global step=25315328, episodic return=2020.251220703125\n", + "global step=25317376, episodic return=2003.9993896484375\n", + "global step=25317376, episodic return=137.21168518066406\n", + "global step=25321472, episodic return=1939.3118896484375\n", + "global step=25321472, episodic return=164.60630798339844\n", + "global step=25327616, episodic return=1793.740234375\n", + "global step=25327616, episodic return=633.6901245117188\n", + "global step=25327616, episodic return=2009.6240234375\n", + "global step=25327616, episodic return=1945.5133056640625\n", + "global step=25327616, episodic return=2058.080078125\n", + "global step=25327616, episodic return=1943.2265625\n", + "global step=25333760, episodic return=1942.360107421875\n", + "global step=25333760, episodic return=257.0990295410156\n", + "global step=25333760, episodic return=1946.6583251953125\n", + "global step=25333760, episodic return=1979.628662109375\n", + "global step=25333760, episodic return=2015.06640625\n", + "global step=25333760, episodic return=637.5377807617188\n", + "global step=25335808, episodic return=1984.843505859375\n", + "global step=25337856, episodic return=2046.3961181640625\n", + "global step=25337856, episodic return=2008.1168212890625\n", + "global step=25339904, episodic return=1968.077880859375\n", + "global step=25341952, episodic return=1902.873046875\n", + "global step=25341952, episodic return=1979.4129638671875\n", + "global step=25344000, episodic return=2016.8951416015625\n", + "global step=25344000, episodic return=1976.8773193359375\n", + "global step=25344000, episodic return=614.3123779296875\n", + "global step=25346048, episodic return=1987.0374755859375\n", + "global step=25348096, episodic return=1999.26171875\n", + "global step=25348096, episodic return=2069.203125\n", + "global step=25350144, episodic return=1985.9051513671875\n", + "global step=25350144, episodic return=1985.186279296875\n", + "global step=25352192, episodic return=1943.6064453125\n", + "global step=25354240, episodic return=2050.4052734375\n", + "global step=25354240, episodic return=1949.53125\n", + "global step=25356288, episodic return=2022.492431640625\n", + "global step=25356288, episodic return=1955.49169921875\n", + "global step=25356288, episodic return=2027.40966796875\n", + "global step=25366528, episodic return=1981.92431640625\n", + "global step=25368576, episodic return=1986.1773681640625\n", + "global step=25372672, episodic return=2018.5091552734375\n", + "global step=25372672, episodic return=2015.2586669921875\n", + "global step=25374720, episodic return=2038.3568115234375\n", + "global step=25374720, episodic return=1949.8602294921875\n", + "global step=25376768, episodic return=2004.8568115234375\n", + "global step=25376768, episodic return=964.8726806640625\n", + "global step=25380864, episodic return=2048.576904296875\n", + "global step=25382912, episodic return=2056.416259765625\n", + "global step=25382912, episodic return=1967.0909423828125\n", + "global step=25387008, episodic return=1996.2532958984375\n", + "global step=25387008, episodic return=1973.31982421875\n", + "global step=25387008, episodic return=1823.2674560546875\n", + "global step=25389056, episodic return=1979.35205078125\n", + "global step=25391104, episodic return=1982.7645263671875\n", + "global step=25391104, episodic return=2006.30908203125\n", + "global step=25393152, episodic return=2018.5391845703125\n", + "global step=25393152, episodic return=1961.0006103515625\n", + "global step=25395200, episodic return=2082.559814453125\n", + "global step=25397248, episodic return=1933.67236328125\n", + "global step=25397248, episodic return=2006.0789794921875\n", + "global step=25397248, episodic return=1984.2740478515625\n", + "global step=25399296, episodic return=1938.6929931640625\n", + "global step=25399296, episodic return=2035.89453125\n", + "global step=25405440, episodic return=2001.1900634765625\n", + "global step=25407488, episodic return=2011.4793701171875\n", + "global step=25409536, episodic return=1970.7322998046875\n", + "global step=25409536, episodic return=1289.5411376953125\n", + "global step=25411584, episodic return=1970.953125\n", + "global step=25411584, episodic return=1999.4564208984375\n", + "global step=25413632, episodic return=1979.820068359375\n", + "global step=25415680, episodic return=1961.391357421875\n", + "global step=25415680, episodic return=1967.259033203125\n", + "global step=25415680, episodic return=2001.814453125\n", + "global step=25415680, episodic return=1904.26123046875\n", + "global step=25417728, episodic return=2043.75732421875\n", + "global step=25419776, episodic return=1961.475830078125\n", + "global step=25419776, episodic return=1984.8572998046875\n", + "global step=25421824, episodic return=2015.7003173828125\n", + "global step=25421824, episodic return=2017.83154296875\n", + "global step=25421824, episodic return=2022.41943359375\n", + "global step=25425920, episodic return=1978.244384765625\n", + "global step=25427968, episodic return=1964.6357421875\n", + "global step=25427968, episodic return=2007.367431640625\n", + "global step=25430016, episodic return=1968.1923828125\n", + "global step=25432064, episodic return=2043.402099609375\n", + "global step=25432064, episodic return=1974.032470703125\n", + "global step=25434112, episodic return=1994.0548095703125\n", + "global step=25436160, episodic return=2035.3070068359375\n", + "global step=25438208, episodic return=1959.5140380859375\n", + "global step=25440256, episodic return=1977.0517578125\n", + "global step=25440256, episodic return=2026.3236083984375\n", + "global step=25442304, episodic return=1998.66796875\n", + "global step=25444352, episodic return=2047.6343994140625\n", + "global step=25444352, episodic return=2076.299560546875\n", + "global step=25444352, episodic return=1970.0697021484375\n", + "global step=25444352, episodic return=1958.5496826171875\n", + "global step=25444352, episodic return=1992.0487060546875\n", + "global step=25444352, episodic return=2001.88427734375\n", + "global step=25444352, episodic return=1937.02587890625\n", + "global step=25444352, episodic return=2046.162841796875\n", + "global step=25444352, episodic return=1916.126708984375\n", + "global step=25444352, episodic return=1814.5740966796875\n", + "global step=25446400, episodic return=1960.4517822265625\n", + "global step=25446400, episodic return=1889.167236328125\n", + "global step=25448448, episodic return=1949.3497314453125\n", + "global step=25448448, episodic return=1868.34375\n", + "global step=25450496, episodic return=2010.653564453125\n", + "global step=25450496, episodic return=1113.873291015625\n", + "global step=25450496, episodic return=1954.60791015625\n", + "global step=25450496, episodic return=2105.871337890625\n", + "global step=25450496, episodic return=1991.012451171875\n", + "global step=25452544, episodic return=1917.071533203125\n", + "global step=25454592, episodic return=1993.4146728515625\n", + "global step=25454592, episodic return=1947.067626953125\n", + "global step=25456640, episodic return=2009.511474609375\n", + "global step=25456640, episodic return=2004.804931640625\n", + "global step=25458688, episodic return=2014.8092041015625\n", + "global step=25460736, episodic return=2011.7745361328125\n", + "global step=25460736, episodic return=1901.1846923828125\n", + "global step=25462784, episodic return=2011.1510009765625\n", + "global step=25462784, episodic return=1953.4766845703125\n", + "global step=25464832, episodic return=2032.2694091796875\n", + "global step=25464832, episodic return=1976.846435546875\n", + "global step=25466880, episodic return=1893.2154541015625\n", + "global step=25466880, episodic return=1513.611083984375\n", + "global step=25466880, episodic return=1911.041259765625\n", + "global step=25468928, episodic return=1962.46630859375\n", + "global step=25468928, episodic return=1330.7908935546875\n", + "global step=25470976, episodic return=1998.3165283203125\n", + "global step=25470976, episodic return=1980.668701171875\n", + "global step=25470976, episodic return=1955.752685546875\n", + "global step=25473024, episodic return=1982.849609375\n", + "global step=25475072, episodic return=1957.7601318359375\n", + "global step=25475072, episodic return=2025.2205810546875\n", + "global step=25477120, episodic return=1969.0474853515625\n", + "global step=25479168, episodic return=1959.6470947265625\n", + "global step=25479168, episodic return=1900.3935546875\n", + "global step=25481216, episodic return=1102.2623291015625\n", + "global step=25481216, episodic return=1960.35986328125\n", + "global step=25481216, episodic return=1969.10693359375\n", + "global step=25483264, episodic return=2008.5577392578125\n", + "global step=25485312, episodic return=1583.4560546875\n", + "global step=25487360, episodic return=921.3135986328125\n", + "global step=25487360, episodic return=2035.659423828125\n", + "global step=25487360, episodic return=1278.95556640625\n", + "global step=25487360, episodic return=368.06634521484375\n", + "global step=25487360, episodic return=1986.5914306640625\n", + "global step=25487360, episodic return=2078.17626953125\n", + "global step=25487360, episodic return=2000.022216796875\n", + "global step=25491456, episodic return=1826.7884521484375\n", + "global step=25491456, episodic return=2017.061279296875\n", + "global step=25493504, episodic return=1186.7677001953125\n", + "global step=25493504, episodic return=532.4267578125\n", + "global step=25495552, episodic return=1135.7156982421875\n", + "global step=25495552, episodic return=1936.5294189453125\n", + "global step=25497600, episodic return=2043.11962890625\n", + "global step=25497600, episodic return=1834.455810546875\n", + "global step=25499648, episodic return=1935.6331787109375\n", + "global step=25503744, episodic return=1988.03564453125\n", + "global step=25503744, episodic return=1953.5098876953125\n", + "global step=25505792, episodic return=660.6901245117188\n", + "global step=25505792, episodic return=1814.6590576171875\n", + "global step=25507840, episodic return=1998.073486328125\n", + "global step=25507840, episodic return=1873.1824951171875\n", + "global step=25509888, episodic return=1069.824462890625\n", + "global step=25509888, episodic return=1542.878173828125\n", + "global step=25509888, episodic return=2045.3009033203125\n", + "global step=25511936, episodic return=1897.4326171875\n", + "global step=25511936, episodic return=1344.53369140625\n", + "global step=25513984, episodic return=1987.358642578125\n", + "global step=25516032, episodic return=756.4127197265625\n", + "global step=25516032, episodic return=1998.237548828125\n", + "global step=25516032, episodic return=1902.49951171875\n", + "global step=25518080, episodic return=1932.3958740234375\n", + "global step=25518080, episodic return=1938.1107177734375\n", + "global step=25518080, episodic return=877.39404296875\n", + "global step=25518080, episodic return=1980.818115234375\n", + "global step=25520128, episodic return=2026.6142578125\n", + "global step=25520128, episodic return=1960.755615234375\n", + "global step=25520128, episodic return=2005.28466796875\n", + "global step=25522176, episodic return=1977.40478515625\n", + "global step=25524224, episodic return=1911.52490234375\n", + "global step=25526272, episodic return=1937.4599609375\n", + "global step=25528320, episodic return=1991.1417236328125\n", + "global step=25528320, episodic return=1893.637451171875\n", + "global step=25528320, episodic return=1995.9931640625\n", + "global step=25528320, episodic return=1983.7943115234375\n", + "global step=25532416, episodic return=1861.071533203125\n", + "global step=25532416, episodic return=769.77294921875\n", + "global step=25532416, episodic return=1116.96923828125\n", + "global step=25532416, episodic return=2002.4119873046875\n", + "global step=25532416, episodic return=1999.0902099609375\n", + "global step=25532416, episodic return=1945.377197265625\n", + "global step=25534464, episodic return=1993.375244140625\n", + "global step=25534464, episodic return=1475.843017578125\n", + "global step=25534464, episodic return=2093.44775390625\n", + "global step=25534464, episodic return=1950.3665771484375\n", + "global step=25534464, episodic return=1937.5419921875\n", + "global step=25536512, episodic return=1934.486572265625\n", + "global step=25536512, episodic return=1355.1708984375\n", + "global step=25538560, episodic return=1986.2012939453125\n", + "global step=25538560, episodic return=1970.9127197265625\n", + "global step=25538560, episodic return=1884.68310546875\n", + "global step=25540608, episodic return=1831.34375\n", + "global step=25540608, episodic return=1971.992919921875\n", + "global step=25540608, episodic return=1998.5015869140625\n", + "global step=25542656, episodic return=2023.56787109375\n", + "global step=25542656, episodic return=1978.1656494140625\n", + "global step=25542656, episodic return=1908.6405029296875\n", + "global step=25542656, episodic return=1966.2913818359375\n", + "global step=25542656, episodic return=1977.901123046875\n", + "global step=25544704, episodic return=2010.8685302734375\n", + "global step=25546752, episodic return=2005.296875\n", + "global step=25546752, episodic return=1387.080078125\n", + "global step=25546752, episodic return=1990.2509765625\n", + "global step=25546752, episodic return=1952.5673828125\n", + "global step=25546752, episodic return=1924.205322265625\n", + "global step=25548800, episodic return=1845.7330322265625\n", + "global step=25548800, episodic return=1940.25244140625\n", + "global step=25550848, episodic return=1136.0079345703125\n", + "global step=25550848, episodic return=1945.00634765625\n", + "global step=25550848, episodic return=1986.220947265625\n", + "global step=25550848, episodic return=1698.5054931640625\n", + "global step=25552896, episodic return=1971.4364013671875\n", + "global step=25552896, episodic return=1634.71044921875\n", + "global step=25552896, episodic return=1972.9583740234375\n", + "global step=25552896, episodic return=1363.1163330078125\n", + "global step=25552896, episodic return=1960.9228515625\n", + "global step=25554944, episodic return=1945.561279296875\n", + "global step=25554944, episodic return=691.2452392578125\n", + "global step=25556992, episodic return=973.4868774414062\n", + "global step=25556992, episodic return=2017.6514892578125\n", + "global step=25559040, episodic return=934.2869873046875\n", + "global step=25559040, episodic return=1944.371826171875\n", + "global step=25559040, episodic return=1992.750244140625\n", + "global step=25561088, episodic return=1989.640869140625\n", + "global step=25561088, episodic return=1909.4332275390625\n", + "global step=25563136, episodic return=1786.211181640625\n", + "global step=25563136, episodic return=1562.2410888671875\n", + "global step=25563136, episodic return=1946.469482421875\n", + "global step=25563136, episodic return=2070.4052734375\n", + "global step=25565184, episodic return=2006.546142578125\n", + "global step=25565184, episodic return=1933.2694091796875\n", + "global step=25565184, episodic return=2009.65625\n", + "global step=25565184, episodic return=1959.493896484375\n", + "global step=25565184, episodic return=1947.42919921875\n", + "global step=25565184, episodic return=1906.37841796875\n", + "global step=25565184, episodic return=2037.7237548828125\n", + "global step=25565184, episodic return=1990.99267578125\n", + "global step=25567232, episodic return=2024.267333984375\n", + "global step=25567232, episodic return=2001.5089111328125\n", + "global step=25567232, episodic return=1884.793212890625\n", + "global step=25567232, episodic return=969.7871704101562\n", + "global step=25567232, episodic return=1956.6356201171875\n", + "global step=25567232, episodic return=2052.0830078125\n", + "global step=25567232, episodic return=2046.517333984375\n", + "global step=25569280, episodic return=2000.9805908203125\n", + "global step=25569280, episodic return=1981.2357177734375\n", + "global step=25569280, episodic return=2042.7235107421875\n", + "global step=25569280, episodic return=1661.0135498046875\n", + "global step=25569280, episodic return=1621.1136474609375\n", + "global step=25571328, episodic return=2056.395751953125\n", + "global step=25571328, episodic return=1986.7073974609375\n", + "global step=25573376, episodic return=1970.0751953125\n", + "global step=25573376, episodic return=1976.3165283203125\n", + "global step=25573376, episodic return=1948.430419921875\n", + "global step=25573376, episodic return=1952.857421875\n", + "global step=25573376, episodic return=1272.075927734375\n", + "global step=25575424, episodic return=1983.579833984375\n", + "global step=25575424, episodic return=1969.8568115234375\n", + "global step=25577472, episodic return=2041.652587890625\n", + "global step=25577472, episodic return=1937.8743896484375\n", + "global step=25577472, episodic return=1879.6656494140625\n", + "global step=25577472, episodic return=1938.7216796875\n", + "global step=25579520, episodic return=1997.6795654296875\n", + "global step=25579520, episodic return=2041.124755859375\n", + "global step=25579520, episodic return=1972.9945068359375\n", + "global step=25579520, episodic return=1967.999267578125\n", + "global step=25579520, episodic return=1984.007568359375\n", + "global step=25579520, episodic return=466.73974609375\n", + "global step=25581568, episodic return=2029.5848388671875\n", + "global step=25583616, episodic return=1405.236572265625\n", + "global step=25585664, episodic return=1989.0994873046875\n", + "global step=25585664, episodic return=1375.4659423828125\n", + "global step=25585664, episodic return=1996.263427734375\n", + "global step=25587712, episodic return=1694.356689453125\n", + "global step=25587712, episodic return=2023.4442138671875\n", + "global step=25589760, episodic return=2040.3055419921875\n", + "global step=25589760, episodic return=2062.741455078125\n", + "global step=25589760, episodic return=1635.0079345703125\n", + "global step=25591808, episodic return=2019.7220458984375\n", + "global step=25591808, episodic return=1999.3812255859375\n", + "global step=25591808, episodic return=2018.4385986328125\n", + "global step=25593856, episodic return=1960.0418701171875\n", + "global step=25593856, episodic return=1985.468505859375\n", + "global step=25595904, episodic return=2053.042236328125\n", + "global step=25595904, episodic return=2057.1611328125\n", + "global step=25597952, episodic return=1642.491943359375\n", + "global step=25597952, episodic return=1953.46826171875\n", + "global step=25597952, episodic return=1436.6129150390625\n", + "global step=25597952, episodic return=1960.020263671875\n", + "global step=25597952, episodic return=2026.030029296875\n", + "global step=25597952, episodic return=1876.2879638671875\n", + "global step=25600000, episodic return=302.1343994140625\n", + "global step=25600000, episodic return=2071.779052734375\n", + "global step=25600000, episodic return=926.1026000976562\n", + "global step=25600000, episodic return=2032.9473876953125\n", + "global step=25600000, episodic return=1949.2225341796875\n", + "global step=25600000, episodic return=2025.27783203125\n", + "global step=25600000, episodic return=2014.1416015625\n", + "global step=25602048, episodic return=1982.4229736328125\n", + "global step=25602048, episodic return=1991.6783447265625\n", + "global step=25602048, episodic return=2020.7181396484375\n", + "global step=25602048, episodic return=1960.8463134765625\n", + "global step=25602048, episodic return=2003.4058837890625\n", + "global step=25602048, episodic return=2000.256591796875\n", + "global step=25602048, episodic return=1981.173583984375\n", + "global step=25606144, episodic return=1925.5369873046875\n", + "global step=25606144, episodic return=1982.7420654296875\n", + "global step=25608192, episodic return=1925.3592529296875\n", + "global step=25608192, episodic return=2051.415283203125\n", + "global step=25610240, episodic return=1956.322998046875\n", + "global step=25610240, episodic return=1954.853271484375\n", + "global step=25610240, episodic return=2033.77734375\n", + "global step=25610240, episodic return=1981.1685791015625\n", + "global step=25612288, episodic return=2008.40185546875\n", + "global step=25612288, episodic return=1974.7596435546875\n", + "global step=25614336, episodic return=1956.222412109375\n", + "global step=25616384, episodic return=2012.0323486328125\n", + "global step=25616384, episodic return=2008.26904296875\n", + "global step=25616384, episodic return=1995.972900390625\n", + "global step=25616384, episodic return=2012.862548828125\n", + "global step=25616384, episodic return=664.753662109375\n", + "global step=25618432, episodic return=1966.2169189453125\n", + "global step=25618432, episodic return=2021.553466796875\n", + "global step=25618432, episodic return=1955.041015625\n", + "global step=25618432, episodic return=2030.71142578125\n", + "global step=25620480, episodic return=1997.5516357421875\n", + "global step=25620480, episodic return=1966.6824951171875\n", + "global step=25622528, episodic return=1362.910400390625\n", + "global step=25622528, episodic return=2092.28173828125\n", + "global step=25622528, episodic return=1916.3060302734375\n", + "global step=25624576, episodic return=1986.9212646484375\n", + "global step=25624576, episodic return=1996.2469482421875\n", + "global step=25624576, episodic return=2060.431884765625\n", + "global step=25626624, episodic return=2014.857177734375\n", + "global step=25628672, episodic return=1582.9610595703125\n", + "global step=25630720, episodic return=1864.1060791015625\n", + "global step=25630720, episodic return=1311.6881103515625\n", + "global step=25632768, episodic return=1950.4544677734375\n", + "global step=25632768, episodic return=1909.029541015625\n", + "global step=25632768, episodic return=2007.371337890625\n", + "global step=25632768, episodic return=1968.507568359375\n", + "global step=25632768, episodic return=2004.531982421875\n", + "global step=25632768, episodic return=1381.9173583984375\n", + "global step=25632768, episodic return=1960.7432861328125\n", + "global step=25634816, episodic return=2008.13720703125\n", + "global step=25634816, episodic return=2037.3682861328125\n", + "global step=25634816, episodic return=972.64794921875\n", + "global step=25634816, episodic return=1440.7003173828125\n", + "global step=25634816, episodic return=2009.4859619140625\n", + "global step=25636864, episodic return=2050.0966796875\n", + "global step=25636864, episodic return=2015.5015869140625\n", + "global step=25636864, episodic return=1961.180419921875\n", + "global step=25638912, episodic return=2006.2071533203125\n", + "global step=25638912, episodic return=1971.7154541015625\n", + "global step=25640960, episodic return=2070.583984375\n", + "global step=25640960, episodic return=1970.51708984375\n", + "global step=25640960, episodic return=1992.8431396484375\n", + "global step=25640960, episodic return=2009.6331787109375\n", + "global step=25640960, episodic return=2053.987060546875\n", + "global step=25643008, episodic return=1193.1282958984375\n", + "global step=25643008, episodic return=2024.716552734375\n", + "global step=25643008, episodic return=1976.2408447265625\n", + "global step=25645056, episodic return=1950.1402587890625\n", + "global step=25645056, episodic return=1988.0294189453125\n", + "global step=25645056, episodic return=2067.085693359375\n", + "global step=25645056, episodic return=1981.27294921875\n", + "global step=25645056, episodic return=2019.687744140625\n", + "global step=25645056, episodic return=1969.714111328125\n", + "global step=25645056, episodic return=2026.6702880859375\n", + "global step=25647104, episodic return=1962.20849609375\n", + "global step=25647104, episodic return=2058.4697265625\n", + "global step=25649152, episodic return=2005.5093994140625\n", + "global step=25651200, episodic return=2003.826904296875\n", + "global step=25651200, episodic return=1958.0067138671875\n", + "global step=25651200, episodic return=722.2945556640625\n", + "global step=25655296, episodic return=2007.631103515625\n", + "global step=25655296, episodic return=2007.1656494140625\n", + "global step=25655296, episodic return=1950.936279296875\n", + "global step=25655296, episodic return=2028.736572265625\n", + "global step=25655296, episodic return=1597.267578125\n", + "global step=25655296, episodic return=2011.448486328125\n", + "global step=25657344, episodic return=1976.4945068359375\n", + "global step=25657344, episodic return=2011.3148193359375\n", + "global step=25657344, episodic return=1955.55126953125\n", + "global step=25657344, episodic return=1998.6854248046875\n", + "global step=25657344, episodic return=2029.8646240234375\n", + "global step=25657344, episodic return=1990.9969482421875\n", + "global step=25659392, episodic return=1988.22119140625\n", + "global step=25659392, episodic return=1985.3890380859375\n", + "global step=25659392, episodic return=2042.3409423828125\n", + "global step=25659392, episodic return=1752.042724609375\n", + "global step=25661440, episodic return=1989.213623046875\n", + "global step=25661440, episodic return=2071.772705078125\n", + "global step=25661440, episodic return=1931.971923828125\n", + "global step=25665536, episodic return=2114.141845703125\n", + "global step=25665536, episodic return=2003.3800048828125\n", + "global step=25665536, episodic return=1992.5052490234375\n", + "global step=25665536, episodic return=1977.03857421875\n", + "global step=25665536, episodic return=2057.7734375\n", + "global step=25667584, episodic return=2010.71240234375\n", + "global step=25667584, episodic return=1937.1158447265625\n", + "global step=25667584, episodic return=1970.049072265625\n", + "global step=25667584, episodic return=2027.466552734375\n", + "global step=25667584, episodic return=2009.9495849609375\n", + "global step=25667584, episodic return=1990.65185546875\n", + "global step=25667584, episodic return=1194.3018798828125\n", + "global step=25669632, episodic return=2017.0120849609375\n", + "global step=25669632, episodic return=2012.771728515625\n", + "global step=25669632, episodic return=1886.0731201171875\n", + "global step=25669632, episodic return=1705.25146484375\n", + "global step=25669632, episodic return=2026.3990478515625\n", + "global step=25671680, episodic return=2034.1383056640625\n", + "global step=25671680, episodic return=1982.3651123046875\n", + "global step=25671680, episodic return=2034.1771240234375\n", + "global step=25671680, episodic return=1992.7308349609375\n", + "global step=25673728, episodic return=2006.88623046875\n", + "global step=25673728, episodic return=1932.48681640625\n", + "global step=25673728, episodic return=1257.5166015625\n", + "global step=25673728, episodic return=2033.035400390625\n", + "global step=25673728, episodic return=2016.08447265625\n", + "global step=25677824, episodic return=1983.0799560546875\n", + "global step=25677824, episodic return=2009.5074462890625\n", + "global step=25679872, episodic return=1961.5926513671875\n", + "global step=25681920, episodic return=1167.78173828125\n", + "global step=25681920, episodic return=1969.6700439453125\n", + "global step=25681920, episodic return=2056.994384765625\n", + "global step=25681920, episodic return=2036.7310791015625\n", + "global step=25681920, episodic return=1981.2398681640625\n", + "global step=25683968, episodic return=2011.6146240234375\n", + "global step=25683968, episodic return=1994.3743896484375\n", + "global step=25683968, episodic return=1982.2166748046875\n", + "global step=25683968, episodic return=1994.0718994140625\n", + "global step=25686016, episodic return=1936.462158203125\n", + "global step=25686016, episodic return=1420.49267578125\n", + "global step=25686016, episodic return=2043.2203369140625\n", + "global step=25688064, episodic return=1961.6942138671875\n", + "global step=25688064, episodic return=1997.887451171875\n", + "global step=25688064, episodic return=1842.5543212890625\n", + "global step=25688064, episodic return=2028.848876953125\n", + "global step=25690112, episodic return=2031.6473388671875\n", + "global step=25690112, episodic return=2005.6898193359375\n", + "global step=25690112, episodic return=1985.9776611328125\n", + "global step=25694208, episodic return=2024.50537109375\n", + "global step=25694208, episodic return=1683.1744384765625\n", + "global step=25694208, episodic return=2036.375\n", + "global step=25694208, episodic return=1790.405029296875\n", + "global step=25694208, episodic return=1987.842529296875\n", + "global step=25696256, episodic return=2006.2293701171875\n", + "global step=25696256, episodic return=1967.8221435546875\n", + "global step=25696256, episodic return=1994.0701904296875\n", + "global step=25696256, episodic return=1744.3131103515625\n", + "global step=25698304, episodic return=1522.00439453125\n", + "global step=25698304, episodic return=2016.002685546875\n", + "global step=25698304, episodic return=1995.743896484375\n", + "global step=25698304, episodic return=2038.7271728515625\n", + "global step=25700352, episodic return=1950.132568359375\n", + "global step=25700352, episodic return=1502.537109375\n", + "global step=25700352, episodic return=1992.8221435546875\n", + "global step=25700352, episodic return=1029.871826171875\n", + "global step=25702400, episodic return=1986.17236328125\n", + "global step=25702400, episodic return=1984.959716796875\n", + "global step=25702400, episodic return=1985.401611328125\n", + "global step=25702400, episodic return=1999.188232421875\n", + "global step=25704448, episodic return=1949.99462890625\n", + "global step=25704448, episodic return=1856.816650390625\n", + "global step=25704448, episodic return=1974.2686767578125\n", + "global step=25706496, episodic return=2000.426513671875\n", + "global step=25706496, episodic return=1994.5445556640625\n", + "global step=25706496, episodic return=1963.439697265625\n", + "global step=25706496, episodic return=1983.4674072265625\n", + "global step=25708544, episodic return=2002.4749755859375\n", + "global step=25708544, episodic return=2002.5989990234375\n", + "global step=25710592, episodic return=1990.64697265625\n", + "global step=25710592, episodic return=1899.510498046875\n", + "global step=25710592, episodic return=1959.4412841796875\n", + "global step=25710592, episodic return=2032.3875732421875\n", + "global step=25710592, episodic return=38.82918167114258\n", + "global step=25712640, episodic return=1894.3695068359375\n", + "global step=25712640, episodic return=1347.2154541015625\n", + "global step=25712640, episodic return=2005.7083740234375\n", + "global step=25712640, episodic return=339.2002258300781\n", + "global step=25712640, episodic return=1682.685546875\n", + "global step=25712640, episodic return=1951.0732421875\n", + "global step=25712640, episodic return=1951.3568115234375\n", + "global step=25714688, episodic return=2041.208740234375\n", + "global step=25714688, episodic return=1976.54345703125\n", + "global step=25716736, episodic return=1982.7593994140625\n", + "global step=25716736, episodic return=2031.6407470703125\n", + "global step=25718784, episodic return=1971.5841064453125\n", + "global step=25718784, episodic return=1972.089599609375\n", + "global step=25718784, episodic return=367.2374572753906\n", + "global step=25718784, episodic return=2061.612060546875\n", + "global step=25718784, episodic return=1989.9078369140625\n", + "global step=25718784, episodic return=1989.3033447265625\n", + "global step=25720832, episodic return=1980.588623046875\n", + "global step=25722880, episodic return=2053.135009765625\n", + "global step=25722880, episodic return=1967.1083984375\n", + "global step=25722880, episodic return=2020.97021484375\n", + "global step=25722880, episodic return=1937.6773681640625\n", + "global step=25722880, episodic return=1859.9805908203125\n", + "global step=25722880, episodic return=1985.864990234375\n", + "global step=25722880, episodic return=1998.33935546875\n", + "global step=25724928, episodic return=1979.0714111328125\n", + "global step=25724928, episodic return=1989.7900390625\n", + "global step=25726976, episodic return=2030.907470703125\n", + "global step=25726976, episodic return=1985.7281494140625\n", + "global step=25726976, episodic return=1951.2216796875\n", + "global step=25726976, episodic return=333.9677734375\n", + "global step=25729024, episodic return=1143.4410400390625\n", + "global step=25729024, episodic return=1982.7237548828125\n", + "global step=25729024, episodic return=1973.79931640625\n", + "global step=25731072, episodic return=2024.5936279296875\n", + "global step=25731072, episodic return=2013.0992431640625\n", + "global step=25733120, episodic return=2003.0426025390625\n", + "global step=25733120, episodic return=2018.087158203125\n", + "global step=25733120, episodic return=2038.5709228515625\n", + "global step=25733120, episodic return=2018.559326171875\n", + "global step=25733120, episodic return=1988.0953369140625\n", + "global step=25733120, episodic return=2059.38671875\n", + "global step=25733120, episodic return=2009.82470703125\n", + "global step=25735168, episodic return=1972.1805419921875\n", + "global step=25737216, episodic return=2025.1402587890625\n", + "global step=25737216, episodic return=1974.7869873046875\n", + "global step=25737216, episodic return=2073.10107421875\n", + "global step=25739264, episodic return=2001.689697265625\n", + "global step=25739264, episodic return=1557.098876953125\n", + "global step=25739264, episodic return=2008.7435302734375\n", + "global step=25739264, episodic return=1991.806884765625\n", + "global step=25741312, episodic return=1983.101806640625\n", + "global step=25741312, episodic return=1992.028076171875\n", + "global step=25741312, episodic return=2001.009765625\n", + "global step=25741312, episodic return=2016.7650146484375\n", + "global step=25741312, episodic return=2015.022705078125\n", + "global step=25741312, episodic return=2049.912841796875\n", + "global step=25741312, episodic return=2028.800048828125\n", + "global step=25741312, episodic return=2039.4127197265625\n", + "global step=25743360, episodic return=1967.0654296875\n", + "global step=25743360, episodic return=1956.2244873046875\n", + "global step=25743360, episodic return=1967.36181640625\n", + "global step=25743360, episodic return=1972.786376953125\n", + "global step=25745408, episodic return=2066.48974609375\n", + "global step=25745408, episodic return=2031.1162109375\n", + "global step=25745408, episodic return=2063.234619140625\n", + "global step=25747456, episodic return=2015.9091796875\n", + "global step=25747456, episodic return=2003.74169921875\n", + "global step=25747456, episodic return=1948.9217529296875\n", + "global step=25749504, episodic return=1934.8057861328125\n", + "global step=25749504, episodic return=2033.644287109375\n", + "global step=25749504, episodic return=2063.77880859375\n", + "global step=25749504, episodic return=2025.855224609375\n", + "global step=25751552, episodic return=1877.9854736328125\n", + "global step=25751552, episodic return=1967.5123291015625\n", + "global step=25751552, episodic return=2020.0806884765625\n", + "global step=25751552, episodic return=2015.121826171875\n", + "global step=25751552, episodic return=2028.093505859375\n", + "global step=25751552, episodic return=1984.3885498046875\n", + "global step=25753600, episodic return=1990.3740234375\n", + "global step=25753600, episodic return=1925.927978515625\n", + "global step=25753600, episodic return=1956.3055419921875\n", + "global step=25753600, episodic return=2048.783203125\n", + "global step=25753600, episodic return=2026.9437255859375\n", + "global step=25755648, episodic return=1990.6097412109375\n", + "global step=25757696, episodic return=1983.3687744140625\n", + "global step=25757696, episodic return=2015.425048828125\n", + "global step=25757696, episodic return=1934.19677734375\n", + "global step=25759744, episodic return=2003.3289794921875\n", + "global step=25759744, episodic return=1985.3154296875\n", + "global step=25759744, episodic return=629.1665649414062\n", + "global step=25761792, episodic return=2029.9615478515625\n", + "global step=25761792, episodic return=2004.2281494140625\n", + "global step=25761792, episodic return=1987.313232421875\n", + "global step=25763840, episodic return=2067.9677734375\n", + "global step=25763840, episodic return=1995.479248046875\n", + "global step=25763840, episodic return=2011.7025146484375\n", + "global step=25765888, episodic return=2006.2266845703125\n", + "global step=25767936, episodic return=2015.3038330078125\n", + "global step=25767936, episodic return=2020.173583984375\n", + "global step=25767936, episodic return=1965.5343017578125\n", + "global step=25767936, episodic return=2010.18896484375\n", + "global step=25769984, episodic return=1980.984619140625\n", + "global step=25769984, episodic return=1986.03955078125\n", + "global step=25769984, episodic return=1944.1500244140625\n", + "global step=25772032, episodic return=2030.2144775390625\n", + "global step=25772032, episodic return=1991.0372314453125\n", + "global step=25772032, episodic return=1363.0859375\n", + "global step=25772032, episodic return=1985.029052734375\n", + "global step=25772032, episodic return=1941.5009765625\n", + "global step=25774080, episodic return=1982.0281982421875\n", + "global step=25774080, episodic return=2050.54248046875\n", + "global step=25774080, episodic return=282.4868469238281\n", + "global step=25774080, episodic return=2046.29443359375\n", + "global step=25776128, episodic return=1982.72119140625\n", + "global step=25776128, episodic return=1984.1978759765625\n", + "global step=25776128, episodic return=626.138427734375\n", + "global step=25776128, episodic return=1990.542236328125\n", + "global step=25776128, episodic return=1993.6732177734375\n", + "global step=25778176, episodic return=2034.9056396484375\n", + "global step=25778176, episodic return=1962.4420166015625\n", + "global step=25780224, episodic return=1993.388916015625\n", + "global step=25780224, episodic return=1967.1884765625\n", + "global step=25780224, episodic return=2008.1983642578125\n", + "global step=25780224, episodic return=1991.3253173828125\n", + "global step=25782272, episodic return=1984.933349609375\n", + "global step=25782272, episodic return=2017.7974853515625\n", + "global step=25782272, episodic return=2014.11279296875\n", + "global step=25784320, episodic return=2039.138427734375\n", + "global step=25784320, episodic return=1227.0601806640625\n", + "global step=25784320, episodic return=1995.0068359375\n", + "global step=25784320, episodic return=2029.2449951171875\n", + "global step=25786368, episodic return=1987.451904296875\n", + "global step=25788416, episodic return=2002.330322265625\n", + "global step=25788416, episodic return=1122.5228271484375\n", + "global step=25788416, episodic return=2022.5792236328125\n", + "global step=25790464, episodic return=1999.4891357421875\n", + "global step=25790464, episodic return=2027.79296875\n", + "global step=25790464, episodic return=1992.6787109375\n", + "global step=25790464, episodic return=1984.2154541015625\n", + "global step=25790464, episodic return=1999.46923828125\n", + "global step=25790464, episodic return=1265.0367431640625\n", + "global step=25790464, episodic return=2061.52734375\n", + "global step=25792512, episodic return=1967.2659912109375\n", + "global step=25792512, episodic return=891.10205078125\n", + "global step=25792512, episodic return=1956.519775390625\n", + "global step=25792512, episodic return=2041.0286865234375\n", + "global step=25794560, episodic return=2025.904541015625\n", + "global step=25794560, episodic return=1726.605224609375\n", + "global step=25794560, episodic return=1950.11376953125\n", + "global step=25794560, episodic return=2012.5640869140625\n", + "global step=25796608, episodic return=2010.3681640625\n", + "global step=25796608, episodic return=2025.5093994140625\n", + "global step=25798656, episodic return=2016.73583984375\n", + "global step=25798656, episodic return=1965.53759765625\n", + "global step=25798656, episodic return=1993.7957763671875\n", + "global step=25798656, episodic return=2055.25390625\n", + "global step=25798656, episodic return=1949.5745849609375\n", + "global step=25800704, episodic return=2053.447265625\n", + "global step=25800704, episodic return=265.4961853027344\n", + "global step=25800704, episodic return=1971.011962890625\n", + "global step=25800704, episodic return=1991.5731201171875\n", + "global step=25800704, episodic return=1964.9620361328125\n", + "global step=25800704, episodic return=1936.4786376953125\n", + "global step=25802752, episodic return=2026.198486328125\n", + "global step=25802752, episodic return=1999.0098876953125\n", + "global step=25804800, episodic return=2011.107177734375\n", + "global step=25804800, episodic return=2012.820556640625\n", + "global step=25804800, episodic return=2020.2861328125\n", + "global step=25804800, episodic return=1965.4117431640625\n", + "global step=25806848, episodic return=1641.484619140625\n", + "global step=25806848, episodic return=2051.17822265625\n", + "global step=25806848, episodic return=1106.623291015625\n", + "global step=25806848, episodic return=2002.686767578125\n", + "global step=25808896, episodic return=1927.03857421875\n", + "global step=25808896, episodic return=2031.3802490234375\n", + "global step=25810944, episodic return=2025.1544189453125\n", + "global step=25812992, episodic return=1929.9049072265625\n", + "global step=25812992, episodic return=1981.495849609375\n", + "global step=25812992, episodic return=2024.333251953125\n", + "global step=25815040, episodic return=2045.3792724609375\n", + "global step=25815040, episodic return=1992.8104248046875\n", + "global step=25815040, episodic return=2008.9056396484375\n", + "global step=25815040, episodic return=1998.891357421875\n", + "global step=25815040, episodic return=2027.14892578125\n", + "global step=25817088, episodic return=1932.1640625\n", + "global step=25817088, episodic return=2017.508056640625\n", + "global step=25817088, episodic return=1976.2723388671875\n", + "global step=25817088, episodic return=929.1744384765625\n", + "global step=25817088, episodic return=2032.1541748046875\n", + "global step=25817088, episodic return=1989.2288818359375\n", + "global step=25817088, episodic return=1957.052490234375\n", + "global step=25817088, episodic return=1666.2037353515625\n", + "global step=25817088, episodic return=1789.783447265625\n", + "global step=25819136, episodic return=710.4627685546875\n", + "global step=25819136, episodic return=1998.5972900390625\n", + "global step=25819136, episodic return=29.00950813293457\n", + "global step=25821184, episodic return=1989.367919921875\n", + "global step=25821184, episodic return=2003.5792236328125\n", + "global step=25821184, episodic return=2004.170654296875\n", + "global step=25821184, episodic return=2057.326416015625\n", + "global step=25821184, episodic return=2025.05908203125\n", + "global step=25823232, episodic return=1745.1383056640625\n", + "global step=25823232, episodic return=1146.341552734375\n", + "global step=25823232, episodic return=2018.065185546875\n", + "global step=25823232, episodic return=738.2660522460938\n", + "global step=25823232, episodic return=1924.24169921875\n", + "global step=25823232, episodic return=2040.1424560546875\n", + "global step=25823232, episodic return=1956.4755859375\n", + "global step=25823232, episodic return=1948.8009033203125\n", + "global step=25825280, episodic return=1987.8521728515625\n", + "global step=25825280, episodic return=1947.2113037109375\n", + "global step=25825280, episodic return=1998.4940185546875\n", + "global step=25825280, episodic return=1996.8331298828125\n", + "global step=25827328, episodic return=996.4685668945312\n", + "global step=25827328, episodic return=1962.9837646484375\n", + "global step=25827328, episodic return=1603.2626953125\n", + "global step=25829376, episodic return=1988.2091064453125\n", + "global step=25829376, episodic return=1966.2760009765625\n", + "global step=25829376, episodic return=1995.6297607421875\n", + "global step=25829376, episodic return=2003.0936279296875\n", + "global step=25829376, episodic return=1972.8184814453125\n", + "global step=25831424, episodic return=1944.07177734375\n", + "global step=25831424, episodic return=1688.2008056640625\n", + "global step=25831424, episodic return=1987.72998046875\n", + "global step=25831424, episodic return=2063.06689453125\n", + "global step=25831424, episodic return=1991.7767333984375\n", + "global step=25833472, episodic return=1915.11279296875\n", + "global step=25833472, episodic return=2017.64404296875\n", + "global step=25833472, episodic return=1996.9779052734375\n", + "global step=25833472, episodic return=1799.1947021484375\n", + "global step=25835520, episodic return=328.90594482421875\n", + "global step=25835520, episodic return=1976.1492919921875\n", + "global step=25837568, episodic return=2018.9189453125\n", + "global step=25837568, episodic return=35.039520263671875\n", + "global step=25837568, episodic return=2048.5361328125\n", + "global step=25837568, episodic return=1961.1656494140625\n", + "global step=25837568, episodic return=1067.4566650390625\n", + "global step=25837568, episodic return=1981.3773193359375\n", + "global step=25839616, episodic return=2007.33349609375\n", + "global step=25839616, episodic return=2039.9140625\n", + "global step=25839616, episodic return=1990.364013671875\n", + "global step=25839616, episodic return=2052.1650390625\n", + "global step=25839616, episodic return=1466.2930908203125\n", + "global step=25841664, episodic return=2028.168212890625\n", + "global step=25843712, episodic return=517.9160766601562\n", + "global step=25843712, episodic return=1989.5264892578125\n", + "global step=25843712, episodic return=1895.9610595703125\n", + "global step=25843712, episodic return=2006.5537109375\n", + "global step=25845760, episodic return=1576.79638671875\n", + "global step=25845760, episodic return=1987.4061279296875\n", + "global step=25845760, episodic return=854.8349609375\n", + "global step=25845760, episodic return=1646.9013671875\n", + "global step=25847808, episodic return=1989.381103515625\n", + "global step=25847808, episodic return=2018.378173828125\n", + "global step=25849856, episodic return=1131.4892578125\n", + "global step=25849856, episodic return=2010.2261962890625\n", + "global step=25849856, episodic return=2035.60986328125\n", + "global step=25849856, episodic return=2026.77392578125\n", + "global step=25849856, episodic return=2003.159912109375\n", + "global step=25851904, episodic return=1964.115966796875\n", + "global step=25851904, episodic return=2029.98828125\n", + "global step=25851904, episodic return=2037.944580078125\n", + "global step=25851904, episodic return=2017.0777587890625\n", + "global step=25853952, episodic return=2022.8096923828125\n", + "global step=25853952, episodic return=2004.6729736328125\n", + "global step=25853952, episodic return=2013.7017822265625\n", + "global step=25856000, episodic return=679.3897094726562\n", + "global step=25856000, episodic return=1964.648681640625\n", + "global step=25856000, episodic return=1945.0733642578125\n", + "global step=25858048, episodic return=1974.9505615234375\n", + "global step=25858048, episodic return=1941.1650390625\n", + "global step=25858048, episodic return=1575.34375\n", + "global step=25858048, episodic return=2023.3697509765625\n", + "global step=25860096, episodic return=2024.13427734375\n", + "global step=25860096, episodic return=2013.2811279296875\n", + "global step=25860096, episodic return=2002.4730224609375\n", + "global step=25860096, episodic return=1160.7789306640625\n", + "global step=25862144, episodic return=2020.7275390625\n", + "global step=25862144, episodic return=1998.3851318359375\n", + "global step=25862144, episodic return=1975.7708740234375\n", + "global step=25862144, episodic return=2041.7060546875\n", + "global step=25862144, episodic return=2027.825927734375\n", + "global step=25862144, episodic return=1657.06298828125\n", + "global step=25862144, episodic return=2036.6339111328125\n", + "global step=25862144, episodic return=2011.3643798828125\n", + "global step=25864192, episodic return=1961.261962890625\n", + "global step=25864192, episodic return=1966.601806640625\n", + "global step=25864192, episodic return=2047.447509765625\n", + "global step=25864192, episodic return=1185.379150390625\n", + "global step=25864192, episodic return=1999.2611083984375\n", + "global step=25864192, episodic return=2018.899658203125\n", + "global step=25864192, episodic return=1220.959716796875\n", + "global step=25866240, episodic return=2059.401123046875\n", + "global step=25866240, episodic return=1999.2166748046875\n", + "global step=25866240, episodic return=2017.5853271484375\n", + "global step=25866240, episodic return=1986.064208984375\n", + "global step=25868288, episodic return=2023.9718017578125\n", + "global step=25868288, episodic return=2026.09228515625\n", + "global step=25870336, episodic return=2035.498779296875\n", + "global step=25870336, episodic return=2029.5980224609375\n", + "global step=25872384, episodic return=1952.20849609375\n", + "global step=25872384, episodic return=1997.4993896484375\n", + "global step=25872384, episodic return=2022.305908203125\n", + "global step=25874432, episodic return=1969.828857421875\n", + "global step=25874432, episodic return=1993.23486328125\n", + "global step=25874432, episodic return=2039.8177490234375\n", + "global step=25874432, episodic return=2024.97998046875\n", + "global step=25876480, episodic return=1966.780029296875\n", + "global step=25876480, episodic return=1795.322265625\n", + "global step=25876480, episodic return=2016.012451171875\n", + "global step=25876480, episodic return=1985.3548583984375\n", + "global step=25878528, episodic return=1999.95947265625\n", + "global step=25878528, episodic return=1447.3218994140625\n", + "global step=25878528, episodic return=361.1307678222656\n", + "global step=25878528, episodic return=1999.4755859375\n", + "global step=25878528, episodic return=2004.6787109375\n", + "global step=25878528, episodic return=2010.6981201171875\n", + "global step=25878528, episodic return=1977.2374267578125\n", + "global step=25878528, episodic return=1937.8302001953125\n", + "global step=25878528, episodic return=1356.333740234375\n", + "global step=25880576, episodic return=2043.2806396484375\n", + "global step=25880576, episodic return=2019.271728515625\n", + "global step=25880576, episodic return=1935.1116943359375\n", + "global step=25880576, episodic return=1989.122314453125\n", + "global step=25880576, episodic return=2054.036376953125\n", + "global step=25880576, episodic return=2018.2169189453125\n", + "global step=25882624, episodic return=1984.9931640625\n", + "global step=25882624, episodic return=2007.48193359375\n", + "global step=25882624, episodic return=2006.5244140625\n", + "global step=25882624, episodic return=2038.177978515625\n", + "global step=25884672, episodic return=406.3922424316406\n", + "global step=25884672, episodic return=2003.6260986328125\n", + "global step=25884672, episodic return=2003.739501953125\n", + "global step=25884672, episodic return=1971.163330078125\n", + "global step=25886720, episodic return=1382.7178955078125\n", + "global step=25886720, episodic return=2010.010986328125\n", + "global step=25886720, episodic return=2018.91357421875\n", + "global step=25886720, episodic return=2038.0296630859375\n", + "global step=25888768, episodic return=1997.055908203125\n", + "global step=25888768, episodic return=1966.1700439453125\n", + "global step=25890816, episodic return=1996.400390625\n", + "global step=25890816, episodic return=1611.6007080078125\n", + "global step=25890816, episodic return=1973.917236328125\n", + "global step=25890816, episodic return=1757.1405029296875\n", + "global step=25892864, episodic return=1961.774169921875\n", + "global step=25892864, episodic return=2017.2877197265625\n", + "global step=25892864, episodic return=2014.5640869140625\n", + "global step=25892864, episodic return=1964.381591796875\n", + "global step=25894912, episodic return=2003.054443359375\n", + "global step=25896960, episodic return=1486.3294677734375\n", + "global step=25896960, episodic return=2025.9324951171875\n", + "global step=25896960, episodic return=1981.267822265625\n", + "global step=25896960, episodic return=1977.9757080078125\n", + "global step=25899008, episodic return=1751.6290283203125\n", + "global step=25899008, episodic return=1996.403076171875\n", + "global step=25903104, episodic return=2041.71484375\n", + "global step=25903104, episodic return=816.3491821289062\n", + "global step=25903104, episodic return=1995.8955078125\n", + "global step=25903104, episodic return=2048.708740234375\n", + "global step=25905152, episodic return=1966.416259765625\n", + "global step=25905152, episodic return=1997.45703125\n", + "global step=25905152, episodic return=2003.553955078125\n", + "global step=25905152, episodic return=1956.2630615234375\n", + "global step=25905152, episodic return=1950.0487060546875\n", + "global step=25907200, episodic return=1946.6173095703125\n", + "global step=25907200, episodic return=2068.14208984375\n", + "global step=25907200, episodic return=1212.2283935546875\n", + "global step=25907200, episodic return=2026.115234375\n", + "global step=25909248, episodic return=2030.587158203125\n", + "global step=25909248, episodic return=2009.671875\n", + "global step=25909248, episodic return=1983.0157470703125\n", + "global step=25909248, episodic return=1956.0748291015625\n", + "global step=25913344, episodic return=2020.2657470703125\n", + "global step=25913344, episodic return=2029.2437744140625\n", + "global step=25913344, episodic return=2009.6121826171875\n", + "global step=25915392, episodic return=1958.415771484375\n", + "global step=25915392, episodic return=2015.0611572265625\n", + "global step=25915392, episodic return=1804.5928955078125\n", + "global step=25915392, episodic return=1977.294921875\n", + "global step=25917440, episodic return=2030.5047607421875\n", + "global step=25917440, episodic return=1990.0489501953125\n", + "global step=25917440, episodic return=2032.222900390625\n", + "global step=25917440, episodic return=2056.69677734375\n", + "global step=25919488, episodic return=1948.308837890625\n", + "global step=25919488, episodic return=2052.91357421875\n", + "global step=25919488, episodic return=1997.66650390625\n", + "global step=25919488, episodic return=1960.040283203125\n", + "global step=25921536, episodic return=1674.2430419921875\n", + "global step=25921536, episodic return=2010.7579345703125\n", + "global step=25923584, episodic return=2007.996826171875\n", + "global step=25923584, episodic return=1966.5347900390625\n", + "global step=25923584, episodic return=1446.0814208984375\n", + "global step=25923584, episodic return=1963.24169921875\n", + "global step=25923584, episodic return=1985.976806640625\n", + "global step=25925632, episodic return=1985.11181640625\n", + "global step=25925632, episodic return=2010.5582275390625\n", + "global step=25925632, episodic return=1427.94921875\n", + "global step=25927680, episodic return=2026.464599609375\n", + "global step=25927680, episodic return=2037.08349609375\n", + "global step=25927680, episodic return=1105.49365234375\n", + "global step=25927680, episodic return=2021.6722412109375\n", + "global step=25929728, episodic return=1983.26904296875\n", + "global step=25929728, episodic return=2003.713134765625\n", + "global step=25929728, episodic return=2023.9564208984375\n", + "global step=25929728, episodic return=1997.4921875\n", + "global step=25929728, episodic return=1474.87109375\n", + "global step=25931776, episodic return=2059.5283203125\n", + "global step=25931776, episodic return=1956.1959228515625\n", + "global step=25933824, episodic return=1994.4017333984375\n", + "global step=25933824, episodic return=2049.22265625\n", + "global step=25933824, episodic return=1986.40234375\n", + "global step=25933824, episodic return=2041.153564453125\n", + "global step=25935872, episodic return=1972.8179931640625\n", + "global step=25935872, episodic return=1989.1109619140625\n", + "global step=25935872, episodic return=2009.6864013671875\n", + "global step=25935872, episodic return=1963.532470703125\n", + "global step=25935872, episodic return=2001.9854736328125\n", + "global step=25937920, episodic return=1971.6575927734375\n", + "global step=25937920, episodic return=1941.6842041015625\n", + "global step=25937920, episodic return=1808.994384765625\n", + "global step=25937920, episodic return=2058.000732421875\n", + "global step=25937920, episodic return=1720.6837158203125\n", + "global step=25937920, episodic return=1997.3984375\n", + "global step=25939968, episodic return=2012.737548828125\n", + "global step=25939968, episodic return=1044.330322265625\n", + "global step=25939968, episodic return=2033.4345703125\n", + "global step=25939968, episodic return=2008.7611083984375\n", + "global step=25939968, episodic return=2002.6634521484375\n", + "global step=25939968, episodic return=1990.757080078125\n", + "global step=25942016, episodic return=2037.69677734375\n", + "global step=25942016, episodic return=1982.6654052734375\n", + "global step=25942016, episodic return=1656.0052490234375\n", + "global step=25944064, episodic return=2021.5543212890625\n", + "global step=25944064, episodic return=1993.4210205078125\n", + "global step=25944064, episodic return=1998.7275390625\n", + "global step=25946112, episodic return=2026.12890625\n", + "global step=25946112, episodic return=2007.400390625\n", + "global step=25946112, episodic return=2022.0950927734375\n", + "global step=25948160, episodic return=1976.591064453125\n", + "global step=25948160, episodic return=1938.28759765625\n", + "global step=25948160, episodic return=2001.3253173828125\n", + "global step=25950208, episodic return=2026.3092041015625\n", + "global step=25950208, episodic return=2036.017333984375\n", + "global step=25950208, episodic return=43.11223602294922\n", + "global step=25952256, episodic return=2047.9656982421875\n", + "global step=25956352, episodic return=1820.1513671875\n", + "global step=25956352, episodic return=2028.712646484375\n", + "global step=25958400, episodic return=1994.857421875\n", + "global step=25958400, episodic return=2017.94482421875\n", + "global step=25958400, episodic return=1610.708251953125\n", + "global step=25958400, episodic return=1993.896240234375\n", + "global step=25958400, episodic return=1997.5167236328125\n", + "global step=25958400, episodic return=2059.41845703125\n", + "global step=25960448, episodic return=1083.78076171875\n", + "global step=25960448, episodic return=900.3673706054688\n", + "global step=25960448, episodic return=1972.551025390625\n", + "global step=25960448, episodic return=2023.3228759765625\n", + "global step=25962496, episodic return=2044.8394775390625\n", + "global step=25962496, episodic return=2010.7984619140625\n", + "global step=25962496, episodic return=2081.265869140625\n", + "global step=25964544, episodic return=2035.9835205078125\n", + "global step=25964544, episodic return=1945.6407470703125\n", + "global step=25964544, episodic return=2050.896728515625\n", + "global step=25964544, episodic return=122.53606414794922\n", + "global step=25966592, episodic return=2037.064453125\n", + "global step=25966592, episodic return=1971.3203125\n", + "global step=25966592, episodic return=1999.2008056640625\n", + "global step=25966592, episodic return=1806.233154296875\n", + "global step=25968640, episodic return=2011.91845703125\n", + "global step=25970688, episodic return=2016.7119140625\n", + "global step=25970688, episodic return=1963.33642578125\n", + "global step=25972736, episodic return=1984.0860595703125\n", + "global step=25972736, episodic return=1969.82373046875\n", + "global step=25972736, episodic return=2022.708984375\n", + "global step=25972736, episodic return=2011.0892333984375\n", + "global step=25972736, episodic return=1973.704345703125\n", + "global step=25974784, episodic return=2000.68994140625\n", + "global step=25976832, episodic return=1918.984375\n", + "global step=25978880, episodic return=2016.06787109375\n", + "global step=25978880, episodic return=2012.9239501953125\n", + "global step=25980928, episodic return=1999.22265625\n", + "global step=25980928, episodic return=1996.046875\n", + "global step=25980928, episodic return=1991.565185546875\n", + "global step=25982976, episodic return=2021.0653076171875\n", + "global step=25982976, episodic return=1986.60107421875\n", + "global step=25982976, episodic return=2006.9261474609375\n", + "global step=25982976, episodic return=202.31668090820312\n", + "global step=25985024, episodic return=1984.385498046875\n", + "global step=25987072, episodic return=1970.2451171875\n", + "global step=25989120, episodic return=1941.946044921875\n", + "global step=25989120, episodic return=2028.28173828125\n", + "global step=25989120, episodic return=2005.8572998046875\n", + "global step=25991168, episodic return=1983.4356689453125\n", + "global step=25991168, episodic return=1988.505859375\n", + "global step=25993216, episodic return=1995.3192138671875\n", + "global step=25993216, episodic return=1998.302490234375\n", + "global step=25993216, episodic return=2045.88525390625\n", + "global step=25993216, episodic return=2031.06298828125\n", + "global step=25993216, episodic return=2047.43212890625\n", + "global step=25993216, episodic return=1956.114013671875\n", + "global step=25995264, episodic return=1977.1505126953125\n", + "global step=25995264, episodic return=2043.432373046875\n", + "global step=25995264, episodic return=2038.800537109375\n", + "global step=25997312, episodic return=1990.47021484375\n", + "global step=25997312, episodic return=2051.501708984375\n", + "global step=25999360, episodic return=1986.771728515625\n", + "global step=25999360, episodic return=1566.5040283203125\n", + "global step=25999360, episodic return=1963.6669921875\n", + "global step=25999360, episodic return=2050.51171875\n", + "global step=26001408, episodic return=1952.5731201171875\n", + "global step=26001408, episodic return=1990.4971923828125\n", + "global step=26001408, episodic return=1986.791259765625\n", + "global step=26003456, episodic return=2014.268310546875\n", + "global step=26003456, episodic return=2043.9649658203125\n", + "global step=26003456, episodic return=2021.120849609375\n", + "global step=26005504, episodic return=2040.6187744140625\n", + "global step=26005504, episodic return=1975.599853515625\n", + "global step=26005504, episodic return=2048.810302734375\n", + "global step=26007552, episodic return=1979.8834228515625\n", + "global step=26009600, episodic return=1990.261962890625\n", + "global step=26011648, episodic return=1973.5128173828125\n", + "global step=26013696, episodic return=1221.3428955078125\n", + "global step=26013696, episodic return=2042.0296630859375\n", + "global step=26015744, episodic return=2017.547119140625\n", + "global step=26015744, episodic return=2013.4678955078125\n", + "global step=26015744, episodic return=1953.9862060546875\n", + "global step=26015744, episodic return=1344.5924072265625\n", + "global step=26017792, episodic return=1987.7628173828125\n", + "global step=26017792, episodic return=1999.4974365234375\n", + "global step=26017792, episodic return=2047.901123046875\n", + "global step=26017792, episodic return=1979.33203125\n", + "global step=26017792, episodic return=1989.685302734375\n", + "global step=26019840, episodic return=2042.8795166015625\n", + "global step=26019840, episodic return=2081.188720703125\n", + "global step=26021888, episodic return=1619.93798828125\n", + "global step=26021888, episodic return=1965.11767578125\n", + "global step=26023936, episodic return=2026.7762451171875\n", + "global step=26023936, episodic return=284.2608337402344\n", + "global step=26023936, episodic return=2001.3153076171875\n", + "global step=26023936, episodic return=2008.1402587890625\n", + "global step=26023936, episodic return=2007.6903076171875\n", + "global step=26023936, episodic return=2048.456787109375\n", + "global step=26025984, episodic return=1997.0155029296875\n", + "global step=26025984, episodic return=1964.0367431640625\n", + "global step=26025984, episodic return=2044.119384765625\n", + "global step=26028032, episodic return=2024.618408203125\n", + "global step=26028032, episodic return=2020.9420166015625\n", + "global step=26028032, episodic return=2039.0157470703125\n", + "global step=26028032, episodic return=1744.4478759765625\n", + "global step=26028032, episodic return=263.9654541015625\n", + "global step=26030080, episodic return=1980.067138671875\n", + "global step=26030080, episodic return=2009.7139892578125\n", + "global step=26030080, episodic return=2037.76025390625\n", + "global step=26032128, episodic return=1944.3892822265625\n", + "global step=26032128, episodic return=630.6546020507812\n", + "global step=26034176, episodic return=233.17933654785156\n", + "global step=26034176, episodic return=2047.185791015625\n", + "global step=26034176, episodic return=2051.949951171875\n", + "global step=26034176, episodic return=1995.31494140625\n", + "global step=26034176, episodic return=1050.297607421875\n", + "global step=26036224, episodic return=2005.87890625\n", + "global step=26036224, episodic return=2048.8994140625\n", + "global step=26036224, episodic return=2050.970947265625\n", + "global step=26036224, episodic return=2038.96484375\n", + "global step=26038272, episodic return=2047.7607421875\n", + "global step=26038272, episodic return=1985.9290771484375\n", + "global step=26040320, episodic return=2032.201171875\n", + "global step=26040320, episodic return=2012.650146484375\n", + "global step=26040320, episodic return=2028.2752685546875\n", + "global step=26042368, episodic return=1444.4720458984375\n", + "global step=26044416, episodic return=2031.661376953125\n", + "global step=26044416, episodic return=1800.0001220703125\n", + "global step=26044416, episodic return=2053.14013671875\n", + "global step=26046464, episodic return=1980.7265625\n", + "global step=26046464, episodic return=2030.354736328125\n", + "global step=26046464, episodic return=2025.65234375\n", + "global step=26046464, episodic return=2022.8297119140625\n", + "global step=26048512, episodic return=2046.89453125\n", + "global step=26048512, episodic return=2040.6998291015625\n", + "global step=26048512, episodic return=1980.2325439453125\n", + "global step=26048512, episodic return=1818.095703125\n", + "global step=26050560, episodic return=2016.5064697265625\n", + "global step=26050560, episodic return=2025.300537109375\n", + "global step=26052608, episodic return=1928.856689453125\n", + "global step=26052608, episodic return=2007.4066162109375\n", + "global step=26054656, episodic return=1938.688232421875\n", + "global step=26054656, episodic return=1994.01123046875\n", + "global step=26054656, episodic return=1956.803466796875\n", + "global step=26054656, episodic return=1971.31884765625\n", + "global step=26056704, episodic return=1997.342041015625\n", + "global step=26056704, episodic return=2084.835693359375\n", + "global step=26056704, episodic return=2076.005859375\n", + "global step=26058752, episodic return=2048.541015625\n", + "global step=26058752, episodic return=1986.1978759765625\n", + "global step=26058752, episodic return=1595.1884765625\n", + "global step=26058752, episodic return=1558.0447998046875\n", + "global step=26060800, episodic return=2002.0577392578125\n", + "global step=26060800, episodic return=2007.5181884765625\n", + "global step=26060800, episodic return=2058.344970703125\n", + "global step=26062848, episodic return=1984.24462890625\n", + "global step=26062848, episodic return=2000.884521484375\n", + "global step=26064896, episodic return=1980.000244140625\n", + "global step=26064896, episodic return=2052.632080078125\n", + "global step=26064896, episodic return=2066.313720703125\n", + "global step=26064896, episodic return=1896.1298828125\n", + "global step=26064896, episodic return=1994.6075439453125\n", + "global step=26064896, episodic return=1983.203857421875\n", + "global step=26066944, episodic return=2040.39453125\n", + "global step=26066944, episodic return=2074.77392578125\n", + "global step=26066944, episodic return=967.6651000976562\n", + "global step=26066944, episodic return=1966.17626953125\n", + "global step=26066944, episodic return=852.512451171875\n", + "global step=26068992, episodic return=2028.8226318359375\n", + "global step=26068992, episodic return=2010.96484375\n", + "global step=26071040, episodic return=2020.5751953125\n", + "global step=26071040, episodic return=2006.07470703125\n", + "global step=26071040, episodic return=1450.741943359375\n", + "global step=26073088, episodic return=2006.6534423828125\n", + "global step=26073088, episodic return=2005.5594482421875\n", + "global step=26073088, episodic return=2037.258056640625\n", + "global step=26073088, episodic return=2009.8450927734375\n", + "global step=26075136, episodic return=1998.2684326171875\n", + "global step=26075136, episodic return=275.65087890625\n", + "global step=26075136, episodic return=1936.4498291015625\n", + "global step=26077184, episodic return=2021.120361328125\n", + "global step=26077184, episodic return=2023.724365234375\n", + "global step=26079232, episodic return=1895.4315185546875\n", + "global step=26079232, episodic return=2024.2391357421875\n", + "global step=26079232, episodic return=1956.2457275390625\n", + "global step=26079232, episodic return=1989.642578125\n", + "global step=26079232, episodic return=2033.3724365234375\n", + "global step=26081280, episodic return=1992.038330078125\n", + "global step=26081280, episodic return=2040.2567138671875\n", + "global step=26083328, episodic return=2009.156005859375\n", + "global step=26083328, episodic return=2018.8992919921875\n", + "global step=26085376, episodic return=2009.09375\n", + "global step=26085376, episodic return=1976.603515625\n", + "global step=26085376, episodic return=2033.23876953125\n", + "global step=26087424, episodic return=2007.407470703125\n", + "global step=26087424, episodic return=2018.50341796875\n", + "global step=26087424, episodic return=2058.6826171875\n", + "global step=26089472, episodic return=1979.5706787109375\n", + "global step=26093568, episodic return=2032.5902099609375\n", + "global step=26093568, episodic return=2033.63818359375\n", + "global step=26093568, episodic return=2005.5120849609375\n", + "global step=26093568, episodic return=1938.7777099609375\n", + "global step=26095616, episodic return=1889.7728271484375\n", + "global step=26095616, episodic return=1962.3763427734375\n", + "global step=26095616, episodic return=1991.031982421875\n", + "global step=26095616, episodic return=1915.8448486328125\n", + "global step=26097664, episodic return=1939.904541015625\n", + "global step=26097664, episodic return=2017.7967529296875\n", + "global step=26097664, episodic return=1994.0159912109375\n", + "global step=26097664, episodic return=383.0613708496094\n", + "global step=26097664, episodic return=1973.321044921875\n", + "global step=26099712, episodic return=2004.40576171875\n", + "global step=26099712, episodic return=2029.2176513671875\n", + "global step=26099712, episodic return=2034.0194091796875\n", + "global step=26099712, episodic return=1987.0137939453125\n", + "global step=26099712, episodic return=2030.08984375\n", + "global step=26101760, episodic return=776.89794921875\n", + "global step=26101760, episodic return=2041.3372802734375\n", + "global step=26103808, episodic return=2029.092529296875\n", + "global step=26103808, episodic return=2076.307373046875\n", + "global step=26103808, episodic return=2039.956298828125\n", + "global step=26105856, episodic return=831.0418090820312\n", + "global step=26107904, episodic return=1758.11181640625\n", + "global step=26107904, episodic return=1487.1055908203125\n", + "global step=26107904, episodic return=2042.1810302734375\n", + "global step=26109952, episodic return=2019.2364501953125\n", + "global step=26109952, episodic return=1694.025634765625\n", + "global step=26114048, episodic return=2052.02490234375\n", + "global step=26114048, episodic return=2038.5645751953125\n", + "global step=26114048, episodic return=1932.65478515625\n", + "global step=26114048, episodic return=2078.447021484375\n", + "global step=26114048, episodic return=1994.4229736328125\n", + "global step=26116096, episodic return=2064.507080078125\n", + "global step=26116096, episodic return=2020.695556640625\n", + "global step=26116096, episodic return=2046.753662109375\n", + "global step=26116096, episodic return=2068.811279296875\n", + "global step=26118144, episodic return=1976.2445068359375\n", + "global step=26118144, episodic return=2012.228759765625\n", + "global step=26118144, episodic return=2009.56298828125\n", + "global step=26118144, episodic return=2042.046875\n", + "global step=26120192, episodic return=2069.854248046875\n", + "global step=26120192, episodic return=2042.787841796875\n", + "global step=26120192, episodic return=2062.11865234375\n", + "global step=26122240, episodic return=2115.51220703125\n", + "global step=26122240, episodic return=2057.53466796875\n", + "global step=26124288, episodic return=1842.314453125\n", + "global step=26124288, episodic return=2028.978515625\n", + "global step=26124288, episodic return=2045.1126708984375\n", + "global step=26124288, episodic return=2084.5634765625\n", + "global step=26124288, episodic return=2047.50732421875\n", + "global step=26124288, episodic return=2018.4810791015625\n", + "global step=26128384, episodic return=2033.3443603515625\n", + "global step=26128384, episodic return=2019.4691162109375\n", + "global step=26128384, episodic return=1771.3311767578125\n", + "global step=26128384, episodic return=1861.0701904296875\n", + "global step=26128384, episodic return=2073.013916015625\n", + "global step=26130432, episodic return=2023.5379638671875\n", + "global step=26130432, episodic return=2038.119873046875\n", + "global step=26130432, episodic return=2026.856201171875\n", + "global step=26130432, episodic return=2031.1038818359375\n", + "global step=26130432, episodic return=2028.931640625\n", + "global step=26130432, episodic return=2039.2332763671875\n", + "global step=26132480, episodic return=2001.5714111328125\n", + "global step=26132480, episodic return=2047.001220703125\n", + "global step=26134528, episodic return=280.8686218261719\n", + "global step=26136576, episodic return=1978.49853515625\n", + "global step=26136576, episodic return=2011.734130859375\n", + "global step=26136576, episodic return=2069.156494140625\n", + "global step=26136576, episodic return=377.9182434082031\n", + "global step=26136576, episodic return=1976.4073486328125\n", + "global step=26136576, episodic return=1637.1728515625\n", + "global step=26136576, episodic return=1323.26025390625\n", + "global step=26136576, episodic return=2101.52294921875\n", + "global step=26138624, episodic return=299.177734375\n", + "global step=26138624, episodic return=1889.40576171875\n", + "global step=26138624, episodic return=1952.9981689453125\n", + "global step=26140672, episodic return=2054.845947265625\n", + "global step=26140672, episodic return=2064.556884765625\n", + "global step=26140672, episodic return=1988.5791015625\n", + "global step=26140672, episodic return=2002.5635986328125\n", + "global step=26140672, episodic return=2006.0008544921875\n", + "global step=26140672, episodic return=2031.861572265625\n", + "global step=26142720, episodic return=272.188720703125\n", + "global step=26142720, episodic return=1989.241943359375\n", + "global step=26146816, episodic return=2039.042236328125\n", + "global step=26146816, episodic return=2041.67919921875\n", + "global step=26146816, episodic return=2046.732666015625\n", + "global step=26146816, episodic return=2040.5968017578125\n", + "global step=26148864, episodic return=1991.7921142578125\n", + "global step=26148864, episodic return=42.723323822021484\n", + "global step=26148864, episodic return=2039.7200927734375\n", + "global step=26148864, episodic return=187.2751007080078\n", + "global step=26150912, episodic return=2068.457763671875\n", + "global step=26150912, episodic return=2028.1876220703125\n", + "global step=26150912, episodic return=2055.692138671875\n", + "global step=26152960, episodic return=2057.21240234375\n", + "global step=26155008, episodic return=2041.4066162109375\n", + "global step=26157056, episodic return=1960.2742919921875\n", + "global step=26157056, episodic return=2028.582763671875\n", + "global step=26157056, episodic return=2030.58251953125\n", + "global step=26157056, episodic return=2070.19921875\n", + "global step=26159104, episodic return=2047.06396484375\n", + "global step=26159104, episodic return=1992.6153564453125\n", + "global step=26159104, episodic return=2056.318115234375\n", + "global step=26159104, episodic return=2099.354248046875\n", + "global step=26161152, episodic return=1652.0687255859375\n", + "global step=26161152, episodic return=916.4384765625\n", + "global step=26161152, episodic return=1714.539306640625\n", + "global step=26163200, episodic return=2019.4212646484375\n", + "global step=26163200, episodic return=2003.2579345703125\n", + "global step=26163200, episodic return=1454.5382080078125\n", + "global step=26165248, episodic return=1994.3841552734375\n", + "global step=26165248, episodic return=1984.963623046875\n", + "global step=26165248, episodic return=1994.8165283203125\n", + "global step=26165248, episodic return=2032.176513671875\n", + "global step=26165248, episodic return=2029.6317138671875\n", + "global step=26165248, episodic return=2070.879638671875\n", + "global step=26165248, episodic return=203.8306884765625\n", + "global step=26167296, episodic return=2048.220947265625\n", + "global step=26169344, episodic return=2024.1839599609375\n", + "global step=26169344, episodic return=1982.9566650390625\n", + "global step=26169344, episodic return=2062.8525390625\n", + "global step=26173440, episodic return=2070.31787109375\n", + "global step=26173440, episodic return=2038.4639892578125\n", + "global step=26175488, episodic return=2080.994140625\n", + "global step=26175488, episodic return=2050.514404296875\n", + "global step=26175488, episodic return=2129.762939453125\n", + "global step=26175488, episodic return=1974.111083984375\n", + "global step=26177536, episodic return=2071.61328125\n", + "global step=26177536, episodic return=2078.991455078125\n", + "global step=26179584, episodic return=2067.603759765625\n", + "global step=26181632, episodic return=1916.3106689453125\n", + "global step=26181632, episodic return=1572.36474609375\n", + "global step=26181632, episodic return=1988.3355712890625\n", + "global step=26183680, episodic return=1721.5142822265625\n", + "global step=26183680, episodic return=2054.701416015625\n", + "global step=26183680, episodic return=2035.7744140625\n", + "global step=26185728, episodic return=2069.05712890625\n", + "global step=26185728, episodic return=2051.006103515625\n", + "global step=26187776, episodic return=2083.36083984375\n", + "global step=26187776, episodic return=2030.294921875\n", + "global step=26187776, episodic return=1987.8900146484375\n", + "global step=26187776, episodic return=2030.3173828125\n", + "global step=26187776, episodic return=10.980594635009766\n", + "global step=26189824, episodic return=2070.274658203125\n", + "global step=26189824, episodic return=2020.7613525390625\n", + "global step=26191872, episodic return=1856.0899658203125\n", + "global step=26191872, episodic return=2106.429931640625\n", + "global step=26191872, episodic return=2057.97509765625\n", + "global step=26191872, episodic return=1936.1534423828125\n", + "global step=26195968, episodic return=2044.0908203125\n", + "global step=26195968, episodic return=2053.431640625\n", + "global step=26198016, episodic return=1999.2230224609375\n", + "global step=26198016, episodic return=2006.186279296875\n", + "global step=26200064, episodic return=2088.8974609375\n", + "global step=26200064, episodic return=2000.331298828125\n", + "global step=26200064, episodic return=1988.5784912109375\n", + "global step=26200064, episodic return=2023.6402587890625\n", + "global step=26200064, episodic return=2084.939453125\n", + "global step=26200064, episodic return=1549.203125\n", + "global step=26200064, episodic return=1983.5052490234375\n", + "global step=26202112, episodic return=2015.8695068359375\n", + "global step=26202112, episodic return=41.14937210083008\n", + "global step=26202112, episodic return=2044.9044189453125\n", + "global step=26204160, episodic return=1978.420166015625\n", + "global step=26204160, episodic return=1989.9029541015625\n", + "global step=26204160, episodic return=1974.43798828125\n", + "global step=26204160, episodic return=2115.1123046875\n", + "global step=26206208, episodic return=2020.2193603515625\n", + "global step=26208256, episodic return=1997.6119384765625\n", + "global step=26208256, episodic return=1995.6776123046875\n", + "global step=26208256, episodic return=1938.5528564453125\n", + "global step=26208256, episodic return=1757.957763671875\n", + "global step=26208256, episodic return=1084.7501220703125\n", + "global step=26210304, episodic return=2044.50634765625\n", + "global step=26210304, episodic return=760.632080078125\n", + "global step=26212352, episodic return=1354.781005859375\n", + "global step=26212352, episodic return=1983.022705078125\n", + "global step=26212352, episodic return=1990.9261474609375\n", + "global step=26212352, episodic return=2061.640869140625\n", + "global step=26212352, episodic return=2010.702392578125\n", + "global step=26212352, episodic return=2059.067138671875\n", + "global step=26212352, episodic return=2028.718994140625\n", + "global step=26214400, episodic return=2078.716796875\n", + "global step=26216448, episodic return=1984.4207763671875\n", + "global step=26218496, episodic return=2080.75927734375\n", + "global step=26218496, episodic return=1028.094970703125\n", + "global step=26218496, episodic return=1995.299072265625\n", + "global step=26218496, episodic return=2098.365234375\n", + "global step=26218496, episodic return=2053.646728515625\n", + "global step=26218496, episodic return=2113.966064453125\n", + "global step=26220544, episodic return=2043.11669921875\n", + "global step=26220544, episodic return=2024.7674560546875\n", + "global step=26220544, episodic return=2069.103759765625\n", + "global step=26220544, episodic return=658.9907836914062\n", + "global step=26222592, episodic return=1880.5662841796875\n", + "global step=26222592, episodic return=2112.0205078125\n", + "global step=26222592, episodic return=43.15983200073242\n", + "global step=26222592, episodic return=2017.5911865234375\n", + "global step=26222592, episodic return=2000.518310546875\n", + "global step=26222592, episodic return=408.282470703125\n", + "global step=26224640, episodic return=2027.05517578125\n", + "global step=26224640, episodic return=1626.0498046875\n", + "global step=26224640, episodic return=1969.10986328125\n", + "global step=26224640, episodic return=934.0280151367188\n", + "global step=26224640, episodic return=1898.839599609375\n", + "global step=26224640, episodic return=2077.7119140625\n", + "global step=26226688, episodic return=2091.454345703125\n", + "global step=26228736, episodic return=2112.56640625\n", + "global step=26228736, episodic return=1991.3392333984375\n", + "global step=26232832, episodic return=2057.0224609375\n", + "global step=26232832, episodic return=1975.944580078125\n", + "global step=26234880, episodic return=1994.26318359375\n", + "global step=26234880, episodic return=2051.33984375\n", + "global step=26234880, episodic return=2089.544189453125\n", + "global step=26234880, episodic return=2071.757568359375\n", + "global step=26234880, episodic return=250.65676879882812\n", + "global step=26234880, episodic return=2038.7398681640625\n", + "global step=26236928, episodic return=2026.689208984375\n", + "global step=26236928, episodic return=1837.9588623046875\n", + "global step=26236928, episodic return=381.2373046875\n", + "global step=26238976, episodic return=1979.0693359375\n", + "global step=26238976, episodic return=2072.272705078125\n", + "global step=26238976, episodic return=2030.753662109375\n", + "global step=26241024, episodic return=2054.3310546875\n", + "global step=26243072, episodic return=2036.5087890625\n", + "global step=26243072, episodic return=2041.58203125\n", + "global step=26243072, episodic return=2049.999267578125\n", + "global step=26243072, episodic return=1873.3082275390625\n", + "global step=26245120, episodic return=2001.682861328125\n", + "global step=26245120, episodic return=2107.806884765625\n", + "global step=26247168, episodic return=1359.6927490234375\n", + "global step=26247168, episodic return=2060.771484375\n", + "global step=26247168, episodic return=2043.3372802734375\n", + "global step=26247168, episodic return=1707.228515625\n", + "global step=26249216, episodic return=2041.477783203125\n", + "global step=26249216, episodic return=2050.7109375\n", + "global step=26251264, episodic return=2074.19677734375\n", + "global step=26251264, episodic return=1114.2581787109375\n", + "global step=26251264, episodic return=2066.104736328125\n", + "global step=26253312, episodic return=2006.954345703125\n", + "global step=26253312, episodic return=2038.5145263671875\n", + "global step=26253312, episodic return=1915.9298095703125\n", + "global step=26255360, episodic return=2085.839111328125\n", + "global step=26257408, episodic return=2010.83935546875\n", + "global step=26259456, episodic return=1560.04833984375\n", + "global step=26261504, episodic return=2035.185546875\n", + "global step=26265600, episodic return=1688.8150634765625\n", + "global step=26265600, episodic return=2022.36328125\n", + "global step=26265600, episodic return=2054.669921875\n", + "global step=26265600, episodic return=2060.305419921875\n", + "global step=26267648, episodic return=2020.4210205078125\n", + "global step=26267648, episodic return=2074.249755859375\n", + "global step=26267648, episodic return=2025.2698974609375\n", + "global step=26269696, episodic return=1975.794189453125\n", + "global step=26269696, episodic return=2048.2900390625\n", + "global step=26271744, episodic return=2050.46875\n", + "global step=26271744, episodic return=2115.18212890625\n", + "global step=26271744, episodic return=2005.0958251953125\n", + "global step=26271744, episodic return=1896.2166748046875\n", + "global step=26273792, episodic return=2037.4388427734375\n", + "global step=26273792, episodic return=2031.7662353515625\n", + "global step=26273792, episodic return=1996.9296875\n", + "global step=26273792, episodic return=2035.4227294921875\n", + "global step=26273792, episodic return=524.305419921875\n", + "global step=26277888, episodic return=1218.329345703125\n", + "global step=26279936, episodic return=2090.24365234375\n", + "global step=26279936, episodic return=2015.5074462890625\n", + "global step=26281984, episodic return=2013.923095703125\n", + "global step=26281984, episodic return=2061.181640625\n", + "global step=26281984, episodic return=2054.701416015625\n", + "global step=26281984, episodic return=2047.090087890625\n", + "global step=26281984, episodic return=2009.909912109375\n", + "global step=26284032, episodic return=1983.866455078125\n", + "global step=26284032, episodic return=2079.579833984375\n", + "global step=26284032, episodic return=2020.6990966796875\n", + "global step=26286080, episodic return=2021.1910400390625\n", + "global step=26286080, episodic return=2031.72021484375\n", + "global step=26288128, episodic return=1996.3184814453125\n", + "global step=26288128, episodic return=2040.9381103515625\n", + "global step=26290176, episodic return=2007.205078125\n", + "global step=26292224, episodic return=2062.408447265625\n", + "global step=26292224, episodic return=2023.6160888671875\n", + "global step=26292224, episodic return=1632.2996826171875\n", + "global step=26292224, episodic return=2046.441650390625\n", + "global step=26296320, episodic return=2077.298095703125\n", + "global step=26296320, episodic return=2092.51708984375\n", + "global step=26296320, episodic return=2072.33837890625\n", + "global step=26296320, episodic return=2048.740234375\n", + "global step=26298368, episodic return=2062.596435546875\n", + "global step=26300416, episodic return=2042.0224609375\n", + "global step=26302464, episodic return=2044.8929443359375\n", + "global step=26302464, episodic return=2010.6043701171875\n", + "global step=26302464, episodic return=1354.854736328125\n", + "global step=26302464, episodic return=2055.82275390625\n", + "global step=26302464, episodic return=2101.784912109375\n", + "global step=26304512, episodic return=2091.389404296875\n", + "global step=26304512, episodic return=2092.52197265625\n", + "global step=26304512, episodic return=2015.5799560546875\n", + "global step=26306560, episodic return=2008.4913330078125\n", + "global step=26306560, episodic return=2052.69970703125\n", + "global step=26306560, episodic return=2007.61181640625\n", + "global step=26308608, episodic return=2018.16748046875\n", + "global step=26308608, episodic return=2044.943115234375\n", + "global step=26308608, episodic return=2083.331787109375\n", + "global step=26308608, episodic return=1988.16552734375\n", + "global step=26308608, episodic return=2023.5699462890625\n", + "global step=26308608, episodic return=1582.7978515625\n", + "global step=26310656, episodic return=2072.767333984375\n", + "global step=26310656, episodic return=2034.744384765625\n", + "global step=26312704, episodic return=2032.1700439453125\n", + "global step=26312704, episodic return=2015.5926513671875\n", + "global step=26314752, episodic return=2038.6278076171875\n", + "global step=26314752, episodic return=1455.8271484375\n", + "global step=26314752, episodic return=1621.721435546875\n", + "global step=26314752, episodic return=2050.02001953125\n", + "global step=26314752, episodic return=2009.99365234375\n", + "global step=26316800, episodic return=2033.87744140625\n", + "global step=26316800, episodic return=2094.248291015625\n", + "global step=26318848, episodic return=2041.037353515625\n", + "global step=26318848, episodic return=2024.0159912109375\n", + "global step=26320896, episodic return=2050.01953125\n", + "global step=26322944, episodic return=2048.456787109375\n", + "global step=26322944, episodic return=1968.25244140625\n", + "global step=26322944, episodic return=156.52908325195312\n", + "global step=26322944, episodic return=2053.466796875\n", + "global step=26322944, episodic return=2058.615966796875\n", + "global step=26324992, episodic return=2018.5972900390625\n", + "global step=26324992, episodic return=2073.685546875\n", + "global step=26324992, episodic return=2047.1610107421875\n", + "global step=26327040, episodic return=1994.53564453125\n", + "global step=26327040, episodic return=2107.69384765625\n", + "global step=26331136, episodic return=2101.92041015625\n", + "global step=26331136, episodic return=2064.775634765625\n", + "global step=26333184, episodic return=2019.566650390625\n", + "global step=26335232, episodic return=2028.1075439453125\n", + "global step=26335232, episodic return=2069.784423828125\n", + "global step=26335232, episodic return=2054.6748046875\n", + "global step=26341376, episodic return=2091.01220703125\n", + "global step=26341376, episodic return=2017.6204833984375\n", + "global step=26341376, episodic return=2082.66357421875\n", + "global step=26343424, episodic return=1736.62744140625\n", + "global step=26345472, episodic return=2094.18115234375\n", + "global step=26345472, episodic return=2077.187744140625\n", + "global step=26345472, episodic return=2070.97900390625\n", + "global step=26345472, episodic return=1939.12841796875\n", + "global step=26345472, episodic return=2000.5244140625\n", + "global step=26347520, episodic return=2053.146240234375\n", + "global step=26349568, episodic return=2043.1810302734375\n", + "global step=26349568, episodic return=2029.7525634765625\n", + "global step=26351616, episodic return=2072.967529296875\n", + "global step=26351616, episodic return=1997.5765380859375\n", + "global step=26351616, episodic return=2097.521240234375\n", + "global step=26353664, episodic return=1998.4227294921875\n", + "global step=26353664, episodic return=2079.906982421875\n", + "global step=26355712, episodic return=2101.252197265625\n", + "global step=26355712, episodic return=2017.926513671875\n", + "global step=26357760, episodic return=2107.232666015625\n", + "global step=26359808, episodic return=1535.2537841796875\n", + "global step=26359808, episodic return=1617.3975830078125\n", + "global step=26363904, episodic return=1133.7686767578125\n", + "global step=26363904, episodic return=2050.637451171875\n", + "global step=26363904, episodic return=848.5579223632812\n", + "global step=26365952, episodic return=2036.575927734375\n", + "global step=26365952, episodic return=2079.96337890625\n", + "global step=26368000, episodic return=379.7185974121094\n", + "global step=26370048, episodic return=2024.764404296875\n", + "global step=26370048, episodic return=1983.593505859375\n", + "global step=26370048, episodic return=2070.598388671875\n", + "global step=26370048, episodic return=208.5600128173828\n", + "global step=26372096, episodic return=2110.9443359375\n", + "global step=26374144, episodic return=261.3277282714844\n", + "global step=26374144, episodic return=2068.901611328125\n", + "global step=26376192, episodic return=2087.974609375\n", + "global step=26380288, episodic return=1031.5177001953125\n", + "global step=26380288, episodic return=2028.98193359375\n", + "global step=26380288, episodic return=2051.6865234375\n", + "global step=26382336, episodic return=2023.49462890625\n", + "global step=26382336, episodic return=2026.383056640625\n", + "global step=26384384, episodic return=2028.7115478515625\n", + "global step=26384384, episodic return=1989.8482666015625\n", + "global step=26386432, episodic return=240.04010009765625\n", + "global step=26386432, episodic return=2010.32861328125\n", + "global step=26388480, episodic return=2036.0963134765625\n", + "global step=26390528, episodic return=2063.979736328125\n", + "global step=26390528, episodic return=589.5997314453125\n", + "global step=26390528, episodic return=2073.6123046875\n", + "global step=26390528, episodic return=2068.010009765625\n", + "global step=26392576, episodic return=1991.8541259765625\n", + "global step=26392576, episodic return=2061.25732421875\n", + "global step=26394624, episodic return=188.11068725585938\n", + "global step=26394624, episodic return=2072.35400390625\n", + "global step=26394624, episodic return=2006.711181640625\n", + "global step=26396672, episodic return=2016.7596435546875\n", + "global step=26396672, episodic return=2086.244873046875\n", + "global step=26396672, episodic return=1695.485595703125\n", + "global step=26396672, episodic return=2076.1083984375\n", + "global step=26398720, episodic return=2052.559326171875\n", + "global step=26398720, episodic return=2099.093994140625\n", + "global step=26398720, episodic return=2031.169921875\n", + "global step=26400768, episodic return=1936.9910888671875\n", + "global step=26400768, episodic return=1980.510498046875\n", + "global step=26400768, episodic return=2047.98974609375\n", + "global step=26402816, episodic return=958.061279296875\n", + "global step=26404864, episodic return=2039.0909423828125\n", + "global step=26404864, episodic return=634.1768798828125\n", + "global step=26406912, episodic return=1136.1915283203125\n", + "global step=26408960, episodic return=2109.03662109375\n", + "global step=26408960, episodic return=2117.014892578125\n", + "global step=26411008, episodic return=2061.2373046875\n", + "global step=26411008, episodic return=2055.654541015625\n", + "global step=26411008, episodic return=2014.9735107421875\n", + "global step=26413056, episodic return=2002.05810546875\n", + "global step=26415104, episodic return=2074.39013671875\n", + "global step=26415104, episodic return=2054.555908203125\n", + "global step=26415104, episodic return=732.32177734375\n", + "global step=26417152, episodic return=2103.341796875\n", + "global step=26419200, episodic return=2004.5823974609375\n", + "global step=26421248, episodic return=2037.7589111328125\n", + "global step=26421248, episodic return=1201.35009765625\n", + "global step=26421248, episodic return=2012.11669921875\n", + "global step=26423296, episodic return=759.0133666992188\n", + "global step=26423296, episodic return=1647.60498046875\n", + "global step=26425344, episodic return=2043.9993896484375\n", + "global step=26425344, episodic return=2050.894775390625\n", + "global step=26425344, episodic return=1495.7506103515625\n", + "global step=26425344, episodic return=2046.1282958984375\n", + "global step=26427392, episodic return=2091.00341796875\n", + "global step=26427392, episodic return=229.73275756835938\n", + "global step=26427392, episodic return=2044.3975830078125\n", + "global step=26429440, episodic return=2019.8363037109375\n", + "global step=26431488, episodic return=2041.541259765625\n", + "global step=26433536, episodic return=2071.262451171875\n", + "global step=26433536, episodic return=2044.5706787109375\n", + "global step=26435584, episodic return=2090.079833984375\n", + "global step=26435584, episodic return=2059.787353515625\n", + "global step=26435584, episodic return=2044.22998046875\n", + "global step=26435584, episodic return=748.0105590820312\n", + "global step=26437632, episodic return=2041.00830078125\n", + "global step=26437632, episodic return=2022.106689453125\n", + "global step=26437632, episodic return=2036.178955078125\n", + "global step=26439680, episodic return=2046.3433837890625\n", + "global step=26441728, episodic return=205.42161560058594\n", + "global step=26443776, episodic return=2022.6927490234375\n", + "global step=26443776, episodic return=2081.94873046875\n", + "global step=26443776, episodic return=2029.2166748046875\n", + "global step=26445824, episodic return=2027.3011474609375\n", + "global step=26447872, episodic return=1317.4456787109375\n", + "global step=26447872, episodic return=2047.0948486328125\n", + "global step=26447872, episodic return=2018.0640869140625\n", + "global step=26447872, episodic return=2003.19775390625\n", + "global step=26449920, episodic return=1985.1708984375\n", + "global step=26449920, episodic return=2037.0736083984375\n", + "global step=26449920, episodic return=2071.687744140625\n", + "global step=26451968, episodic return=2038.6236572265625\n", + "global step=26451968, episodic return=2074.678955078125\n", + "global step=26451968, episodic return=2015.6480712890625\n", + "global step=26451968, episodic return=1987.4942626953125\n", + "global step=26454016, episodic return=2017.498046875\n", + "global step=26454016, episodic return=2082.205810546875\n", + "global step=26454016, episodic return=2052.039794921875\n", + "global step=26456064, episodic return=2049.42919921875\n", + "global step=26458112, episodic return=2046.20263671875\n", + "global step=26460160, episodic return=2090.330810546875\n", + "global step=26460160, episodic return=2051.610107421875\n", + "global step=26460160, episodic return=2052.533447265625\n", + "global step=26462208, episodic return=2087.353515625\n", + "global step=26462208, episodic return=2044.0380859375\n", + "global step=26462208, episodic return=2004.4744873046875\n", + "global step=26462208, episodic return=2110.119873046875\n", + "global step=26464256, episodic return=1048.5269775390625\n", + "global step=26466304, episodic return=2070.39404296875\n", + "global step=26466304, episodic return=2015.252197265625\n", + "global step=26466304, episodic return=2037.6829833984375\n", + "global step=26468352, episodic return=2074.742919921875\n", + "global step=26468352, episodic return=2006.7001953125\n", + "global step=26468352, episodic return=206.0207977294922\n", + "global step=26470400, episodic return=2097.909912109375\n", + "global step=26472448, episodic return=2045.870849609375\n", + "global step=26474496, episodic return=209.0249786376953\n", + "global step=26474496, episodic return=2035.1951904296875\n", + "global step=26474496, episodic return=1987.7437744140625\n", + "global step=26478592, episodic return=1656.281005859375\n", + "global step=26478592, episodic return=2068.510498046875\n", + "global step=26478592, episodic return=2037.1737060546875\n", + "global step=26480640, episodic return=1814.5048828125\n", + "global step=26480640, episodic return=208.81141662597656\n", + "global step=26480640, episodic return=2034.922119140625\n", + "global step=26482688, episodic return=196.8934783935547\n", + "global step=26484736, episodic return=1903.0198974609375\n", + "global step=26484736, episodic return=2050.464599609375\n", + "global step=26486784, episodic return=1126.2156982421875\n", + "global step=26488832, episodic return=2085.787841796875\n", + "global step=26488832, episodic return=2012.739501953125\n", + "global step=26488832, episodic return=2039.30615234375\n", + "global step=26490880, episodic return=2017.74267578125\n", + "global step=26490880, episodic return=1996.1370849609375\n", + "global step=26490880, episodic return=2067.9853515625\n", + "global step=26492928, episodic return=2112.0947265625\n", + "global step=26492928, episodic return=2128.322021484375\n", + "global step=26492928, episodic return=42.93622589111328\n", + "global step=26497024, episodic return=2119.09765625\n", + "global step=26497024, episodic return=2053.88134765625\n", + "global step=26499072, episodic return=2031.0400390625\n", + "global step=26501120, episodic return=653.3922729492188\n", + "global step=26501120, episodic return=2083.5166015625\n", + "global step=26501120, episodic return=2051.639892578125\n", + "global step=26505216, episodic return=1962.97998046875\n", + "global step=26505216, episodic return=2044.1912841796875\n", + "global step=26507264, episodic return=2023.8062744140625\n", + "global step=26511360, episodic return=1269.397705078125\n", + "global step=26511360, episodic return=2071.34814453125\n", + "global step=26513408, episodic return=2065.261962890625\n", + "global step=26515456, episodic return=1991.47509765625\n", + "global step=26515456, episodic return=2009.5079345703125\n", + "global step=26515456, episodic return=1879.48193359375\n", + "global step=26515456, episodic return=1978.1082763671875\n", + "global step=26517504, episodic return=2081.44775390625\n", + "global step=26517504, episodic return=2021.1385498046875\n", + "global step=26517504, episodic return=2050.168701171875\n", + "global step=26517504, episodic return=2061.2265625\n", + "global step=26517504, episodic return=855.107421875\n", + "global step=26517504, episodic return=1979.1993408203125\n", + "global step=26519552, episodic return=2053.953857421875\n", + "global step=26519552, episodic return=2052.3564453125\n", + "global step=26519552, episodic return=2125.15869140625\n", + "global step=26519552, episodic return=2092.099853515625\n", + "global step=26519552, episodic return=2000.0404052734375\n", + "global step=26521600, episodic return=2133.116455078125\n", + "global step=26521600, episodic return=2063.780029296875\n", + "global step=26525696, episodic return=2022.86181640625\n", + "global step=26527744, episodic return=1833.1417236328125\n", + "global step=26527744, episodic return=1983.0518798828125\n", + "global step=26529792, episodic return=935.3387451171875\n", + "global step=26531840, episodic return=1941.33203125\n", + "global step=26533888, episodic return=977.2435913085938\n", + "global step=26533888, episodic return=1505.897216796875\n", + "global step=26537984, episodic return=1103.603515625\n", + "global step=26537984, episodic return=2108.47119140625\n", + "global step=26540032, episodic return=2009.66845703125\n", + "global step=26542080, episodic return=2035.15576171875\n", + "global step=26544128, episodic return=2021.4356689453125\n", + "global step=26546176, episodic return=2037.7967529296875\n", + "global step=26548224, episodic return=1458.288330078125\n", + "global step=26548224, episodic return=2068.262451171875\n", + "global step=26550272, episodic return=1997.7701416015625\n", + "global step=26552320, episodic return=1319.484375\n", + "global step=26552320, episodic return=1726.899658203125\n", + "global step=26554368, episodic return=1996.931396484375\n", + "global step=26554368, episodic return=2032.472412109375\n", + "global step=26556416, episodic return=2062.73974609375\n", + "global step=26558464, episodic return=2089.04931640625\n", + "global step=26558464, episodic return=804.8429565429688\n", + "global step=26558464, episodic return=885.2418823242188\n", + "global step=26558464, episodic return=2018.938232421875\n", + "global step=26560512, episodic return=2087.65576171875\n", + "global step=26560512, episodic return=2095.5537109375\n", + "global step=26562560, episodic return=2053.055908203125\n", + "global step=26562560, episodic return=189.01943969726562\n", + "global step=26564608, episodic return=2083.763671875\n", + "global step=26568704, episodic return=2103.650634765625\n", + "global step=26568704, episodic return=1723.86474609375\n", + "global step=26568704, episodic return=2015.784423828125\n", + "global step=26570752, episodic return=2036.5885009765625\n", + "global step=26570752, episodic return=1406.492919921875\n", + "global step=26572800, episodic return=2027.418701171875\n", + "global step=26572800, episodic return=2033.05126953125\n", + "global step=26572800, episodic return=2070.85546875\n", + "global step=26572800, episodic return=1901.3646240234375\n", + "global step=26574848, episodic return=1481.0528564453125\n", + "global step=26574848, episodic return=1453.7630615234375\n", + "global step=26574848, episodic return=2118.543212890625\n", + "global step=26574848, episodic return=852.7099609375\n", + "global step=26576896, episodic return=2037.561767578125\n", + "global step=26576896, episodic return=2120.117431640625\n", + "global step=26576896, episodic return=2050.987060546875\n", + "global step=26578944, episodic return=570.3015747070312\n", + "global step=26578944, episodic return=2048.4404296875\n", + "global step=26580992, episodic return=2019.11572265625\n", + "global step=26580992, episodic return=1982.195068359375\n", + "global step=26580992, episodic return=2094.468017578125\n", + "global step=26580992, episodic return=2005.3533935546875\n", + "global step=26583040, episodic return=1941.758056640625\n", + "global step=26585088, episodic return=209.20693969726562\n", + "global step=26585088, episodic return=1154.9058837890625\n", + "global step=26585088, episodic return=1793.936767578125\n", + "global step=26587136, episodic return=2039.225830078125\n", + "global step=26587136, episodic return=2068.794921875\n", + "global step=26587136, episodic return=2067.159912109375\n", + "global step=26589184, episodic return=2016.3748779296875\n", + "global step=26589184, episodic return=1975.375\n", + "global step=26591232, episodic return=928.3563232421875\n", + "global step=26593280, episodic return=1671.1199951171875\n", + "global step=26593280, episodic return=1281.74462890625\n", + "global step=26595328, episodic return=2087.087158203125\n", + "global step=26595328, episodic return=2030.6229248046875\n", + "global step=26595328, episodic return=2085.58837890625\n", + "global step=26597376, episodic return=2074.0771484375\n", + "global step=26597376, episodic return=798.7598876953125\n", + "global step=26599424, episodic return=1215.4912109375\n", + "global step=26599424, episodic return=2094.62744140625\n", + "global step=26601472, episodic return=1241.6822509765625\n", + "global step=26601472, episodic return=2114.079833984375\n", + "global step=26601472, episodic return=984.7406616210938\n", + "global step=26601472, episodic return=1673.6087646484375\n", + "global step=26603520, episodic return=1962.2633056640625\n", + "global step=26603520, episodic return=1967.37548828125\n", + "global step=26603520, episodic return=1245.0802001953125\n", + "global step=26605568, episodic return=2117.760986328125\n", + "global step=26605568, episodic return=2078.705810546875\n", + "global step=26605568, episodic return=1082.994140625\n", + "global step=26607616, episodic return=2068.381591796875\n", + "global step=26607616, episodic return=2028.5784912109375\n", + "global step=26607616, episodic return=2066.52490234375\n", + "global step=26609664, episodic return=611.3570556640625\n", + "global step=26609664, episodic return=1890.791748046875\n", + "global step=26611712, episodic return=888.658203125\n", + "global step=26611712, episodic return=2062.22314453125\n", + "global step=26613760, episodic return=216.32302856445312\n", + "global step=26613760, episodic return=2036.6768798828125\n", + "global step=26615808, episodic return=1453.916259765625\n", + "global step=26615808, episodic return=265.7517395019531\n", + "global step=26615808, episodic return=882.5020751953125\n", + "global step=26617856, episodic return=1049.4876708984375\n", + "global step=26617856, episodic return=2024.716796875\n", + "global step=26619904, episodic return=2012.6258544921875\n", + "global step=26619904, episodic return=2007.0274658203125\n", + "global step=26624000, episodic return=2091.93408203125\n", + "global step=26626048, episodic return=2082.896728515625\n", + "global step=26626048, episodic return=2024.4068603515625\n", + "global step=26628096, episodic return=911.0556030273438\n", + "global step=26628096, episodic return=2041.4627685546875\n", + "global step=26630144, episodic return=2040.25830078125\n", + "global step=26630144, episodic return=2093.901611328125\n", + "global step=26630144, episodic return=1582.832275390625\n", + "global step=26632192, episodic return=1049.452880859375\n", + "global step=26632192, episodic return=2066.994873046875\n", + "global step=26636288, episodic return=2091.03271484375\n", + "global step=26638336, episodic return=1970.119140625\n", + "global step=26638336, episodic return=2090.750244140625\n", + "global step=26640384, episodic return=2060.93212890625\n", + "global step=26646528, episodic return=2033.334716796875\n", + "global step=26648576, episodic return=2050.48193359375\n", + "global step=26648576, episodic return=1815.0908203125\n", + "global step=26650624, episodic return=1562.0594482421875\n", + "global step=26650624, episodic return=942.8408813476562\n", + "global step=26650624, episodic return=2116.047119140625\n", + "global step=26650624, episodic return=2000.05322265625\n", + "global step=26650624, episodic return=1177.5950927734375\n", + "global step=26650624, episodic return=1967.561767578125\n", + "global step=26652672, episodic return=2081.40283203125\n", + "global step=26652672, episodic return=2017.992431640625\n", + "global step=26654720, episodic return=2014.2738037109375\n", + "global step=26656768, episodic return=2118.23974609375\n", + "global step=26660864, episodic return=1962.49462890625\n", + "global step=26660864, episodic return=2022.270263671875\n", + "global step=26660864, episodic return=1393.381103515625\n", + "global step=26662912, episodic return=2044.300048828125\n", + "global step=26662912, episodic return=942.725830078125\n", + "global step=26664960, episodic return=2097.199462890625\n", + "global step=26664960, episodic return=1104.3377685546875\n", + "global step=26667008, episodic return=2065.048095703125\n", + "global step=26669056, episodic return=1245.890380859375\n", + "global step=26671104, episodic return=665.2132568359375\n", + "global step=26671104, episodic return=2052.492431640625\n", + "global step=26673152, episodic return=2080.419677734375\n", + "global step=26673152, episodic return=1013.8333740234375\n", + "global step=26675200, episodic return=1993.4976806640625\n", + "global step=26675200, episodic return=2103.142333984375\n", + "global step=26677248, episodic return=1741.860107421875\n", + "global step=26677248, episodic return=2068.09326171875\n", + "global step=26683392, episodic return=2049.91064453125\n", + "global step=26685440, episodic return=2087.142578125\n", + "global step=26687488, episodic return=2035.0167236328125\n", + "global step=26689536, episodic return=939.9631958007812\n", + "global step=26689536, episodic return=1052.857421875\n", + "global step=26691584, episodic return=1661.243896484375\n", + "global step=26691584, episodic return=789.5269165039062\n", + "global step=26691584, episodic return=237.90447998046875\n", + "global step=26691584, episodic return=1592.2686767578125\n", + "global step=26693632, episodic return=211.17054748535156\n", + "global step=26695680, episodic return=2046.910888671875\n", + "global step=26697728, episodic return=2070.77587890625\n", + "global step=26699776, episodic return=2047.8555908203125\n", + "global step=26699776, episodic return=1369.8795166015625\n", + "global step=26699776, episodic return=1995.63330078125\n", + "global step=26701824, episodic return=1159.60205078125\n", + "global step=26701824, episodic return=2007.4383544921875\n", + "global step=26701824, episodic return=2050.30517578125\n", + "global step=26701824, episodic return=909.9827270507812\n", + "global step=26705920, episodic return=2025.806396484375\n", + "global step=26705920, episodic return=2108.061279296875\n", + "global step=26707968, episodic return=2053.18798828125\n", + "global step=26707968, episodic return=1506.576904296875\n", + "global step=26710016, episodic return=1994.185546875\n", + "global step=26710016, episodic return=688.02978515625\n", + "global step=26712064, episodic return=133.22659301757812\n", + "global step=26712064, episodic return=2124.941162109375\n", + "global step=26714112, episodic return=2024.0333251953125\n", + "global step=26714112, episodic return=2065.535400390625\n", + "global step=26718208, episodic return=2077.5009765625\n", + "global step=26718208, episodic return=2032.7913818359375\n", + "global step=26720256, episodic return=1160.001220703125\n", + "global step=26720256, episodic return=987.3781127929688\n", + "global step=26722304, episodic return=2056.677734375\n", + "global step=26722304, episodic return=2061.8125\n", + "global step=26722304, episodic return=2047.262939453125\n", + "global step=26724352, episodic return=2075.299072265625\n", + "global step=26724352, episodic return=2054.6953125\n", + "global step=26728448, episodic return=1569.3111572265625\n", + "global step=26728448, episodic return=2068.8134765625\n", + "global step=26730496, episodic return=2028.20068359375\n", + "global step=26730496, episodic return=2105.97119140625\n", + "global step=26734592, episodic return=1944.902587890625\n", + "global step=26734592, episodic return=2039.7122802734375\n", + "global step=26738688, episodic return=2093.890380859375\n", + "global step=26740736, episodic return=2020.812255859375\n", + "global step=26742784, episodic return=2042.3388671875\n", + "global step=26746880, episodic return=2039.3419189453125\n", + "global step=26746880, episodic return=2081.9794921875\n", + "global step=26746880, episodic return=2106.505615234375\n", + "global step=26748928, episodic return=2038.945068359375\n", + "global step=26753024, episodic return=2052.36572265625\n", + "global step=26753024, episodic return=2099.983154296875\n", + "global step=26755072, episodic return=1176.0811767578125\n", + "global step=26757120, episodic return=2117.48779296875\n", + "global step=26757120, episodic return=2040.6717529296875\n", + "global step=26757120, episodic return=2057.8408203125\n", + "global step=26759168, episodic return=1988.417724609375\n", + "global step=26761216, episodic return=1152.553466796875\n", + "global step=26765312, episodic return=2067.8193359375\n", + "global step=26771456, episodic return=2072.185546875\n", + "global step=26773504, episodic return=2092.6982421875\n", + "global step=26777600, episodic return=2101.730712890625\n", + "global step=26777600, episodic return=2065.848388671875\n", + "global step=26779648, episodic return=2081.318603515625\n", + "global step=26779648, episodic return=2022.38427734375\n", + "global step=26783744, episodic return=2027.0443115234375\n", + "global step=26783744, episodic return=2125.349853515625\n", + "global step=26787840, episodic return=1137.090576171875\n", + "global step=26789888, episodic return=1988.4124755859375\n", + "global step=26793984, episodic return=2105.95947265625\n", + "global step=26796032, episodic return=1104.859130859375\n", + "global step=26796032, episodic return=1972.159423828125\n", + "global step=26798080, episodic return=2036.05224609375\n", + "global step=26800128, episodic return=2101.121337890625\n", + "global step=26802176, episodic return=2028.3160400390625\n", + "global step=26802176, episodic return=2066.848388671875\n", + "global step=26804224, episodic return=2081.222900390625\n", + "global step=26804224, episodic return=2117.52001953125\n", + "global step=26806272, episodic return=2090.080078125\n", + "global step=26808320, episodic return=2110.624267578125\n", + "global step=26812416, episodic return=731.8123779296875\n", + "global step=26812416, episodic return=2100.835205078125\n", + "global step=26818560, episodic return=2065.610107421875\n", + "global step=26824704, episodic return=2019.6180419921875\n", + "global step=26830848, episodic return=2072.870361328125\n", + "global step=26832896, episodic return=2093.196044921875\n", + "global step=26832896, episodic return=2127.787353515625\n", + "global step=26832896, episodic return=1130.0821533203125\n", + "global step=26839040, episodic return=2079.196044921875\n", + "global step=26839040, episodic return=2060.50048828125\n", + "global step=26839040, episodic return=2039.391845703125\n", + "global step=26841088, episodic return=2079.052734375\n", + "global step=26843136, episodic return=2028.4442138671875\n", + "global step=26845184, episodic return=1055.4234619140625\n", + "global step=26845184, episodic return=2043.1854248046875\n", + "global step=26847232, episodic return=2083.717529296875\n", + "global step=26847232, episodic return=2088.5400390625\n", + "global step=26847232, episodic return=2045.0447998046875\n", + "global step=26849280, episodic return=2076.099609375\n", + "global step=26851328, episodic return=2047.3731689453125\n", + "global step=26851328, episodic return=2087.131103515625\n", + "global step=26851328, episodic return=1991.0589599609375\n", + "global step=26855424, episodic return=2104.4423828125\n", + "global step=26855424, episodic return=2107.18798828125\n", + "global step=26857472, episodic return=2070.363525390625\n", + "global step=26857472, episodic return=1336.0472412109375\n", + "global step=26859520, episodic return=2115.197265625\n", + "global step=26861568, episodic return=956.73974609375\n", + "global step=26861568, episodic return=747.9664306640625\n", + "global step=26863616, episodic return=2109.07861328125\n", + "global step=26863616, episodic return=2163.595947265625\n", + "global step=26865664, episodic return=2048.921630859375\n", + "global step=26865664, episodic return=2080.322265625\n", + "global step=26873856, episodic return=2064.4794921875\n", + "global step=26873856, episodic return=2025.011962890625\n", + "global step=26877952, episodic return=1186.92236328125\n", + "global step=26877952, episodic return=2100.537109375\n", + "global step=26880000, episodic return=1994.3662109375\n", + "global step=26880000, episodic return=2094.079833984375\n", + "global step=26882048, episodic return=2045.9593505859375\n", + "global step=26884096, episodic return=1062.0150146484375\n", + "global step=26884096, episodic return=1141.324951171875\n", + "global step=26886144, episodic return=2090.525390625\n", + "global step=26888192, episodic return=2061.4189453125\n", + "global step=26890240, episodic return=2044.61865234375\n", + "global step=26894336, episodic return=1600.4190673828125\n", + "global step=26894336, episodic return=2128.77587890625\n", + "global step=26896384, episodic return=1276.0733642578125\n", + "global step=26898432, episodic return=2064.931884765625\n", + "global step=26898432, episodic return=2056.0498046875\n", + "global step=26900480, episodic return=2091.566650390625\n", + "global step=26900480, episodic return=2047.44287109375\n", + "global step=26902528, episodic return=2128.876220703125\n", + "global step=26902528, episodic return=2092.2978515625\n", + "global step=26904576, episodic return=2034.2564697265625\n", + "global step=26910720, episodic return=2015.648681640625\n", + "global step=26914816, episodic return=1994.8370361328125\n", + "global step=26914816, episodic return=2059.997314453125\n", + "global step=26914816, episodic return=2099.005615234375\n", + "global step=26923008, episodic return=2096.206298828125\n", + "global step=26925056, episodic return=1216.0845947265625\n", + "global step=26927104, episodic return=2063.7060546875\n", + "global step=26929152, episodic return=2092.42333984375\n", + "global step=26931200, episodic return=1860.329833984375\n", + "global step=26935296, episodic return=2015.996826171875\n", + "global step=26937344, episodic return=2125.24169921875\n", + "global step=26939392, episodic return=2057.94580078125\n", + "global step=26939392, episodic return=2126.5009765625\n", + "global step=26945536, episodic return=2111.261962890625\n", + "global step=26949632, episodic return=2061.536376953125\n", + "global step=26949632, episodic return=2082.324951171875\n", + "global step=26949632, episodic return=2119.15283203125\n", + "global step=26949632, episodic return=2005.955810546875\n", + "global step=26953728, episodic return=1808.3349609375\n", + "global step=26953728, episodic return=2115.8291015625\n", + "global step=26955776, episodic return=2086.766357421875\n", + "global step=26957824, episodic return=2066.77099609375\n", + "global step=26963968, episodic return=2109.551513671875\n", + "global step=26966016, episodic return=2073.631103515625\n", + "global step=26968064, episodic return=2047.9219970703125\n", + "global step=26970112, episodic return=2092.754638671875\n", + "global step=26970112, episodic return=2059.986328125\n", + "global step=26972160, episodic return=2056.57958984375\n", + "global step=26974208, episodic return=1618.0802001953125\n", + "global step=26974208, episodic return=2090.310546875\n", + "global step=26976256, episodic return=2046.9703369140625\n", + "global step=26978304, episodic return=1979.628173828125\n", + "global step=26978304, episodic return=2138.556396484375\n", + "global step=26984448, episodic return=2096.98876953125\n", + "global step=26984448, episodic return=2058.037109375\n", + "global step=26990592, episodic return=2046.78369140625\n", + "global step=26990592, episodic return=1476.042236328125\n", + "global step=26992640, episodic return=1851.205810546875\n", + "global step=26992640, episodic return=2090.705322265625\n", + "global step=26992640, episodic return=2109.765869140625\n", + "global step=26992640, episodic return=2044.5284423828125\n", + "global step=26994688, episodic return=2120.006591796875\n", + "global step=26996736, episodic return=2076.561279296875\n", + "global step=26998784, episodic return=2123.626953125\n", + "global step=26998784, episodic return=2063.478515625\n", + "global step=27000832, episodic return=2083.002685546875\n", + "global step=27004928, episodic return=2068.1416015625\n", + "global step=27004928, episodic return=2107.378662109375\n", + "global step=27006976, episodic return=2131.668212890625\n", + "global step=27006976, episodic return=2072.53369140625\n", + "global step=27006976, episodic return=2053.22119140625\n", + "global step=27006976, episodic return=2041.3438720703125\n", + "global step=27006976, episodic return=2082.7626953125\n", + "global step=27009024, episodic return=2084.058837890625\n", + "global step=27011072, episodic return=2104.879150390625\n", + "global step=27013120, episodic return=2080.56298828125\n", + "global step=27015168, episodic return=2047.136962890625\n", + "global step=27017216, episodic return=2098.150146484375\n", + "global step=27021312, episodic return=202.49197387695312\n", + "global step=27021312, episodic return=2033.709228515625\n", + "global step=27023360, episodic return=2060.219482421875\n", + "global step=27025408, episodic return=2047.451171875\n", + "global step=27027456, episodic return=2057.006591796875\n", + "global step=27027456, episodic return=2038.7078857421875\n", + "global step=27029504, episodic return=2065.021240234375\n", + "global step=27031552, episodic return=2027.2508544921875\n", + "global step=27033600, episodic return=2097.87548828125\n", + "global step=27033600, episodic return=2045.4501953125\n", + "global step=27039744, episodic return=2057.3857421875\n", + "global step=27039744, episodic return=2115.705322265625\n", + "global step=27041792, episodic return=2066.835693359375\n", + "global step=27041792, episodic return=2071.428955078125\n", + "global step=27043840, episodic return=2041.0596923828125\n", + "global step=27045888, episodic return=2110.940185546875\n", + "global step=27049984, episodic return=2106.128173828125\n", + "global step=27049984, episodic return=2005.061767578125\n", + "global step=27054080, episodic return=2108.647705078125\n", + "global step=27056128, episodic return=2093.031494140625\n", + "global step=27056128, episodic return=2081.166015625\n", + "global step=27060224, episodic return=2083.554931640625\n", + "global step=27062272, episodic return=2068.10009765625\n", + "global step=27064320, episodic return=2072.911376953125\n", + "global step=27066368, episodic return=2149.9169921875\n", + "global step=27068416, episodic return=2090.134765625\n", + "global step=27068416, episodic return=2086.869873046875\n", + "global step=27068416, episodic return=2036.9163818359375\n", + "global step=27068416, episodic return=2070.703857421875\n", + "global step=27070464, episodic return=2119.703125\n", + "global step=27070464, episodic return=2094.58154296875\n", + "global step=27072512, episodic return=2046.5374755859375\n", + "global step=27072512, episodic return=2080.35595703125\n", + "global step=27074560, episodic return=2059.368896484375\n", + "global step=27074560, episodic return=2098.239013671875\n", + "global step=27076608, episodic return=2066.836669921875\n", + "global step=27076608, episodic return=2073.924072265625\n", + "global step=27078656, episodic return=2071.541259765625\n", + "global step=27078656, episodic return=2051.88232421875\n", + "global step=27082752, episodic return=2091.630615234375\n", + "global step=27084800, episodic return=2046.7030029296875\n", + "global step=27086848, episodic return=1042.7615966796875\n", + "global step=27086848, episodic return=1330.88427734375\n", + "global step=27086848, episodic return=2061.483642578125\n", + "global step=27086848, episodic return=2061.98828125\n", + "global step=27088896, episodic return=2037.7366943359375\n", + "global step=27090944, episodic return=2082.382568359375\n", + "global step=27090944, episodic return=2024.9730224609375\n", + "global step=27090944, episodic return=2032.8126220703125\n", + "global step=27090944, episodic return=2030.658447265625\n", + "global step=27092992, episodic return=2099.673583984375\n", + "global step=27092992, episodic return=1027.19189453125\n", + "global step=27095040, episodic return=2068.311279296875\n", + "global step=27095040, episodic return=2133.0478515625\n", + "global step=27097088, episodic return=2056.653076171875\n", + "global step=27101184, episodic return=2093.004638671875\n", + "global step=27101184, episodic return=2113.895751953125\n", + "global step=27107328, episodic return=2076.81591796875\n", + "global step=27107328, episodic return=1229.8135986328125\n", + "global step=27109376, episodic return=2063.965087890625\n", + "global step=27109376, episodic return=2048.516357421875\n", + "global step=27113472, episodic return=2058.679931640625\n", + "global step=27115520, episodic return=2062.37890625\n", + "global step=27115520, episodic return=2062.834716796875\n", + "global step=27117568, episodic return=2003.652099609375\n", + "global step=27117568, episodic return=2121.0751953125\n", + "global step=27119616, episodic return=2060.245849609375\n", + "global step=27119616, episodic return=2069.556396484375\n", + "global step=27119616, episodic return=2098.411376953125\n", + "global step=27119616, episodic return=26.841854095458984\n", + "global step=27119616, episodic return=2116.8662109375\n", + "global step=27121664, episodic return=2118.734130859375\n", + "global step=27121664, episodic return=2066.0244140625\n", + "global step=27125760, episodic return=2054.14306640625\n", + "global step=27127808, episodic return=1062.876708984375\n", + "global step=27131904, episodic return=2086.06201171875\n", + "global step=27131904, episodic return=1445.306884765625\n", + "global step=27131904, episodic return=2175.80859375\n", + "global step=27131904, episodic return=2065.5869140625\n", + "global step=27133952, episodic return=2038.9869384765625\n", + "global step=27133952, episodic return=990.379150390625\n", + "global step=27136000, episodic return=1203.506103515625\n", + "global step=27136000, episodic return=2087.530517578125\n", + "global step=27138048, episodic return=2046.8807373046875\n", + "global step=27140096, episodic return=2040.9822998046875\n", + "global step=27140096, episodic return=2070.619873046875\n", + "global step=27140096, episodic return=2076.378173828125\n", + "global step=27140096, episodic return=2110.242431640625\n", + "global step=27142144, episodic return=1101.8643798828125\n", + "global step=27146240, episodic return=2078.30419921875\n", + "global step=27148288, episodic return=2061.818603515625\n", + "global step=27154432, episodic return=2111.907470703125\n", + "global step=27154432, episodic return=1221.5758056640625\n", + "global step=27156480, episodic return=2117.515380859375\n", + "global step=27158528, episodic return=2034.9608154296875\n", + "global step=27162624, episodic return=2098.115234375\n", + "global step=27162624, episodic return=2105.732666015625\n", + "global step=27162624, episodic return=1359.9736328125\n", + "global step=27174912, episodic return=2038.4146728515625\n", + "global step=27174912, episodic return=2074.5517578125\n", + "global step=27176960, episodic return=2044.334228515625\n", + "global step=27176960, episodic return=960.3388061523438\n", + "global step=27176960, episodic return=1206.7132568359375\n", + "global step=27183104, episodic return=2047.258056640625\n", + "global step=27183104, episodic return=2031.323974609375\n", + "global step=27185152, episodic return=869.2926025390625\n", + "global step=27191296, episodic return=2085.919921875\n", + "global step=27191296, episodic return=2112.424072265625\n", + "global step=27191296, episodic return=2123.45458984375\n", + "global step=27193344, episodic return=2047.566162109375\n", + "global step=27193344, episodic return=165.4408721923828\n", + "global step=27193344, episodic return=2059.010009765625\n", + "global step=27197440, episodic return=2057.120361328125\n", + "global step=27199488, episodic return=1182.0250244140625\n", + "global step=27199488, episodic return=2081.133544921875\n", + "global step=27201536, episodic return=2073.68701171875\n", + "global step=27201536, episodic return=1291.3082275390625\n", + "global step=27203584, episodic return=2036.8558349609375\n", + "global step=27205632, episodic return=2082.836181640625\n", + "global step=27207680, episodic return=1544.04931640625\n", + "global step=27207680, episodic return=2072.823486328125\n", + "global step=27207680, episodic return=1862.6539306640625\n", + "global step=27209728, episodic return=2044.774658203125\n", + "global step=27219968, episodic return=2079.460205078125\n", + "global step=27224064, episodic return=2077.833740234375\n", + "global step=27224064, episodic return=2066.65771484375\n", + "global step=27226112, episodic return=219.57742309570312\n", + "global step=27228160, episodic return=2030.2762451171875\n", + "global step=27228160, episodic return=2079.810546875\n", + "global step=27228160, episodic return=2059.8408203125\n", + "global step=27236352, episodic return=1494.305419921875\n", + "global step=27236352, episodic return=2014.7496337890625\n", + "global step=27248640, episodic return=2102.991943359375\n", + "global step=27248640, episodic return=2088.0400390625\n", + "global step=27248640, episodic return=2077.040283203125\n", + "global step=27250688, episodic return=2146.698974609375\n", + "global step=27250688, episodic return=2066.41845703125\n", + "global step=27252736, episodic return=2092.934326171875\n", + "global step=27252736, episodic return=2060.5263671875\n", + "global step=27254784, episodic return=2040.7921142578125\n", + "global step=27256832, episodic return=2152.047119140625\n", + "global step=27256832, episodic return=1671.647216796875\n", + "global step=27256832, episodic return=2073.331298828125\n", + "global step=27258880, episodic return=2130.763916015625\n", + "global step=27260928, episodic return=2090.37744140625\n", + "global step=27267072, episodic return=2102.960693359375\n", + "global step=27273216, episodic return=2095.770751953125\n", + "global step=27273216, episodic return=2090.279052734375\n", + "global step=27273216, episodic return=2069.9853515625\n", + "global step=27273216, episodic return=2066.257568359375\n", + "global step=27275264, episodic return=2047.40478515625\n", + "global step=27277312, episodic return=2040.9610595703125\n", + "global step=27277312, episodic return=2044.65380859375\n", + "global step=27279360, episodic return=882.2249755859375\n", + "global step=27281408, episodic return=2065.135009765625\n", + "global step=27281408, episodic return=2034.1025390625\n", + "global step=27283456, episodic return=2078.158935546875\n", + "global step=27287552, episodic return=2091.62744140625\n", + "global step=27293696, episodic return=2137.03857421875\n", + "global step=27295744, episodic return=2094.644287109375\n", + "global step=27297792, episodic return=2047.67529296875\n", + "global step=27297792, episodic return=625.3958129882812\n", + "global step=27301888, episodic return=2052.20654296875\n", + "global step=27303936, episodic return=2089.670654296875\n", + "global step=27308032, episodic return=2119.965087890625\n", + "global step=27308032, episodic return=2078.83056640625\n", + "global step=27310080, episodic return=2090.01513671875\n", + "global step=27316224, episodic return=2102.60986328125\n", + "global step=27316224, episodic return=2066.625732421875\n", + "global step=27318272, episodic return=2071.53369140625\n", + "global step=27318272, episodic return=590.408447265625\n", + "global step=27320320, episodic return=2073.80859375\n", + "global step=27320320, episodic return=2107.786376953125\n", + "global step=27320320, episodic return=2075.687744140625\n", + "global step=27322368, episodic return=2091.090087890625\n", + "global step=27322368, episodic return=219.0740203857422\n", + "global step=27324416, episodic return=2052.51513671875\n", + "global step=27324416, episodic return=2065.175537109375\n", + "global step=27324416, episodic return=1791.34033203125\n", + "global step=27326464, episodic return=539.59912109375\n", + "global step=27326464, episodic return=1174.564453125\n", + "global step=27326464, episodic return=560.6449584960938\n", + "global step=27332608, episodic return=2075.86572265625\n", + "global step=27332608, episodic return=2052.882080078125\n", + "global step=27334656, episodic return=2079.56103515625\n", + "global step=27338752, episodic return=2066.8388671875\n", + "global step=27342848, episodic return=2151.639892578125\n", + "global step=27346944, episodic return=2069.984375\n", + "global step=27348992, episodic return=2092.591552734375\n", + "global step=27348992, episodic return=2066.917236328125\n", + "global step=27353088, episodic return=192.84097290039062\n", + "global step=27355136, episodic return=2112.018310546875\n", + "global step=27357184, episodic return=2110.46826171875\n", + "global step=27359232, episodic return=2049.667724609375\n", + "global step=27359232, episodic return=2100.01904296875\n", + "global step=27361280, episodic return=2101.6513671875\n", + "global step=27363328, episodic return=2102.71826171875\n", + "global step=27365376, episodic return=2103.690185546875\n", + "global step=27365376, episodic return=2080.76318359375\n", + "global step=27367424, episodic return=380.8324890136719\n", + "global step=27369472, episodic return=864.2655639648438\n", + "global step=27369472, episodic return=2068.193115234375\n", + "global step=27369472, episodic return=2078.66162109375\n", + "global step=27375616, episodic return=2087.54296875\n", + "global step=27375616, episodic return=2096.618408203125\n", + "global step=27375616, episodic return=2106.05419921875\n", + "global step=27375616, episodic return=2097.51953125\n", + "global step=27375616, episodic return=2117.3876953125\n", + "global step=27381760, episodic return=2113.96337890625\n", + "global step=27381760, episodic return=2113.154541015625\n", + "global step=27381760, episodic return=2055.58740234375\n", + "global step=27381760, episodic return=2083.858154296875\n", + "global step=27381760, episodic return=1057.8897705078125\n", + "global step=27383808, episodic return=2137.68017578125\n", + "global step=27385856, episodic return=2072.32568359375\n", + "global step=27385856, episodic return=2031.2330322265625\n", + "global step=27389952, episodic return=2095.21826171875\n", + "global step=27392000, episodic return=2040.12060546875\n", + "global step=27392000, episodic return=2062.962890625\n", + "global step=27392000, episodic return=2107.74072265625\n", + "global step=27394048, episodic return=2035.2608642578125\n", + "global step=27396096, episodic return=1275.0177001953125\n", + "global step=27396096, episodic return=2086.75048828125\n", + "global step=27398144, episodic return=2104.93505859375\n", + "global step=27400192, episodic return=2091.93212890625\n", + "global step=27402240, episodic return=2095.77197265625\n", + "global step=27402240, episodic return=1571.3026123046875\n", + "global step=27402240, episodic return=2075.393798828125\n", + "global step=27404288, episodic return=2065.5234375\n", + "global step=27404288, episodic return=2066.6787109375\n", + "global step=27404288, episodic return=2095.589111328125\n", + "global step=27408384, episodic return=1747.2750244140625\n", + "global step=27408384, episodic return=1190.248291015625\n", + "global step=27414528, episodic return=2141.260498046875\n", + "global step=27414528, episodic return=1555.45068359375\n", + "global step=27420672, episodic return=2070.812255859375\n", + "global step=27422720, episodic return=2091.60595703125\n", + "global step=27424768, episodic return=2068.7744140625\n", + "global step=27424768, episodic return=2105.1982421875\n", + "global step=27428864, episodic return=2106.985107421875\n", + "global step=27428864, episodic return=1224.0894775390625\n", + "global step=27430912, episodic return=2070.394775390625\n", + "global step=27430912, episodic return=2090.079833984375\n", + "global step=27435008, episodic return=2096.2470703125\n", + "global step=27435008, episodic return=2116.048583984375\n", + "global step=27435008, episodic return=2113.344482421875\n", + "global step=27437056, episodic return=2065.8857421875\n", + "global step=27439104, episodic return=2115.806640625\n", + "global step=27439104, episodic return=2095.6484375\n", + "global step=27441152, episodic return=2067.77001953125\n", + "global step=27443200, episodic return=2062.547119140625\n", + "global step=27445248, episodic return=2125.9833984375\n", + "global step=27445248, episodic return=2101.04345703125\n", + "global step=27447296, episodic return=2072.013427734375\n", + "global step=27455488, episodic return=2089.77734375\n", + "global step=27457536, episodic return=2096.628662109375\n", + "global step=27457536, episodic return=2101.853271484375\n", + "global step=27459584, episodic return=2051.39794921875\n", + "global step=27459584, episodic return=2091.953369140625\n", + "global step=27461632, episodic return=2093.860595703125\n", + "global step=27463680, episodic return=2106.03564453125\n", + "global step=27463680, episodic return=2111.929443359375\n", + "global step=27463680, episodic return=2101.814697265625\n", + "global step=27463680, episodic return=2088.468994140625\n", + "global step=27465728, episodic return=2109.07861328125\n", + "global step=27467776, episodic return=2123.88134765625\n", + "global step=27467776, episodic return=2089.129150390625\n", + "global step=27469824, episodic return=2054.906494140625\n", + "global step=27469824, episodic return=2073.82958984375\n", + "global step=27473920, episodic return=2101.52294921875\n", + "global step=27475968, episodic return=2053.52392578125\n", + "global step=27475968, episodic return=2105.353271484375\n", + "global step=27478016, episodic return=2096.184814453125\n", + "global step=27480064, episodic return=2101.136474609375\n", + "global step=27480064, episodic return=1034.4193115234375\n", + "global step=27480064, episodic return=2124.46240234375\n", + "global step=27482112, episodic return=2123.474609375\n", + "global step=27484160, episodic return=2080.532958984375\n", + "global step=27486208, episodic return=2086.96240234375\n", + "global step=27488256, episodic return=2128.049072265625\n", + "global step=27492352, episodic return=2100.4482421875\n", + "global step=27492352, episodic return=2107.222412109375\n", + "global step=27492352, episodic return=2101.899169921875\n", + "global step=27492352, episodic return=2084.158447265625\n", + "global step=27492352, episodic return=2078.343017578125\n", + "global step=27492352, episodic return=2097.904052734375\n", + "global step=27492352, episodic return=2056.748291015625\n", + "global step=27492352, episodic return=2058.670654296875\n", + "global step=27492352, episodic return=2109.0185546875\n", + "global step=27494400, episodic return=2101.508544921875\n", + "global step=27496448, episodic return=2060.959716796875\n", + "global step=27496448, episodic return=2139.512939453125\n", + "global step=27498496, episodic return=2105.617919921875\n", + "global step=27498496, episodic return=2067.487548828125\n", + "global step=27498496, episodic return=2103.0302734375\n", + "global step=27500544, episodic return=2070.2763671875\n", + "global step=27502592, episodic return=2078.616455078125\n", + "global step=27502592, episodic return=2097.931884765625\n", + "global step=27504640, episodic return=2119.97021484375\n", + "global step=27504640, episodic return=2043.30859375\n", + "global step=27506688, episodic return=2095.39208984375\n", + "global step=27506688, episodic return=621.852294921875\n", + "global step=27508736, episodic return=2115.8505859375\n", + "global step=27510784, episodic return=2063.13916015625\n", + "global step=27512832, episodic return=2067.947265625\n", + "global step=27512832, episodic return=2090.2265625\n", + "global step=27514880, episodic return=2050.8115234375\n", + "global step=27514880, episodic return=2129.267822265625\n", + "global step=27516928, episodic return=2072.27392578125\n", + "global step=27516928, episodic return=2085.929443359375\n", + "global step=27516928, episodic return=1362.5357666015625\n", + "global step=27518976, episodic return=2069.91357421875\n", + "global step=27518976, episodic return=2132.138916015625\n", + "global step=27518976, episodic return=2066.00048828125\n", + "global step=27523072, episodic return=2047.5703125\n", + "global step=27523072, episodic return=2070.74853515625\n", + "global step=27525120, episodic return=2086.5166015625\n", + "global step=27527168, episodic return=2087.69970703125\n", + "global step=27527168, episodic return=2075.165283203125\n", + "global step=27529216, episodic return=2085.4814453125\n", + "global step=27529216, episodic return=876.4598388671875\n", + "global step=27529216, episodic return=2081.547607421875\n", + "global step=27529216, episodic return=1330.3978271484375\n", + "global step=27531264, episodic return=2054.71240234375\n", + "global step=27533312, episodic return=2111.4228515625\n", + "global step=27535360, episodic return=2132.2490234375\n", + "global step=27535360, episodic return=2040.7611083984375\n", + "global step=27535360, episodic return=2085.197265625\n", + "global step=27535360, episodic return=2114.435302734375\n", + "global step=27535360, episodic return=2111.0322265625\n", + "global step=27535360, episodic return=674.6542358398438\n", + "global step=27535360, episodic return=2109.829345703125\n", + "global step=27535360, episodic return=2046.972900390625\n", + "global step=27539456, episodic return=2045.3704833984375\n", + "global step=27541504, episodic return=2085.541748046875\n", + "global step=27541504, episodic return=2095.98828125\n", + "global step=27541504, episodic return=488.8600158691406\n", + "global step=27543552, episodic return=2115.314453125\n", + "global step=27543552, episodic return=2071.643798828125\n", + "global step=27545600, episodic return=2102.998291015625\n", + "global step=27545600, episodic return=2075.763916015625\n", + "global step=27547648, episodic return=2051.71044921875\n", + "global step=27551744, episodic return=2063.043212890625\n", + "global step=27551744, episodic return=1881.256103515625\n", + "global step=27553792, episodic return=2084.323974609375\n", + "global step=27553792, episodic return=2098.170166015625\n", + "global step=27555840, episodic return=2077.57861328125\n", + "global step=27555840, episodic return=2087.408447265625\n", + "global step=27557888, episodic return=2075.475341796875\n", + "global step=27557888, episodic return=2064.91015625\n", + "global step=27557888, episodic return=2073.24462890625\n", + "global step=27559936, episodic return=2048.103271484375\n", + "global step=27559936, episodic return=2121.06591796875\n", + "global step=27561984, episodic return=2072.91650390625\n", + "global step=27564032, episodic return=2100.0234375\n", + "global step=27564032, episodic return=2058.5029296875\n", + "global step=27566080, episodic return=2096.88427734375\n", + "global step=27566080, episodic return=2105.43701171875\n", + "global step=27566080, episodic return=2043.396240234375\n", + "global step=27566080, episodic return=347.3364562988281\n", + "global step=27566080, episodic return=2049.267333984375\n", + "global step=27566080, episodic return=366.8011779785156\n", + "global step=27568128, episodic return=2035.862548828125\n", + "global step=27568128, episodic return=2036.39892578125\n", + "global step=27568128, episodic return=292.02337646484375\n", + "global step=27568128, episodic return=251.27984619140625\n", + "global step=27568128, episodic return=2021.84228515625\n", + "global step=27572224, episodic return=2033.490234375\n", + "global step=27574272, episodic return=2045.419921875\n", + "global step=27576320, episodic return=2083.004150390625\n", + "global step=27576320, episodic return=2047.4554443359375\n", + "global step=27576320, episodic return=2088.021484375\n", + "global step=27576320, episodic return=2102.695068359375\n", + "global step=27576320, episodic return=246.1387481689453\n", + "global step=27578368, episodic return=2025.93798828125\n", + "global step=27580416, episodic return=2083.8681640625\n", + "global step=27580416, episodic return=2055.946044921875\n", + "global step=27580416, episodic return=252.7311553955078\n", + "global step=27580416, episodic return=2067.381591796875\n", + "global step=27580416, episodic return=2093.36181640625\n", + "global step=27580416, episodic return=2113.961181640625\n", + "global step=27580416, episodic return=2091.984375\n", + "global step=27582464, episodic return=2091.65576171875\n", + "global step=27582464, episodic return=2095.77392578125\n", + "global step=27582464, episodic return=2044.8753662109375\n", + "global step=27584512, episodic return=2057.168212890625\n", + "global step=27584512, episodic return=564.836669921875\n", + "global step=27586560, episodic return=2054.704833984375\n", + "global step=27586560, episodic return=2042.1097412109375\n", + "global step=27586560, episodic return=2124.8251953125\n", + "global step=27588608, episodic return=2088.321044921875\n", + "global step=27588608, episodic return=2141.66796875\n", + "global step=27590656, episodic return=2064.591064453125\n", + "global step=27590656, episodic return=2048.352294921875\n", + "global step=27590656, episodic return=2075.130859375\n", + "global step=27592704, episodic return=2000.0523681640625\n", + "global step=27594752, episodic return=2046.502685546875\n", + "global step=27594752, episodic return=2070.49609375\n", + "global step=27594752, episodic return=2044.6044921875\n", + "global step=27594752, episodic return=2122.01708984375\n", + "global step=27594752, episodic return=2080.744140625\n", + "global step=27596800, episodic return=2066.53564453125\n", + "global step=27596800, episodic return=2069.754150390625\n", + "global step=27598848, episodic return=2066.537109375\n", + "global step=27598848, episodic return=2079.03955078125\n", + "global step=27598848, episodic return=2067.02392578125\n", + "global step=27598848, episodic return=2072.00537109375\n", + "global step=27600896, episodic return=2054.591064453125\n", + "global step=27600896, episodic return=2081.33349609375\n", + "global step=27600896, episodic return=2101.3447265625\n", + "global step=27600896, episodic return=2070.621337890625\n", + "global step=27600896, episodic return=2080.42626953125\n", + "global step=27604992, episodic return=2052.802001953125\n", + "global step=27604992, episodic return=2077.2978515625\n", + "global step=27607040, episodic return=2077.359130859375\n", + "global step=27607040, episodic return=2093.553466796875\n", + "global step=27607040, episodic return=2067.66064453125\n", + "global step=27609088, episodic return=2105.949951171875\n", + "global step=27609088, episodic return=2071.626220703125\n", + "global step=27611136, episodic return=2094.75732421875\n", + "global step=27611136, episodic return=2063.084228515625\n", + "global step=27611136, episodic return=2098.72412109375\n", + "global step=27611136, episodic return=2097.52197265625\n", + "global step=27613184, episodic return=2077.663818359375\n", + "global step=27613184, episodic return=2097.9970703125\n", + "global step=27613184, episodic return=2075.8369140625\n", + "global step=27613184, episodic return=2016.087646484375\n", + "global step=27613184, episodic return=874.68896484375\n", + "global step=27615232, episodic return=2049.048095703125\n", + "global step=27615232, episodic return=2042.2882080078125\n", + "global step=27615232, episodic return=2100.274658203125\n", + "global step=27615232, episodic return=2110.468994140625\n", + "global step=27615232, episodic return=2050.41748046875\n", + "global step=27615232, episodic return=2088.774169921875\n", + "global step=27615232, episodic return=2037.70703125\n", + "global step=27617280, episodic return=2002.7601318359375\n", + "global step=27617280, episodic return=2120.005859375\n", + "global step=27617280, episodic return=2014.8912353515625\n", + "global step=27617280, episodic return=2066.97998046875\n", + "global step=27619328, episodic return=698.0213623046875\n", + "global step=27619328, episodic return=2031.963623046875\n", + "global step=27621376, episodic return=2098.3642578125\n", + "global step=27621376, episodic return=2100.064208984375\n", + "global step=27621376, episodic return=2088.4345703125\n", + "global step=27621376, episodic return=2072.02099609375\n", + "global step=27623424, episodic return=2108.004150390625\n", + "global step=27625472, episodic return=2068.69287109375\n", + "global step=27625472, episodic return=2036.0882568359375\n", + "global step=27625472, episodic return=2093.782470703125\n", + "global step=27625472, episodic return=2086.782470703125\n", + "global step=27627520, episodic return=2090.806640625\n", + "global step=27627520, episodic return=2090.5341796875\n", + "global step=27627520, episodic return=2042.9200439453125\n", + "global step=27627520, episodic return=2114.87890625\n", + "global step=27627520, episodic return=2078.198486328125\n", + "global step=27627520, episodic return=2089.61572265625\n", + "global step=27629568, episodic return=2073.58056640625\n", + "global step=27631616, episodic return=2046.999267578125\n", + "global step=27633664, episodic return=2084.670166015625\n", + "global step=27633664, episodic return=2081.47705078125\n", + "global step=27633664, episodic return=2016.814453125\n", + "global step=27635712, episodic return=2056.38037109375\n", + "global step=27635712, episodic return=1226.617919921875\n", + "global step=27637760, episodic return=2043.8743896484375\n", + "global step=27637760, episodic return=2094.376220703125\n", + "global step=27637760, episodic return=2068.0302734375\n", + "global step=27639808, episodic return=2094.565185546875\n", + "global step=27639808, episodic return=2106.32958984375\n", + "global step=27639808, episodic return=2057.89208984375\n", + "global step=27641856, episodic return=2121.363037109375\n", + "global step=27641856, episodic return=2030.1812744140625\n", + "global step=27643904, episodic return=2103.5078125\n", + "global step=27643904, episodic return=2122.514404296875\n", + "global step=27645952, episodic return=2056.653564453125\n", + "global step=27645952, episodic return=2047.8428955078125\n", + "global step=27645952, episodic return=2142.244384765625\n", + "global step=27645952, episodic return=2055.159423828125\n", + "global step=27645952, episodic return=2034.990478515625\n", + "global step=27648000, episodic return=2071.19091796875\n", + "global step=27648000, episodic return=2075.89111328125\n", + "global step=27648000, episodic return=2091.81298828125\n", + "global step=27648000, episodic return=2080.444580078125\n", + "global step=27648000, episodic return=2087.402099609375\n", + "global step=27648000, episodic return=2051.259033203125\n", + "global step=27648000, episodic return=2069.04345703125\n", + "global step=27650048, episodic return=2075.795654296875\n", + "global step=27650048, episodic return=2104.358154296875\n", + "global step=27650048, episodic return=2033.12451171875\n", + "global step=27650048, episodic return=2071.093994140625\n", + "global step=27650048, episodic return=2021.531982421875\n", + "global step=27654144, episodic return=2062.311767578125\n", + "global step=27656192, episodic return=2101.227783203125\n", + "global step=27658240, episodic return=2071.081787109375\n", + "global step=27658240, episodic return=2028.0670166015625\n", + "global step=27658240, episodic return=1857.118408203125\n", + "global step=27660288, episodic return=2051.005859375\n", + "global step=27662336, episodic return=2131.551513671875\n", + "global step=27664384, episodic return=2071.488037109375\n", + "global step=27664384, episodic return=2083.89111328125\n", + "global step=27664384, episodic return=2106.1376953125\n", + "global step=27664384, episodic return=2100.750244140625\n", + "global step=27666432, episodic return=2097.113037109375\n", + "global step=27666432, episodic return=55.115421295166016\n", + "global step=27666432, episodic return=2084.973388671875\n", + "global step=27666432, episodic return=2116.008544921875\n", + "global step=27668480, episodic return=2074.32177734375\n", + "global step=27668480, episodic return=1968.7384033203125\n", + "global step=27670528, episodic return=2096.60498046875\n", + "global step=27672576, episodic return=2018.492431640625\n", + "global step=27672576, episodic return=2094.5654296875\n", + "global step=27672576, episodic return=2043.5736083984375\n", + "global step=27674624, episodic return=2095.275634765625\n", + "global step=27676672, episodic return=2102.551025390625\n", + "global step=27676672, episodic return=59.76826858520508\n", + "global step=27676672, episodic return=1654.67724609375\n", + "global step=27678720, episodic return=2106.1201171875\n", + "global step=27680768, episodic return=2046.494873046875\n", + "global step=27680768, episodic return=2117.2001953125\n", + "global step=27680768, episodic return=2099.655029296875\n", + "global step=27680768, episodic return=2075.44580078125\n", + "global step=27680768, episodic return=2067.11962890625\n", + "global step=27680768, episodic return=2070.881103515625\n", + "global step=27680768, episodic return=2044.5208740234375\n", + "global step=27682816, episodic return=2029.8970947265625\n", + "global step=27682816, episodic return=2030.6055908203125\n", + "global step=27684864, episodic return=2072.037109375\n", + "global step=27684864, episodic return=2044.7049560546875\n", + "global step=27684864, episodic return=2009.2210693359375\n", + "global step=27686912, episodic return=2058.994140625\n", + "global step=27686912, episodic return=2039.3731689453125\n", + "global step=27688960, episodic return=2086.845458984375\n", + "global step=27688960, episodic return=2082.15673828125\n", + "global step=27688960, episodic return=2050.03662109375\n", + "global step=27688960, episodic return=2091.88330078125\n", + "global step=27688960, episodic return=44.12592315673828\n", + "global step=27688960, episodic return=2084.025390625\n", + "global step=27691008, episodic return=2104.716064453125\n", + "global step=27691008, episodic return=2019.6046142578125\n", + "global step=27693056, episodic return=2052.49560546875\n", + "global step=27693056, episodic return=2053.165771484375\n", + "global step=27693056, episodic return=2075.2626953125\n", + "global step=27693056, episodic return=2060.299560546875\n", + "global step=27693056, episodic return=2081.66162109375\n", + "global step=27693056, episodic return=2133.03125\n", + "global step=27693056, episodic return=2094.9150390625\n", + "global step=27695104, episodic return=2040.466552734375\n", + "global step=27695104, episodic return=2051.468505859375\n", + "global step=27697152, episodic return=2051.564208984375\n", + "global step=27699200, episodic return=2039.735595703125\n", + "global step=27699200, episodic return=2056.143798828125\n", + "global step=27699200, episodic return=2094.4072265625\n", + "global step=27703296, episodic return=2045.538818359375\n", + "global step=27703296, episodic return=2048.30322265625\n", + "global step=27703296, episodic return=2099.607177734375\n", + "global step=27703296, episodic return=2081.251708984375\n", + "global step=27705344, episodic return=2065.160400390625\n", + "global step=27705344, episodic return=70.20309448242188\n", + "global step=27705344, episodic return=2096.16650390625\n", + "global step=27705344, episodic return=2094.05615234375\n", + "global step=27705344, episodic return=2059.790283203125\n", + "global step=27705344, episodic return=2125.913330078125\n", + "global step=27705344, episodic return=2093.89404296875\n", + "global step=27707392, episodic return=2091.146484375\n", + "global step=27707392, episodic return=2020.0479736328125\n", + "global step=27707392, episodic return=2102.052490234375\n", + "global step=27707392, episodic return=2068.26513671875\n", + "global step=27709440, episodic return=2062.792236328125\n", + "global step=27709440, episodic return=2045.7547607421875\n", + "global step=27709440, episodic return=2040.7999267578125\n", + "global step=27713536, episodic return=2041.907470703125\n", + "global step=27713536, episodic return=2088.088134765625\n", + "global step=27713536, episodic return=2041.5584716796875\n", + "global step=27713536, episodic return=2091.0078125\n", + "global step=27713536, episodic return=2029.73486328125\n", + "global step=27715584, episodic return=2104.88671875\n", + "global step=27715584, episodic return=2073.608154296875\n", + "global step=27715584, episodic return=2089.890625\n", + "global step=27715584, episodic return=2108.96484375\n", + "global step=27715584, episodic return=2047.648681640625\n", + "global step=27715584, episodic return=2088.083251953125\n", + "global step=27715584, episodic return=2024.656005859375\n", + "global step=27717632, episodic return=2117.5361328125\n", + "global step=27717632, episodic return=2072.224853515625\n", + "global step=27717632, episodic return=2039.47900390625\n", + "global step=27717632, episodic return=2057.97998046875\n", + "global step=27717632, episodic return=2072.626220703125\n", + "global step=27719680, episodic return=2047.348388671875\n", + "global step=27719680, episodic return=2045.869873046875\n", + "global step=27719680, episodic return=2088.411376953125\n", + "global step=27719680, episodic return=2071.4462890625\n", + "global step=27721728, episodic return=2102.84765625\n", + "global step=27721728, episodic return=321.3621826171875\n", + "global step=27721728, episodic return=2014.098876953125\n", + "global step=27721728, episodic return=2081.59716796875\n", + "global step=27721728, episodic return=2029.3748779296875\n", + "global step=27725824, episodic return=2094.1533203125\n", + "global step=27727872, episodic return=2034.6739501953125\n", + "global step=27729920, episodic return=2059.6357421875\n", + "global step=27729920, episodic return=1976.0389404296875\n", + "global step=27729920, episodic return=2061.406982421875\n", + "global step=27729920, episodic return=2039.5035400390625\n", + "global step=27729920, episodic return=2075.664306640625\n", + "global step=27731968, episodic return=2051.357666015625\n", + "global step=27731968, episodic return=2037.4144287109375\n", + "global step=27731968, episodic return=2091.105224609375\n", + "global step=27734016, episodic return=2097.418701171875\n", + "global step=27734016, episodic return=2060.282470703125\n", + "global step=27736064, episodic return=2003.9757080078125\n", + "global step=27736064, episodic return=2077.528564453125\n", + "global step=27736064, episodic return=2058.591796875\n", + "global step=27736064, episodic return=2125.07373046875\n", + "global step=27738112, episodic return=2051.673095703125\n", + "global step=27738112, episodic return=362.6212463378906\n", + "global step=27738112, episodic return=2102.037841796875\n", + "global step=27738112, episodic return=2092.80712890625\n", + "global step=27742208, episodic return=2027.0670166015625\n", + "global step=27742208, episodic return=2035.66748046875\n", + "global step=27744256, episodic return=2128.1875\n", + "global step=27744256, episodic return=2077.993896484375\n", + "global step=27744256, episodic return=2057.294677734375\n", + "global step=27744256, episodic return=2066.196533203125\n", + "global step=27746304, episodic return=2039.049072265625\n", + "global step=27746304, episodic return=2055.1328125\n", + "global step=27746304, episodic return=2033.4129638671875\n", + "global step=27748352, episodic return=2109.21484375\n", + "global step=27748352, episodic return=2014.848388671875\n", + "global step=27748352, episodic return=2085.10302734375\n", + "global step=27748352, episodic return=2046.395751953125\n", + "global step=27750400, episodic return=2055.806396484375\n", + "global step=27750400, episodic return=2030.400146484375\n", + "global step=27750400, episodic return=2075.4560546875\n", + "global step=27752448, episodic return=2087.697021484375\n", + "global step=27752448, episodic return=2081.97412109375\n", + "global step=27752448, episodic return=2033.252197265625\n", + "global step=27754496, episodic return=2112.573974609375\n", + "global step=27754496, episodic return=2047.4788818359375\n", + "global step=27754496, episodic return=2031.94140625\n", + "global step=27754496, episodic return=625.5275268554688\n", + "global step=27756544, episodic return=2113.627197265625\n", + "global step=27756544, episodic return=2101.119384765625\n", + "global step=27758592, episodic return=2086.056640625\n", + "global step=27758592, episodic return=2082.934814453125\n", + "global step=27758592, episodic return=2037.34130859375\n", + "global step=27758592, episodic return=2057.377685546875\n", + "global step=27758592, episodic return=2128.141357421875\n", + "global step=27760640, episodic return=2073.16845703125\n", + "global step=27760640, episodic return=2076.094482421875\n", + "global step=27760640, episodic return=2056.107666015625\n", + "global step=27760640, episodic return=2112.964111328125\n", + "global step=27760640, episodic return=2032.6048583984375\n", + "global step=27760640, episodic return=2036.33154296875\n", + "global step=27760640, episodic return=2044.9080810546875\n", + "global step=27762688, episodic return=2107.490234375\n", + "global step=27762688, episodic return=2052.919189453125\n", + "global step=27764736, episodic return=2064.533203125\n", + "global step=27764736, episodic return=2087.287353515625\n", + "global step=27766784, episodic return=2092.982177734375\n", + "global step=27766784, episodic return=2030.3359375\n", + "global step=27766784, episodic return=2081.087158203125\n", + "global step=27766784, episodic return=2114.4306640625\n", + "global step=27766784, episodic return=2060.208251953125\n", + "global step=27768832, episodic return=2124.252197265625\n", + "global step=27770880, episodic return=2056.033447265625\n", + "global step=27770880, episodic return=2012.080810546875\n", + "global step=27770880, episodic return=2046.2451171875\n", + "global step=27770880, episodic return=2057.685302734375\n", + "global step=27770880, episodic return=2100.65283203125\n", + "global step=27772928, episodic return=2101.06201171875\n", + "global step=27772928, episodic return=2080.931884765625\n", + "global step=27774976, episodic return=2090.04052734375\n", + "global step=27774976, episodic return=2044.8162841796875\n", + "global step=27777024, episodic return=2104.5576171875\n", + "global step=27777024, episodic return=2105.067626953125\n", + "global step=27777024, episodic return=2066.01123046875\n", + "global step=27779072, episodic return=2096.765380859375\n", + "global step=27779072, episodic return=2102.15673828125\n", + "global step=27781120, episodic return=772.2430419921875\n", + "global step=27781120, episodic return=2056.006103515625\n", + "global step=27781120, episodic return=2090.172607421875\n", + "global step=27781120, episodic return=2059.683349609375\n", + "global step=27781120, episodic return=2083.209716796875\n", + "global step=27781120, episodic return=2069.744873046875\n", + "global step=27781120, episodic return=2034.185302734375\n", + "global step=27781120, episodic return=2064.026611328125\n", + "global step=27783168, episodic return=2094.0126953125\n", + "global step=27785216, episodic return=2093.64794921875\n", + "global step=27785216, episodic return=2073.5693359375\n", + "global step=27785216, episodic return=2072.740966796875\n", + "global step=27787264, episodic return=2038.79248046875\n", + "global step=27787264, episodic return=2112.836669921875\n", + "global step=27787264, episodic return=2070.4755859375\n", + "global step=27787264, episodic return=2058.22119140625\n", + "global step=27789312, episodic return=2068.83251953125\n", + "global step=27789312, episodic return=2100.675537109375\n", + "global step=27789312, episodic return=2100.89599609375\n", + "global step=27789312, episodic return=2057.985107421875\n", + "global step=27789312, episodic return=2087.6943359375\n", + "global step=27789312, episodic return=2101.1162109375\n", + "global step=27789312, episodic return=2115.36572265625\n", + "global step=27791360, episodic return=2084.473388671875\n", + "global step=27791360, episodic return=2063.84130859375\n", + "global step=27791360, episodic return=1959.1187744140625\n", + "global step=27793408, episodic return=2031.579345703125\n", + "global step=27793408, episodic return=2084.469970703125\n", + "global step=27793408, episodic return=2107.920166015625\n", + "global step=27795456, episodic return=2073.451171875\n", + "global step=27795456, episodic return=2069.225830078125\n", + "global step=27795456, episodic return=2090.692138671875\n", + "global step=27797504, episodic return=2068.835693359375\n", + "global step=27797504, episodic return=2141.674072265625\n", + "global step=27797504, episodic return=2105.66162109375\n", + "global step=27797504, episodic return=2106.374755859375\n", + "global step=27799552, episodic return=2108.784423828125\n", + "global step=27799552, episodic return=2089.4609375\n", + "global step=27799552, episodic return=2068.91259765625\n", + "global step=27799552, episodic return=2074.92529296875\n", + "global step=27799552, episodic return=2129.66748046875\n", + "global step=27801600, episodic return=2108.421875\n", + "global step=27801600, episodic return=2014.301025390625\n", + "global step=27801600, episodic return=2107.18017578125\n", + "global step=27801600, episodic return=2017.46435546875\n", + "global step=27801600, episodic return=2122.43408203125\n", + "global step=27803648, episodic return=2052.898681640625\n", + "global step=27805696, episodic return=2083.451904296875\n", + "global step=27805696, episodic return=2068.64599609375\n", + "global step=27805696, episodic return=2101.650634765625\n", + "global step=27807744, episodic return=2100.5361328125\n", + "global step=27807744, episodic return=2105.591064453125\n", + "global step=27807744, episodic return=1311.1595458984375\n", + "global step=27807744, episodic return=1661.1129150390625\n", + "global step=27809792, episodic return=2048.235595703125\n", + "global step=27809792, episodic return=2000.605224609375\n", + "global step=27809792, episodic return=2088.732666015625\n", + "global step=27811840, episodic return=2023.37158203125\n", + "global step=27811840, episodic return=2048.902099609375\n", + "global step=27811840, episodic return=2076.793212890625\n", + "global step=27813888, episodic return=2057.69677734375\n", + "global step=27815936, episodic return=420.0090026855469\n", + "global step=27815936, episodic return=2108.27587890625\n", + "global step=27815936, episodic return=2084.330322265625\n", + "global step=27815936, episodic return=2111.296142578125\n", + "global step=27815936, episodic return=2121.378662109375\n", + "global step=27817984, episodic return=2053.291748046875\n", + "global step=27817984, episodic return=2058.535888671875\n", + "global step=27817984, episodic return=2084.623046875\n", + "global step=27820032, episodic return=2087.701904296875\n", + "global step=27820032, episodic return=2093.3896484375\n", + "global step=27820032, episodic return=2092.549560546875\n", + "global step=27820032, episodic return=2071.68408203125\n", + "global step=27820032, episodic return=2112.392578125\n", + "global step=27822080, episodic return=2020.9390869140625\n", + "global step=27822080, episodic return=2007.69873046875\n", + "global step=27822080, episodic return=2077.47119140625\n", + "global step=27822080, episodic return=2099.546875\n", + "global step=27824128, episodic return=2073.879150390625\n", + "global step=27824128, episodic return=2101.271240234375\n", + "global step=27824128, episodic return=2094.713623046875\n", + "global step=27826176, episodic return=1836.0380859375\n", + "global step=27826176, episodic return=2073.303466796875\n", + "global step=27826176, episodic return=2100.591796875\n", + "global step=27828224, episodic return=1969.355224609375\n", + "global step=27828224, episodic return=2102.249755859375\n", + "global step=27828224, episodic return=2034.76806640625\n", + "global step=27828224, episodic return=1764.9501953125\n", + "global step=27830272, episodic return=2093.099365234375\n", + "global step=27830272, episodic return=2085.382568359375\n", + "global step=27830272, episodic return=2077.92333984375\n", + "global step=27832320, episodic return=1965.6353759765625\n", + "global step=27832320, episodic return=2122.35595703125\n", + "global step=27832320, episodic return=2065.9111328125\n", + "global step=27832320, episodic return=2107.49951171875\n", + "global step=27834368, episodic return=1997.0599365234375\n", + "global step=27834368, episodic return=2070.39892578125\n", + "global step=27836416, episodic return=2087.19775390625\n", + "global step=27836416, episodic return=2014.2357177734375\n", + "global step=27836416, episodic return=2085.047119140625\n", + "global step=27838464, episodic return=2052.79931640625\n", + "global step=27838464, episodic return=2102.24267578125\n", + "global step=27838464, episodic return=1221.83154296875\n", + "global step=27838464, episodic return=2098.782470703125\n", + "global step=27838464, episodic return=2065.099853515625\n", + "global step=27838464, episodic return=2130.97216796875\n", + "global step=27838464, episodic return=2073.721435546875\n", + "global step=27838464, episodic return=2026.5052490234375\n", + "global step=27840512, episodic return=2069.921630859375\n", + "global step=27840512, episodic return=2095.404541015625\n", + "global step=27842560, episodic return=2103.908935546875\n", + "global step=27842560, episodic return=2070.03857421875\n", + "global step=27842560, episodic return=2034.284423828125\n", + "global step=27844608, episodic return=2051.096923828125\n", + "global step=27844608, episodic return=2035.88330078125\n", + "global step=27844608, episodic return=1342.44091796875\n", + "global step=27846656, episodic return=2134.17529296875\n", + "global step=27846656, episodic return=2078.629150390625\n", + "global step=27846656, episodic return=2082.48486328125\n", + "global step=27846656, episodic return=2064.9462890625\n", + "global step=27846656, episodic return=2070.581298828125\n", + "global step=27848704, episodic return=2044.54052734375\n", + "global step=27848704, episodic return=2070.241455078125\n", + "global step=27848704, episodic return=2104.375244140625\n", + "global step=27848704, episodic return=2073.843994140625\n", + "global step=27848704, episodic return=2063.29736328125\n", + "global step=27848704, episodic return=2084.87353515625\n", + "global step=27850752, episodic return=2073.75439453125\n", + "global step=27850752, episodic return=2086.221923828125\n", + "global step=27852800, episodic return=2054.496826171875\n", + "global step=27852800, episodic return=2089.60400390625\n", + "global step=27852800, episodic return=2137.277587890625\n", + "global step=27852800, episodic return=2010.3118896484375\n", + "global step=27854848, episodic return=1987.0322265625\n", + "global step=27854848, episodic return=2098.224609375\n", + "global step=27856896, episodic return=2062.913818359375\n", + "global step=27856896, episodic return=2102.5\n", + "global step=27858944, episodic return=2061.48828125\n", + "global step=27860992, episodic return=2061.755615234375\n", + "global step=27860992, episodic return=1990.273681640625\n", + "global step=27860992, episodic return=2007.1337890625\n", + "global step=27863040, episodic return=2066.864013671875\n", + "global step=27863040, episodic return=2066.792724609375\n", + "global step=27863040, episodic return=2083.723876953125\n", + "global step=27863040, episodic return=1735.99755859375\n", + "global step=27863040, episodic return=2050.331787109375\n", + "global step=27863040, episodic return=2046.4627685546875\n", + "global step=27865088, episodic return=2014.7432861328125\n", + "global step=27865088, episodic return=1977.8885498046875\n", + "global step=27865088, episodic return=2025.0924072265625\n", + "global step=27865088, episodic return=2013.4984130859375\n", + "global step=27865088, episodic return=2100.232421875\n", + "global step=27865088, episodic return=2007.170654296875\n", + "global step=27865088, episodic return=2135.81103515625\n", + "global step=27867136, episodic return=2048.199462890625\n", + "global step=27867136, episodic return=2117.390869140625\n", + "global step=27867136, episodic return=2085.9189453125\n", + "global step=27869184, episodic return=2081.086181640625\n", + "global step=27869184, episodic return=2026.3824462890625\n", + "global step=27869184, episodic return=2095.456787109375\n", + "global step=27869184, episodic return=2004.73779296875\n", + "global step=27869184, episodic return=278.34271240234375\n", + "global step=27869184, episodic return=2099.194091796875\n", + "global step=27871232, episodic return=2036.7279052734375\n", + "global step=27871232, episodic return=2132.33203125\n", + "global step=27871232, episodic return=2059.55322265625\n", + "global step=27871232, episodic return=2053.688232421875\n", + "global step=27871232, episodic return=2053.25244140625\n", + "global step=27871232, episodic return=2070.10693359375\n", + "global step=27871232, episodic return=2045.8692626953125\n", + "global step=27873280, episodic return=2010.9835205078125\n", + "global step=27873280, episodic return=2102.037841796875\n", + "global step=27873280, episodic return=2035.3031005859375\n", + "global step=27873280, episodic return=2086.20458984375\n", + "global step=27875328, episodic return=2073.916015625\n", + "global step=27875328, episodic return=2091.681640625\n", + "global step=27875328, episodic return=2076.94921875\n", + "global step=27877376, episodic return=2110.702880859375\n", + "global step=27877376, episodic return=2056.494873046875\n", + "global step=27877376, episodic return=2076.025634765625\n", + "global step=27877376, episodic return=2077.662353515625\n", + "global step=27877376, episodic return=2055.751953125\n", + "global step=27879424, episodic return=1964.536865234375\n", + "global step=27879424, episodic return=2003.9298095703125\n", + "global step=27879424, episodic return=2114.086181640625\n", + "global step=27879424, episodic return=2046.227783203125\n", + "global step=27879424, episodic return=2066.129150390625\n", + "global step=27879424, episodic return=2048.411376953125\n", + "global step=27881472, episodic return=2071.5537109375\n", + "global step=27881472, episodic return=2096.88818359375\n", + "global step=27881472, episodic return=2072.507080078125\n", + "global step=27881472, episodic return=2083.41650390625\n", + "global step=27881472, episodic return=1878.9083251953125\n", + "global step=27883520, episodic return=2060.314697265625\n", + "global step=27883520, episodic return=1694.0384521484375\n", + "global step=27885568, episodic return=2079.896728515625\n", + "global step=27885568, episodic return=2114.81591796875\n", + "global step=27885568, episodic return=2014.65234375\n", + "global step=27885568, episodic return=2038.0323486328125\n", + "global step=27885568, episodic return=2091.912109375\n", + "global step=27885568, episodic return=2135.090576171875\n", + "global step=27887616, episodic return=2070.5615234375\n", + "global step=27887616, episodic return=2107.481689453125\n", + "global step=27887616, episodic return=2048.994140625\n", + "global step=27887616, episodic return=1979.486572265625\n", + "global step=27887616, episodic return=2067.0517578125\n", + "global step=27889664, episodic return=1989.70166015625\n", + "global step=27891712, episodic return=2071.37939453125\n", + "global step=27891712, episodic return=2086.388916015625\n", + "global step=27891712, episodic return=2113.5205078125\n", + "global step=27893760, episodic return=2092.228271484375\n", + "global step=27893760, episodic return=2106.476806640625\n", + "global step=27893760, episodic return=2091.615234375\n", + "global step=27893760, episodic return=2090.910888671875\n", + "global step=27895808, episodic return=1793.80322265625\n", + "global step=27895808, episodic return=2069.655517578125\n", + "global step=27895808, episodic return=2048.805908203125\n", + "global step=27897856, episodic return=2052.216064453125\n", + "global step=27897856, episodic return=2048.575439453125\n", + "global step=27897856, episodic return=2015.104736328125\n", + "global step=27897856, episodic return=2027.9874267578125\n", + "global step=27897856, episodic return=2064.221923828125\n", + "global step=27899904, episodic return=1390.849853515625\n", + "global step=27899904, episodic return=2043.2469482421875\n", + "global step=27899904, episodic return=2025.6361083984375\n", + "global step=27899904, episodic return=2087.3583984375\n", + "global step=27899904, episodic return=2080.89501953125\n", + "global step=27901952, episodic return=2089.240966796875\n", + "global step=27901952, episodic return=2081.733642578125\n", + "global step=27901952, episodic return=2101.8271484375\n", + "global step=27901952, episodic return=26.783428192138672\n", + "global step=27904000, episodic return=2094.58056640625\n", + "global step=27904000, episodic return=2013.3326416015625\n", + "global step=27904000, episodic return=2081.8642578125\n", + "global step=27906048, episodic return=2077.14013671875\n", + "global step=27906048, episodic return=2065.676025390625\n", + "global step=27906048, episodic return=2103.8291015625\n", + "global step=27906048, episodic return=2054.50244140625\n", + "global step=27908096, episodic return=2036.8616943359375\n", + "global step=27908096, episodic return=2089.578125\n", + "global step=27908096, episodic return=2017.3570556640625\n", + "global step=27908096, episodic return=2065.50341796875\n", + "global step=27910144, episodic return=2069.38525390625\n", + "global step=27910144, episodic return=2072.109619140625\n", + "global step=27910144, episodic return=2044.076416015625\n", + "global step=27910144, episodic return=2089.36474609375\n", + "global step=27910144, episodic return=2116.2978515625\n", + "global step=27910144, episodic return=2040.5740966796875\n", + "global step=27910144, episodic return=2036.80615234375\n", + "global step=27912192, episodic return=2082.48681640625\n", + "global step=27912192, episodic return=58.21213150024414\n", + "global step=27912192, episodic return=2106.158935546875\n", + "global step=27912192, episodic return=1980.0775146484375\n", + "global step=27912192, episodic return=2052.392578125\n", + "global step=27912192, episodic return=666.3323974609375\n", + "global step=27912192, episodic return=2085.310302734375\n", + "global step=27912192, episodic return=2017.7149658203125\n", + "global step=27912192, episodic return=2037.9139404296875\n", + "global step=27914240, episodic return=1985.7591552734375\n", + "global step=27914240, episodic return=2052.38232421875\n", + "global step=27914240, episodic return=2068.1728515625\n", + "global step=27914240, episodic return=2051.99365234375\n", + "global step=27916288, episodic return=2098.13525390625\n", + "global step=27916288, episodic return=2069.56982421875\n", + "global step=27918336, episodic return=2092.620361328125\n", + "global step=27918336, episodic return=2072.112060546875\n", + "global step=27920384, episodic return=2003.4124755859375\n", + "global step=27920384, episodic return=2062.067138671875\n", + "global step=27920384, episodic return=2024.318359375\n", + "global step=27920384, episodic return=1235.1436767578125\n", + "global step=27922432, episodic return=2048.391357421875\n", + "global step=27922432, episodic return=2094.6015625\n", + "global step=27922432, episodic return=2043.7462158203125\n", + "global step=27924480, episodic return=2014.522216796875\n", + "global step=27924480, episodic return=2087.56689453125\n", + "global step=27924480, episodic return=2130.619384765625\n", + "global step=27924480, episodic return=2082.8955078125\n", + "global step=27926528, episodic return=2084.8564453125\n", + "global step=27926528, episodic return=2048.675048828125\n", + "global step=27926528, episodic return=2097.5849609375\n", + "global step=27926528, episodic return=2090.56396484375\n", + "global step=27926528, episodic return=2047.9556884765625\n", + "global step=27926528, episodic return=2056.6259765625\n", + "global step=27926528, episodic return=2026.4541015625\n", + "global step=27926528, episodic return=2023.745361328125\n", + "global step=27928576, episodic return=2073.22412109375\n", + "global step=27928576, episodic return=2078.562255859375\n", + "global step=27928576, episodic return=28.23749542236328\n", + "global step=27928576, episodic return=2045.2447509765625\n", + "global step=27928576, episodic return=2089.305419921875\n", + "global step=27930624, episodic return=2071.520751953125\n", + "global step=27930624, episodic return=2056.8115234375\n", + "global step=27930624, episodic return=2089.97119140625\n", + "global step=27930624, episodic return=2094.631591796875\n", + "global step=27930624, episodic return=814.5121459960938\n", + "global step=27932672, episodic return=2071.788330078125\n", + "global step=27932672, episodic return=2033.03515625\n", + "global step=27932672, episodic return=2102.77294921875\n", + "global step=27932672, episodic return=2021.5662841796875\n", + "global step=27934720, episodic return=2047.6142578125\n", + "global step=27934720, episodic return=256.9050598144531\n", + "global step=27934720, episodic return=2005.204833984375\n", + "global step=27934720, episodic return=2059.669921875\n", + "global step=27934720, episodic return=2051.4296875\n", + "global step=27936768, episodic return=2073.601806640625\n", + "global step=27936768, episodic return=226.22877502441406\n", + "global step=27936768, episodic return=2019.0054931640625\n", + "global step=27938816, episodic return=288.5871276855469\n", + "global step=27938816, episodic return=2094.759033203125\n", + "global step=27938816, episodic return=2096.753173828125\n", + "global step=27938816, episodic return=2074.42431640625\n", + "global step=27938816, episodic return=2019.7901611328125\n", + "global step=27940864, episodic return=2058.085693359375\n", + "global step=27940864, episodic return=2053.43603515625\n", + "global step=27940864, episodic return=2078.218017578125\n", + "global step=27940864, episodic return=2027.403076171875\n", + "global step=27942912, episodic return=2115.55859375\n", + "global step=27944960, episodic return=2060.029052734375\n", + "global step=27944960, episodic return=2112.2236328125\n", + "global step=27944960, episodic return=2056.99560546875\n", + "global step=27944960, episodic return=2081.29833984375\n", + "global step=27947008, episodic return=2089.1328125\n", + "global step=27947008, episodic return=1743.5284423828125\n", + "global step=27947008, episodic return=348.4276123046875\n", + "global step=27947008, episodic return=2047.178466796875\n", + "global step=27951104, episodic return=2042.465576171875\n", + "global step=27951104, episodic return=2066.534423828125\n", + "global step=27951104, episodic return=2040.4765625\n", + "global step=27953152, episodic return=2040.5704345703125\n", + "global step=27953152, episodic return=1999.4183349609375\n", + "global step=27955200, episodic return=2078.470458984375\n", + "global step=27955200, episodic return=2007.93798828125\n", + "global step=27955200, episodic return=2063.55615234375\n", + "global step=27955200, episodic return=990.6923828125\n", + "global step=27955200, episodic return=2028.3441162109375\n", + "global step=27957248, episodic return=2107.11865234375\n", + "global step=27957248, episodic return=2079.745849609375\n", + "global step=27957248, episodic return=1962.089111328125\n", + "global step=27957248, episodic return=1606.54296875\n", + "global step=27957248, episodic return=2019.1832275390625\n", + "global step=27961344, episodic return=2095.462890625\n", + "global step=27961344, episodic return=2055.387451171875\n", + "global step=27961344, episodic return=2063.73876953125\n", + "global step=27963392, episodic return=2089.66015625\n", + "global step=27963392, episodic return=2033.3692626953125\n", + "global step=27963392, episodic return=2030.19287109375\n", + "global step=27963392, episodic return=2014.9049072265625\n", + "global step=27965440, episodic return=2066.71142578125\n", + "global step=27965440, episodic return=2040.879150390625\n", + "global step=27965440, episodic return=2125.32373046875\n", + "global step=27967488, episodic return=2088.010986328125\n", + "global step=27967488, episodic return=2070.910400390625\n", + "global step=27967488, episodic return=1307.4456787109375\n", + "global step=27967488, episodic return=2005.22607421875\n", + "global step=27967488, episodic return=1999.825439453125\n", + "global step=27969536, episodic return=2065.057861328125\n", + "global step=27969536, episodic return=2038.0142822265625\n", + "global step=27971584, episodic return=2117.319091796875\n", + "global step=27971584, episodic return=2021.2818603515625\n", + "global step=27971584, episodic return=2091.52294921875\n", + "global step=27971584, episodic return=2068.076416015625\n", + "global step=27971584, episodic return=2094.15625\n", + "global step=27973632, episodic return=2073.8115234375\n", + "global step=27973632, episodic return=2027.26123046875\n", + "global step=27973632, episodic return=2038.77734375\n", + "global step=27973632, episodic return=220.96044921875\n", + "global step=27975680, episodic return=2040.4571533203125\n", + "global step=27975680, episodic return=2053.48388671875\n", + "global step=27975680, episodic return=2046.8697509765625\n", + "global step=27975680, episodic return=2042.9771728515625\n", + "global step=27977728, episodic return=1991.3621826171875\n", + "global step=27977728, episodic return=2023.9044189453125\n", + "global step=27977728, episodic return=2049.932861328125\n", + "global step=27977728, episodic return=2132.027099609375\n", + "global step=27977728, episodic return=2056.64306640625\n", + "global step=27979776, episodic return=2037.995361328125\n", + "global step=27979776, episodic return=2063.515380859375\n", + "global step=27981824, episodic return=2098.806640625\n", + "global step=27981824, episodic return=2023.796875\n", + "global step=27981824, episodic return=2005.50146484375\n", + "global step=27981824, episodic return=825.8390502929688\n", + "global step=27981824, episodic return=2088.327392578125\n", + "global step=27983872, episodic return=2062.123046875\n", + "global step=27983872, episodic return=2037.7415771484375\n", + "global step=27983872, episodic return=2090.33984375\n", + "global step=27983872, episodic return=1976.4508056640625\n", + "global step=27985920, episodic return=2024.4100341796875\n", + "global step=27985920, episodic return=2109.82568359375\n", + "global step=27985920, episodic return=2092.21728515625\n", + "global step=27985920, episodic return=2054.623779296875\n", + "global step=27985920, episodic return=2058.589599609375\n", + "global step=27985920, episodic return=2015.493896484375\n", + "global step=27987968, episodic return=2047.9794921875\n", + "global step=27987968, episodic return=2039.376708984375\n", + "global step=27987968, episodic return=2149.46484375\n", + "global step=27987968, episodic return=2093.05029296875\n", + "global step=27987968, episodic return=2037.5755615234375\n", + "global step=27987968, episodic return=2050.394775390625\n", + "global step=27990016, episodic return=2082.964111328125\n", + "global step=27990016, episodic return=2051.08251953125\n", + "global step=27992064, episodic return=2066.186279296875\n", + "global step=27992064, episodic return=2040.322021484375\n", + "global step=27992064, episodic return=2115.289794921875\n", + "global step=27992064, episodic return=1775.6383056640625\n", + "global step=27992064, episodic return=1901.052734375\n", + "global step=27994112, episodic return=2095.923828125\n", + "global step=27994112, episodic return=2040.8848876953125\n", + "global step=27994112, episodic return=2052.833251953125\n", + "global step=27996160, episodic return=2140.96484375\n", + "global step=27996160, episodic return=2091.060302734375\n", + "global step=27998208, episodic return=2099.292724609375\n", + "global step=27998208, episodic return=1018.841552734375\n", + "global step=27998208, episodic return=2031.3843994140625\n", + "global step=27998208, episodic return=2054.7822265625\n", + "global step=28000256, episodic return=2013.6033935546875\n", + "global step=28002304, episodic return=1976.2467041015625\n", + "global step=28002304, episodic return=147.1974639892578\n", + "global step=28004352, episodic return=2076.2705078125\n", + "global step=28004352, episodic return=2041.0452880859375\n", + "global step=28006400, episodic return=2002.08251953125\n", + "global step=28006400, episodic return=2103.804931640625\n", + "global step=28006400, episodic return=2040.9356689453125\n", + "global step=28006400, episodic return=2110.359130859375\n", + "global step=28006400, episodic return=2043.6336669921875\n", + "global step=28008448, episodic return=2010.678466796875\n", + "global step=28008448, episodic return=2034.7158203125\n", + "global step=28008448, episodic return=2030.708984375\n", + "global step=28008448, episodic return=2129.924072265625\n", + "global step=28010496, episodic return=2071.408203125\n", + "global step=28010496, episodic return=2084.12548828125\n", + "global step=28012544, episodic return=2021.36181640625\n", + "global step=28012544, episodic return=2058.79052734375\n", + "global step=28012544, episodic return=507.9040832519531\n", + "global step=28012544, episodic return=2061.0654296875\n", + "global step=28014592, episodic return=2034.429931640625\n", + "global step=28014592, episodic return=2074.60693359375\n", + "global step=28014592, episodic return=2061.737548828125\n", + "global step=28016640, episodic return=2035.1015625\n", + "global step=28018688, episodic return=2116.607177734375\n", + "global step=28018688, episodic return=588.6647338867188\n", + "global step=28018688, episodic return=1982.663818359375\n", + "global step=28020736, episodic return=2097.7783203125\n", + "global step=28020736, episodic return=2080.479736328125\n", + "global step=28020736, episodic return=2062.17626953125\n", + "global step=28020736, episodic return=2024.5848388671875\n", + "global step=28020736, episodic return=2054.40185546875\n", + "global step=28022784, episodic return=1981.1302490234375\n", + "global step=28024832, episodic return=2094.90283203125\n", + "global step=28026880, episodic return=2104.69140625\n", + "global step=28026880, episodic return=2013.3487548828125\n", + "global step=28028928, episodic return=2101.463134765625\n", + "global step=28028928, episodic return=2080.588623046875\n", + "global step=28030976, episodic return=2004.695068359375\n", + "global step=28030976, episodic return=2101.7041015625\n", + "global step=28030976, episodic return=2048.095458984375\n", + "global step=28030976, episodic return=2060.255615234375\n", + "global step=28033024, episodic return=2073.3623046875\n", + "global step=28035072, episodic return=2100.83935546875\n", + "global step=28037120, episodic return=2042.642333984375\n", + "global step=28037120, episodic return=2085.73681640625\n", + "global step=28039168, episodic return=2039.01123046875\n", + "global step=28039168, episodic return=2127.43798828125\n", + "global step=28041216, episodic return=2110.189453125\n", + "global step=28041216, episodic return=1819.19091796875\n", + "global step=28041216, episodic return=2009.1719970703125\n", + "global step=28041216, episodic return=1965.8897705078125\n", + "global step=28041216, episodic return=2050.66064453125\n", + "global step=28041216, episodic return=2034.2257080078125\n", + "global step=28041216, episodic return=2101.064208984375\n", + "global step=28043264, episodic return=2050.681640625\n", + "global step=28043264, episodic return=2062.102783203125\n", + "global step=28043264, episodic return=2071.979248046875\n", + "global step=28045312, episodic return=577.3827514648438\n", + "global step=28045312, episodic return=2077.33447265625\n", + "global step=28047360, episodic return=2041.3690185546875\n", + "global step=28047360, episodic return=2042.1212158203125\n", + "global step=28047360, episodic return=1986.974853515625\n", + "global step=28047360, episodic return=2103.598388671875\n", + "global step=28047360, episodic return=1355.07958984375\n", + "global step=28049408, episodic return=2038.3548583984375\n", + "global step=28049408, episodic return=2063.56884765625\n", + "global step=28049408, episodic return=2042.2357177734375\n", + "global step=28051456, episodic return=2049.79736328125\n", + "global step=28051456, episodic return=2046.943115234375\n", + "global step=28051456, episodic return=2018.3099365234375\n", + "global step=28053504, episodic return=2061.52392578125\n", + "global step=28053504, episodic return=2122.055419921875\n", + "global step=28053504, episodic return=1981.8992919921875\n", + "global step=28055552, episodic return=2038.61669921875\n", + "global step=28057600, episodic return=2057.681884765625\n", + "global step=28059648, episodic return=2048.0498046875\n", + "global step=28061696, episodic return=2038.8563232421875\n", + "global step=28061696, episodic return=2075.813720703125\n", + "global step=28063744, episodic return=2030.3646240234375\n", + "global step=28063744, episodic return=2030.6932373046875\n", + "global step=28063744, episodic return=2059.4423828125\n", + "global step=28063744, episodic return=2048.111083984375\n", + "global step=28065792, episodic return=2019.0185546875\n", + "global step=28065792, episodic return=2054.020751953125\n", + "global step=28067840, episodic return=2090.739013671875\n", + "global step=28067840, episodic return=2044.3695068359375\n", + "global step=28069888, episodic return=2032.9471435546875\n", + "global step=28069888, episodic return=2082.564208984375\n", + "global step=28071936, episodic return=2014.2598876953125\n", + "global step=28071936, episodic return=2013.56396484375\n", + "global step=28071936, episodic return=2097.4443359375\n", + "global step=28071936, episodic return=2036.417236328125\n", + "global step=28071936, episodic return=1979.2626953125\n", + "global step=28071936, episodic return=2024.255615234375\n", + "global step=28073984, episodic return=2030.117431640625\n", + "global step=28073984, episodic return=2061.82470703125\n", + "global step=28076032, episodic return=2064.3330078125\n", + "global step=28076032, episodic return=2036.4837646484375\n", + "global step=28076032, episodic return=2040.529296875\n", + "global step=28076032, episodic return=2023.483154296875\n", + "global step=28076032, episodic return=2042.080078125\n", + "global step=28078080, episodic return=2051.645263671875\n", + "global step=28078080, episodic return=28.730134963989258\n", + "global step=28078080, episodic return=2052.8662109375\n", + "global step=28078080, episodic return=2150.890869140625\n", + "global step=28080128, episodic return=2038.443115234375\n", + "global step=28080128, episodic return=1253.61669921875\n", + "global step=28080128, episodic return=2089.166748046875\n", + "global step=28082176, episodic return=2119.478271484375\n", + "global step=28082176, episodic return=2051.1171875\n", + "global step=28082176, episodic return=2061.962158203125\n", + "global step=28082176, episodic return=2052.0048828125\n", + "global step=28082176, episodic return=1356.198486328125\n", + "global step=28084224, episodic return=1980.632080078125\n", + "global step=28084224, episodic return=2076.49365234375\n", + "global step=28084224, episodic return=2016.8587646484375\n", + "global step=28084224, episodic return=2023.775146484375\n", + "global step=28086272, episodic return=2098.1376953125\n", + "global step=28086272, episodic return=1553.939697265625\n", + "global step=28088320, episodic return=2038.5582275390625\n", + "global step=28088320, episodic return=970.5160522460938\n", + "global step=28088320, episodic return=2065.138671875\n", + "global step=28088320, episodic return=2017.5338134765625\n", + "global step=28090368, episodic return=1428.964111328125\n", + "global step=28090368, episodic return=2001.705322265625\n", + "global step=28092416, episodic return=1977.0977783203125\n", + "global step=28092416, episodic return=2025.8326416015625\n", + "global step=28092416, episodic return=1297.5289306640625\n", + "global step=28092416, episodic return=2027.772216796875\n", + "global step=28094464, episodic return=2039.623291015625\n", + "global step=28094464, episodic return=1986.633544921875\n", + "global step=28094464, episodic return=2024.2490234375\n", + "global step=28094464, episodic return=2080.6279296875\n", + "global step=28096512, episodic return=1880.4932861328125\n", + "global step=28096512, episodic return=2072.5986328125\n", + "global step=28096512, episodic return=2100.69140625\n", + "global step=28096512, episodic return=2060.18408203125\n", + "global step=28096512, episodic return=2052.1357421875\n", + "global step=28098560, episodic return=2073.2138671875\n", + "global step=28098560, episodic return=2004.99755859375\n", + "global step=28100608, episodic return=2093.2578125\n", + "global step=28100608, episodic return=2037.3118896484375\n", + "global step=28102656, episodic return=2074.249267578125\n", + "global step=28102656, episodic return=1991.620849609375\n", + "global step=28102656, episodic return=2071.75927734375\n", + "global step=28102656, episodic return=2018.487548828125\n", + "global step=28104704, episodic return=2039.06884765625\n", + "global step=28104704, episodic return=2085.549560546875\n", + "global step=28104704, episodic return=2048.7763671875\n", + "global step=28106752, episodic return=2043.1397705078125\n", + "global step=28106752, episodic return=2094.33154296875\n", + "global step=28106752, episodic return=2084.118408203125\n", + "global step=28106752, episodic return=2050.109375\n", + "global step=28108800, episodic return=2073.1669921875\n", + "global step=28108800, episodic return=2080.244140625\n", + "global step=28108800, episodic return=2016.594482421875\n", + "global step=28110848, episodic return=977.6558837890625\n", + "global step=28110848, episodic return=2092.921630859375\n", + "global step=28110848, episodic return=1506.486328125\n", + "global step=28110848, episodic return=573.809814453125\n", + "global step=28110848, episodic return=2031.9539794921875\n", + "global step=28112896, episodic return=1977.16748046875\n", + "global step=28112896, episodic return=2076.2275390625\n", + "global step=28112896, episodic return=2051.107666015625\n", + "global step=28112896, episodic return=2031.1026611328125\n", + "global step=28112896, episodic return=2019.0164794921875\n", + "global step=28112896, episodic return=2083.68359375\n", + "global step=28114944, episodic return=1977.2418212890625\n", + "global step=28114944, episodic return=2045.8353271484375\n", + "global step=28114944, episodic return=2035.862060546875\n", + "global step=28114944, episodic return=364.9270935058594\n", + "global step=28114944, episodic return=2122.0595703125\n", + "global step=28114944, episodic return=2105.291015625\n", + "global step=28114944, episodic return=2049.406982421875\n", + "global step=28116992, episodic return=1821.4921875\n", + "global step=28116992, episodic return=2028.1422119140625\n", + "global step=28119040, episodic return=2027.749755859375\n", + "global step=28119040, episodic return=2077.284912109375\n", + "global step=28119040, episodic return=1521.3935546875\n", + "global step=28121088, episodic return=2049.794921875\n", + "global step=28121088, episodic return=2112.00048828125\n", + "global step=28121088, episodic return=1983.724609375\n", + "global step=28123136, episodic return=1978.416015625\n", + "global step=28123136, episodic return=1999.7733154296875\n", + "global step=28125184, episodic return=1994.2476806640625\n", + "global step=28125184, episodic return=2014.98486328125\n", + "global step=28125184, episodic return=1800.6488037109375\n", + "global step=28127232, episodic return=2055.67041015625\n", + "global step=28127232, episodic return=2069.768310546875\n", + "global step=28127232, episodic return=2078.605224609375\n", + "global step=28127232, episodic return=2088.28857421875\n", + "global step=28127232, episodic return=2053.748779296875\n", + "global step=28127232, episodic return=1281.5157470703125\n", + "global step=28129280, episodic return=2030.1278076171875\n", + "global step=28129280, episodic return=1995.2025146484375\n", + "global step=28131328, episodic return=2100.25830078125\n", + "global step=28133376, episodic return=2046.22021484375\n", + "global step=28133376, episodic return=2020.2464599609375\n", + "global step=28133376, episodic return=1969.60302734375\n", + "global step=28135424, episodic return=993.29248046875\n", + "global step=28135424, episodic return=2070.53857421875\n", + "global step=28135424, episodic return=2105.78125\n", + "global step=28135424, episodic return=1401.01904296875\n", + "global step=28135424, episodic return=2020.1668701171875\n", + "global step=28137472, episodic return=2058.078857421875\n", + "global step=28141568, episodic return=1972.8482666015625\n", + "global step=28141568, episodic return=2013.32568359375\n", + "global step=28141568, episodic return=1955.28955078125\n", + "global step=28143616, episodic return=2005.5986328125\n", + "global step=28143616, episodic return=2052.97509765625\n", + "global step=28143616, episodic return=2082.760498046875\n", + "global step=28143616, episodic return=2031.949462890625\n", + "global step=28145664, episodic return=2036.5328369140625\n", + "global step=28145664, episodic return=2093.40625\n", + "global step=28145664, episodic return=2046.1820068359375\n", + "global step=28145664, episodic return=2102.427001953125\n", + "global step=28145664, episodic return=474.2292175292969\n", + "global step=28147712, episodic return=2107.323974609375\n", + "global step=28147712, episodic return=2064.55029296875\n", + "global step=28147712, episodic return=2083.956787109375\n", + "global step=28149760, episodic return=1708.568359375\n", + "global step=28149760, episodic return=2066.8896484375\n", + "global step=28151808, episodic return=1998.5537109375\n", + "global step=28151808, episodic return=2024.2481689453125\n", + "global step=28151808, episodic return=1999.2213134765625\n", + "global step=28151808, episodic return=1762.5484619140625\n", + "global step=28153856, episodic return=1992.1236572265625\n", + "global step=28155904, episodic return=2021.4468994140625\n", + "global step=28155904, episodic return=2025.8394775390625\n", + "global step=28155904, episodic return=2025.8135986328125\n", + "global step=28157952, episodic return=2030.412353515625\n", + "global step=28157952, episodic return=2018.277099609375\n", + "global step=28162048, episodic return=2012.847412109375\n", + "global step=28162048, episodic return=1991.6002197265625\n", + "global step=28162048, episodic return=2117.567626953125\n", + "global step=28162048, episodic return=1990.35986328125\n", + "global step=28164096, episodic return=1984.796142578125\n", + "global step=28164096, episodic return=2109.128662109375\n", + "global step=28164096, episodic return=2062.014892578125\n", + "global step=28164096, episodic return=2065.121826171875\n", + "global step=28166144, episodic return=2027.09423828125\n", + "global step=28166144, episodic return=2052.921630859375\n", + "global step=28168192, episodic return=2055.843017578125\n", + "global step=28168192, episodic return=2057.18603515625\n", + "global step=28170240, episodic return=1989.8841552734375\n", + "global step=28170240, episodic return=2048.343994140625\n", + "global step=28172288, episodic return=2059.409912109375\n", + "global step=28172288, episodic return=2053.1845703125\n", + "global step=28172288, episodic return=2016.7708740234375\n", + "global step=28172288, episodic return=2080.624755859375\n", + "global step=28172288, episodic return=2053.966796875\n", + "global step=28174336, episodic return=550.2683715820312\n", + "global step=28176384, episodic return=2099.17724609375\n", + "global step=28176384, episodic return=2084.006103515625\n", + "global step=28176384, episodic return=2050.345703125\n", + "global step=28176384, episodic return=2044.6905517578125\n", + "global step=28176384, episodic return=730.5519409179688\n", + "global step=28176384, episodic return=2029.845947265625\n", + "global step=28178432, episodic return=2034.047607421875\n", + "global step=28178432, episodic return=2035.2821044921875\n", + "global step=28178432, episodic return=2046.23681640625\n", + "global step=28178432, episodic return=2040.933837890625\n", + "global step=28178432, episodic return=2122.363525390625\n", + "global step=28180480, episodic return=2033.387939453125\n", + "global step=28180480, episodic return=2057.79833984375\n", + "global step=28182528, episodic return=2099.382080078125\n", + "global step=28184576, episodic return=2018.177734375\n", + "global step=28184576, episodic return=2066.891845703125\n", + "global step=28184576, episodic return=2030.2943115234375\n", + "global step=28184576, episodic return=2077.785400390625\n", + "global step=28184576, episodic return=1975.6629638671875\n", + "global step=28184576, episodic return=2033.6536865234375\n", + "global step=28184576, episodic return=1945.86669921875\n", + "global step=28186624, episodic return=1986.886474609375\n", + "global step=28186624, episodic return=2052.619140625\n", + "global step=28186624, episodic return=2095.946533203125\n", + "global step=28188672, episodic return=621.1450805664062\n", + "global step=28188672, episodic return=28.926788330078125\n", + "global step=28188672, episodic return=2027.3299560546875\n", + "global step=28188672, episodic return=2089.2158203125\n", + "global step=28188672, episodic return=2016.6395263671875\n", + "global step=28188672, episodic return=179.05850219726562\n", + "global step=28188672, episodic return=1997.6326904296875\n", + "global step=28188672, episodic return=2038.52001953125\n", + "global step=28190720, episodic return=2071.448486328125\n", + "global step=28190720, episodic return=2052.95068359375\n", + "global step=28194816, episodic return=2054.900634765625\n", + "global step=28194816, episodic return=1994.02392578125\n", + "global step=28194816, episodic return=1987.061767578125\n", + "global step=28194816, episodic return=2022.2196044921875\n", + "global step=28196864, episodic return=2048.3349609375\n", + "global step=28196864, episodic return=2054.75830078125\n", + "global step=28196864, episodic return=2098.33544921875\n", + "global step=28196864, episodic return=2031.6680908203125\n", + "global step=28198912, episodic return=2066.64990234375\n", + "global step=28198912, episodic return=472.2756652832031\n", + "global step=28198912, episodic return=2028.555908203125\n", + "global step=28198912, episodic return=1987.51953125\n", + "global step=28200960, episodic return=264.9861755371094\n", + "global step=28200960, episodic return=2046.7733154296875\n", + "global step=28203008, episodic return=2074.4638671875\n", + "global step=28205056, episodic return=2079.035888671875\n", + "global step=28205056, episodic return=1995.54541015625\n", + "global step=28205056, episodic return=1977.7784423828125\n", + "global step=28207104, episodic return=2103.239013671875\n", + "global step=28207104, episodic return=2097.01953125\n", + "global step=28207104, episodic return=2016.1448974609375\n", + "global step=28209152, episodic return=2094.1162109375\n", + "global step=28209152, episodic return=2096.951904296875\n", + "global step=28211200, episodic return=2093.409423828125\n", + "global step=28211200, episodic return=2084.0634765625\n", + "global step=28211200, episodic return=1983.3614501953125\n", + "global step=28213248, episodic return=994.884521484375\n", + "global step=28213248, episodic return=2067.741943359375\n", + "global step=28213248, episodic return=2091.828857421875\n", + "global step=28213248, episodic return=491.89642333984375\n", + "global step=28213248, episodic return=2010.1904296875\n", + "global step=28215296, episodic return=2094.8349609375\n", + "global step=28217344, episodic return=1994.4140625\n", + "global step=28217344, episodic return=2006.8037109375\n", + "global step=28217344, episodic return=2040.30419921875\n", + "global step=28219392, episodic return=728.2001953125\n", + "global step=28221440, episodic return=2032.8946533203125\n", + "global step=28223488, episodic return=2059.46875\n", + "global step=28223488, episodic return=2091.186279296875\n", + "global step=28223488, episodic return=1716.5325927734375\n", + "global step=28223488, episodic return=1989.538330078125\n", + "global step=28223488, episodic return=2028.1383056640625\n", + "global step=28225536, episodic return=2023.1634521484375\n", + "global step=28225536, episodic return=1975.684326171875\n", + "global step=28225536, episodic return=514.6630249023438\n", + "global step=28227584, episodic return=1977.9906005859375\n", + "global step=28229632, episodic return=2044.1181640625\n", + "global step=28229632, episodic return=2055.2890625\n", + "global step=28229632, episodic return=2106.189453125\n", + "global step=28231680, episodic return=473.3958435058594\n", + "global step=28231680, episodic return=548.6568603515625\n", + "global step=28231680, episodic return=2028.3538818359375\n", + "global step=28231680, episodic return=1978.7471923828125\n", + "global step=28233728, episodic return=489.0325012207031\n", + "global step=28233728, episodic return=1958.812255859375\n", + "global step=28233728, episodic return=2104.2060546875\n", + "global step=28235776, episodic return=2047.7542724609375\n", + "global step=28235776, episodic return=2022.974609375\n", + "global step=28235776, episodic return=2027.2408447265625\n", + "global step=28235776, episodic return=2075.714599609375\n", + "global step=28237824, episodic return=2012.8555908203125\n", + "global step=28237824, episodic return=543.3444213867188\n", + "global step=28237824, episodic return=2018.22900390625\n", + "global step=28239872, episodic return=1968.77978515625\n", + "global step=28239872, episodic return=2043.6865234375\n", + "global step=28239872, episodic return=1990.0384521484375\n", + "global step=28239872, episodic return=2014.020263671875\n", + "global step=28243968, episodic return=1996.21728515625\n", + "global step=28243968, episodic return=1933.5098876953125\n", + "global step=28243968, episodic return=2010.71728515625\n", + "global step=28246016, episodic return=1967.4166259765625\n", + "global step=28246016, episodic return=1998.765625\n", + "global step=28248064, episodic return=2048.114013671875\n", + "global step=28248064, episodic return=1197.84033203125\n", + "global step=28248064, episodic return=2003.8206787109375\n", + "global step=28248064, episodic return=2009.573486328125\n", + "global step=28248064, episodic return=2018.968994140625\n", + "global step=28248064, episodic return=2052.294189453125\n", + "global step=28248064, episodic return=1260.94140625\n", + "global step=28248064, episodic return=1997.7537841796875\n", + "global step=28248064, episodic return=1972.8302001953125\n", + "global step=28250112, episodic return=2054.768310546875\n", + "global step=28250112, episodic return=2120.653564453125\n", + "global step=28252160, episodic return=524.7411499023438\n", + "global step=28252160, episodic return=2051.03466796875\n", + "global step=28252160, episodic return=1978.7623291015625\n", + "global step=28252160, episodic return=1939.3634033203125\n", + "global step=28254208, episodic return=1981.7886962890625\n", + "global step=28256256, episodic return=2028.77685546875\n", + "global step=28256256, episodic return=1989.074951171875\n", + "global step=28256256, episodic return=1979.2437744140625\n", + "global step=28256256, episodic return=2089.574951171875\n", + "global step=28256256, episodic return=2091.77197265625\n", + "global step=28258304, episodic return=2011.6368408203125\n", + "global step=28258304, episodic return=1975.013671875\n", + "global step=28260352, episodic return=585.408447265625\n", + "global step=28260352, episodic return=2070.9609375\n", + "global step=28260352, episodic return=2031.0142822265625\n", + "global step=28260352, episodic return=2080.4931640625\n", + "global step=28260352, episodic return=1935.46484375\n", + "global step=28260352, episodic return=2108.814453125\n", + "global step=28260352, episodic return=2058.29931640625\n", + "global step=28262400, episodic return=516.6551513671875\n", + "global step=28262400, episodic return=534.137939453125\n", + "global step=28264448, episodic return=1997.3011474609375\n", + "global step=28266496, episodic return=2075.772705078125\n", + "global step=28266496, episodic return=2012.1298828125\n", + "global step=28266496, episodic return=539.1260375976562\n", + "global step=28266496, episodic return=2113.6611328125\n", + "global step=28266496, episodic return=2073.791748046875\n", + "global step=28266496, episodic return=2123.20751953125\n", + "global step=28266496, episodic return=2064.006103515625\n", + "global step=28268544, episodic return=2068.05615234375\n", + "global step=28268544, episodic return=1986.2177734375\n", + "global step=28268544, episodic return=2017.7640380859375\n", + "global step=28268544, episodic return=2047.979736328125\n", + "global step=28270592, episodic return=2043.3291015625\n", + "global step=28270592, episodic return=1999.4036865234375\n", + "global step=28270592, episodic return=2099.50634765625\n", + "global step=28270592, episodic return=2035.954345703125\n", + "global step=28270592, episodic return=2054.27685546875\n", + "global step=28270592, episodic return=1986.5013427734375\n", + "global step=28272640, episodic return=2022.115478515625\n", + "global step=28272640, episodic return=1993.9886474609375\n", + "global step=28272640, episodic return=2048.55126953125\n", + "global step=28272640, episodic return=2104.080810546875\n", + "global step=28272640, episodic return=2079.260009765625\n", + "global step=28272640, episodic return=1969.3878173828125\n", + "global step=28274688, episodic return=2012.6932373046875\n", + "global step=28276736, episodic return=2003.37841796875\n", + "global step=28276736, episodic return=2033.46435546875\n", + "global step=28280832, episodic return=2102.343994140625\n", + "global step=28280832, episodic return=2060.988037109375\n", + "global step=28282880, episodic return=1979.2813720703125\n", + "global step=28282880, episodic return=2000.2327880859375\n", + "global step=28282880, episodic return=2013.273193359375\n", + "global step=28282880, episodic return=1982.402099609375\n", + "global step=28282880, episodic return=1976.0352783203125\n", + "global step=28282880, episodic return=2044.3792724609375\n", + "global step=28282880, episodic return=1999.1739501953125\n", + "global step=28284928, episodic return=187.94802856445312\n", + "global step=28284928, episodic return=2041.3060302734375\n", + "global step=28284928, episodic return=2062.412353515625\n", + "global step=28284928, episodic return=521.6919555664062\n", + "global step=28284928, episodic return=2018.3675537109375\n", + "global step=28286976, episodic return=2108.24658203125\n", + "global step=28286976, episodic return=1940.000732421875\n", + "global step=28289024, episodic return=2051.33837890625\n", + "global step=28289024, episodic return=1195.7305908203125\n", + "global step=28289024, episodic return=2075.08251953125\n", + "global step=28291072, episodic return=1990.896240234375\n", + "global step=28291072, episodic return=1992.63623046875\n", + "global step=28291072, episodic return=2059.66015625\n", + "global step=28291072, episodic return=2014.2125244140625\n", + "global step=28293120, episodic return=2011.2899169921875\n", + "global step=28293120, episodic return=1986.92919921875\n", + "global step=28295168, episodic return=2094.1044921875\n", + "global step=28295168, episodic return=2082.486572265625\n", + "global step=28295168, episodic return=2083.543701171875\n", + "global step=28295168, episodic return=2020.2509765625\n", + "global step=28297216, episodic return=563.7914428710938\n", + "global step=28297216, episodic return=2054.148193359375\n", + "global step=28297216, episodic return=1992.615478515625\n", + "global step=28299264, episodic return=2000.877197265625\n", + "global step=28299264, episodic return=2044.359619140625\n", + "global step=28301312, episodic return=2004.853515625\n", + "global step=28301312, episodic return=2052.829345703125\n", + "global step=28301312, episodic return=2063.431884765625\n", + "global step=28303360, episodic return=2135.473876953125\n", + "global step=28305408, episodic return=2003.3543701171875\n", + "global step=28307456, episodic return=1910.299560546875\n", + "global step=28307456, episodic return=2063.098876953125\n", + "global step=28309504, episodic return=185.40408325195312\n", + "global step=28309504, episodic return=1890.651123046875\n", + "global step=28313600, episodic return=2046.18701171875\n", + "global step=28313600, episodic return=2060.97314453125\n", + "global step=28313600, episodic return=660.1644287109375\n", + "global step=28313600, episodic return=55.41079330444336\n", + "global step=28313600, episodic return=2010.7154541015625\n", + "global step=28313600, episodic return=189.246826171875\n", + "global step=28313600, episodic return=1793.50341796875\n", + "global step=28315648, episodic return=2036.9180908203125\n", + "global step=28315648, episodic return=1979.269775390625\n", + "global step=28315648, episodic return=1844.1756591796875\n", + "global step=28315648, episodic return=2004.29248046875\n", + "global step=28317696, episodic return=1952.003173828125\n", + "global step=28317696, episodic return=2032.1934814453125\n", + "global step=28319744, episodic return=1986.01513671875\n", + "global step=28319744, episodic return=1957.36767578125\n", + "global step=28319744, episodic return=1960.425537109375\n", + "global step=28319744, episodic return=2028.30908203125\n", + "global step=28321792, episodic return=2068.249755859375\n", + "global step=28321792, episodic return=2048.311279296875\n", + "global step=28321792, episodic return=2005.1212158203125\n", + "global step=28321792, episodic return=2023.4254150390625\n", + "global step=28321792, episodic return=2053.74951171875\n", + "global step=28325888, episodic return=2028.0560302734375\n", + "global step=28327936, episodic return=2038.923583984375\n", + "global step=28327936, episodic return=58.1943359375\n", + "global step=28327936, episodic return=2059.58935546875\n", + "global step=28329984, episodic return=2018.9334716796875\n", + "global step=28329984, episodic return=1964.10400390625\n", + "global step=28329984, episodic return=2082.469970703125\n", + "global step=28329984, episodic return=807.660400390625\n", + "global step=28329984, episodic return=1969.660888671875\n", + "global step=28329984, episodic return=2020.0443115234375\n", + "global step=28332032, episodic return=2027.1051025390625\n", + "global step=28332032, episodic return=2058.18115234375\n", + "global step=28332032, episodic return=2017.25830078125\n", + "global step=28334080, episodic return=2044.743896484375\n", + "global step=28334080, episodic return=2003.1204833984375\n", + "global step=28336128, episodic return=2048.43359375\n", + "global step=28336128, episodic return=481.08734130859375\n", + "global step=28336128, episodic return=1612.6162109375\n", + "global step=28336128, episodic return=2056.639892578125\n", + "global step=28338176, episodic return=1947.6326904296875\n", + "global step=28340224, episodic return=642.9005126953125\n", + "global step=28340224, episodic return=1968.5302734375\n", + "global step=28340224, episodic return=2119.220947265625\n", + "global step=28340224, episodic return=1997.453369140625\n", + "global step=28340224, episodic return=2075.890869140625\n", + "global step=28344320, episodic return=1968.4107666015625\n", + "global step=28344320, episodic return=824.0584716796875\n", + "global step=28344320, episodic return=2017.96435546875\n", + "global step=28344320, episodic return=2061.632080078125\n", + "global step=28344320, episodic return=2032.52294921875\n", + "global step=28346368, episodic return=1984.6046142578125\n", + "global step=28346368, episodic return=39.39726257324219\n", + "global step=28348416, episodic return=1063.0828857421875\n", + "global step=28348416, episodic return=1929.1405029296875\n", + "global step=28348416, episodic return=1794.4759521484375\n", + "global step=28348416, episodic return=1999.0682373046875\n", + "global step=28350464, episodic return=2022.259033203125\n", + "global step=28350464, episodic return=2082.9384765625\n", + "global step=28350464, episodic return=1982.991943359375\n", + "global step=28350464, episodic return=2062.16552734375\n", + "global step=28350464, episodic return=1960.302978515625\n", + "global step=28352512, episodic return=2005.1513671875\n", + "global step=28354560, episodic return=2005.974853515625\n", + "global step=28354560, episodic return=2040.9603271484375\n", + "global step=28354560, episodic return=1965.044677734375\n", + "global step=28356608, episodic return=2015.308837890625\n", + "global step=28356608, episodic return=2016.40478515625\n", + "global step=28356608, episodic return=2071.387939453125\n", + "global step=28356608, episodic return=2006.1143798828125\n", + "global step=28356608, episodic return=2060.551513671875\n", + "global step=28358656, episodic return=1980.74853515625\n", + "global step=28358656, episodic return=1650.0391845703125\n", + "global step=28358656, episodic return=189.96334838867188\n", + "global step=28358656, episodic return=2003.2484130859375\n", + "global step=28358656, episodic return=620.5209350585938\n", + "global step=28358656, episodic return=37.80263137817383\n", + "global step=28360704, episodic return=1221.5242919921875\n", + "global step=28360704, episodic return=2023.2137451171875\n", + "global step=28362752, episodic return=1993.482177734375\n", + "global step=28362752, episodic return=1964.7861328125\n", + "global step=28362752, episodic return=1978.9583740234375\n", + "global step=28362752, episodic return=2059.322509765625\n", + "global step=28362752, episodic return=888.6362915039062\n", + "global step=28362752, episodic return=1942.177978515625\n", + "global step=28364800, episodic return=1955.8355712890625\n", + "global step=28364800, episodic return=1287.66015625\n", + "global step=28366848, episodic return=2092.339599609375\n", + "global step=28368896, episodic return=1954.212158203125\n", + "global step=28370944, episodic return=2029.448486328125\n", + "global step=28370944, episodic return=1072.53955078125\n", + "global step=28370944, episodic return=1981.615234375\n", + "global step=28370944, episodic return=2002.2510986328125\n", + "global step=28370944, episodic return=1945.392822265625\n", + "global step=28370944, episodic return=2039.11328125\n", + "global step=28372992, episodic return=1963.505126953125\n", + "global step=28372992, episodic return=2057.385986328125\n", + "global step=28372992, episodic return=2091.569091796875\n", + "global step=28372992, episodic return=1968.5576171875\n", + "global step=28375040, episodic return=780.8599243164062\n", + "global step=28375040, episodic return=2029.557861328125\n", + "global step=28375040, episodic return=1460.033447265625\n", + "global step=28375040, episodic return=1964.908203125\n", + "global step=28375040, episodic return=1689.1165771484375\n", + "global step=28377088, episodic return=1185.34912109375\n", + "global step=28377088, episodic return=1581.6748046875\n", + "global step=28379136, episodic return=2074.6181640625\n", + "global step=28381184, episodic return=2061.4501953125\n", + "global step=28381184, episodic return=1821.382568359375\n", + "global step=28383232, episodic return=2011.27783203125\n", + "global step=28383232, episodic return=1975.504638671875\n", + "global step=28387328, episodic return=1885.719482421875\n", + "global step=28387328, episodic return=1999.68115234375\n", + "global step=28389376, episodic return=1989.7977294921875\n", + "global step=28389376, episodic return=2086.169189453125\n", + "global step=28389376, episodic return=1361.2344970703125\n", + "global step=28389376, episodic return=2083.228515625\n", + "global step=28391424, episodic return=810.1461791992188\n", + "global step=28391424, episodic return=2074.44140625\n", + "global step=28393472, episodic return=1987.8280029296875\n", + "global step=28393472, episodic return=2102.81005859375\n", + "global step=28393472, episodic return=2027.869384765625\n", + "global step=28393472, episodic return=1991.7193603515625\n", + "global step=28395520, episodic return=635.57763671875\n", + "global step=28395520, episodic return=2078.76513671875\n", + "global step=28395520, episodic return=602.8861083984375\n", + "global step=28395520, episodic return=1627.9224853515625\n", + "global step=28397568, episodic return=636.285400390625\n", + "global step=28397568, episodic return=1969.9537353515625\n", + "global step=28397568, episodic return=2036.770263671875\n", + "global step=28399616, episodic return=1979.214599609375\n", + "global step=28399616, episodic return=2060.2294921875\n", + "global step=28399616, episodic return=1943.4571533203125\n", + "global step=28401664, episodic return=531.2880249023438\n", + "global step=28401664, episodic return=2070.9677734375\n", + "global step=28401664, episodic return=1978.08154296875\n", + "global step=28403712, episodic return=2015.46337890625\n", + "global step=28403712, episodic return=779.5014038085938\n", + "global step=28405760, episodic return=2028.4127197265625\n", + "global step=28405760, episodic return=705.1272583007812\n", + "global step=28407808, episodic return=836.9885864257812\n", + "global step=28407808, episodic return=1946.047119140625\n", + "global step=28409856, episodic return=1154.3231201171875\n", + "global step=28409856, episodic return=758.2061157226562\n", + "global step=28409856, episodic return=1222.838134765625\n", + "global step=28409856, episodic return=653.8111572265625\n", + "global step=28411904, episodic return=1945.667236328125\n", + "global step=28411904, episodic return=1941.7877197265625\n", + "global step=28411904, episodic return=1957.4307861328125\n", + "global step=28413952, episodic return=2034.4090576171875\n", + "global step=28416000, episodic return=1997.5146484375\n", + "global step=28416000, episodic return=555.990234375\n", + "global step=28418048, episodic return=1986.7984619140625\n", + "global step=28418048, episodic return=888.997314453125\n", + "global step=28418048, episodic return=1984.529296875\n", + "global step=28420096, episodic return=1994.8583984375\n", + "global step=28420096, episodic return=1301.5806884765625\n", + "global step=28422144, episodic return=2035.4371337890625\n", + "global step=28424192, episodic return=449.1187744140625\n", + "global step=28428288, episodic return=1629.4793701171875\n", + "global step=28428288, episodic return=2066.0478515625\n", + "global step=28428288, episodic return=2062.763916015625\n", + "global step=28428288, episodic return=2074.566162109375\n", + "global step=28430336, episodic return=2046.165771484375\n", + "global step=28430336, episodic return=1502.239501953125\n", + "global step=28430336, episodic return=1708.516357421875\n", + "global step=28430336, episodic return=1982.40673828125\n", + "global step=28432384, episodic return=818.1324462890625\n", + "global step=28432384, episodic return=842.4560546875\n", + "global step=28432384, episodic return=1707.66259765625\n", + "global step=28432384, episodic return=1961.7601318359375\n", + "global step=28432384, episodic return=785.1075439453125\n", + "global step=28434432, episodic return=2052.2734375\n", + "global step=28434432, episodic return=2026.97509765625\n", + "global step=28436480, episodic return=1999.18798828125\n", + "global step=28438528, episodic return=1987.7613525390625\n", + "global step=28438528, episodic return=1976.3685302734375\n", + "global step=28438528, episodic return=2019.2982177734375\n", + "global step=28438528, episodic return=1966.7821044921875\n", + "global step=28440576, episodic return=1586.0390625\n", + "global step=28440576, episodic return=1985.1318359375\n", + "global step=28440576, episodic return=2002.2440185546875\n", + "global step=28442624, episodic return=1990.8671875\n", + "global step=28442624, episodic return=1212.183837890625\n", + "global step=28444672, episodic return=2040.1083984375\n", + "global step=28444672, episodic return=1958.0404052734375\n", + "global step=28444672, episodic return=2024.4991455078125\n", + "global step=28446720, episodic return=1971.408935546875\n", + "global step=28446720, episodic return=1961.764892578125\n", + "global step=28446720, episodic return=1970.1107177734375\n", + "global step=28448768, episodic return=2002.2926025390625\n", + "global step=28448768, episodic return=1975.00341796875\n", + "global step=28448768, episodic return=1976.81005859375\n", + "global step=28448768, episodic return=1290.928955078125\n", + "global step=28450816, episodic return=1946.9786376953125\n", + "global step=28452864, episodic return=1994.2392578125\n", + "global step=28452864, episodic return=1949.8341064453125\n", + "global step=28456960, episodic return=1993.099365234375\n", + "global step=28459008, episodic return=1289.8941650390625\n", + "global step=28459008, episodic return=1994.0389404296875\n", + "global step=28459008, episodic return=2010.1016845703125\n", + "global step=28459008, episodic return=1825.3245849609375\n", + "global step=28461056, episodic return=1986.675537109375\n", + "global step=28461056, episodic return=1865.7498779296875\n", + "global step=28463104, episodic return=2050.1962890625\n", + "global step=28463104, episodic return=2001.903076171875\n", + "global step=28463104, episodic return=1979.89013671875\n", + "global step=28467200, episodic return=1988.576416015625\n", + "global step=28469248, episodic return=1971.3292236328125\n", + "global step=28469248, episodic return=1794.5703125\n", + "global step=28469248, episodic return=1992.8614501953125\n", + "global step=28469248, episodic return=1973.3160400390625\n", + "global step=28471296, episodic return=2018.8984375\n", + "global step=28471296, episodic return=1366.653076171875\n", + "global step=28471296, episodic return=1974.072265625\n", + "global step=28473344, episodic return=2102.38671875\n", + "global step=28473344, episodic return=1917.1600341796875\n", + "global step=28473344, episodic return=1966.814697265625\n", + "global step=28473344, episodic return=2076.981689453125\n", + "global step=28475392, episodic return=1778.2576904296875\n", + "global step=28475392, episodic return=1390.0662841796875\n", + "global step=28475392, episodic return=1973.026611328125\n", + "global step=28475392, episodic return=1992.752197265625\n", + "global step=28475392, episodic return=1980.5355224609375\n", + "global step=28477440, episodic return=2011.6651611328125\n", + "global step=28479488, episodic return=2044.9586181640625\n", + "global step=28481536, episodic return=1976.29833984375\n", + "global step=28481536, episodic return=1948.22900390625\n", + "global step=28483584, episodic return=2091.006591796875\n", + "global step=28483584, episodic return=1967.479248046875\n", + "global step=28483584, episodic return=281.7149353027344\n", + "global step=28483584, episodic return=2090.393798828125\n", + "global step=28483584, episodic return=2060.38720703125\n", + "global step=28485632, episodic return=2007.6480712890625\n", + "global step=28485632, episodic return=2023.836181640625\n", + "global step=28485632, episodic return=1226.77490234375\n", + "global step=28485632, episodic return=1985.2979736328125\n", + "global step=28487680, episodic return=1983.9681396484375\n", + "global step=28487680, episodic return=851.0226440429688\n", + "global step=28489728, episodic return=2075.008544921875\n", + "global step=28491776, episodic return=2030.68701171875\n", + "global step=28491776, episodic return=2098.251220703125\n", + "global step=28491776, episodic return=1996.2340087890625\n", + "global step=28493824, episodic return=2039.7972412109375\n", + "global step=28493824, episodic return=962.9021606445312\n", + "global step=28495872, episodic return=1965.8372802734375\n", + "global step=28495872, episodic return=2087.009033203125\n", + "global step=28495872, episodic return=925.1527709960938\n", + "global step=28495872, episodic return=2089.067626953125\n", + "global step=28497920, episodic return=2057.021728515625\n", + "global step=28497920, episodic return=1995.4449462890625\n", + "global step=28497920, episodic return=1252.0205078125\n", + "global step=28499968, episodic return=2040.12158203125\n", + "global step=28499968, episodic return=1950.089599609375\n", + "global step=28499968, episodic return=1961.7344970703125\n", + "global step=28499968, episodic return=1952.81640625\n", + "global step=28502016, episodic return=2094.931640625\n", + "global step=28502016, episodic return=1944.955322265625\n", + "global step=28502016, episodic return=1992.4193115234375\n", + "global step=28504064, episodic return=1955.068359375\n", + "global step=28506112, episodic return=2102.40185546875\n", + "global step=28508160, episodic return=1958.71630859375\n", + "global step=28508160, episodic return=1968.482666015625\n", + "global step=28508160, episodic return=2082.5830078125\n", + "global step=28508160, episodic return=1834.3184814453125\n", + "global step=28510208, episodic return=2024.4608154296875\n", + "global step=28510208, episodic return=428.137451171875\n", + "global step=28510208, episodic return=2032.1075439453125\n", + "global step=28510208, episodic return=2005.2958984375\n", + "global step=28510208, episodic return=1991.7452392578125\n", + "global step=28512256, episodic return=2049.276611328125\n", + "global step=28514304, episodic return=2084.1533203125\n", + "global step=28514304, episodic return=1975.4072265625\n", + "global step=28516352, episodic return=1962.6025390625\n", + "global step=28516352, episodic return=1992.0362548828125\n", + "global step=28518400, episodic return=1961.3209228515625\n", + "global step=28520448, episodic return=572.2450561523438\n", + "global step=28520448, episodic return=2025.33544921875\n", + "global step=28520448, episodic return=452.5239562988281\n", + "global step=28522496, episodic return=2072.633056640625\n", + "global step=28522496, episodic return=1958.6156005859375\n", + "global step=28522496, episodic return=1034.9019775390625\n", + "global step=28522496, episodic return=1964.3681640625\n", + "global step=28524544, episodic return=1719.6949462890625\n", + "global step=28526592, episodic return=1959.0445556640625\n", + "global step=28526592, episodic return=2005.8780517578125\n", + "global step=28528640, episodic return=2004.422119140625\n", + "global step=28528640, episodic return=1955.9189453125\n", + "global step=28528640, episodic return=1982.75341796875\n", + "global step=28530688, episodic return=2001.6572265625\n", + "global step=28532736, episodic return=2033.0731201171875\n", + "global step=28532736, episodic return=1973.744384765625\n", + "global step=28534784, episodic return=2019.918701171875\n", + "global step=28536832, episodic return=1971.334228515625\n", + "global step=28538880, episodic return=2066.63916015625\n", + "global step=28538880, episodic return=1933.1851806640625\n", + "global step=28538880, episodic return=2014.2886962890625\n", + "global step=28540928, episodic return=1988.5062255859375\n", + "global step=28540928, episodic return=1997.4837646484375\n", + "global step=28542976, episodic return=812.2130737304688\n", + "global step=28542976, episodic return=1720.1082763671875\n", + "global step=28545024, episodic return=2024.9688720703125\n", + "global step=28545024, episodic return=203.76866149902344\n", + "global step=28545024, episodic return=2000.97705078125\n", + "global step=28547072, episodic return=1966.3873291015625\n", + "global step=28549120, episodic return=1994.2078857421875\n", + "global step=28549120, episodic return=1967.480224609375\n", + "global step=28549120, episodic return=1970.61181640625\n", + "global step=28549120, episodic return=444.1478271484375\n", + "global step=28553216, episodic return=2038.4993896484375\n", + "global step=28553216, episodic return=2016.673095703125\n", + "global step=28555264, episodic return=2070.700439453125\n", + "global step=28555264, episodic return=177.27633666992188\n", + "global step=28559360, episodic return=992.3676147460938\n", + "global step=28559360, episodic return=2055.45263671875\n", + "global step=28559360, episodic return=2021.03857421875\n", + "global step=28561408, episodic return=162.83966064453125\n", + "global step=28561408, episodic return=548.55078125\n", + "global step=28561408, episodic return=2003.54296875\n", + "global step=28563456, episodic return=1867.946044921875\n", + "global step=28563456, episodic return=1999.9810791015625\n", + "global step=28563456, episodic return=2007.0296630859375\n", + "global step=28563456, episodic return=1963.6507568359375\n", + "global step=28565504, episodic return=1976.0634765625\n", + "global step=28565504, episodic return=1997.806640625\n", + "global step=28565504, episodic return=2063.096923828125\n", + "global step=28565504, episodic return=1997.8607177734375\n", + "global step=28565504, episodic return=1994.3623046875\n", + "global step=28565504, episodic return=1966.981689453125\n", + "global step=28567552, episodic return=2057.435546875\n", + "global step=28567552, episodic return=1965.0733642578125\n", + "global step=28567552, episodic return=1995.599365234375\n", + "global step=28567552, episodic return=1955.5950927734375\n", + "global step=28567552, episodic return=1956.663818359375\n", + "global step=28567552, episodic return=43.90186309814453\n", + "global step=28569600, episodic return=2045.84912109375\n", + "global step=28569600, episodic return=1208.9046630859375\n", + "global step=28571648, episodic return=936.9694213867188\n", + "global step=28573696, episodic return=2027.851318359375\n", + "global step=28575744, episodic return=969.8644409179688\n", + "global step=28575744, episodic return=2041.4544677734375\n", + "global step=28577792, episodic return=2056.720947265625\n", + "global step=28579840, episodic return=2035.1334228515625\n", + "global step=28579840, episodic return=484.43231201171875\n", + "global step=28581888, episodic return=2069.3837890625\n", + "global step=28581888, episodic return=2007.524658203125\n", + "global step=28583936, episodic return=1138.5328369140625\n", + "global step=28585984, episodic return=1614.5902099609375\n", + "global step=28585984, episodic return=1948.04345703125\n", + "global step=28588032, episodic return=2008.7869873046875\n", + "global step=28592128, episodic return=380.93701171875\n", + "global step=28592128, episodic return=1900.766845703125\n", + "global step=28594176, episodic return=2098.2294921875\n", + "global step=28596224, episodic return=1087.0697021484375\n", + "global step=28596224, episodic return=2001.3018798828125\n", + "global step=28596224, episodic return=2010.984619140625\n", + "global step=28598272, episodic return=2107.571533203125\n", + "global step=28600320, episodic return=46.417640686035156\n", + "global step=28600320, episodic return=2061.0673828125\n", + "global step=28602368, episodic return=1954.3521728515625\n", + "global step=28602368, episodic return=1986.9356689453125\n", + "global step=28602368, episodic return=110.7655029296875\n", + "global step=28604416, episodic return=1977.3226318359375\n", + "global step=28606464, episodic return=1967.9622802734375\n", + "global step=28606464, episodic return=2019.8380126953125\n", + "global step=28606464, episodic return=1983.120849609375\n", + "global step=28608512, episodic return=1995.756103515625\n", + "global step=28608512, episodic return=2102.111328125\n", + "global step=28610560, episodic return=2035.21875\n", + "global step=28610560, episodic return=1970.499267578125\n", + "global step=28612608, episodic return=2037.588623046875\n", + "global step=28614656, episodic return=69.94869232177734\n", + "global step=28616704, episodic return=2058.361083984375\n", + "global step=28616704, episodic return=1984.53662109375\n", + "global step=28616704, episodic return=2048.40283203125\n", + "global step=28618752, episodic return=1979.40966796875\n", + "global step=28618752, episodic return=2097.447021484375\n", + "global step=28618752, episodic return=38.985267639160156\n", + "global step=28620800, episodic return=2025.224365234375\n", + "global step=28620800, episodic return=1966.2586669921875\n", + "global step=28622848, episodic return=87.40348052978516\n", + "global step=28622848, episodic return=1958.1444091796875\n", + "global step=28622848, episodic return=1951.657470703125\n", + "global step=28622848, episodic return=1952.332275390625\n", + "global step=28622848, episodic return=1329.325439453125\n", + "global step=28622848, episodic return=2018.55322265625\n", + "global step=28624896, episodic return=1970.9757080078125\n", + "global step=28624896, episodic return=1946.7554931640625\n", + "global step=28626944, episodic return=2036.564697265625\n", + "global step=28626944, episodic return=1955.365478515625\n", + "global step=28628992, episodic return=1980.029296875\n", + "global step=28628992, episodic return=2020.2890625\n", + "global step=28628992, episodic return=2004.7662353515625\n", + "global step=28631040, episodic return=2090.544189453125\n", + "global step=28633088, episodic return=2081.6474609375\n", + "global step=28633088, episodic return=1948.22998046875\n", + "global step=28633088, episodic return=2011.886474609375\n", + "global step=28635136, episodic return=1949.86083984375\n", + "global step=28635136, episodic return=1964.6956787109375\n", + "global step=28637184, episodic return=2026.2242431640625\n", + "global step=28637184, episodic return=1975.6365966796875\n", + "global step=28639232, episodic return=2055.27685546875\n", + "global step=28641280, episodic return=2055.92578125\n", + "global step=28643328, episodic return=1964.5648193359375\n", + "global step=28643328, episodic return=1975.554931640625\n", + "global step=28643328, episodic return=2040.9217529296875\n", + "global step=28645376, episodic return=2069.422607421875\n", + "global step=28645376, episodic return=2118.589111328125\n", + "global step=28647424, episodic return=955.4497680664062\n", + "global step=28647424, episodic return=2018.1524658203125\n", + "global step=28649472, episodic return=2047.9005126953125\n", + "global step=28649472, episodic return=2040.631591796875\n", + "global step=28649472, episodic return=2009.183349609375\n", + "global step=28649472, episodic return=1995.633056640625\n", + "global step=28651520, episodic return=2030.0433349609375\n", + "global step=28653568, episodic return=1944.5615234375\n", + "global step=28653568, episodic return=2042.5838623046875\n", + "global step=28655616, episodic return=644.4224243164062\n", + "global step=28655616, episodic return=2087.66748046875\n", + "global step=28655616, episodic return=1974.0184326171875\n", + "global step=28655616, episodic return=1977.930419921875\n", + "global step=28657664, episodic return=758.6259765625\n", + "global step=28657664, episodic return=1965.976318359375\n", + "global step=28657664, episodic return=2026.4010009765625\n", + "global step=28659712, episodic return=1975.442138671875\n", + "global step=28659712, episodic return=2003.5867919921875\n", + "global step=28661760, episodic return=2083.82958984375\n", + "global step=28661760, episodic return=1950.896240234375\n", + "global step=28663808, episodic return=2078.866455078125\n", + "global step=28663808, episodic return=1981.585205078125\n", + "global step=28663808, episodic return=2028.6446533203125\n", + "global step=28665856, episodic return=1983.902587890625\n", + "global step=28667904, episodic return=2085.498291015625\n", + "global step=28667904, episodic return=1974.1859130859375\n", + "global step=28674048, episodic return=1953.350341796875\n", + "global step=28676096, episodic return=1862.6563720703125\n", + "global step=28676096, episodic return=2018.9903564453125\n", + "global step=28678144, episodic return=2019.03369140625\n", + "global step=28678144, episodic return=2014.4122314453125\n", + "global step=28680192, episodic return=1981.6488037109375\n", + "global step=28680192, episodic return=2003.005615234375\n", + "global step=28682240, episodic return=1389.6514892578125\n", + "global step=28684288, episodic return=1991.1580810546875\n", + "global step=28686336, episodic return=2068.609619140625\n", + "global step=28686336, episodic return=1995.6607666015625\n", + "global step=28688384, episodic return=1959.76318359375\n", + "global step=28692480, episodic return=1138.0025634765625\n", + "global step=28694528, episodic return=695.1353149414062\n", + "global step=28694528, episodic return=1957.9124755859375\n", + "global step=28696576, episodic return=2120.891845703125\n", + "global step=28698624, episodic return=2029.51611328125\n", + "global step=28698624, episodic return=2077.00830078125\n", + "global step=28698624, episodic return=2007.64453125\n", + "global step=28698624, episodic return=1969.6031494140625\n", + "global step=28698624, episodic return=1980.9058837890625\n", + "global step=28698624, episodic return=1961.98779296875\n", + "global step=28700672, episodic return=2025.3193359375\n", + "global step=28700672, episodic return=1962.2025146484375\n", + "global step=28702720, episodic return=1999.0994873046875\n", + "global step=28704768, episodic return=428.264892578125\n", + "global step=28704768, episodic return=1954.3590087890625\n", + "global step=28706816, episodic return=480.8932800292969\n", + "global step=28708864, episodic return=403.2618103027344\n", + "global step=28708864, episodic return=2007.148681640625\n", + "global step=28708864, episodic return=1928.791259765625\n", + "global step=28708864, episodic return=2076.08642578125\n", + "global step=28710912, episodic return=2041.9306640625\n", + "global step=28710912, episodic return=367.85076904296875\n", + "global step=28710912, episodic return=1939.06787109375\n", + "global step=28712960, episodic return=2060.54296875\n", + "global step=28712960, episodic return=2059.856689453125\n", + "global step=28715008, episodic return=1968.0738525390625\n", + "global step=28717056, episodic return=2031.4659423828125\n", + "global step=28719104, episodic return=2032.4825439453125\n", + "global step=28719104, episodic return=2054.133544921875\n", + "global step=28721152, episodic return=47.29324722290039\n", + "global step=28721152, episodic return=1974.6663818359375\n", + "global step=28721152, episodic return=1950.6356201171875\n", + "global step=28723200, episodic return=2098.298583984375\n", + "global step=28723200, episodic return=1960.9598388671875\n", + "global step=28725248, episodic return=1983.7587890625\n", + "global step=28731392, episodic return=1643.0447998046875\n", + "global step=28733440, episodic return=1977.7547607421875\n", + "global step=28735488, episodic return=2065.595458984375\n", + "global step=28737536, episodic return=2005.030517578125\n", + "global step=28739584, episodic return=1970.380126953125\n", + "global step=28739584, episodic return=2053.281494140625\n", + "global step=28739584, episodic return=2108.884765625\n", + "global step=28739584, episodic return=1022.7544555664062\n", + "global step=28739584, episodic return=2030.70751953125\n", + "global step=28741632, episodic return=1973.259521484375\n", + "global step=28743680, episodic return=1968.5435791015625\n", + "global step=28743680, episodic return=1296.44140625\n", + "global step=28745728, episodic return=2000.7421875\n", + "global step=28747776, episodic return=1920.5059814453125\n", + "global step=28747776, episodic return=2019.5887451171875\n", + "global step=28747776, episodic return=2002.061767578125\n", + "global step=28749824, episodic return=2059.149169921875\n", + "global step=28749824, episodic return=1971.7747802734375\n", + "global step=28749824, episodic return=1993.3155517578125\n", + "global step=28749824, episodic return=1968.1903076171875\n", + "global step=28753920, episodic return=2061.099365234375\n", + "global step=28755968, episodic return=2039.7645263671875\n", + "global step=28758016, episodic return=2099.053466796875\n", + "global step=28758016, episodic return=1965.809326171875\n", + "global step=28760064, episodic return=2041.674072265625\n", + "global step=28760064, episodic return=2058.17822265625\n", + "global step=28762112, episodic return=2031.974365234375\n", + "global step=28762112, episodic return=2155.095458984375\n", + "global step=28766208, episodic return=2010.719482421875\n", + "global step=28766208, episodic return=2037.39501953125\n", + "global step=28768256, episodic return=1988.218505859375\n", + "global step=28770304, episodic return=1959.992431640625\n", + "global step=28770304, episodic return=2018.727294921875\n", + "global step=28770304, episodic return=2098.918701171875\n", + "global step=28772352, episodic return=2035.531005859375\n", + "global step=28772352, episodic return=2065.455322265625\n", + "global step=28776448, episodic return=2031.8328857421875\n", + "global step=28776448, episodic return=2004.292724609375\n", + "global step=28782592, episodic return=1471.873046875\n", + "global step=28782592, episodic return=1998.0609130859375\n", + "global step=28784640, episodic return=917.3291015625\n", + "global step=28786688, episodic return=2019.4185791015625\n", + "global step=28788736, episodic return=2014.4154052734375\n", + "global step=28788736, episodic return=412.1512451171875\n", + "global step=28790784, episodic return=1950.615966796875\n", + "global step=28790784, episodic return=520.9835815429688\n", + "global step=28794880, episodic return=2056.139892578125\n", + "global step=28794880, episodic return=1972.672119140625\n", + "global step=28794880, episodic return=1147.4600830078125\n", + "global step=28794880, episodic return=1019.5640258789062\n", + "global step=28794880, episodic return=2000.810546875\n", + "global step=28796928, episodic return=2074.329345703125\n", + "global step=28803072, episodic return=2047.166748046875\n", + "global step=28805120, episodic return=1980.4168701171875\n", + "global step=28805120, episodic return=1988.6829833984375\n", + "global step=28805120, episodic return=2049.7978515625\n", + "global step=28807168, episodic return=903.0964965820312\n", + "global step=28809216, episodic return=1987.0975341796875\n", + "global step=28813312, episodic return=2011.038330078125\n", + "global step=28821504, episodic return=2052.992919921875\n", + "global step=28825600, episodic return=2023.0166015625\n", + "global step=28827648, episodic return=2074.96484375\n", + "global step=28827648, episodic return=2070.818115234375\n", + "global step=28831744, episodic return=2003.1556396484375\n", + "global step=28831744, episodic return=2026.9261474609375\n", + "global step=28833792, episodic return=190.04283142089844\n", + "global step=28835840, episodic return=2093.345947265625\n", + "global step=28835840, episodic return=210.2177276611328\n", + "global step=28837888, episodic return=2004.9462890625\n", + "global step=28837888, episodic return=614.8480224609375\n", + "global step=28841984, episodic return=1967.8497314453125\n", + "global step=28844032, episodic return=2059.44677734375\n", + "global step=28844032, episodic return=2028.055419921875\n", + "global step=28848128, episodic return=1983.498046875\n", + "global step=28850176, episodic return=1967.2994384765625\n", + "global step=28852224, episodic return=2088.976806640625\n", + "global step=28852224, episodic return=1987.4334716796875\n", + "global step=28854272, episodic return=2012.6849365234375\n", + "global step=28856320, episodic return=1989.82177734375\n", + "global step=28860416, episodic return=2024.824951171875\n", + "global step=28860416, episodic return=2058.9580078125\n", + "global step=28862464, episodic return=1383.61962890625\n", + "global step=28864512, episodic return=676.2828979492188\n", + "global step=28866560, episodic return=2024.345458984375\n", + "global step=28866560, episodic return=430.7581481933594\n", + "global step=28872704, episodic return=2113.45263671875\n", + "global step=28878848, episodic return=2019.9124755859375\n", + "global step=28880896, episodic return=1945.7183837890625\n", + "global step=28880896, episodic return=2040.1556396484375\n", + "global step=28880896, episodic return=2087.080810546875\n", + "global step=28880896, episodic return=779.2046508789062\n", + "global step=28887040, episodic return=2092.481201171875\n", + "global step=28887040, episodic return=2004.04833984375\n", + "global step=28891136, episodic return=1342.3931884765625\n", + "global step=28891136, episodic return=1481.929931640625\n", + "global step=28891136, episodic return=2025.6468505859375\n", + "global step=28893184, episodic return=1997.6243896484375\n", + "global step=28895232, episodic return=2011.30224609375\n", + "global step=28895232, episodic return=1971.9794921875\n", + "global step=28895232, episodic return=2061.255615234375\n", + "global step=28897280, episodic return=2065.493408203125\n", + "global step=28899328, episodic return=2018.130615234375\n", + "global step=28899328, episodic return=2018.320068359375\n", + "global step=28899328, episodic return=670.2794799804688\n", + "global step=28899328, episodic return=1985.55322265625\n", + "global step=28901376, episodic return=42.37541580200195\n", + "global step=28903424, episodic return=2057.952880859375\n", + "global step=28903424, episodic return=2027.887939453125\n", + "global step=28905472, episodic return=2066.220458984375\n", + "global step=28905472, episodic return=2037.51123046875\n", + "global step=28907520, episodic return=2113.947998046875\n", + "global step=28909568, episodic return=2053.3876953125\n", + "global step=28909568, episodic return=2025.612548828125\n", + "global step=28911616, episodic return=1999.118896484375\n", + "global step=28911616, episodic return=1937.5360107421875\n", + "global step=28913664, episodic return=2087.28515625\n", + "global step=28921856, episodic return=1995.09765625\n", + "global step=28921856, episodic return=2035.605712890625\n", + "global step=28925952, episodic return=2038.8134765625\n", + "global step=28925952, episodic return=2103.149658203125\n", + "global step=28928000, episodic return=2027.0899658203125\n", + "global step=28928000, episodic return=1977.9854736328125\n", + "global step=28930048, episodic return=2011.7113037109375\n", + "global step=28930048, episodic return=1308.0045166015625\n", + "global step=28932096, episodic return=939.094970703125\n", + "global step=28932096, episodic return=1991.7330322265625\n", + "global step=28934144, episodic return=2030.94287109375\n", + "global step=28936192, episodic return=1999.5938720703125\n", + "global step=28942336, episodic return=1977.2333984375\n", + "global step=28944384, episodic return=1973.8946533203125\n", + "global step=28946432, episodic return=2066.156494140625\n", + "global step=28948480, episodic return=2044.374267578125\n", + "global step=28948480, episodic return=2029.6885986328125\n", + "global step=28950528, episodic return=2036.5072021484375\n", + "global step=28950528, episodic return=2035.8873291015625\n", + "global step=28952576, episodic return=2003.3829345703125\n", + "global step=28962816, episodic return=2079.498046875\n", + "global step=28962816, episodic return=2012.314208984375\n", + "global step=28962816, episodic return=2007.3582763671875\n", + "global step=28964864, episodic return=728.4230346679688\n", + "global step=28971008, episodic return=1971.921875\n", + "global step=28973056, episodic return=2034.712890625\n", + "global step=28975104, episodic return=2018.058837890625\n", + "global step=28979200, episodic return=2003.4256591796875\n", + "global step=28981248, episodic return=570.53369140625\n", + "global step=28983296, episodic return=2089.2236328125\n", + "global step=28985344, episodic return=2019.445556640625\n", + "global step=28985344, episodic return=124.92377471923828\n", + "global step=28987392, episodic return=2033.937255859375\n", + "global step=28987392, episodic return=965.833740234375\n", + "global step=28987392, episodic return=2068.3857421875\n", + "global step=28991488, episodic return=655.8156127929688\n", + "global step=28993536, episodic return=2039.016845703125\n", + "global step=28993536, episodic return=923.7664794921875\n", + "global step=28997632, episodic return=2020.08642578125\n", + "global step=28997632, episodic return=2136.01611328125\n", + "global step=29001728, episodic return=2017.91455078125\n", + "global step=29001728, episodic return=2061.304931640625\n", + "global step=29003776, episodic return=759.5240478515625\n", + "global step=29003776, episodic return=932.0675048828125\n", + "global step=29003776, episodic return=2035.371826171875\n", + "global step=29005824, episodic return=1912.0086669921875\n", + "global step=29005824, episodic return=2024.15283203125\n", + "global step=29007872, episodic return=1542.7257080078125\n", + "global step=29014016, episodic return=2066.07763671875\n", + "global step=29016064, episodic return=1454.1806640625\n", + "global step=29016064, episodic return=2031.5819091796875\n", + "global step=29018112, episodic return=1985.03173828125\n", + "global step=29018112, episodic return=403.21875\n", + "global step=29020160, episodic return=1821.44140625\n", + "global step=29020160, episodic return=1236.8226318359375\n", + "global step=29020160, episodic return=2017.14111328125\n", + "global step=29020160, episodic return=552.840087890625\n", + "global step=29022208, episodic return=1053.7509765625\n", + "global step=29022208, episodic return=123.7662124633789\n", + "global step=29022208, episodic return=2037.2552490234375\n", + "global step=29024256, episodic return=2019.1441650390625\n", + "global step=29026304, episodic return=2125.897705078125\n", + "global step=29026304, episodic return=2070.4873046875\n", + "global step=29028352, episodic return=1933.1551513671875\n", + "global step=29028352, episodic return=1043.34423828125\n", + "global step=29032448, episodic return=2016.8797607421875\n", + "global step=29036544, episodic return=1030.3211669921875\n", + "global step=29036544, episodic return=927.2813720703125\n", + "global step=29036544, episodic return=1003.0557861328125\n", + "global step=29038592, episodic return=2115.0322265625\n", + "global step=29040640, episodic return=1968.055419921875\n", + "global step=29040640, episodic return=2072.925048828125\n", + "global step=29040640, episodic return=2082.8701171875\n", + "global step=29040640, episodic return=2001.4957275390625\n", + "global step=29044736, episodic return=1062.8348388671875\n", + "global step=29044736, episodic return=2064.492919921875\n", + "global step=29046784, episodic return=2032.683349609375\n", + "global step=29048832, episodic return=1187.3695068359375\n", + "global step=29050880, episodic return=251.7672882080078\n", + "global step=29050880, episodic return=842.5205688476562\n", + "global step=29052928, episodic return=2108.457763671875\n", + "global step=29052928, episodic return=1990.04345703125\n", + "global step=29054976, episodic return=2070.57861328125\n", + "global step=29054976, episodic return=1995.4537353515625\n", + "global step=29054976, episodic return=2009.023681640625\n", + "global step=29054976, episodic return=1981.48828125\n", + "global step=29063168, episodic return=1983.240478515625\n", + "global step=29065216, episodic return=2001.1610107421875\n", + "global step=29069312, episodic return=2072.560546875\n", + "global step=29069312, episodic return=1986.6402587890625\n", + "global step=29071360, episodic return=953.5576782226562\n", + "global step=29071360, episodic return=2003.26025390625\n", + "global step=29073408, episodic return=2040.2244873046875\n", + "global step=29075456, episodic return=2099.427490234375\n", + "global step=29075456, episodic return=2008.623046875\n", + "global step=29075456, episodic return=1456.6500244140625\n", + "global step=29077504, episodic return=2094.91552734375\n", + "global step=29077504, episodic return=984.593505859375\n", + "global step=29077504, episodic return=556.9598388671875\n", + "global step=29079552, episodic return=2055.025146484375\n", + "global step=29081600, episodic return=2019.2803955078125\n", + "global step=29087744, episodic return=2102.404052734375\n", + "global step=29089792, episodic return=2030.9677734375\n", + "global step=29089792, episodic return=1116.933349609375\n", + "global step=29091840, episodic return=2079.838623046875\n", + "global step=29091840, episodic return=422.1894226074219\n", + "global step=29093888, episodic return=968.987548828125\n", + "global step=29093888, episodic return=2004.2872314453125\n", + "global step=29093888, episodic return=1362.360107421875\n", + "global step=29097984, episodic return=1394.4007568359375\n", + "global step=29097984, episodic return=1097.4500732421875\n", + "global step=29097984, episodic return=1190.97705078125\n", + "global step=29097984, episodic return=1999.570068359375\n", + "global step=29100032, episodic return=822.7499389648438\n", + "global step=29102080, episodic return=2077.569580078125\n", + "global step=29104128, episodic return=2000.4161376953125\n", + "global step=29104128, episodic return=2045.6187744140625\n", + "global step=29106176, episodic return=36.548980712890625\n", + "global step=29106176, episodic return=24.71282386779785\n", + "global step=29108224, episodic return=1989.7012939453125\n", + "global step=29110272, episodic return=1422.079345703125\n", + "global step=29110272, episodic return=1232.8997802734375\n", + "global step=29112320, episodic return=1990.314208984375\n", + "global step=29112320, episodic return=1318.6258544921875\n", + "global step=29114368, episodic return=2038.96533203125\n", + "global step=29116416, episodic return=2002.692626953125\n", + "global step=29116416, episodic return=2044.88671875\n", + "global step=29116416, episodic return=2095.748291015625\n", + "global step=29116416, episodic return=1997.0477294921875\n", + "global step=29116416, episodic return=2124.653564453125\n", + "global step=29118464, episodic return=2034.814208984375\n", + "global step=29118464, episodic return=633.1387329101562\n", + "global step=29120512, episodic return=1990.80078125\n", + "global step=29122560, episodic return=2063.99169921875\n", + "global step=29122560, episodic return=769.6027221679688\n", + "global step=29124608, episodic return=1999.34375\n", + "global step=29124608, episodic return=1865.7750244140625\n", + "global step=29126656, episodic return=2030.3675537109375\n", + "global step=29126656, episodic return=2100.193603515625\n", + "global step=29126656, episodic return=1551.0445556640625\n", + "global step=29126656, episodic return=1171.107666015625\n", + "global step=29128704, episodic return=1109.55615234375\n", + "global step=29130752, episodic return=2028.7821044921875\n", + "global step=29130752, episodic return=1283.479248046875\n", + "global step=29132800, episodic return=2003.77978515625\n", + "global step=29134848, episodic return=2043.0545654296875\n", + "global step=29134848, episodic return=848.76953125\n", + "global step=29134848, episodic return=2084.547119140625\n", + "global step=29134848, episodic return=2036.7838134765625\n", + "global step=29134848, episodic return=2092.16015625\n", + "global step=29136896, episodic return=1993.3382568359375\n", + "global step=29138944, episodic return=2111.517822265625\n", + "global step=29138944, episodic return=1998.668212890625\n", + "global step=29138944, episodic return=2117.655029296875\n", + "global step=29138944, episodic return=1433.67919921875\n", + "global step=29140992, episodic return=2009.739013671875\n", + "global step=29143040, episodic return=2139.72216796875\n", + "global step=29143040, episodic return=1189.5589599609375\n", + "global step=29145088, episodic return=2025.1112060546875\n", + "global step=29147136, episodic return=1216.323486328125\n", + "global step=29149184, episodic return=1994.310791015625\n", + "global step=29149184, episodic return=2081.509521484375\n", + "global step=29153280, episodic return=1234.688232421875\n", + "global step=29155328, episodic return=2015.96630859375\n", + "global step=29155328, episodic return=2019.167724609375\n", + "global step=29157376, episodic return=2020.2135009765625\n", + "global step=29157376, episodic return=2115.08251953125\n", + "global step=29159424, episodic return=1114.55224609375\n", + "global step=29159424, episodic return=1111.461181640625\n", + "global step=29161472, episodic return=1049.4112548828125\n", + "global step=29163520, episodic return=2038.0787353515625\n", + "global step=29165568, episodic return=2096.404296875\n", + "global step=29165568, episodic return=2027.3125\n", + "global step=29167616, episodic return=2028.2718505859375\n", + "global step=29167616, episodic return=2102.607421875\n", + "global step=29167616, episodic return=2047.1585693359375\n", + "global step=29167616, episodic return=2078.715576171875\n", + "global step=29169664, episodic return=1701.2034912109375\n", + "global step=29169664, episodic return=1987.422607421875\n", + "global step=29169664, episodic return=2020.125732421875\n", + "global step=29173760, episodic return=586.0149536132812\n", + "global step=29173760, episodic return=1989.4654541015625\n", + "global step=29175808, episodic return=2045.5867919921875\n", + "global step=29179904, episodic return=2097.75732421875\n", + "global step=29179904, episodic return=2004.1490478515625\n", + "global step=29179904, episodic return=2002.929443359375\n", + "global step=29179904, episodic return=936.0906372070312\n", + "global step=29179904, episodic return=2048.719482421875\n", + "global step=29179904, episodic return=1171.4464111328125\n", + "global step=29181952, episodic return=2006.7867431640625\n", + "global step=29184000, episodic return=2079.912109375\n", + "global step=29184000, episodic return=1511.607177734375\n", + "global step=29188096, episodic return=2057.7548828125\n", + "global step=29190144, episodic return=1067.910888671875\n", + "global step=29190144, episodic return=2011.0155029296875\n", + "global step=29192192, episodic return=1864.025634765625\n", + "global step=29194240, episodic return=2127.943603515625\n", + "global step=29196288, episodic return=2049.56396484375\n", + "global step=29198336, episodic return=605.8677368164062\n", + "global step=29198336, episodic return=707.4393920898438\n", + "global step=29200384, episodic return=1460.989013671875\n", + "global step=29200384, episodic return=988.096923828125\n", + "global step=29200384, episodic return=717.5808715820312\n", + "global step=29202432, episodic return=1986.5894775390625\n", + "global step=29202432, episodic return=2123.01513671875\n", + "global step=29202432, episodic return=1021.8842163085938\n", + "global step=29204480, episodic return=2108.388916015625\n", + "global step=29208576, episodic return=551.1085815429688\n", + "global step=29208576, episodic return=1010.3929443359375\n", + "global step=29210624, episodic return=2011.2840576171875\n", + "global step=29210624, episodic return=2037.033203125\n", + "global step=29210624, episodic return=2050.40966796875\n", + "global step=29220864, episodic return=1761.485107421875\n", + "global step=29222912, episodic return=2016.7022705078125\n", + "global step=29224960, episodic return=2064.63525390625\n", + "global step=29224960, episodic return=2166.5224609375\n", + "global step=29224960, episodic return=2119.218505859375\n", + "global step=29224960, episodic return=993.00732421875\n", + "global step=29229056, episodic return=1021.9368896484375\n", + "global step=29231104, episodic return=2127.71044921875\n", + "global step=29231104, episodic return=557.90478515625\n", + "global step=29231104, episodic return=2135.34814453125\n", + "global step=29237248, episodic return=1001.4004516601562\n", + "global step=29239296, episodic return=2028.2294921875\n", + "global step=29239296, episodic return=2113.41015625\n", + "global step=29239296, episodic return=2022.5440673828125\n", + "global step=29241344, episodic return=2039.4410400390625\n", + "global step=29241344, episodic return=2056.370361328125\n", + "global step=29241344, episodic return=2134.716552734375\n", + "global step=29243392, episodic return=1199.5208740234375\n", + "global step=29245440, episodic return=2097.383544921875\n", + "global step=29247488, episodic return=1976.7205810546875\n", + "global step=29247488, episodic return=2066.883056640625\n", + "global step=29249536, episodic return=2008.3509521484375\n", + "global step=29249536, episodic return=2052.292724609375\n", + "global step=29251584, episodic return=2112.34912109375\n", + "global step=29253632, episodic return=1554.7550048828125\n", + "global step=29253632, episodic return=2160.7216796875\n", + "global step=29255680, episodic return=2017.527587890625\n", + "global step=29255680, episodic return=2055.682373046875\n", + "global step=29255680, episodic return=565.031005859375\n", + "global step=29259776, episodic return=1639.1024169921875\n", + "global step=29259776, episodic return=528.999755859375\n", + "global step=29263872, episodic return=1237.8663330078125\n", + "global step=29265920, episodic return=1677.9327392578125\n", + "global step=29267968, episodic return=2093.147216796875\n", + "global step=29267968, episodic return=604.357666015625\n", + "global step=29270016, episodic return=1244.66845703125\n", + "global step=29270016, episodic return=1632.5303955078125\n", + "global step=29272064, episodic return=2073.2890625\n", + "global step=29274112, episodic return=2069.32763671875\n", + "global step=29276160, episodic return=2073.92919921875\n", + "global step=29276160, episodic return=1009.2454833984375\n", + "global step=29276160, episodic return=901.0953979492188\n", + "global step=29276160, episodic return=2099.69384765625\n", + "global step=29284352, episodic return=1681.0458984375\n", + "global step=29284352, episodic return=2113.509765625\n", + "global step=29284352, episodic return=1762.73193359375\n", + "global step=29286400, episodic return=1251.63916015625\n", + "global step=29286400, episodic return=1336.2274169921875\n", + "global step=29288448, episodic return=656.5545654296875\n", + "global step=29288448, episodic return=840.2871704101562\n", + "global step=29288448, episodic return=1534.90673828125\n", + "global step=29290496, episodic return=738.6878051757812\n", + "global step=29290496, episodic return=1113.409912109375\n", + "global step=29296640, episodic return=2034.9471435546875\n", + "global step=29298688, episodic return=2134.715087890625\n", + "global step=29300736, episodic return=2002.72705078125\n", + "global step=29300736, episodic return=2041.281494140625\n", + "global step=29302784, episodic return=2085.44775390625\n", + "global step=29304832, episodic return=2030.8643798828125\n", + "global step=29304832, episodic return=2090.8203125\n", + "global step=29304832, episodic return=2095.882080078125\n", + "global step=29315072, episodic return=2067.19921875\n", + "global step=29321216, episodic return=2113.381591796875\n", + "global step=29321216, episodic return=2136.574951171875\n", + "global step=29321216, episodic return=2072.694580078125\n", + "global step=29321216, episodic return=2089.295166015625\n", + "global step=29325312, episodic return=2056.47021484375\n", + "global step=29325312, episodic return=278.88702392578125\n", + "global step=29325312, episodic return=2095.0751953125\n", + "global step=29327360, episodic return=2101.572265625\n", + "global step=29329408, episodic return=2048.496337890625\n", + "global step=29329408, episodic return=2071.7060546875\n", + "global step=29331456, episodic return=557.0979614257812\n", + "global step=29331456, episodic return=2054.618408203125\n", + "global step=29333504, episodic return=987.1871948242188\n", + "global step=29335552, episodic return=2059.433349609375\n", + "global step=29337600, episodic return=543.8213500976562\n", + "global step=29337600, episodic return=629.9990844726562\n", + "global step=29341696, episodic return=974.0807495117188\n", + "global step=29341696, episodic return=2075.08203125\n", + "global step=29343744, episodic return=2014.9237060546875\n", + "global step=29345792, episodic return=2084.9560546875\n", + "global step=29345792, episodic return=2041.5081787109375\n", + "global step=29349888, episodic return=2117.967041015625\n", + "global step=29351936, episodic return=2056.4736328125\n", + "global step=29356032, episodic return=2053.290283203125\n", + "global step=29358080, episodic return=2039.474365234375\n", + "global step=29364224, episodic return=2042.205322265625\n", + "global step=29364224, episodic return=2059.875\n", + "global step=29366272, episodic return=2051.392578125\n", + "global step=29366272, episodic return=2101.351318359375\n", + "global step=29368320, episodic return=2035.7847900390625\n", + "global step=29368320, episodic return=1647.578857421875\n", + "global step=29368320, episodic return=2032.08544921875\n", + "global step=29370368, episodic return=2047.9439697265625\n", + "global step=29370368, episodic return=1774.1822509765625\n", + "global step=29370368, episodic return=1382.177001953125\n", + "global step=29372416, episodic return=2136.815185546875\n", + "global step=29372416, episodic return=2091.543212890625\n", + "global step=29372416, episodic return=2054.33984375\n", + "global step=29374464, episodic return=2045.14794921875\n", + "global step=29374464, episodic return=2074.45654296875\n", + "global step=29374464, episodic return=2036.4693603515625\n", + "global step=29380608, episodic return=2076.3388671875\n", + "global step=29380608, episodic return=2032.4373779296875\n", + "global step=29382656, episodic return=2026.5760498046875\n", + "global step=29384704, episodic return=1626.5633544921875\n", + "global step=29384704, episodic return=1436.4703369140625\n", + "global step=29384704, episodic return=832.9522705078125\n", + "global step=29386752, episodic return=610.9133911132812\n", + "global step=29390848, episodic return=2062.358154296875\n", + "global step=29392896, episodic return=2060.541259765625\n", + "global step=29394944, episodic return=2104.681884765625\n", + "global step=29396992, episodic return=2081.11669921875\n", + "global step=29405184, episodic return=2062.310546875\n", + "global step=29407232, episodic return=2076.160888671875\n", + "global step=29407232, episodic return=2084.431640625\n", + "global step=29409280, episodic return=2075.555908203125\n", + "global step=29411328, episodic return=2104.6943359375\n", + "global step=29413376, episodic return=2078.96826171875\n", + "global step=29413376, episodic return=2050.488525390625\n", + "global step=29415424, episodic return=2032.583984375\n", + "global step=29417472, episodic return=2136.627685546875\n", + "global step=29417472, episodic return=2001.5145263671875\n", + "global step=29417472, episodic return=2163.64306640625\n", + "global step=29423616, episodic return=2070.9072265625\n", + "global step=29423616, episodic return=2152.362548828125\n", + "global step=29423616, episodic return=2075.748779296875\n", + "global step=29423616, episodic return=2066.96533203125\n", + "global step=29429760, episodic return=2052.1943359375\n", + "global step=29429760, episodic return=2074.807373046875\n", + "global step=29429760, episodic return=2098.087890625\n", + "global step=29431808, episodic return=2071.99853515625\n", + "global step=29435904, episodic return=940.4295043945312\n", + "global step=29437952, episodic return=2072.21484375\n", + "global step=29437952, episodic return=315.59771728515625\n", + "global step=29440000, episodic return=2099.73681640625\n", + "global step=29440000, episodic return=2105.768310546875\n", + "global step=29440000, episodic return=2066.8642578125\n", + "global step=29442048, episodic return=2079.6806640625\n", + "global step=29444096, episodic return=2067.751220703125\n", + "global step=29446144, episodic return=2114.58642578125\n", + "global step=29448192, episodic return=2077.272216796875\n", + "global step=29450240, episodic return=2121.51123046875\n", + "global step=29450240, episodic return=2100.059814453125\n", + "global step=29450240, episodic return=2039.9007568359375\n", + "global step=29452288, episodic return=1999.2489013671875\n", + "global step=29452288, episodic return=2128.715087890625\n", + "global step=29452288, episodic return=2029.1534423828125\n", + "global step=29456384, episodic return=2101.954833984375\n", + "global step=29458432, episodic return=1006.7892456054688\n", + "global step=29462528, episodic return=2103.44873046875\n", + "global step=29468672, episodic return=902.8584594726562\n", + "global step=29468672, episodic return=1633.8653564453125\n", + "global step=29468672, episodic return=2150.474365234375\n", + "global step=29470720, episodic return=2126.991455078125\n", + "global step=29472768, episodic return=2107.491455078125\n", + "global step=29476864, episodic return=2057.17431640625\n", + "global step=29478912, episodic return=2054.27392578125\n", + "global step=29478912, episodic return=2053.226806640625\n", + "global step=29483008, episodic return=2100.751220703125\n", + "global step=29483008, episodic return=2074.12890625\n", + "global step=29485056, episodic return=2060.8515625\n", + "global step=29487104, episodic return=2091.868896484375\n", + "global step=29487104, episodic return=2150.452880859375\n", + "global step=29489152, episodic return=1064.8824462890625\n", + "global step=29489152, episodic return=2070.0068359375\n", + "global step=29491200, episodic return=2086.73193359375\n", + "global step=29493248, episodic return=2095.701904296875\n", + "global step=29495296, episodic return=2064.40966796875\n", + "global step=29497344, episodic return=1232.595703125\n", + "global step=29505536, episodic return=1823.9761962890625\n", + "global step=29505536, episodic return=2063.66650390625\n", + "global step=29505536, episodic return=2072.08740234375\n", + "global step=29507584, episodic return=2132.059326171875\n", + "global step=29511680, episodic return=2067.17529296875\n", + "global step=29511680, episodic return=2064.64697265625\n", + "global step=29511680, episodic return=2068.621337890625\n", + "global step=29513728, episodic return=870.516357421875\n", + "global step=29513728, episodic return=2061.024169921875\n", + "global step=29515776, episodic return=2169.50390625\n", + "global step=29517824, episodic return=2105.9580078125\n", + "global step=29517824, episodic return=2136.01220703125\n", + "global step=29521920, episodic return=2055.9462890625\n", + "global step=29523968, episodic return=2079.43310546875\n", + "global step=29526016, episodic return=2121.014404296875\n", + "global step=29530112, episodic return=2062.635986328125\n", + "global step=29530112, episodic return=915.7533569335938\n", + "global step=29532160, episodic return=2039.7608642578125\n", + "global step=29534208, episodic return=2047.180908203125\n", + "global step=29536256, episodic return=1703.1551513671875\n", + "global step=29540352, episodic return=2109.350341796875\n", + "global step=29540352, episodic return=2048.654541015625\n", + "global step=29540352, episodic return=2105.18212890625\n", + "global step=29540352, episodic return=2117.3173828125\n", + "global step=29540352, episodic return=2145.07666015625\n", + "global step=29540352, episodic return=2127.159912109375\n", + "global step=29542400, episodic return=2137.269775390625\n", + "global step=29544448, episodic return=2150.553466796875\n", + "global step=29546496, episodic return=1340.6533203125\n", + "global step=29546496, episodic return=2054.27392578125\n", + "global step=29546496, episodic return=2059.134765625\n", + "global step=29550592, episodic return=2032.785400390625\n", + "global step=29550592, episodic return=2147.837890625\n", + "global step=29552640, episodic return=1079.9031982421875\n", + "global step=29552640, episodic return=2099.580078125\n", + "global step=29554688, episodic return=2074.34228515625\n", + "global step=29554688, episodic return=2137.463623046875\n", + "global step=29556736, episodic return=2070.72998046875\n", + "global step=29556736, episodic return=713.9424438476562\n", + "global step=29558784, episodic return=2001.9385986328125\n", + "global step=29560832, episodic return=2141.804443359375\n", + "global step=29560832, episodic return=2135.211181640625\n", + "global step=29562880, episodic return=2116.85693359375\n", + "global step=29562880, episodic return=2107.51904296875\n", + "global step=29564928, episodic return=2092.906494140625\n", + "global step=29564928, episodic return=2126.029052734375\n", + "global step=29566976, episodic return=2118.761474609375\n", + "global step=29566976, episodic return=2081.276611328125\n", + "global step=29566976, episodic return=809.8169555664062\n", + "global step=29566976, episodic return=2122.326171875\n", + "global step=29571072, episodic return=2096.109619140625\n", + "global step=29571072, episodic return=1384.5703125\n", + "global step=29573120, episodic return=563.26025390625\n", + "global step=29575168, episodic return=2082.16357421875\n", + "global step=29577216, episodic return=2179.093505859375\n", + "global step=29577216, episodic return=2061.318115234375\n", + "global step=29577216, episodic return=2095.30224609375\n", + "global step=29579264, episodic return=2094.04296875\n", + "global step=29583360, episodic return=2087.343505859375\n", + "global step=29583360, episodic return=2100.302001953125\n", + "global step=29583360, episodic return=2165.722900390625\n", + "global step=29583360, episodic return=2099.0791015625\n", + "global step=29583360, episodic return=2011.7821044921875\n", + "global step=29587456, episodic return=2135.28564453125\n", + "global step=29589504, episodic return=746.07470703125\n", + "global step=29589504, episodic return=2105.98876953125\n", + "global step=29591552, episodic return=2105.499267578125\n", + "global step=29593600, episodic return=2129.31396484375\n", + "global step=29593600, episodic return=315.1797180175781\n", + "global step=29593600, episodic return=2068.915283203125\n", + "global step=29599744, episodic return=2160.124755859375\n", + "global step=29599744, episodic return=2133.217529296875\n", + "global step=29601792, episodic return=2115.21044921875\n", + "global step=29601792, episodic return=2139.24755859375\n", + "global step=29603840, episodic return=1144.511962890625\n", + "global step=29603840, episodic return=2100.779052734375\n", + "global step=29603840, episodic return=2093.778076171875\n", + "global step=29605888, episodic return=836.9598388671875\n", + "global step=29605888, episodic return=2144.740478515625\n", + "global step=29605888, episodic return=2106.146728515625\n", + "global step=29605888, episodic return=2073.899658203125\n", + "global step=29607936, episodic return=2121.59326171875\n", + "global step=29609984, episodic return=2083.4248046875\n", + "global step=29612032, episodic return=2092.679443359375\n", + "global step=29614080, episodic return=2133.71923828125\n", + "global step=29614080, episodic return=2136.124267578125\n", + "global step=29614080, episodic return=2079.9951171875\n", + "global step=29614080, episodic return=2132.37548828125\n", + "global step=29616128, episodic return=2087.896484375\n", + "global step=29616128, episodic return=2089.329345703125\n", + "global step=29616128, episodic return=2080.8193359375\n", + "global step=29616128, episodic return=2142.195068359375\n", + "global step=29616128, episodic return=2107.6982421875\n", + "global step=29622272, episodic return=2082.990234375\n", + "global step=29624320, episodic return=2134.50341796875\n", + "global step=29624320, episodic return=1003.8478393554688\n", + "global step=29624320, episodic return=2130.2861328125\n", + "global step=29624320, episodic return=2131.6689453125\n", + "global step=29624320, episodic return=2130.998779296875\n", + "global step=29626368, episodic return=2082.7626953125\n", + "global step=29628416, episodic return=2055.2998046875\n", + "global step=29628416, episodic return=2120.421630859375\n", + "global step=29628416, episodic return=2146.89892578125\n", + "global step=29628416, episodic return=2157.208740234375\n", + "global step=29628416, episodic return=2169.451904296875\n", + "global step=29630464, episodic return=2138.831787109375\n", + "global step=29630464, episodic return=2083.079345703125\n", + "global step=29632512, episodic return=2101.44140625\n", + "global step=29632512, episodic return=2089.880615234375\n", + "global step=29634560, episodic return=2145.209228515625\n", + "global step=29634560, episodic return=2169.677978515625\n", + "global step=29636608, episodic return=2058.670654296875\n", + "global step=29636608, episodic return=2130.186279296875\n", + "global step=29636608, episodic return=184.1056365966797\n", + "global step=29638656, episodic return=2163.732177734375\n", + "global step=29638656, episodic return=1150.56884765625\n", + "global step=29638656, episodic return=2141.85546875\n", + "global step=29640704, episodic return=2166.095947265625\n", + "global step=29642752, episodic return=2153.114990234375\n", + "global step=29642752, episodic return=2149.888671875\n", + "global step=29642752, episodic return=2083.181396484375\n", + "global step=29644800, episodic return=2139.25341796875\n", + "global step=29646848, episodic return=1709.79833984375\n", + "global step=29646848, episodic return=2115.01953125\n", + "global step=29648896, episodic return=2145.669921875\n", + "global step=29648896, episodic return=2083.65283203125\n", + "global step=29648896, episodic return=2177.98193359375\n", + "global step=29648896, episodic return=2139.261474609375\n", + "global step=29652992, episodic return=169.51202392578125\n", + "global step=29652992, episodic return=2148.8271484375\n", + "global step=29655040, episodic return=1633.9066162109375\n", + "global step=29655040, episodic return=1853.6153564453125\n", + "global step=29657088, episodic return=2072.619384765625\n", + "global step=29657088, episodic return=2041.959228515625\n", + "global step=29657088, episodic return=847.9664916992188\n", + "global step=29659136, episodic return=2087.51611328125\n", + "global step=29659136, episodic return=2118.017822265625\n", + "global step=29661184, episodic return=2173.25537109375\n", + "global step=29661184, episodic return=1880.1175537109375\n", + "global step=29661184, episodic return=2109.748046875\n", + "global step=29661184, episodic return=2090.02978515625\n", + "global step=29661184, episodic return=2133.537353515625\n", + "global step=29663232, episodic return=2113.054443359375\n", + "global step=29663232, episodic return=2107.537109375\n", + "global step=29663232, episodic return=2153.64892578125\n", + "global step=29663232, episodic return=2138.757080078125\n", + "global step=29663232, episodic return=2135.623779296875\n", + "global step=29663232, episodic return=2121.31201171875\n", + "global step=29665280, episodic return=2089.030517578125\n", + "global step=29665280, episodic return=2107.0546875\n", + "global step=29667328, episodic return=179.58160400390625\n", + "global step=29667328, episodic return=1938.425048828125\n", + "global step=29667328, episodic return=2086.687255859375\n", + "global step=29667328, episodic return=2097.303466796875\n", + "global step=29669376, episodic return=2121.1708984375\n", + "global step=29669376, episodic return=2074.822509765625\n", + "global step=29669376, episodic return=2123.9267578125\n", + "global step=29671424, episodic return=794.99267578125\n", + "global step=29671424, episodic return=2106.8291015625\n", + "global step=29673472, episodic return=2098.195068359375\n", + "global step=29673472, episodic return=2147.5048828125\n", + "global step=29673472, episodic return=2125.75244140625\n", + "global step=29673472, episodic return=2116.953125\n", + "global step=29675520, episodic return=1914.491455078125\n", + "global step=29675520, episodic return=192.3963165283203\n", + "global step=29675520, episodic return=2167.497314453125\n", + "global step=29675520, episodic return=2120.57177734375\n", + "global step=29675520, episodic return=2127.30029296875\n", + "global step=29675520, episodic return=2138.138427734375\n", + "global step=29677568, episodic return=2119.64599609375\n", + "global step=29679616, episodic return=2130.25146484375\n", + "global step=29679616, episodic return=27.524459838867188\n", + "global step=29681664, episodic return=2080.187255859375\n", + "global step=29681664, episodic return=2090.556396484375\n", + "global step=29683712, episodic return=2134.14013671875\n", + "global step=29683712, episodic return=1412.1644287109375\n", + "global step=29683712, episodic return=2176.91455078125\n", + "global step=29685760, episodic return=2104.427001953125\n", + "global step=29687808, episodic return=2126.141357421875\n", + "global step=29687808, episodic return=2114.2841796875\n", + "global step=29689856, episodic return=2130.96142578125\n", + "global step=29689856, episodic return=192.24855041503906\n", + "global step=29691904, episodic return=2134.4833984375\n", + "global step=29693952, episodic return=2091.01171875\n", + "global step=29693952, episodic return=2175.785888671875\n", + "global step=29696000, episodic return=2113.79296875\n", + "global step=29696000, episodic return=2044.1207275390625\n", + "global step=29696000, episodic return=2118.251953125\n", + "global step=29696000, episodic return=2142.85498046875\n", + "global step=29696000, episodic return=2125.29931640625\n", + "global step=29696000, episodic return=2124.580322265625\n", + "global step=29696000, episodic return=2081.580810546875\n", + "global step=29698048, episodic return=2163.606689453125\n", + "global step=29698048, episodic return=2143.096435546875\n", + "global step=29698048, episodic return=2114.966796875\n", + "global step=29698048, episodic return=2096.541015625\n", + "global step=29698048, episodic return=2150.1220703125\n", + "global step=29702144, episodic return=2101.31787109375\n", + "global step=29702144, episodic return=1753.751708984375\n", + "global step=29704192, episodic return=2152.303955078125\n", + "global step=29706240, episodic return=1271.5789794921875\n", + "global step=29706240, episodic return=2127.084228515625\n", + "global step=29706240, episodic return=2118.342041015625\n", + "global step=29706240, episodic return=2121.36279296875\n", + "global step=29708288, episodic return=2097.810791015625\n", + "global step=29710336, episodic return=851.8019409179688\n", + "global step=29710336, episodic return=2115.0771484375\n", + "global step=29710336, episodic return=1772.2396240234375\n", + "global step=29710336, episodic return=1844.26123046875\n", + "global step=29712384, episodic return=2163.7392578125\n", + "global step=29712384, episodic return=2182.9453125\n", + "global step=29712384, episodic return=2142.370849609375\n", + "global step=29712384, episodic return=2106.438232421875\n", + "global step=29714432, episodic return=2134.112548828125\n", + "global step=29714432, episodic return=2097.675048828125\n", + "global step=29714432, episodic return=2112.451416015625\n", + "global step=29714432, episodic return=2157.552490234375\n", + "global step=29716480, episodic return=1723.6619873046875\n", + "global step=29716480, episodic return=2142.2998046875\n", + "global step=29716480, episodic return=2138.50048828125\n", + "global step=29716480, episodic return=972.4633178710938\n", + "global step=29720576, episodic return=2124.823486328125\n", + "global step=29720576, episodic return=2186.763916015625\n", + "global step=29720576, episodic return=2148.522705078125\n", + "global step=29722624, episodic return=2140.723876953125\n", + "global step=29724672, episodic return=2153.9638671875\n", + "global step=29724672, episodic return=2158.343994140625\n", + "global step=29726720, episodic return=32.922088623046875\n", + "global step=29726720, episodic return=2096.201171875\n", + "global step=29728768, episodic return=2139.370361328125\n", + "global step=29728768, episodic return=2154.2294921875\n", + "global step=29728768, episodic return=2080.52001953125\n", + "global step=29728768, episodic return=2156.812255859375\n", + "global step=29728768, episodic return=2139.89111328125\n", + "global step=29728768, episodic return=2176.705078125\n", + "global step=29730816, episodic return=2137.02685546875\n", + "global step=29730816, episodic return=2131.919189453125\n", + "global step=29732864, episodic return=2107.12451171875\n", + "global step=29732864, episodic return=2134.41943359375\n", + "global step=29732864, episodic return=2085.439453125\n", + "global step=29734912, episodic return=2122.4248046875\n", + "global step=29736960, episodic return=2084.24853515625\n", + "global step=29736960, episodic return=2134.8896484375\n", + "global step=29736960, episodic return=2138.079833984375\n", + "global step=29736960, episodic return=2157.40234375\n", + "global step=29736960, episodic return=2083.400390625\n", + "global step=29739008, episodic return=2140.1162109375\n", + "global step=29739008, episodic return=2129.81103515625\n", + "global step=29741056, episodic return=2134.321044921875\n", + "global step=29741056, episodic return=2139.545654296875\n", + "global step=29741056, episodic return=2150.00048828125\n", + "global step=29741056, episodic return=2146.91845703125\n", + "global step=29741056, episodic return=2199.9296875\n", + "global step=29743104, episodic return=2094.60693359375\n", + "global step=29743104, episodic return=2154.873779296875\n", + "global step=29745152, episodic return=2116.18017578125\n", + "global step=29747200, episodic return=2162.662353515625\n", + "global step=29747200, episodic return=2140.710693359375\n", + "global step=29747200, episodic return=1978.172119140625\n", + "global step=29751296, episodic return=2127.887939453125\n", + "global step=29751296, episodic return=2141.374755859375\n", + "global step=29751296, episodic return=2109.757080078125\n", + "global step=29753344, episodic return=2136.181640625\n", + "global step=29753344, episodic return=2031.021484375\n", + "global step=29753344, episodic return=2099.36279296875\n", + "global step=29753344, episodic return=2091.3251953125\n", + "global step=29753344, episodic return=2141.242919921875\n", + "global step=29753344, episodic return=2161.3203125\n", + "global step=29753344, episodic return=2119.334228515625\n", + "global step=29755392, episodic return=2141.748779296875\n", + "global step=29755392, episodic return=2127.630859375\n", + "global step=29755392, episodic return=2197.982421875\n", + "global step=29755392, episodic return=2081.76318359375\n", + "global step=29757440, episodic return=2145.02490234375\n", + "global step=29757440, episodic return=2176.567138671875\n", + "global step=29757440, episodic return=2122.96728515625\n", + "global step=29761536, episodic return=2077.22412109375\n", + "global step=29761536, episodic return=1650.9105224609375\n", + "global step=29761536, episodic return=2110.02734375\n", + "global step=29761536, episodic return=2124.56298828125\n", + "global step=29763584, episodic return=2102.12451171875\n", + "global step=29763584, episodic return=2097.3271484375\n", + "global step=29763584, episodic return=2080.1396484375\n", + "global step=29763584, episodic return=2101.3369140625\n", + "global step=29763584, episodic return=2172.921142578125\n", + "global step=29763584, episodic return=2116.235107421875\n", + "global step=29763584, episodic return=2096.81396484375\n", + "global step=29765632, episodic return=2119.6083984375\n", + "global step=29765632, episodic return=2079.84228515625\n", + "global step=29765632, episodic return=2130.66162109375\n", + "global step=29765632, episodic return=2076.722412109375\n", + "global step=29767680, episodic return=2136.02001953125\n", + "global step=29767680, episodic return=2104.744140625\n", + "global step=29767680, episodic return=2112.92724609375\n", + "global step=29767680, episodic return=2173.114013671875\n", + "global step=29769728, episodic return=2103.383056640625\n", + "global step=29769728, episodic return=2095.57763671875\n", + "global step=29769728, episodic return=2088.71337890625\n", + "global step=29769728, episodic return=2145.708984375\n", + "global step=29773824, episodic return=2134.0947265625\n", + "global step=29775872, episodic return=2133.702880859375\n", + "global step=29777920, episodic return=2087.114013671875\n", + "global step=29777920, episodic return=2081.5615234375\n", + "global step=29777920, episodic return=2157.217529296875\n", + "global step=29777920, episodic return=2164.98828125\n", + "global step=29779968, episodic return=2115.16650390625\n", + "global step=29779968, episodic return=2132.843017578125\n", + "global step=29779968, episodic return=2131.3544921875\n", + "global step=29782016, episodic return=2099.1904296875\n", + "global step=29782016, episodic return=2137.41796875\n", + "global step=29784064, episodic return=2084.683837890625\n", + "global step=29784064, episodic return=2114.2802734375\n", + "global step=29786112, episodic return=2174.06591796875\n", + "global step=29786112, episodic return=2162.525146484375\n", + "global step=29786112, episodic return=2113.021728515625\n", + "global step=29790208, episodic return=2137.210205078125\n", + "global step=29790208, episodic return=2063.390380859375\n", + "global step=29792256, episodic return=2167.314453125\n", + "global step=29792256, episodic return=2084.199462890625\n", + "global step=29792256, episodic return=2133.63037109375\n", + "global step=29794304, episodic return=2180.820556640625\n", + "global step=29794304, episodic return=2087.5126953125\n", + "global step=29794304, episodic return=2123.193115234375\n", + "global step=29796352, episodic return=2155.33642578125\n", + "global step=29796352, episodic return=2153.781005859375\n", + "global step=29796352, episodic return=2138.895751953125\n", + "global step=29796352, episodic return=2100.082275390625\n", + "global step=29798400, episodic return=2060.361328125\n", + "global step=29798400, episodic return=2131.6328125\n", + "global step=29798400, episodic return=2139.29345703125\n", + "global step=29800448, episodic return=2077.84814453125\n", + "global step=29800448, episodic return=2110.60986328125\n", + "global step=29800448, episodic return=2099.72314453125\n", + "global step=29802496, episodic return=2135.765625\n", + "global step=29802496, episodic return=2160.522705078125\n", + "global step=29802496, episodic return=2103.142333984375\n", + "global step=29804544, episodic return=2105.451904296875\n", + "global step=29804544, episodic return=2092.18505859375\n", + "global step=29806592, episodic return=1990.590087890625\n", + "global step=29806592, episodic return=2087.791015625\n", + "global step=29806592, episodic return=2117.21923828125\n", + "global step=29806592, episodic return=2142.1396484375\n", + "global step=29808640, episodic return=2135.568115234375\n", + "global step=29808640, episodic return=2136.7744140625\n", + "global step=29808640, episodic return=2080.60400390625\n", + "global step=29808640, episodic return=2142.45458984375\n", + "global step=29808640, episodic return=2166.5546875\n", + "global step=29808640, episodic return=2081.5625\n", + "global step=29808640, episodic return=2150.903564453125\n", + "global step=29808640, episodic return=2036.511962890625\n", + "global step=29810688, episodic return=2090.150390625\n", + "global step=29812736, episodic return=2095.272705078125\n", + "global step=29812736, episodic return=2138.744384765625\n", + "global step=29814784, episodic return=2137.64794921875\n", + "global step=29814784, episodic return=2077.450927734375\n", + "global step=29814784, episodic return=2132.630126953125\n", + "global step=29814784, episodic return=2108.18798828125\n", + "global step=29814784, episodic return=2120.28369140625\n", + "global step=29816832, episodic return=352.4389953613281\n", + "global step=29816832, episodic return=2117.947265625\n", + "global step=29818880, episodic return=2114.66357421875\n", + "global step=29818880, episodic return=2119.974365234375\n", + "global step=29818880, episodic return=2045.3470458984375\n", + "global step=29818880, episodic return=1645.5472412109375\n", + "global step=29818880, episodic return=2136.317138671875\n", + "global step=29818880, episodic return=2108.1064453125\n", + "global step=29820928, episodic return=2106.80322265625\n", + "global step=29820928, episodic return=2090.01953125\n", + "global step=29822976, episodic return=2133.15283203125\n", + "global step=29822976, episodic return=2118.888916015625\n", + "global step=29825024, episodic return=2145.763427734375\n", + "global step=29825024, episodic return=2110.651123046875\n", + "global step=29825024, episodic return=2060.97607421875\n", + "global step=29827072, episodic return=2137.095947265625\n", + "global step=29829120, episodic return=2151.271484375\n", + "global step=29829120, episodic return=2124.007568359375\n", + "global step=29829120, episodic return=2114.128662109375\n", + "global step=29829120, episodic return=2098.440185546875\n", + "global step=29829120, episodic return=2144.08935546875\n", + "global step=29829120, episodic return=2133.43310546875\n", + "global step=29829120, episodic return=2085.295654296875\n", + "global step=29831168, episodic return=2123.512451171875\n", + "global step=29833216, episodic return=2063.679931640625\n", + "global step=29833216, episodic return=2149.8369140625\n", + "global step=29833216, episodic return=2133.8359375\n", + "global step=29835264, episodic return=2158.621826171875\n", + "global step=29835264, episodic return=2057.625732421875\n", + "global step=29835264, episodic return=2084.604248046875\n", + "global step=29835264, episodic return=19.63275909423828\n", + "global step=29837312, episodic return=2100.659912109375\n", + "global step=29837312, episodic return=2104.12548828125\n", + "global step=29837312, episodic return=2113.37451171875\n", + "global step=29837312, episodic return=2114.569091796875\n", + "global step=29837312, episodic return=2118.996826171875\n", + "global step=29837312, episodic return=2087.765869140625\n", + "global step=29839360, episodic return=2148.501708984375\n", + "global step=29839360, episodic return=2114.53173828125\n", + "global step=29839360, episodic return=1011.561767578125\n", + "global step=29839360, episodic return=2102.601806640625\n", + "global step=29841408, episodic return=2120.62255859375\n", + "global step=29841408, episodic return=2138.3046875\n", + "global step=29841408, episodic return=2162.4248046875\n", + "global step=29843456, episodic return=2127.7021484375\n", + "global step=29843456, episodic return=2134.903564453125\n", + "global step=29843456, episodic return=1262.95068359375\n", + "global step=29843456, episodic return=2160.2890625\n", + "global step=29845504, episodic return=2134.419189453125\n", + "global step=29845504, episodic return=2160.783447265625\n", + "global step=29845504, episodic return=2138.007568359375\n", + "global step=29847552, episodic return=2120.507568359375\n", + "global step=29847552, episodic return=2075.824951171875\n", + "global step=29847552, episodic return=2153.096435546875\n", + "global step=29847552, episodic return=2120.29931640625\n", + "global step=29847552, episodic return=2091.4091796875\n", + "global step=29849600, episodic return=2132.8095703125\n", + "global step=29849600, episodic return=2114.200927734375\n", + "global step=29849600, episodic return=2166.330810546875\n", + "global step=29849600, episodic return=2099.84716796875\n", + "global step=29849600, episodic return=2149.2626953125\n", + "global step=29851648, episodic return=2107.8095703125\n", + "global step=29853696, episodic return=785.3572998046875\n", + "global step=29853696, episodic return=2134.3349609375\n", + "global step=29853696, episodic return=2134.3720703125\n", + "global step=29853696, episodic return=337.06610107421875\n", + "global step=29853696, episodic return=2168.5234375\n", + "global step=29855744, episodic return=2142.7138671875\n", + "global step=29855744, episodic return=2042.6221923828125\n", + "global step=29855744, episodic return=2109.85791015625\n", + "global step=29857792, episodic return=2122.604736328125\n", + "global step=29857792, episodic return=2102.677490234375\n", + "global step=29857792, episodic return=2118.322509765625\n", + "global step=29859840, episodic return=2120.736083984375\n", + "global step=29859840, episodic return=2074.113037109375\n", + "global step=29859840, episodic return=2150.40283203125\n", + "global step=29861888, episodic return=2060.787841796875\n", + "global step=29863936, episodic return=2114.181640625\n", + "global step=29863936, episodic return=2106.378173828125\n", + "global step=29863936, episodic return=2124.80810546875\n", + "global step=29863936, episodic return=2120.74365234375\n", + "global step=29863936, episodic return=2111.614013671875\n", + "global step=29865984, episodic return=2100.242919921875\n", + "global step=29865984, episodic return=2123.552978515625\n", + "global step=29868032, episodic return=2154.658447265625\n", + "global step=29868032, episodic return=2114.425537109375\n", + "global step=29868032, episodic return=196.1263427734375\n", + "global step=29868032, episodic return=2143.519287109375\n", + "global step=29868032, episodic return=2081.192138671875\n", + "global step=29870080, episodic return=2167.6171875\n", + "global step=29870080, episodic return=2099.2275390625\n", + "global step=29870080, episodic return=2152.79833984375\n", + "global step=29872128, episodic return=931.8973999023438\n", + "global step=29872128, episodic return=2172.253662109375\n", + "global step=29872128, episodic return=2106.6064453125\n", + "global step=29874176, episodic return=2100.755615234375\n", + "global step=29874176, episodic return=2096.506103515625\n", + "global step=29874176, episodic return=2141.970947265625\n", + "global step=29876224, episodic return=2137.234375\n", + "global step=29876224, episodic return=2181.76806640625\n", + "global step=29876224, episodic return=2093.264404296875\n", + "global step=29878272, episodic return=2098.30712890625\n", + "global step=29878272, episodic return=2123.74169921875\n", + "global step=29878272, episodic return=2033.918701171875\n", + "global step=29880320, episodic return=2086.49609375\n", + "global step=29880320, episodic return=2113.92724609375\n", + "global step=29880320, episodic return=2132.310791015625\n", + "global step=29882368, episodic return=1181.81982421875\n", + "global step=29882368, episodic return=2101.859375\n", + "global step=29882368, episodic return=2090.905517578125\n", + "global step=29884416, episodic return=2148.5703125\n", + "global step=29884416, episodic return=2156.46533203125\n", + "global step=29884416, episodic return=2157.7998046875\n", + "global step=29886464, episodic return=2085.9423828125\n", + "global step=29886464, episodic return=2121.5947265625\n", + "global step=29886464, episodic return=2162.096435546875\n", + "global step=29886464, episodic return=2142.310546875\n", + "global step=29886464, episodic return=2155.59765625\n", + "global step=29886464, episodic return=2040.7060546875\n", + "global step=29886464, episodic return=2133.486572265625\n", + "global step=29888512, episodic return=2165.719970703125\n", + "global step=29890560, episodic return=2109.042724609375\n", + "global step=29890560, episodic return=2053.545654296875\n", + "global step=29892608, episodic return=2154.6533203125\n", + "global step=29892608, episodic return=2072.416259765625\n", + "global step=29892608, episodic return=2144.02978515625\n", + "global step=29894656, episodic return=2124.11572265625\n", + "global step=29894656, episodic return=2087.716552734375\n", + "global step=29894656, episodic return=2063.54296875\n", + "global step=29894656, episodic return=2118.0625\n", + "global step=29896704, episodic return=2114.91357421875\n", + "global step=29896704, episodic return=2135.47412109375\n", + "global step=29896704, episodic return=2156.299072265625\n", + "global step=29896704, episodic return=2122.791015625\n", + "global step=29896704, episodic return=2097.141357421875\n", + "global step=29898752, episodic return=2093.74755859375\n", + "global step=29898752, episodic return=2172.38427734375\n", + "global step=29900800, episodic return=2160.585205078125\n", + "global step=29900800, episodic return=2159.8154296875\n", + "global step=29900800, episodic return=2100.510009765625\n", + "global step=29902848, episodic return=2116.37158203125\n", + "global step=29902848, episodic return=2139.274658203125\n", + "global step=29904896, episodic return=2081.59521484375\n", + "global step=29904896, episodic return=2115.150634765625\n", + "global step=29906944, episodic return=2132.244873046875\n", + "global step=29908992, episodic return=2132.6298828125\n", + "global step=29908992, episodic return=2064.3017578125\n", + "global step=29908992, episodic return=2064.714111328125\n", + "global step=29911040, episodic return=2151.874755859375\n", + "global step=29911040, episodic return=2085.5\n", + "global step=29911040, episodic return=2142.767578125\n", + "global step=29911040, episodic return=2070.05712890625\n", + "global step=29911040, episodic return=2135.809814453125\n", + "global step=29913088, episodic return=2135.8017578125\n", + "global step=29913088, episodic return=2136.906982421875\n", + "global step=29913088, episodic return=2126.936767578125\n", + "global step=29913088, episodic return=2093.678955078125\n", + "global step=29913088, episodic return=2095.48779296875\n", + "global step=29913088, episodic return=2136.549072265625\n", + "global step=29915136, episodic return=2074.3515625\n", + "global step=29915136, episodic return=2129.700439453125\n", + "global step=29917184, episodic return=2122.42333984375\n", + "global step=29917184, episodic return=2157.8896484375\n", + "global step=29917184, episodic return=2111.3662109375\n", + "global step=29919232, episodic return=2066.2705078125\n", + "global step=29919232, episodic return=2106.297607421875\n", + "global step=29919232, episodic return=2136.693603515625\n", + "global step=29919232, episodic return=2138.37353515625\n", + "global step=29919232, episodic return=2153.650390625\n", + "global step=29919232, episodic return=2056.067138671875\n", + "global step=29921280, episodic return=2135.223876953125\n", + "global step=29921280, episodic return=2091.5478515625\n", + "global step=29921280, episodic return=2146.961669921875\n", + "global step=29921280, episodic return=2125.261962890625\n", + "global step=29923328, episodic return=2128.220703125\n", + "global step=29923328, episodic return=2109.12646484375\n", + "global step=29923328, episodic return=2093.047119140625\n", + "global step=29925376, episodic return=2107.15283203125\n", + "global step=29925376, episodic return=2128.220458984375\n", + "global step=29927424, episodic return=2151.532470703125\n", + "global step=29927424, episodic return=2138.47021484375\n", + "global step=29927424, episodic return=2074.021240234375\n", + "global step=29927424, episodic return=2129.3662109375\n", + "global step=29927424, episodic return=2144.864013671875\n", + "global step=29927424, episodic return=2080.448486328125\n", + "global step=29929472, episodic return=2094.609375\n", + "global step=29929472, episodic return=2148.259765625\n", + "global step=29929472, episodic return=2111.88671875\n", + "global step=29929472, episodic return=2109.474609375\n", + "global step=29929472, episodic return=2140.040771484375\n", + "global step=29931520, episodic return=2140.564697265625\n", + "global step=29931520, episodic return=2162.285888671875\n", + "global step=29933568, episodic return=2121.0546875\n", + "global step=29933568, episodic return=2145.588623046875\n", + "global step=29933568, episodic return=2146.2646484375\n", + "global step=29933568, episodic return=2135.875\n", + "global step=29933568, episodic return=2146.3984375\n", + "global step=29933568, episodic return=804.710693359375\n", + "global step=29933568, episodic return=2166.5439453125\n", + "global step=29935616, episodic return=2146.728515625\n", + "global step=29935616, episodic return=2134.617919921875\n", + "global step=29935616, episodic return=2152.434814453125\n", + "global step=29935616, episodic return=2120.290771484375\n", + "global step=29937664, episodic return=1879.1292724609375\n", + "global step=29939712, episodic return=2153.97216796875\n", + "global step=29939712, episodic return=2085.849853515625\n", + "global step=29941760, episodic return=2024.1513671875\n", + "global step=29941760, episodic return=2092.501708984375\n", + "global step=29941760, episodic return=2108.661376953125\n", + "global step=29943808, episodic return=2145.697265625\n", + "global step=29943808, episodic return=2161.430908203125\n", + "global step=29943808, episodic return=2066.845947265625\n", + "global step=29945856, episodic return=2106.984375\n", + "global step=29945856, episodic return=2148.787109375\n", + "global step=29945856, episodic return=2037.1546630859375\n", + "global step=29945856, episodic return=2091.74951171875\n", + "global step=29945856, episodic return=2161.909423828125\n", + "global step=29947904, episodic return=2124.1650390625\n", + "global step=29947904, episodic return=2122.317626953125\n", + "global step=29947904, episodic return=2111.306884765625\n", + "global step=29947904, episodic return=2083.507080078125\n", + "global step=29949952, episodic return=2108.642822265625\n", + "global step=29949952, episodic return=2134.063232421875\n", + "global step=29949952, episodic return=2125.9013671875\n", + "global step=29952000, episodic return=2115.509033203125\n", + "global step=29952000, episodic return=2133.830322265625\n", + "global step=29952000, episodic return=2111.71923828125\n", + "global step=29954048, episodic return=2151.5849609375\n", + "global step=29954048, episodic return=2149.99365234375\n", + "global step=29954048, episodic return=2172.251708984375\n", + "global step=29954048, episodic return=2157.009765625\n", + "global step=29956096, episodic return=2135.742919921875\n", + "global step=29956096, episodic return=2115.3330078125\n", + "global step=29956096, episodic return=2102.67626953125\n", + "global step=29958144, episodic return=2168.9150390625\n", + "global step=29958144, episodic return=2144.754150390625\n", + "global step=29958144, episodic return=2048.018310546875\n", + "global step=29958144, episodic return=2104.297119140625\n", + "global step=29958144, episodic return=2143.9970703125\n", + "global step=29958144, episodic return=2100.04248046875\n", + "global step=29960192, episodic return=2115.693603515625\n", + "global step=29960192, episodic return=2102.706298828125\n", + "global step=29960192, episodic return=2131.4111328125\n", + "global step=29960192, episodic return=738.6068115234375\n", + "global step=29960192, episodic return=2147.84033203125\n", + "global step=29960192, episodic return=2128.226318359375\n", + "global step=29960192, episodic return=2091.162353515625\n", + "global step=29960192, episodic return=2138.8818359375\n", + "global step=29960192, episodic return=2086.19287109375\n", + "global step=29962240, episodic return=2165.50634765625\n", + "global step=29962240, episodic return=2129.2265625\n", + "global step=29962240, episodic return=2072.359619140625\n", + "global step=29962240, episodic return=2113.718505859375\n", + "global step=29964288, episodic return=2037.9617919921875\n", + "global step=29964288, episodic return=2126.638427734375\n", + "global step=29966336, episodic return=2116.386962890625\n", + "global step=29966336, episodic return=2188.900634765625\n", + "global step=29968384, episodic return=2143.067138671875\n", + "global step=29968384, episodic return=2147.029296875\n", + "global step=29968384, episodic return=2144.088134765625\n", + "global step=29968384, episodic return=2103.429443359375\n", + "global step=29970432, episodic return=2124.0634765625\n", + "global step=29970432, episodic return=2113.876708984375\n", + "global step=29970432, episodic return=2104.9423828125\n", + "global step=29972480, episodic return=2145.48681640625\n", + "global step=29972480, episodic return=2117.81396484375\n", + "global step=29974528, episodic return=2166.04345703125\n", + "global step=29974528, episodic return=2133.907958984375\n", + "global step=29974528, episodic return=2114.772216796875\n", + "global step=29974528, episodic return=2164.12841796875\n", + "global step=29974528, episodic return=2131.5703125\n", + "global step=29974528, episodic return=2132.7509765625\n", + "global step=29976576, episodic return=2161.9921875\n", + "global step=29976576, episodic return=2101.503173828125\n", + "global step=29976576, episodic return=2140.7080078125\n", + "global step=29978624, episodic return=2144.629150390625\n", + "global step=29978624, episodic return=2165.8330078125\n", + "global step=29978624, episodic return=2128.805908203125\n", + "global step=29978624, episodic return=2135.346435546875\n", + "global step=29980672, episodic return=2139.884033203125\n", + "global step=29980672, episodic return=2158.432373046875\n", + "global step=29980672, episodic return=2131.185546875\n", + "global step=29980672, episodic return=2133.31689453125\n", + "global step=29982720, episodic return=2139.76708984375\n", + "global step=29982720, episodic return=2088.41357421875\n", + "global step=29982720, episodic return=2109.9833984375\n", + "global step=29982720, episodic return=2153.24169921875\n", + "global step=29982720, episodic return=2116.109619140625\n", + "global step=29984768, episodic return=2149.484375\n", + "global step=29984768, episodic return=2160.114501953125\n", + "global step=29986816, episodic return=2136.180908203125\n", + "global step=29986816, episodic return=2112.990234375\n", + "global step=29988864, episodic return=2140.712890625\n", + "global step=29988864, episodic return=2120.291015625\n", + "global step=29988864, episodic return=2152.591552734375\n", + "global step=29990912, episodic return=2106.470458984375\n", + "global step=29992960, episodic return=2114.474853515625\n", + "global step=29992960, episodic return=2093.643798828125\n", + "global step=29995008, episodic return=2157.67529296875\n", + "global step=29995008, episodic return=2127.85546875\n", + "global step=29995008, episodic return=2122.576171875\n", + "global step=29999104, episodic return=2037.7642822265625\n", + "global step=29999104, episodic return=2100.546142578125\n", + "global step=29999104, episodic return=2130.839111328125\n", + "global step=30001152, episodic return=2151.107177734375\n", + "global step=30001152, episodic return=2074.05322265625\n", + "global step=30003200, episodic return=2119.802734375\n", + "global step=30003200, episodic return=2111.348388671875\n", + "global step=30003200, episodic return=2134.73193359375\n", + "global step=30003200, episodic return=2132.5556640625\n", + "global step=30003200, episodic return=2151.5556640625\n", + "global step=30005248, episodic return=2117.57958984375\n", + "global step=30005248, episodic return=2125.712890625\n", + "global step=30005248, episodic return=2137.1884765625\n", + "global step=30005248, episodic return=2129.024169921875\n", + "global step=30009344, episodic return=2145.25537109375\n", + "global step=30009344, episodic return=2127.757568359375\n", + "global step=30009344, episodic return=2122.73779296875\n", + "global step=30011392, episodic return=2131.179931640625\n", + "global step=30011392, episodic return=1873.9052734375\n", + "global step=30011392, episodic return=2136.172607421875\n", + "global step=30011392, episodic return=2116.33203125\n", + "global step=30011392, episodic return=2153.2705078125\n", + "global step=30013440, episodic return=2147.14599609375\n", + "global step=30013440, episodic return=2134.727783203125\n", + "global step=30013440, episodic return=2163.02587890625\n", + "global step=30015488, episodic return=2107.0146484375\n", + "global step=30015488, episodic return=2119.335693359375\n", + "global step=30015488, episodic return=2165.757568359375\n", + "global step=30015488, episodic return=2105.685546875\n", + "global step=30015488, episodic return=2172.5263671875\n", + "global step=30017536, episodic return=2156.189453125\n", + "global step=30017536, episodic return=40.50889205932617\n", + "global step=30019584, episodic return=2118.35791015625\n", + "global step=30019584, episodic return=2158.4794921875\n", + "global step=30019584, episodic return=2133.203369140625\n", + "global step=30019584, episodic return=2158.12548828125\n", + "global step=30019584, episodic return=2150.767578125\n", + "global step=30021632, episodic return=2142.83447265625\n", + "global step=30021632, episodic return=2127.30810546875\n", + "global step=30021632, episodic return=2135.554443359375\n", + "global step=30023680, episodic return=1403.751708984375\n", + "global step=30023680, episodic return=2152.27294921875\n", + "global step=30023680, episodic return=996.6384887695312\n", + "global step=30023680, episodic return=2138.314697265625\n", + "global step=30023680, episodic return=2140.452880859375\n", + "global step=30025728, episodic return=2114.682861328125\n", + "global step=30025728, episodic return=2156.661865234375\n", + "global step=30025728, episodic return=2148.288330078125\n", + "global step=30025728, episodic return=2112.779541015625\n", + "global step=30025728, episodic return=2139.430908203125\n", + "global step=30027776, episodic return=2139.216796875\n", + "global step=30027776, episodic return=2049.217041015625\n", + "global step=30029824, episodic return=2159.9521484375\n", + "global step=30029824, episodic return=2054.040771484375\n", + "global step=30029824, episodic return=2156.052490234375\n", + "global step=30029824, episodic return=2189.029296875\n", + "global step=30031872, episodic return=2131.6318359375\n", + "global step=30031872, episodic return=2133.845703125\n", + "global step=30031872, episodic return=2125.35693359375\n", + "global step=30031872, episodic return=2130.6923828125\n", + "global step=30033920, episodic return=2109.067138671875\n", + "global step=30033920, episodic return=2123.630859375\n", + "global step=30033920, episodic return=2155.27587890625\n", + "global step=30033920, episodic return=2115.87744140625\n", + "global step=30033920, episodic return=2166.036376953125\n", + "global step=30035968, episodic return=2100.409423828125\n", + "global step=30035968, episodic return=2166.197265625\n", + "global step=30035968, episodic return=2140.957275390625\n", + "global step=30035968, episodic return=2131.305419921875\n", + "global step=30035968, episodic return=2143.752197265625\n", + "global step=30035968, episodic return=2150.81103515625\n", + "global step=30038016, episodic return=2096.81982421875\n", + "global step=30038016, episodic return=2164.457275390625\n", + "global step=30040064, episodic return=2132.77783203125\n", + "global step=30040064, episodic return=2142.771484375\n", + "global step=30040064, episodic return=2089.34033203125\n", + "global step=30040064, episodic return=2140.145263671875\n", + "global step=30040064, episodic return=2163.363525390625\n", + "global step=30042112, episodic return=2099.457763671875\n", + "global step=30042112, episodic return=2171.956787109375\n", + "global step=30044160, episodic return=2123.930419921875\n", + "global step=30044160, episodic return=2148.0927734375\n", + "global step=30046208, episodic return=2133.288818359375\n", + "global step=30046208, episodic return=2149.86669921875\n", + "global step=30046208, episodic return=2103.090576171875\n", + "global step=30046208, episodic return=2132.909423828125\n", + "global step=30048256, episodic return=2101.072021484375\n", + "global step=30050304, episodic return=1851.7059326171875\n", + "global step=30050304, episodic return=2129.989013671875\n", + "global step=30050304, episodic return=2129.32177734375\n", + "global step=30052352, episodic return=1725.82275390625\n", + "global step=30052352, episodic return=2093.947998046875\n", + "global step=30052352, episodic return=2121.2275390625\n", + "global step=30054400, episodic return=2113.13623046875\n", + "global step=30054400, episodic return=958.1453247070312\n", + "global step=30054400, episodic return=2149.78466796875\n", + "global step=30054400, episodic return=2142.65087890625\n", + "global step=30054400, episodic return=2148.739501953125\n", + "global step=30054400, episodic return=2165.037109375\n", + "global step=30056448, episodic return=2126.559326171875\n", + "global step=30056448, episodic return=2110.337158203125\n", + "global step=30056448, episodic return=2142.161376953125\n", + "global step=30058496, episodic return=828.1118774414062\n", + "global step=30058496, episodic return=2118.358642578125\n", + "global step=30060544, episodic return=2093.255859375\n", + "global step=30060544, episodic return=530.125244140625\n", + "global step=30060544, episodic return=2167.330322265625\n", + "global step=30062592, episodic return=2119.319091796875\n", + "global step=30062592, episodic return=2126.656494140625\n", + "global step=30064640, episodic return=2156.60888671875\n", + "global step=30066688, episodic return=2116.15576171875\n", + "global step=30066688, episodic return=2110.68505859375\n", + "global step=30066688, episodic return=2122.6396484375\n", + "global step=30066688, episodic return=946.682861328125\n", + "global step=30068736, episodic return=2156.640625\n", + "global step=30068736, episodic return=2177.43896484375\n", + "global step=30068736, episodic return=2145.056640625\n", + "global step=30068736, episodic return=2165.200439453125\n", + "global step=30068736, episodic return=2105.03515625\n", + "global step=30070784, episodic return=2071.948974609375\n", + "global step=30072832, episodic return=2135.3115234375\n", + "global step=30074880, episodic return=862.9048461914062\n", + "global step=30074880, episodic return=2126.786865234375\n", + "global step=30074880, episodic return=916.9675903320312\n", + "global step=30076928, episodic return=2156.41650390625\n", + "global step=30076928, episodic return=2100.974853515625\n", + "global step=30078976, episodic return=2085.24560546875\n", + "global step=30078976, episodic return=2154.713134765625\n", + "global step=30078976, episodic return=2126.054443359375\n", + "global step=30078976, episodic return=2130.146240234375\n", + "global step=30081024, episodic return=2133.458740234375\n", + "global step=30083072, episodic return=1941.660400390625\n", + "global step=30083072, episodic return=2119.89892578125\n", + "global step=30085120, episodic return=2093.2392578125\n", + "global step=30085120, episodic return=2162.925537109375\n", + "global step=30087168, episodic return=2127.9443359375\n", + "global step=30087168, episodic return=180.640625\n", + "global step=30087168, episodic return=2182.100830078125\n", + "global step=30089216, episodic return=2111.229736328125\n", + "global step=30089216, episodic return=2155.3681640625\n", + "global step=30089216, episodic return=2103.781982421875\n", + "global step=30089216, episodic return=2186.919189453125\n", + "global step=30089216, episodic return=2106.810791015625\n", + "global step=30089216, episodic return=2129.6533203125\n", + "global step=30089216, episodic return=2088.9921875\n", + "global step=30091264, episodic return=2137.399658203125\n", + "global step=30091264, episodic return=2155.86279296875\n", + "global step=30091264, episodic return=2198.140869140625\n", + "global step=30093312, episodic return=2161.48779296875\n", + "global step=30093312, episodic return=2113.27294921875\n", + "global step=30095360, episodic return=2113.168212890625\n", + "global step=30095360, episodic return=1443.376708984375\n", + "global step=30095360, episodic return=2135.848876953125\n", + "global step=30095360, episodic return=2151.86474609375\n", + "global step=30095360, episodic return=2160.246826171875\n", + "global step=30097408, episodic return=2173.41015625\n", + "global step=30097408, episodic return=1929.90966796875\n", + "global step=30097408, episodic return=2082.951416015625\n", + "global step=30099456, episodic return=2159.34814453125\n", + "global step=30099456, episodic return=2162.252685546875\n", + "global step=30101504, episodic return=2124.17626953125\n", + "global step=30101504, episodic return=2111.930908203125\n", + "global step=30101504, episodic return=2177.705322265625\n", + "global step=30103552, episodic return=2103.5888671875\n", + "global step=30105600, episodic return=312.5532531738281\n", + "global step=30107648, episodic return=2105.5849609375\n", + "global step=30109696, episodic return=2111.123291015625\n", + "global step=30109696, episodic return=2160.552490234375\n", + "global step=30111744, episodic return=2137.910400390625\n", + "global step=30111744, episodic return=2137.0556640625\n", + "global step=30111744, episodic return=2140.9638671875\n", + "global step=30113792, episodic return=348.3524169921875\n", + "global step=30113792, episodic return=2105.9619140625\n", + "global step=30113792, episodic return=984.8043212890625\n", + "global step=30113792, episodic return=2132.982177734375\n", + "global step=30115840, episodic return=2156.893798828125\n", + "global step=30115840, episodic return=2114.5185546875\n", + "global step=30117888, episodic return=2143.910400390625\n", + "global step=30117888, episodic return=2157.28857421875\n", + "global step=30119936, episodic return=2147.96875\n", + "global step=30119936, episodic return=2121.347412109375\n", + "global step=30119936, episodic return=2113.86328125\n", + "global step=30119936, episodic return=2113.48974609375\n", + "global step=30119936, episodic return=2113.893310546875\n", + "global step=30121984, episodic return=2136.39892578125\n", + "global step=30121984, episodic return=2158.456787109375\n", + "global step=30124032, episodic return=2131.26806640625\n", + "global step=30124032, episodic return=2100.955810546875\n", + "global step=30124032, episodic return=2154.36083984375\n", + "global step=30124032, episodic return=2156.90966796875\n", + "global step=30124032, episodic return=214.6441192626953\n", + "global step=30124032, episodic return=2116.52099609375\n", + "global step=30126080, episodic return=2119.39990234375\n", + "global step=30126080, episodic return=2122.868408203125\n", + "global step=30130176, episodic return=185.3341827392578\n", + "global step=30130176, episodic return=2111.943603515625\n", + "global step=30130176, episodic return=2143.004150390625\n", + "global step=30130176, episodic return=862.1917114257812\n", + "global step=30130176, episodic return=2153.874755859375\n", + "global step=30130176, episodic return=2106.698486328125\n", + "global step=30132224, episodic return=2162.181640625\n", + "global step=30132224, episodic return=2095.54150390625\n", + "global step=30132224, episodic return=231.95907592773438\n", + "global step=30132224, episodic return=2157.038330078125\n", + "global step=30132224, episodic return=2138.42333984375\n", + "global step=30134272, episodic return=2115.654052734375\n", + "global step=30134272, episodic return=2147.270751953125\n", + "global step=30136320, episodic return=2145.031494140625\n", + "global step=30136320, episodic return=2167.895751953125\n", + "global step=30136320, episodic return=2127.115234375\n", + "global step=30136320, episodic return=2134.32568359375\n", + "global step=30138368, episodic return=2136.837158203125\n", + "global step=30138368, episodic return=2099.15478515625\n", + "global step=30140416, episodic return=2105.3330078125\n", + "global step=30140416, episodic return=2146.642333984375\n", + "global step=30140416, episodic return=2115.373046875\n", + "global step=30142464, episodic return=2068.885498046875\n", + "global step=30142464, episodic return=2130.193603515625\n", + "global step=30142464, episodic return=2138.035400390625\n", + "global step=30142464, episodic return=2121.782958984375\n", + "global step=30144512, episodic return=2111.549560546875\n", + "global step=30144512, episodic return=2151.088623046875\n", + "global step=30144512, episodic return=2178.1748046875\n", + "global step=30146560, episodic return=2119.0078125\n", + "global step=30146560, episodic return=2135.599609375\n", + "global step=30148608, episodic return=2130.859619140625\n", + "global step=30148608, episodic return=2135.68115234375\n", + "global step=30148608, episodic return=1299.158203125\n", + "global step=30150656, episodic return=2163.199951171875\n", + "global step=30150656, episodic return=2168.984619140625\n", + "global step=30150656, episodic return=2134.855224609375\n", + "global step=30150656, episodic return=2165.6279296875\n", + "global step=30152704, episodic return=2147.688720703125\n", + "global step=30152704, episodic return=2147.018798828125\n", + "global step=30154752, episodic return=2104.587646484375\n", + "global step=30154752, episodic return=2149.34765625\n", + "global step=30154752, episodic return=2133.931884765625\n", + "global step=30156800, episodic return=2141.523193359375\n", + "global step=30156800, episodic return=2161.9990234375\n", + "global step=30158848, episodic return=2117.696044921875\n", + "global step=30158848, episodic return=2109.192138671875\n", + "global step=30158848, episodic return=2142.333251953125\n", + "global step=30158848, episodic return=2127.223388671875\n", + "global step=30160896, episodic return=348.4775390625\n", + "global step=30160896, episodic return=2129.6767578125\n", + "global step=30160896, episodic return=2151.80712890625\n", + "global step=30160896, episodic return=2117.827880859375\n", + "global step=30160896, episodic return=2138.47900390625\n", + "global step=30160896, episodic return=2144.598876953125\n", + "global step=30160896, episodic return=2160.41162109375\n", + "global step=30162944, episodic return=2145.681640625\n", + "global step=30162944, episodic return=2116.735595703125\n", + "global step=30162944, episodic return=2151.092041015625\n", + "global step=30162944, episodic return=2133.4140625\n", + "global step=30162944, episodic return=2137.12451171875\n", + "global step=30162944, episodic return=2175.356689453125\n", + "global step=30162944, episodic return=2150.74951171875\n", + "global step=30164992, episodic return=2153.55908203125\n", + "global step=30164992, episodic return=2150.1796875\n", + "global step=30167040, episodic return=2090.0869140625\n", + "global step=30169088, episodic return=2113.30322265625\n", + "global step=30169088, episodic return=2137.4951171875\n", + "global step=30171136, episodic return=2169.5078125\n", + "global step=30171136, episodic return=2126.46044921875\n", + "global step=30173184, episodic return=2149.93212890625\n", + "global step=30173184, episodic return=2149.572265625\n", + "global step=30175232, episodic return=1186.2740478515625\n", + "global step=30175232, episodic return=40.49204635620117\n", + "global step=30175232, episodic return=2148.466064453125\n", + "global step=30175232, episodic return=2161.540283203125\n", + "global step=30175232, episodic return=2153.8642578125\n", + "global step=30175232, episodic return=2125.58935546875\n", + "global step=30175232, episodic return=2162.599853515625\n", + "global step=30175232, episodic return=2121.807861328125\n", + "global step=30177280, episodic return=2121.367431640625\n", + "global step=30181376, episodic return=1964.81982421875\n", + "global step=30181376, episodic return=2127.838623046875\n", + "global step=30181376, episodic return=2163.77587890625\n", + "global step=30181376, episodic return=2145.131591796875\n", + "global step=30183424, episodic return=2108.89306640625\n", + "global step=30183424, episodic return=2153.813232421875\n", + "global step=30183424, episodic return=2164.535888671875\n", + "global step=30183424, episodic return=2108.67041015625\n", + "global step=30183424, episodic return=2115.59130859375\n", + "global step=30185472, episodic return=2103.478515625\n", + "global step=30189568, episodic return=2159.93798828125\n", + "global step=30189568, episodic return=2135.38037109375\n", + "global step=30189568, episodic return=609.3439331054688\n", + "global step=30189568, episodic return=2150.283935546875\n", + "global step=30191616, episodic return=2158.6064453125\n", + "global step=30191616, episodic return=2134.569091796875\n", + "global step=30191616, episodic return=2119.6533203125\n", + "global step=30191616, episodic return=945.5738525390625\n", + "global step=30191616, episodic return=2125.43701171875\n", + "global step=30193664, episodic return=2185.04638671875\n", + "global step=30193664, episodic return=2163.666015625\n", + "global step=30193664, episodic return=2156.847412109375\n", + "global step=30193664, episodic return=2136.9697265625\n", + "global step=30195712, episodic return=2133.796142578125\n", + "global step=30197760, episodic return=2133.0498046875\n", + "global step=30197760, episodic return=2154.33740234375\n", + "global step=30199808, episodic return=2146.1884765625\n", + "global step=30199808, episodic return=2165.969970703125\n", + "global step=30199808, episodic return=2161.2255859375\n", + "global step=30199808, episodic return=2129.47265625\n", + "global step=30201856, episodic return=1521.8709716796875\n", + "global step=30201856, episodic return=2109.20947265625\n", + "global step=30203904, episodic return=2148.051513671875\n", + "global step=30203904, episodic return=2161.642822265625\n", + "global step=30203904, episodic return=2138.123291015625\n", + "global step=30205952, episodic return=1607.493896484375\n", + "global step=30205952, episodic return=2166.81201171875\n", + "global step=30205952, episodic return=2139.6328125\n", + "global step=30210048, episodic return=2154.447021484375\n", + "global step=30210048, episodic return=2135.27099609375\n", + "global step=30210048, episodic return=2158.7216796875\n", + "global step=30212096, episodic return=522.1514282226562\n", + "global step=30212096, episodic return=2137.3466796875\n", + "global step=30212096, episodic return=2153.7822265625\n", + "global step=30212096, episodic return=2128.324462890625\n", + "global step=30214144, episodic return=2138.729248046875\n", + "global step=30214144, episodic return=2107.457275390625\n", + "global step=30216192, episodic return=635.6430053710938\n", + "global step=30216192, episodic return=2129.148193359375\n", + "global step=30216192, episodic return=2122.986572265625\n", + "global step=30218240, episodic return=2184.302001953125\n", + "global step=30218240, episodic return=2131.747314453125\n", + "global step=30220288, episodic return=2124.46337890625\n", + "global step=30220288, episodic return=2167.970947265625\n", + "global step=30220288, episodic return=2124.29638671875\n", + "global step=30220288, episodic return=2157.962158203125\n", + "global step=30222336, episodic return=2130.5947265625\n", + "global step=30224384, episodic return=2134.142822265625\n", + "global step=30224384, episodic return=2140.552734375\n", + "global step=30224384, episodic return=2157.4521484375\n", + "global step=30224384, episodic return=2149.149658203125\n", + "global step=30224384, episodic return=2157.853759765625\n", + "global step=30226432, episodic return=2133.452880859375\n", + "global step=30226432, episodic return=2170.5810546875\n", + "global step=30226432, episodic return=2152.705810546875\n", + "global step=30226432, episodic return=2167.6318359375\n", + "global step=30226432, episodic return=2114.215576171875\n", + "global step=30228480, episodic return=2182.04345703125\n", + "global step=30232576, episodic return=2157.740966796875\n", + "global step=30232576, episodic return=2121.337158203125\n", + "global step=30232576, episodic return=2155.6962890625\n", + "global step=30232576, episodic return=2175.7216796875\n", + "global step=30232576, episodic return=2149.117431640625\n", + "global step=30234624, episodic return=2164.54541015625\n", + "global step=30234624, episodic return=2121.179931640625\n", + "global step=30234624, episodic return=2123.216064453125\n", + "global step=30234624, episodic return=2087.255126953125\n", + "global step=30236672, episodic return=511.4515686035156\n", + "global step=30236672, episodic return=2170.1787109375\n", + "global step=30236672, episodic return=2115.927490234375\n", + "global step=30236672, episodic return=2115.59521484375\n", + "global step=30236672, episodic return=2124.009521484375\n", + "global step=30236672, episodic return=2151.072265625\n", + "global step=30236672, episodic return=2178.71630859375\n", + "global step=30236672, episodic return=2111.12060546875\n", + "global step=30236672, episodic return=2171.8671875\n", + "global step=30238720, episodic return=2136.5654296875\n", + "global step=30238720, episodic return=2172.03125\n", + "global step=30242816, episodic return=2144.059814453125\n", + "global step=30242816, episodic return=2183.256591796875\n", + "global step=30242816, episodic return=2142.49658203125\n", + "global step=30242816, episodic return=2154.072021484375\n", + "global step=30242816, episodic return=196.19171142578125\n", + "global step=30244864, episodic return=2168.362548828125\n", + "global step=30244864, episodic return=2158.977294921875\n", + "global step=30244864, episodic return=2152.8115234375\n", + "global step=30244864, episodic return=2140.1787109375\n", + "global step=30246912, episodic return=2151.027587890625\n", + "global step=30246912, episodic return=1493.1280517578125\n", + "global step=30246912, episodic return=2089.37353515625\n", + "global step=30246912, episodic return=2173.73876953125\n", + "global step=30246912, episodic return=2147.744140625\n", + "global step=30248960, episodic return=2163.83203125\n", + "global step=30251008, episodic return=2113.081298828125\n", + "global step=30253056, episodic return=2147.644287109375\n", + "global step=30253056, episodic return=2170.015625\n", + "global step=30253056, episodic return=2143.356689453125\n", + "global step=30255104, episodic return=2156.20703125\n", + "global step=30255104, episodic return=2135.272705078125\n", + "global step=30255104, episodic return=2067.284423828125\n", + "global step=30257152, episodic return=2131.26904296875\n", + "global step=30259200, episodic return=2141.05712890625\n", + "global step=30259200, episodic return=2143.572998046875\n", + "global step=30261248, episodic return=2136.89501953125\n", + "global step=30261248, episodic return=2130.764404296875\n", + "global step=30261248, episodic return=2162.078857421875\n", + "global step=30261248, episodic return=2152.160888671875\n", + "global step=30263296, episodic return=2178.47265625\n", + "global step=30263296, episodic return=187.68284606933594\n", + "global step=30265344, episodic return=2136.69873046875\n", + "global step=30265344, episodic return=2138.366455078125\n", + "global step=30265344, episodic return=2135.731689453125\n", + "global step=30267392, episodic return=1667.8250732421875\n", + "global step=30267392, episodic return=2131.02685546875\n", + "global step=30269440, episodic return=1852.5765380859375\n", + "global step=30269440, episodic return=2173.033935546875\n", + "global step=30271488, episodic return=1114.4576416015625\n", + "global step=30271488, episodic return=2135.840087890625\n", + "global step=30271488, episodic return=2154.265380859375\n", + "global step=30271488, episodic return=2173.227783203125\n", + "global step=30271488, episodic return=500.310302734375\n", + "global step=30271488, episodic return=2116.314453125\n", + "global step=30271488, episodic return=1962.0128173828125\n", + "global step=30271488, episodic return=2124.15283203125\n", + "global step=30273536, episodic return=2163.287841796875\n", + "global step=30273536, episodic return=2121.382568359375\n", + "global step=30275584, episodic return=386.458740234375\n", + "global step=30277632, episodic return=2112.696533203125\n", + "global step=30277632, episodic return=1675.2647705078125\n", + "global step=30277632, episodic return=2142.026611328125\n", + "global step=30279680, episodic return=2149.60791015625\n", + "global step=30279680, episodic return=2167.55126953125\n", + "global step=30279680, episodic return=2152.67236328125\n", + "global step=30279680, episodic return=2156.99609375\n", + "global step=30281728, episodic return=2135.362548828125\n", + "global step=30281728, episodic return=2185.57666015625\n", + "global step=30281728, episodic return=2173.521484375\n", + "global step=30283776, episodic return=2168.855224609375\n", + "global step=30283776, episodic return=2110.23486328125\n", + "global step=30283776, episodic return=2156.734130859375\n", + "global step=30283776, episodic return=213.62744140625\n", + "global step=30283776, episodic return=2166.41552734375\n", + "global step=30285824, episodic return=2176.053955078125\n", + "global step=30285824, episodic return=193.3685760498047\n", + "global step=30285824, episodic return=2146.068115234375\n", + "global step=30285824, episodic return=2193.498046875\n", + "global step=30287872, episodic return=2163.904296875\n", + "global step=30287872, episodic return=2188.578369140625\n", + "global step=30287872, episodic return=2139.1572265625\n", + "global step=30287872, episodic return=2185.317626953125\n", + "global step=30291968, episodic return=2126.531982421875\n", + "global step=30291968, episodic return=2154.61328125\n", + "global step=30291968, episodic return=2175.701171875\n", + "global step=30294016, episodic return=2153.506103515625\n", + "global step=30294016, episodic return=2164.279541015625\n", + "global step=30296064, episodic return=2126.698486328125\n", + "global step=30296064, episodic return=2178.904541015625\n", + "global step=30296064, episodic return=2143.80859375\n", + "global step=30296064, episodic return=2156.614501953125\n", + "global step=30296064, episodic return=2146.52978515625\n", + "global step=30296064, episodic return=2160.947021484375\n", + "global step=30296064, episodic return=2189.071533203125\n", + "global step=30296064, episodic return=2137.4951171875\n", + "global step=30298112, episodic return=2144.21337890625\n", + "global step=30298112, episodic return=2183.2275390625\n", + "global step=30300160, episodic return=2163.700439453125\n", + "global step=30300160, episodic return=2161.57958984375\n", + "global step=30300160, episodic return=1179.399169921875\n", + "global step=30300160, episodic return=2153.6953125\n", + "global step=30300160, episodic return=2157.859619140625\n", + "global step=30302208, episodic return=2127.61083984375\n", + "global step=30304256, episodic return=2115.70166015625\n", + "global step=30304256, episodic return=2187.76708984375\n", + "global step=30304256, episodic return=2149.96630859375\n", + "global step=30306304, episodic return=1985.833740234375\n", + "global step=30306304, episodic return=37.26984405517578\n", + "global step=30306304, episodic return=2167.0166015625\n", + "global step=30306304, episodic return=2137.805908203125\n", + "global step=30308352, episodic return=2162.69775390625\n", + "global step=30308352, episodic return=2191.503662109375\n", + "global step=30308352, episodic return=2158.2158203125\n", + "global step=30308352, episodic return=2160.4169921875\n", + "global step=30308352, episodic return=2134.540283203125\n", + "global step=30308352, episodic return=2164.172607421875\n", + "global step=30310400, episodic return=1992.869384765625\n", + "global step=30310400, episodic return=1717.3458251953125\n", + "global step=30310400, episodic return=2134.53955078125\n", + "global step=30312448, episodic return=481.62225341796875\n", + "global step=30312448, episodic return=2157.6953125\n", + "global step=30314496, episodic return=2120.777587890625\n", + "global step=30314496, episodic return=2127.44873046875\n", + "global step=30314496, episodic return=2142.572509765625\n", + "global step=30314496, episodic return=2124.746826171875\n", + "global step=30314496, episodic return=2090.457275390625\n", + "global step=30314496, episodic return=2152.38720703125\n", + "global step=30314496, episodic return=2131.344970703125\n", + "global step=30314496, episodic return=2159.67919921875\n", + "global step=30316544, episodic return=2158.64404296875\n", + "global step=30316544, episodic return=2166.759765625\n", + "global step=30316544, episodic return=2128.37255859375\n", + "global step=30318592, episodic return=2170.220947265625\n", + "global step=30318592, episodic return=2172.770263671875\n", + "global step=30318592, episodic return=2198.83154296875\n", + "global step=30318592, episodic return=2145.931640625\n", + "global step=30318592, episodic return=2148.6796875\n", + "global step=30320640, episodic return=2173.023681640625\n", + "global step=30320640, episodic return=2090.4541015625\n", + "global step=30320640, episodic return=2163.7216796875\n", + "global step=30320640, episodic return=2181.71630859375\n", + "global step=30320640, episodic return=2159.412841796875\n", + "global step=30320640, episodic return=2148.936279296875\n", + "global step=30322688, episodic return=1320.5201416015625\n", + "global step=30322688, episodic return=2167.214111328125\n", + "global step=30324736, episodic return=2159.25732421875\n", + "global step=30328832, episodic return=2139.796630859375\n", + "global step=30328832, episodic return=2142.679443359375\n", + "global step=30328832, episodic return=763.9249877929688\n", + "global step=30330880, episodic return=2137.398193359375\n", + "global step=30330880, episodic return=2173.859130859375\n", + "global step=30330880, episodic return=2157.9208984375\n", + "global step=30330880, episodic return=2152.616455078125\n", + "global step=30330880, episodic return=2153.055908203125\n", + "global step=30330880, episodic return=2173.788818359375\n", + "global step=30330880, episodic return=2142.53857421875\n", + "global step=30332928, episodic return=2142.594482421875\n", + "global step=30332928, episodic return=2139.681396484375\n", + "global step=30332928, episodic return=1912.50146484375\n", + "global step=30332928, episodic return=2155.34228515625\n", + "global step=30332928, episodic return=2166.188232421875\n", + "global step=30334976, episodic return=2154.862548828125\n", + "global step=30334976, episodic return=2132.095703125\n", + "global step=30337024, episodic return=2131.90185546875\n", + "global step=30337024, episodic return=2181.7783203125\n", + "global step=30337024, episodic return=2117.674560546875\n", + "global step=30339072, episodic return=2191.019287109375\n", + "global step=30339072, episodic return=2122.552001953125\n", + "global step=30339072, episodic return=2110.410888671875\n", + "global step=30341120, episodic return=2149.17431640625\n", + "global step=30341120, episodic return=2152.0498046875\n", + "global step=30343168, episodic return=2143.584228515625\n", + "global step=30343168, episodic return=1203.54931640625\n", + "global step=30343168, episodic return=2173.162353515625\n", + "global step=30343168, episodic return=2143.564453125\n", + "global step=30343168, episodic return=2165.935791015625\n", + "global step=30345216, episodic return=2136.465576171875\n", + "global step=30345216, episodic return=2139.897705078125\n", + "global step=30345216, episodic return=2145.05029296875\n", + "global step=30347264, episodic return=2138.873779296875\n", + "global step=30347264, episodic return=1912.1265869140625\n", + "global step=30347264, episodic return=2164.532470703125\n", + "global step=30349312, episodic return=2125.918701171875\n", + "global step=30349312, episodic return=2145.759765625\n", + "global step=30351360, episodic return=2181.270751953125\n", + "global step=30353408, episodic return=2154.014404296875\n", + "global step=30355456, episodic return=2162.728515625\n", + "global step=30357504, episodic return=1864.2584228515625\n", + "global step=30357504, episodic return=2155.082763671875\n", + "global step=30359552, episodic return=185.01585388183594\n", + "global step=30361600, episodic return=2162.72509765625\n", + "global step=30361600, episodic return=2154.740234375\n", + "global step=30361600, episodic return=2141.144775390625\n", + "global step=30361600, episodic return=2159.279052734375\n", + "global step=30361600, episodic return=2175.119873046875\n", + "global step=30361600, episodic return=2147.626953125\n", + "global step=30363648, episodic return=2149.491455078125\n", + "global step=30363648, episodic return=2137.443115234375\n", + "global step=30363648, episodic return=2147.53271484375\n", + "global step=30363648, episodic return=2165.391845703125\n", + "global step=30365696, episodic return=2166.0029296875\n", + "global step=30365696, episodic return=1149.2037353515625\n", + "global step=30367744, episodic return=2164.26953125\n", + "global step=30367744, episodic return=2159.92333984375\n", + "global step=30367744, episodic return=2130.9072265625\n", + "global step=30367744, episodic return=2180.41748046875\n", + "global step=30369792, episodic return=2144.872314453125\n", + "global step=30369792, episodic return=2133.785400390625\n", + "global step=30369792, episodic return=2149.740478515625\n", + "global step=30369792, episodic return=2129.51123046875\n", + "global step=30369792, episodic return=2177.09228515625\n", + "global step=30371840, episodic return=470.8116760253906\n", + "global step=30373888, episodic return=2071.87890625\n", + "global step=30375936, episodic return=2047.2940673828125\n", + "global step=30375936, episodic return=2170.6689453125\n", + "global step=30375936, episodic return=2154.145751953125\n", + "global step=30375936, episodic return=2125.66943359375\n", + "global step=30375936, episodic return=2145.51318359375\n", + "global step=30377984, episodic return=2170.255615234375\n", + "global step=30377984, episodic return=2163.818359375\n", + "global step=30377984, episodic return=2204.29052734375\n", + "global step=30377984, episodic return=2156.77880859375\n", + "global step=30377984, episodic return=2163.28369140625\n", + "global step=30377984, episodic return=2164.650634765625\n", + "global step=30380032, episodic return=2130.53125\n", + "global step=30380032, episodic return=2146.598388671875\n", + "global step=30380032, episodic return=2141.198486328125\n", + "global step=30382080, episodic return=2160.593505859375\n", + "global step=30382080, episodic return=2132.949462890625\n", + "global step=30382080, episodic return=504.8463134765625\n", + "global step=30384128, episodic return=2163.642822265625\n", + "global step=30384128, episodic return=2127.447509765625\n", + "global step=30384128, episodic return=2165.813720703125\n", + "global step=30386176, episodic return=2135.41455078125\n", + "global step=30388224, episodic return=2155.46044921875\n", + "global step=30388224, episodic return=2187.85498046875\n", + "global step=30388224, episodic return=2176.448974609375\n", + "global step=30388224, episodic return=2169.94287109375\n", + "global step=30388224, episodic return=2088.77783203125\n", + "global step=30390272, episodic return=354.9568176269531\n", + "global step=30392320, episodic return=2209.7548828125\n", + "global step=30392320, episodic return=2148.15478515625\n", + "global step=30392320, episodic return=2157.592529296875\n", + "global step=30392320, episodic return=607.583740234375\n", + "global step=30392320, episodic return=2142.548583984375\n", + "global step=30394368, episodic return=2144.11279296875\n", + "global step=30394368, episodic return=2215.995849609375\n", + "global step=30396416, episodic return=2120.34912109375\n", + "global step=30396416, episodic return=2155.33837890625\n", + "global step=30396416, episodic return=2145.68994140625\n", + "global step=30396416, episodic return=2083.509765625\n", + "global step=30398464, episodic return=2145.223876953125\n", + "global step=30398464, episodic return=2147.52392578125\n", + "global step=30398464, episodic return=2147.66455078125\n", + "global step=30398464, episodic return=2154.672119140625\n", + "global step=30398464, episodic return=2157.1123046875\n", + "global step=30400512, episodic return=1786.03564453125\n", + "global step=30400512, episodic return=1941.280517578125\n", + "global step=30400512, episodic return=2066.68115234375\n", + "global step=30402560, episodic return=2150.061767578125\n", + "global step=30402560, episodic return=2146.60888671875\n", + "global step=30404608, episodic return=2156.349853515625\n", + "global step=30404608, episodic return=2177.335205078125\n", + "global step=30404608, episodic return=2138.4755859375\n", + "global step=30404608, episodic return=2148.213134765625\n", + "global step=30406656, episodic return=2155.960693359375\n", + "global step=30406656, episodic return=2182.198974609375\n", + "global step=30406656, episodic return=2170.88427734375\n", + "global step=30406656, episodic return=2160.536376953125\n", + "global step=30406656, episodic return=2143.85498046875\n", + "global step=30406656, episodic return=2166.34619140625\n", + "global step=30408704, episodic return=2174.763916015625\n", + "global step=30408704, episodic return=2168.15478515625\n", + "global step=30410752, episodic return=2154.982421875\n", + "global step=30410752, episodic return=2177.828125\n", + "global step=30410752, episodic return=2211.907470703125\n", + "global step=30410752, episodic return=2157.97802734375\n", + "global step=30410752, episodic return=2202.567626953125\n", + "global step=30412800, episodic return=2136.214599609375\n", + "global step=30412800, episodic return=2106.756591796875\n", + "global step=30414848, episodic return=1856.77783203125\n", + "global step=30414848, episodic return=2162.851318359375\n", + "global step=30416896, episodic return=2148.170654296875\n", + "global step=30416896, episodic return=588.8936157226562\n", + "global step=30416896, episodic return=1514.1947021484375\n", + "global step=30416896, episodic return=1943.4422607421875\n", + "global step=30418944, episodic return=2198.966552734375\n", + "global step=30418944, episodic return=2127.8642578125\n", + "global step=30418944, episodic return=2170.169677734375\n", + "global step=30418944, episodic return=2138.7958984375\n", + "global step=30418944, episodic return=2175.370849609375\n", + "global step=30420992, episodic return=2161.077392578125\n", + "global step=30420992, episodic return=2191.523681640625\n", + "global step=30420992, episodic return=2177.90771484375\n", + "global step=30420992, episodic return=2160.207275390625\n", + "global step=30423040, episodic return=2172.329345703125\n", + "global step=30423040, episodic return=2148.637451171875\n", + "global step=30423040, episodic return=441.2713623046875\n", + "global step=30423040, episodic return=2162.41064453125\n", + "global step=30423040, episodic return=2176.271728515625\n", + "global step=30423040, episodic return=2171.462890625\n", + "global step=30425088, episodic return=2173.36865234375\n", + "global step=30425088, episodic return=2172.14697265625\n", + "global step=30427136, episodic return=2157.780029296875\n", + "global step=30427136, episodic return=515.1394653320312\n", + "global step=30429184, episodic return=2128.867919921875\n", + "global step=30429184, episodic return=2170.331298828125\n", + "global step=30431232, episodic return=2152.913330078125\n", + "global step=30431232, episodic return=28.834999084472656\n", + "global step=30435328, episodic return=2131.19580078125\n", + "global step=30437376, episodic return=2163.862060546875\n", + "global step=30437376, episodic return=2170.878173828125\n", + "global step=30439424, episodic return=58.97139358520508\n", + "global step=30439424, episodic return=2162.413330078125\n", + "global step=30441472, episodic return=2144.5927734375\n", + "global step=30441472, episodic return=2177.12060546875\n", + "global step=30441472, episodic return=2163.107666015625\n", + "global step=30441472, episodic return=2151.76171875\n", + "global step=30443520, episodic return=2177.445556640625\n", + "global step=30443520, episodic return=2143.915771484375\n", + "global step=30443520, episodic return=2170.74951171875\n", + "global step=30443520, episodic return=455.22412109375\n", + "global step=30443520, episodic return=2138.728515625\n", + "global step=30445568, episodic return=460.39337158203125\n", + "global step=30445568, episodic return=2135.68896484375\n", + "global step=30445568, episodic return=2159.85595703125\n", + "global step=30447616, episodic return=2167.54296875\n", + "global step=30447616, episodic return=2156.32958984375\n", + "global step=30449664, episodic return=2163.17138671875\n", + "global step=30449664, episodic return=2148.89599609375\n", + "global step=30449664, episodic return=2173.10498046875\n", + "global step=30451712, episodic return=2152.09375\n", + "global step=30451712, episodic return=190.3782501220703\n", + "global step=30451712, episodic return=2130.910400390625\n", + "global step=30453760, episodic return=2174.62255859375\n", + "global step=30453760, episodic return=222.5943145751953\n", + "global step=30455808, episodic return=1268.3583984375\n", + "global step=30455808, episodic return=2163.464111328125\n", + "global step=30455808, episodic return=1153.4765625\n", + "global step=30457856, episodic return=2165.3017578125\n", + "global step=30457856, episodic return=2183.1083984375\n", + "global step=30457856, episodic return=2157.822021484375\n", + "global step=30457856, episodic return=2172.836181640625\n", + "global step=30459904, episodic return=2166.855712890625\n", + "global step=30459904, episodic return=2179.675537109375\n", + "global step=30459904, episodic return=2171.392578125\n", + "global step=30461952, episodic return=2157.935546875\n", + "global step=30464000, episodic return=2170.075927734375\n", + "global step=30464000, episodic return=2193.146240234375\n", + "global step=30466048, episodic return=2139.96923828125\n", + "global step=30466048, episodic return=2193.06640625\n", + "global step=30468096, episodic return=2121.033447265625\n", + "global step=30468096, episodic return=63.104984283447266\n", + "global step=30468096, episodic return=2160.593505859375\n", + "global step=30470144, episodic return=2150.59765625\n", + "global step=30472192, episodic return=2172.07861328125\n", + "global step=30476288, episodic return=2113.702392578125\n", + "global step=30476288, episodic return=2182.324951171875\n", + "global step=30476288, episodic return=2149.314697265625\n", + "global step=30478336, episodic return=522.5131225585938\n", + "global step=30478336, episodic return=2168.812744140625\n", + "global step=30478336, episodic return=2163.74072265625\n", + "global step=30478336, episodic return=2114.92724609375\n", + "global step=30480384, episodic return=2069.03759765625\n", + "global step=30480384, episodic return=357.5023498535156\n", + "global step=30480384, episodic return=53.19481658935547\n", + "global step=30480384, episodic return=2155.498046875\n", + "global step=30480384, episodic return=1873.0518798828125\n", + "global step=30480384, episodic return=2172.83154296875\n", + "global step=30480384, episodic return=2185.295166015625\n", + "global step=30480384, episodic return=321.0597229003906\n", + "global step=30480384, episodic return=1699.22216796875\n", + "global step=30480384, episodic return=2149.25390625\n", + "global step=30482432, episodic return=2168.114501953125\n", + "global step=30482432, episodic return=2157.76953125\n", + "global step=30484480, episodic return=2141.828369140625\n", + "global step=30484480, episodic return=27.629165649414062\n", + "global step=30486528, episodic return=2165.652587890625\n", + "global step=30486528, episodic return=2165.38916015625\n", + "global step=30486528, episodic return=71.72174072265625\n", + "global step=30486528, episodic return=2144.882080078125\n", + "global step=30486528, episodic return=2142.714599609375\n", + "global step=30488576, episodic return=2143.339599609375\n", + "global step=30488576, episodic return=2151.446533203125\n", + "global step=30492672, episodic return=2156.711181640625\n", + "global step=30492672, episodic return=2147.8876953125\n", + "global step=30492672, episodic return=2183.762451171875\n", + "global step=30494720, episodic return=2157.04736328125\n", + "global step=30494720, episodic return=2177.281005859375\n", + "global step=30494720, episodic return=2121.479248046875\n", + "global step=30496768, episodic return=2176.49365234375\n", + "global step=30496768, episodic return=2108.507080078125\n", + "global step=30496768, episodic return=2152.82861328125\n", + "global step=30498816, episodic return=1270.26025390625\n", + "global step=30498816, episodic return=2153.23583984375\n", + "global step=30500864, episodic return=2175.454345703125\n", + "global step=30500864, episodic return=2157.642333984375\n", + "global step=30502912, episodic return=640.1679077148438\n", + "global step=30504960, episodic return=2161.212646484375\n", + "global step=30504960, episodic return=1931.9530029296875\n", + "global step=30507008, episodic return=2148.744873046875\n", + "global step=30507008, episodic return=1724.7359619140625\n", + "global step=30507008, episodic return=2103.712158203125\n", + "global step=30507008, episodic return=2060.887939453125\n", + "global step=30509056, episodic return=2170.128173828125\n", + "global step=30509056, episodic return=2166.259033203125\n", + "global step=30511104, episodic return=2162.078857421875\n", + "global step=30511104, episodic return=2156.197021484375\n", + "global step=30513152, episodic return=191.18832397460938\n", + "global step=30515200, episodic return=2164.19384765625\n", + "global step=30517248, episodic return=2194.354248046875\n", + "global step=30517248, episodic return=2129.813232421875\n", + "global step=30517248, episodic return=2167.864990234375\n", + "global step=30517248, episodic return=217.93475341796875\n", + "global step=30519296, episodic return=2174.132568359375\n", + "global step=30519296, episodic return=1405.2593994140625\n", + "global step=30519296, episodic return=2155.5869140625\n", + "global step=30519296, episodic return=2180.869140625\n", + "global step=30521344, episodic return=2132.76904296875\n", + "global step=30521344, episodic return=2164.422119140625\n", + "global step=30521344, episodic return=2182.617431640625\n", + "global step=30523392, episodic return=2158.8466796875\n", + "global step=30523392, episodic return=2123.506103515625\n", + "global step=30523392, episodic return=2183.984619140625\n", + "global step=30523392, episodic return=2167.155517578125\n", + "global step=30523392, episodic return=2162.087890625\n", + "global step=30525440, episodic return=2161.306884765625\n", + "global step=30527488, episodic return=2176.025146484375\n", + "global step=30529536, episodic return=2145.22314453125\n", + "global step=30529536, episodic return=2176.31884765625\n", + "global step=30531584, episodic return=2143.026611328125\n", + "global step=30531584, episodic return=1317.77490234375\n", + "global step=30531584, episodic return=2201.2939453125\n", + "global step=30531584, episodic return=2143.9228515625\n", + "global step=30533632, episodic return=2185.453369140625\n", + "global step=30533632, episodic return=2137.717529296875\n", + "global step=30533632, episodic return=2141.310546875\n", + "global step=30533632, episodic return=2175.132080078125\n", + "global step=30535680, episodic return=2125.2529296875\n", + "global step=30535680, episodic return=2159.406982421875\n", + "global step=30537728, episodic return=2135.769775390625\n", + "global step=30539776, episodic return=2124.34326171875\n", + "global step=30539776, episodic return=2152.294921875\n", + "global step=30541824, episodic return=2160.3515625\n", + "global step=30541824, episodic return=2154.14599609375\n", + "global step=30543872, episodic return=2149.47998046875\n", + "global step=30543872, episodic return=1897.177978515625\n", + "global step=30543872, episodic return=2121.07080078125\n", + "global step=30543872, episodic return=2147.732177734375\n", + "global step=30543872, episodic return=2158.31884765625\n", + "global step=30545920, episodic return=2146.998291015625\n", + "global step=30545920, episodic return=2148.88232421875\n", + "global step=30545920, episodic return=2148.77587890625\n", + "global step=30545920, episodic return=1665.3514404296875\n", + "global step=30545920, episodic return=281.111083984375\n", + "global step=30547968, episodic return=2163.234375\n", + "global step=30547968, episodic return=2189.2001953125\n", + "global step=30547968, episodic return=2090.662109375\n", + "global step=30547968, episodic return=2154.72314453125\n", + "global step=30547968, episodic return=2156.102294921875\n", + "global step=30550016, episodic return=2169.2353515625\n", + "global step=30552064, episodic return=1541.7183837890625\n", + "global step=30552064, episodic return=2156.7783203125\n", + "global step=30554112, episodic return=2180.755859375\n", + "global step=30556160, episodic return=2183.43310546875\n", + "global step=30556160, episodic return=2159.04248046875\n", + "global step=30556160, episodic return=2143.548828125\n", + "global step=30556160, episodic return=2174.300537109375\n", + "global step=30558208, episodic return=2168.0126953125\n", + "global step=30558208, episodic return=251.82177734375\n", + "global step=30558208, episodic return=2137.097900390625\n", + "global step=30558208, episodic return=2192.007080078125\n", + "global step=30558208, episodic return=2189.93115234375\n", + "global step=30560256, episodic return=2148.093017578125\n", + "global step=30562304, episodic return=2154.86181640625\n", + "global step=30562304, episodic return=824.9431762695312\n", + "global step=30562304, episodic return=2180.1396484375\n", + "global step=30564352, episodic return=2171.189208984375\n", + "global step=30566400, episodic return=2160.013671875\n", + "global step=30568448, episodic return=2149.751953125\n", + "global step=30568448, episodic return=2179.74609375\n", + "global step=30570496, episodic return=2166.252685546875\n", + "global step=30570496, episodic return=2183.04052734375\n", + "global step=30570496, episodic return=2148.73876953125\n", + "global step=30572544, episodic return=2143.843017578125\n", + "global step=30574592, episodic return=2167.717041015625\n", + "global step=30574592, episodic return=2152.302978515625\n", + "global step=30576640, episodic return=2181.214599609375\n", + "global step=30576640, episodic return=2171.719970703125\n", + "global step=30576640, episodic return=2160.2744140625\n", + "global step=30576640, episodic return=232.21018981933594\n", + "global step=30578688, episodic return=2173.74658203125\n", + "global step=30580736, episodic return=2154.669677734375\n", + "global step=30584832, episodic return=2132.977783203125\n", + "global step=30586880, episodic return=2165.9541015625\n", + "global step=30586880, episodic return=42.53884506225586\n", + "global step=30586880, episodic return=2139.833251953125\n", + "global step=30588928, episodic return=2162.31787109375\n", + "global step=30590976, episodic return=2113.694580078125\n", + "global step=30590976, episodic return=2179.879638671875\n", + "global step=30590976, episodic return=1473.940185546875\n", + "global step=30593024, episodic return=2154.310302734375\n", + "global step=30593024, episodic return=2184.260498046875\n", + "global step=30593024, episodic return=2161.228515625\n", + "global step=30595072, episodic return=2176.972900390625\n", + "global step=30597120, episodic return=2158.314208984375\n", + "global step=30597120, episodic return=215.00160217285156\n", + "global step=30597120, episodic return=2180.047607421875\n", + "global step=30597120, episodic return=2153.389892578125\n", + "global step=30601216, episodic return=920.1614379882812\n", + "global step=30601216, episodic return=2184.299072265625\n", + "global step=30601216, episodic return=1454.2861328125\n", + "global step=30603264, episodic return=2135.9052734375\n", + "global step=30603264, episodic return=2167.34814453125\n", + "global step=30605312, episodic return=2109.875732421875\n", + "global step=30607360, episodic return=2141.126220703125\n", + "global step=30607360, episodic return=2161.50146484375\n", + "global step=30609408, episodic return=2172.754638671875\n", + "global step=30609408, episodic return=2173.530029296875\n", + "global step=30609408, episodic return=2066.052978515625\n", + "global step=30611456, episodic return=2121.24267578125\n", + "global step=30611456, episodic return=2181.96142578125\n", + "global step=30611456, episodic return=1523.05615234375\n", + "global step=30611456, episodic return=2151.507568359375\n", + "global step=30611456, episodic return=1217.257080078125\n", + "global step=30613504, episodic return=2188.884521484375\n", + "global step=30613504, episodic return=2159.44775390625\n", + "global step=30613504, episodic return=1741.7425537109375\n", + "global step=30613504, episodic return=2194.875\n", + "global step=30615552, episodic return=2172.098388671875\n", + "global step=30615552, episodic return=2117.79833984375\n", + "global step=30615552, episodic return=2170.810546875\n", + "global step=30615552, episodic return=2173.64111328125\n", + "global step=30615552, episodic return=2157.036376953125\n", + "global step=30617600, episodic return=2172.796630859375\n", + "global step=30617600, episodic return=2116.049072265625\n", + "global step=30619648, episodic return=359.069091796875\n", + "global step=30619648, episodic return=176.74069213867188\n", + "global step=30621696, episodic return=2173.0205078125\n", + "global step=30623744, episodic return=2152.98876953125\n", + "global step=30623744, episodic return=2161.662109375\n", + "global step=30625792, episodic return=2095.376708984375\n", + "global step=30627840, episodic return=2161.556884765625\n", + "global step=30627840, episodic return=2145.757080078125\n", + "global step=30629888, episodic return=2147.889892578125\n", + "global step=30629888, episodic return=411.7918701171875\n", + "global step=30629888, episodic return=2153.35888671875\n", + "global step=30633984, episodic return=2147.595458984375\n", + "global step=30636032, episodic return=2166.314453125\n", + "global step=30640128, episodic return=2166.56884765625\n", + "global step=30642176, episodic return=1774.3387451171875\n", + "global step=30642176, episodic return=2142.347412109375\n", + "global step=30644224, episodic return=2141.977783203125\n", + "global step=30644224, episodic return=2190.481689453125\n", + "global step=30646272, episodic return=2173.958251953125\n", + "global step=30648320, episodic return=2190.8896484375\n", + "global step=30648320, episodic return=1748.844970703125\n", + "global step=30648320, episodic return=2151.033203125\n", + "global step=30650368, episodic return=2144.36083984375\n", + "global step=30650368, episodic return=2155.475341796875\n", + "global step=30650368, episodic return=2175.905517578125\n", + "global step=30652416, episodic return=378.4582824707031\n", + "global step=30652416, episodic return=2157.648681640625\n", + "global step=30654464, episodic return=2142.85205078125\n", + "global step=30656512, episodic return=373.71826171875\n", + "global step=30658560, episodic return=2143.75927734375\n", + "global step=30658560, episodic return=2188.217529296875\n", + "global step=30660608, episodic return=2176.532958984375\n", + "global step=30664704, episodic return=2146.272216796875\n", + "global step=30664704, episodic return=2139.69921875\n", + "global step=30664704, episodic return=2166.035888671875\n", + "global step=30666752, episodic return=452.376220703125\n", + "global step=30666752, episodic return=2137.6884765625\n", + "global step=30666752, episodic return=2150.859375\n", + "global step=30666752, episodic return=2147.243896484375\n", + "global step=30668800, episodic return=2145.9853515625\n", + "global step=30670848, episodic return=2135.87158203125\n", + "global step=30670848, episodic return=2168.4794921875\n", + "global step=30670848, episodic return=2170.320068359375\n", + "global step=30670848, episodic return=2147.729248046875\n", + "global step=30670848, episodic return=254.9801025390625\n", + "global step=30670848, episodic return=2140.974365234375\n", + "global step=30672896, episodic return=2151.271240234375\n", + "global step=30672896, episodic return=2154.205078125\n", + "global step=30674944, episodic return=2165.514404296875\n", + "global step=30674944, episodic return=2179.68798828125\n", + "global step=30676992, episodic return=2162.859130859375\n", + "global step=30676992, episodic return=2046.0972900390625\n", + "global step=30676992, episodic return=2165.95263671875\n", + "global step=30681088, episodic return=2180.184326171875\n", + "global step=30681088, episodic return=2155.325439453125\n", + "global step=30681088, episodic return=2137.640380859375\n", + "global step=30683136, episodic return=2173.25\n", + "global step=30685184, episodic return=2151.454345703125\n", + "global step=30685184, episodic return=2156.14208984375\n", + "global step=30687232, episodic return=2162.7216796875\n", + "global step=30689280, episodic return=2140.917236328125\n", + "global step=30691328, episodic return=2181.134765625\n", + "global step=30691328, episodic return=2143.504150390625\n", + "global step=30691328, episodic return=2170.90966796875\n", + "global step=30693376, episodic return=2145.361328125\n", + "global step=30695424, episodic return=2161.00927734375\n", + "global step=30695424, episodic return=1311.3778076171875\n", + "global step=30695424, episodic return=591.5443725585938\n", + "global step=30695424, episodic return=2161.501220703125\n", + "global step=30697472, episodic return=2166.535888671875\n", + "global step=30697472, episodic return=2187.62646484375\n", + "global step=30697472, episodic return=2120.901611328125\n", + "global step=30697472, episodic return=788.2415161132812\n", + "global step=30697472, episodic return=2168.460205078125\n", + "global step=30699520, episodic return=2174.515625\n", + "global step=30701568, episodic return=553.791259765625\n", + "global step=30701568, episodic return=2169.76025390625\n", + "global step=30701568, episodic return=2141.84375\n", + "global step=30703616, episodic return=2147.137939453125\n", + "global step=30703616, episodic return=2155.98046875\n", + "global step=30703616, episodic return=452.75299072265625\n", + "global step=30703616, episodic return=2168.5703125\n", + "global step=30705664, episodic return=641.1722412109375\n", + "global step=30705664, episodic return=2149.880859375\n", + "global step=30705664, episodic return=2147.046630859375\n", + "global step=30709760, episodic return=2149.426513671875\n", + "global step=30709760, episodic return=2136.619384765625\n", + "global step=30711808, episodic return=2147.96826171875\n", + "global step=30711808, episodic return=2168.868408203125\n", + "global step=30711808, episodic return=2129.686767578125\n", + "global step=30713856, episodic return=2157.529052734375\n", + "global step=30715904, episodic return=2158.9013671875\n", + "global step=30715904, episodic return=2141.8232421875\n", + "global step=30722048, episodic return=2164.98046875\n", + "global step=30724096, episodic return=2170.788330078125\n", + "global step=30726144, episodic return=2165.152099609375\n", + "global step=30728192, episodic return=201.1036376953125\n", + "global step=30728192, episodic return=2143.6953125\n", + "global step=30728192, episodic return=2166.221923828125\n", + "global step=30732288, episodic return=2100.6298828125\n", + "global step=30732288, episodic return=1019.296875\n", + "global step=30734336, episodic return=2181.231201171875\n", + "global step=30734336, episodic return=2175.20947265625\n", + "global step=30736384, episodic return=2168.06884765625\n", + "global step=30740480, episodic return=2181.146240234375\n", + "global step=30742528, episodic return=2193.5283203125\n", + "global step=30744576, episodic return=2143.28515625\n", + "global step=30746624, episodic return=2145.1474609375\n", + "global step=30746624, episodic return=2173.452880859375\n", + "global step=30746624, episodic return=2156.161376953125\n", + "global step=30746624, episodic return=2170.20263671875\n", + "global step=30746624, episodic return=2163.841064453125\n", + "global step=30748672, episodic return=2149.006103515625\n", + "global step=30748672, episodic return=2151.65625\n", + "global step=30750720, episodic return=2162.937744140625\n", + "global step=30752768, episodic return=2172.593994140625\n", + "global step=30752768, episodic return=2148.388671875\n", + "global step=30756864, episodic return=2164.9794921875\n", + "global step=30756864, episodic return=2168.5947265625\n", + "global step=30756864, episodic return=2174.756103515625\n", + "global step=30756864, episodic return=2125.0166015625\n", + "global step=30758912, episodic return=97.89448547363281\n", + "global step=30758912, episodic return=2172.452392578125\n", + "global step=30760960, episodic return=2169.1748046875\n", + "global step=30760960, episodic return=2141.843017578125\n", + "global step=30763008, episodic return=2160.0947265625\n", + "global step=30767104, episodic return=2138.01171875\n", + "global step=30769152, episodic return=2105.869384765625\n", + "global step=30769152, episodic return=2158.79638671875\n", + "global step=30769152, episodic return=2166.666259765625\n", + "global step=30771200, episodic return=2165.013427734375\n", + "global step=30771200, episodic return=2155.2607421875\n", + "global step=30773248, episodic return=2111.001953125\n", + "global step=30779392, episodic return=2161.4208984375\n", + "global step=30781440, episodic return=2161.705810546875\n", + "global step=30783488, episodic return=2172.127197265625\n", + "global step=30785536, episodic return=840.927490234375\n", + "global step=30785536, episodic return=2191.04052734375\n", + "global step=30787584, episodic return=2147.427490234375\n", + "global step=30787584, episodic return=2159.500732421875\n", + "global step=30787584, episodic return=2126.363037109375\n", + "global step=30787584, episodic return=2143.478759765625\n", + "global step=30787584, episodic return=2143.232177734375\n", + "global step=30789632, episodic return=2146.3603515625\n", + "global step=30791680, episodic return=2162.6826171875\n", + "global step=30791680, episodic return=2177.18115234375\n", + "global step=30793728, episodic return=748.3822631835938\n", + "global step=30795776, episodic return=2181.1435546875\n", + "global step=30795776, episodic return=2131.354736328125\n", + "global step=30797824, episodic return=2152.455322265625\n", + "global step=30797824, episodic return=2119.839599609375\n", + "global step=30797824, episodic return=2139.55712890625\n", + "global step=30797824, episodic return=2171.678955078125\n", + "global step=30801920, episodic return=2146.766357421875\n", + "global step=30803968, episodic return=2113.123779296875\n", + "global step=30806016, episodic return=2168.783935546875\n", + "global step=30806016, episodic return=2145.189697265625\n", + "global step=30808064, episodic return=2175.04931640625\n", + "global step=30810112, episodic return=2164.47216796875\n", + "global step=30810112, episodic return=422.5205993652344\n", + "global step=30810112, episodic return=2138.602294921875\n", + "global step=30812160, episodic return=526.5789184570312\n", + "global step=30814208, episodic return=2128.708251953125\n", + "global step=30814208, episodic return=2149.001708984375\n", + "global step=30816256, episodic return=2129.505126953125\n", + "global step=30818304, episodic return=2157.127685546875\n", + "global step=30818304, episodic return=2169.370361328125\n", + "global step=30818304, episodic return=2167.191162109375\n", + "global step=30820352, episodic return=2125.314697265625\n", + "global step=30820352, episodic return=2157.361328125\n", + "global step=30824448, episodic return=2102.67724609375\n", + "global step=30824448, episodic return=2152.128173828125\n", + "global step=30830592, episodic return=2144.316650390625\n", + "global step=30830592, episodic return=2146.224609375\n", + "global step=30832640, episodic return=2118.468017578125\n", + "global step=30834688, episodic return=334.2779846191406\n", + "global step=30834688, episodic return=2122.425048828125\n", + "global step=30836736, episodic return=2139.10400390625\n", + "global step=30838784, episodic return=2131.329833984375\n", + "global step=30838784, episodic return=2147.8623046875\n", + "global step=30842880, episodic return=2175.37744140625\n", + "global step=30842880, episodic return=2156.26318359375\n", + "global step=30842880, episodic return=2139.5537109375\n", + "global step=30842880, episodic return=2127.23828125\n", + "global step=30842880, episodic return=2167.529296875\n", + "global step=30849024, episodic return=253.1297607421875\n", + "global step=30853120, episodic return=2127.161865234375\n", + "global step=30853120, episodic return=2129.385009765625\n", + "global step=30855168, episodic return=2128.03759765625\n", + "global step=30857216, episodic return=2165.73486328125\n", + "global step=30861312, episodic return=2103.144287109375\n", + "global step=30861312, episodic return=2056.462646484375\n", + "global step=30869504, episodic return=421.6407470703125\n", + "global step=30869504, episodic return=2165.0859375\n", + "global step=30875648, episodic return=2146.594970703125\n", + "global step=30875648, episodic return=2116.1533203125\n", + "global step=30879744, episodic return=2139.485595703125\n", + "global step=30879744, episodic return=557.033935546875\n", + "global step=30879744, episodic return=2131.172119140625\n", + "global step=30879744, episodic return=1087.6978759765625\n", + "global step=30879744, episodic return=1228.89111328125\n", + "global step=30883840, episodic return=2146.404541015625\n", + "global step=30883840, episodic return=2155.88037109375\n", + "global step=30885888, episodic return=2123.463623046875\n", + "global step=30885888, episodic return=2160.2392578125\n", + "global step=30892032, episodic return=2141.86279296875\n", + "global step=30892032, episodic return=2157.673583984375\n", + "global step=30896128, episodic return=2177.470947265625\n", + "global step=30898176, episodic return=2143.322021484375\n", + "global step=30900224, episodic return=2137.68212890625\n", + "global step=30900224, episodic return=2153.1962890625\n", + "global step=30902272, episodic return=2167.73583984375\n", + "global step=30902272, episodic return=533.4274291992188\n", + "global step=30904320, episodic return=1703.662109375\n", + "global step=30904320, episodic return=2131.700439453125\n", + "global step=30908416, episodic return=2170.73779296875\n", + "global step=30908416, episodic return=362.5970764160156\n", + "global step=30910464, episodic return=2139.92626953125\n", + "global step=30912512, episodic return=2169.676513671875\n", + "global step=30914560, episodic return=2137.736083984375\n", + "global step=30916608, episodic return=40.59366226196289\n", + "global step=30922752, episodic return=1952.27490234375\n", + "global step=30922752, episodic return=999.4540405273438\n", + "global step=30926848, episodic return=2124.12109375\n", + "global step=30928896, episodic return=2150.473388671875\n", + "global step=30928896, episodic return=2158.05224609375\n", + "global step=30928896, episodic return=2139.752685546875\n", + "global step=30928896, episodic return=2120.90283203125\n", + "global step=30935040, episodic return=2150.330078125\n", + "global step=30935040, episodic return=2167.569580078125\n", + "global step=30939136, episodic return=2129.9970703125\n", + "global step=30939136, episodic return=886.7286987304688\n", + "global step=30939136, episodic return=2114.80224609375\n", + "global step=30939136, episodic return=2153.905517578125\n", + "global step=30941184, episodic return=2177.308349609375\n", + "global step=30943232, episodic return=2162.634033203125\n", + "global step=30943232, episodic return=2155.87646484375\n", + "global step=30943232, episodic return=2132.022705078125\n", + "global step=30945280, episodic return=2145.270263671875\n", + "global step=30947328, episodic return=2171.370849609375\n", + "global step=30947328, episodic return=2144.262939453125\n", + "global step=30949376, episodic return=2114.956787109375\n", + "global step=30951424, episodic return=1126.071044921875\n", + "global step=30951424, episodic return=2153.040771484375\n", + "global step=30951424, episodic return=2144.664306640625\n", + "global step=30953472, episodic return=2146.150634765625\n", + "global step=30953472, episodic return=2127.12158203125\n", + "global step=30955520, episodic return=2119.802001953125\n", + "global step=30959616, episodic return=804.2566528320312\n", + "global step=30959616, episodic return=2189.642333984375\n", + "global step=30961664, episodic return=2150.99072265625\n", + "global step=30969856, episodic return=2151.610107421875\n", + "global step=30969856, episodic return=2123.066650390625\n", + "global step=30973952, episodic return=2115.698974609375\n", + "global step=30973952, episodic return=2142.89208984375\n", + "global step=30976000, episodic return=2146.171142578125\n", + "global step=30976000, episodic return=2162.882080078125\n", + "global step=30978048, episodic return=2149.59716796875\n", + "global step=30978048, episodic return=2136.85302734375\n", + "global step=30980096, episodic return=2085.66845703125\n", + "global step=30980096, episodic return=2108.673095703125\n", + "global step=30982144, episodic return=2145.192626953125\n", + "global step=30984192, episodic return=806.8729248046875\n", + "global step=30984192, episodic return=2155.769287109375\n", + "global step=30992384, episodic return=2120.165771484375\n", + "global step=30996480, episodic return=2132.319580078125\n", + "global step=30996480, episodic return=261.7667236328125\n", + "global step=30996480, episodic return=2121.083984375\n", + "global step=30998528, episodic return=2132.254150390625\n", + "global step=30998528, episodic return=2114.272705078125\n", + "global step=31000576, episodic return=2165.29052734375\n", + "global step=31008768, episodic return=523.6202392578125\n", + "global step=31010816, episodic return=2141.105712890625\n", + "global step=31012864, episodic return=2180.19091796875\n", + "global step=31019008, episodic return=2126.007080078125\n", + "global step=31021056, episodic return=2147.859375\n", + "global step=31023104, episodic return=2157.96044921875\n", + "global step=31029248, episodic return=2147.5361328125\n", + "global step=31031296, episodic return=2077.024169921875\n", + "global step=31033344, episodic return=2133.422119140625\n", + "global step=31033344, episodic return=2147.24267578125\n", + "global step=31035392, episodic return=2145.09423828125\n", + "global step=31035392, episodic return=2133.96923828125\n", + "global step=31035392, episodic return=2148.012451171875\n", + "global step=31039488, episodic return=2159.9111328125\n", + "global step=31039488, episodic return=395.3880920410156\n", + "global step=31041536, episodic return=2144.83544921875\n", + "global step=31041536, episodic return=2142.886962890625\n", + "global step=31045632, episodic return=2126.37646484375\n", + "global step=31049728, episodic return=2158.591064453125\n", + "global step=31049728, episodic return=2132.811279296875\n", + "global step=31051776, episodic return=2127.466796875\n", + "global step=31051776, episodic return=2153.135009765625\n", + "global step=31051776, episodic return=2140.754638671875\n", + "global step=31053824, episodic return=2150.74072265625\n", + "global step=31055872, episodic return=2141.861572265625\n", + "global step=31055872, episodic return=1389.8125\n", + "global step=31062016, episodic return=2163.641845703125\n", + "global step=31064064, episodic return=26.37732696533203\n", + "global step=31064064, episodic return=2118.049072265625\n", + "global step=31064064, episodic return=590.7431640625\n", + "global step=31064064, episodic return=2155.18896484375\n", + "global step=31066112, episodic return=2147.576904296875\n", + "global step=31068160, episodic return=2166.982666015625\n", + "global step=31068160, episodic return=2141.710693359375\n", + "global step=31068160, episodic return=2115.134765625\n", + "global step=31068160, episodic return=2167.7109375\n", + "global step=31068160, episodic return=560.7190551757812\n", + "global step=31070208, episodic return=2161.8515625\n", + "global step=31070208, episodic return=2125.448974609375\n", + "global step=31070208, episodic return=2163.27294921875\n", + "global step=31072256, episodic return=2142.4384765625\n", + "global step=31074304, episodic return=1106.964599609375\n", + "global step=31074304, episodic return=2130.55419921875\n", + "global step=31076352, episodic return=2126.10107421875\n", + "global step=31076352, episodic return=1052.0921630859375\n", + "global step=31080448, episodic return=2131.590576171875\n", + "global step=31084544, episodic return=2131.429931640625\n", + "global step=31084544, episodic return=2152.71728515625\n", + "global step=31084544, episodic return=2121.979736328125\n", + "global step=31088640, episodic return=2100.447265625\n", + "global step=31088640, episodic return=2141.733154296875\n", + "global step=31088640, episodic return=2116.970458984375\n", + "global step=31092736, episodic return=2162.85107421875\n", + "global step=31094784, episodic return=2144.9140625\n", + "global step=31096832, episodic return=2153.4912109375\n", + "global step=31098880, episodic return=2065.529296875\n", + "global step=31098880, episodic return=2110.019287109375\n", + "global step=31100928, episodic return=2133.86865234375\n", + "global step=31100928, episodic return=2112.544677734375\n", + "global step=31102976, episodic return=2183.27392578125\n", + "global step=31102976, episodic return=2138.705078125\n", + "global step=31102976, episodic return=2112.3388671875\n", + "global step=31105024, episodic return=1290.749755859375\n", + "global step=31111168, episodic return=2142.264404296875\n", + "global step=31111168, episodic return=740.2596435546875\n", + "global step=31113216, episodic return=2151.47607421875\n", + "global step=31117312, episodic return=2177.00390625\n", + "global step=31117312, episodic return=2123.869140625\n", + "global step=31119360, episodic return=2139.8056640625\n", + "global step=31123456, episodic return=2152.769287109375\n", + "global step=31123456, episodic return=2112.450927734375\n", + "global step=31123456, episodic return=2126.529296875\n", + "global step=31125504, episodic return=2129.22412109375\n", + "global step=31125504, episodic return=2094.864013671875\n", + "global step=31127552, episodic return=2104.304931640625\n", + "global step=31127552, episodic return=1419.3392333984375\n", + "global step=31129600, episodic return=1047.77978515625\n", + "global step=31129600, episodic return=2149.106689453125\n", + "global step=31133696, episodic return=1115.341064453125\n", + "global step=31135744, episodic return=2104.806396484375\n", + "global step=31137792, episodic return=2050.294677734375\n", + "global step=31139840, episodic return=2107.790771484375\n", + "global step=31141888, episodic return=2121.526611328125\n", + "global step=31141888, episodic return=2128.123046875\n", + "global step=31141888, episodic return=2129.39306640625\n", + "global step=31145984, episodic return=2115.7958984375\n", + "global step=31145984, episodic return=2125.59326171875\n", + "global step=31145984, episodic return=2136.4677734375\n", + "global step=31145984, episodic return=2089.33349609375\n", + "global step=31148032, episodic return=2094.385986328125\n", + "global step=31150080, episodic return=2161.279052734375\n", + "global step=31152128, episodic return=2131.755126953125\n", + "global step=31152128, episodic return=2002.027587890625\n", + "global step=31152128, episodic return=2118.0263671875\n", + "global step=31154176, episodic return=2124.12353515625\n", + "global step=31154176, episodic return=2118.422119140625\n", + "global step=31158272, episodic return=2089.58056640625\n", + "global step=31158272, episodic return=2124.90576171875\n", + "global step=31160320, episodic return=2098.539306640625\n", + "global step=31162368, episodic return=2095.0361328125\n", + "global step=31164416, episodic return=2105.941650390625\n", + "global step=31164416, episodic return=2125.75439453125\n", + "global step=31164416, episodic return=2134.0107421875\n", + "global step=31164416, episodic return=2113.009765625\n", + "global step=31166464, episodic return=2119.886474609375\n", + "global step=31166464, episodic return=1400.3729248046875\n", + "global step=31166464, episodic return=1421.8255615234375\n", + "global step=31166464, episodic return=2122.464111328125\n", + "global step=31168512, episodic return=1229.822265625\n", + "global step=31168512, episodic return=2117.25732421875\n", + "global step=31170560, episodic return=2140.848876953125\n", + "global step=31170560, episodic return=2154.59814453125\n", + "global step=31172608, episodic return=1247.845703125\n", + "global step=31172608, episodic return=2155.66015625\n", + "global step=31174656, episodic return=663.7952880859375\n", + "global step=31174656, episodic return=598.2606811523438\n", + "global step=31174656, episodic return=1046.3245849609375\n", + "global step=31174656, episodic return=2123.002197265625\n", + "global step=31174656, episodic return=2140.63232421875\n", + "global step=31176704, episodic return=2111.9091796875\n", + "global step=31178752, episodic return=464.51141357421875\n", + "global step=31178752, episodic return=2063.130615234375\n", + "global step=31178752, episodic return=341.0018310546875\n", + "global step=31180800, episodic return=393.8739318847656\n", + "global step=31180800, episodic return=2116.575927734375\n", + "global step=31182848, episodic return=2099.19091796875\n", + "global step=31182848, episodic return=2143.01416015625\n", + "global step=31182848, episodic return=2092.5771484375\n", + "global step=31182848, episodic return=2092.021240234375\n", + "global step=31182848, episodic return=2107.923583984375\n", + "global step=31184896, episodic return=2127.18798828125\n", + "global step=31186944, episodic return=2126.7001953125\n", + "global step=31186944, episodic return=2166.189697265625\n", + "global step=31186944, episodic return=2071.749267578125\n", + "global step=31188992, episodic return=2142.08251953125\n", + "global step=31191040, episodic return=2122.906005859375\n", + "global step=31191040, episodic return=2118.602294921875\n", + "global step=31193088, episodic return=2103.435302734375\n", + "global step=31197184, episodic return=2093.260009765625\n", + "global step=31197184, episodic return=2135.67724609375\n", + "global step=31203328, episodic return=2086.5966796875\n", + "global step=31203328, episodic return=1243.109619140625\n", + "global step=31203328, episodic return=2146.146484375\n", + "global step=31205376, episodic return=524.64453125\n", + "global step=31205376, episodic return=2156.225830078125\n", + "global step=31205376, episodic return=2060.47705078125\n", + "global step=31207424, episodic return=2123.164306640625\n", + "global step=31207424, episodic return=2086.6142578125\n", + "global step=31209472, episodic return=2139.555908203125\n", + "global step=31211520, episodic return=2129.3046875\n", + "global step=31213568, episodic return=2113.64111328125\n", + "global step=31213568, episodic return=2142.26953125\n", + "global step=31215616, episodic return=2133.80322265625\n", + "global step=31215616, episodic return=2096.40234375\n", + "global step=31215616, episodic return=2072.558837890625\n", + "global step=31215616, episodic return=2142.264892578125\n", + "global step=31217664, episodic return=2104.1904296875\n", + "global step=31217664, episodic return=2131.88916015625\n", + "global step=31221760, episodic return=2079.69775390625\n", + "global step=31221760, episodic return=1022.483642578125\n", + "global step=31221760, episodic return=2123.8720703125\n", + "global step=31225856, episodic return=1490.825927734375\n", + "global step=31227904, episodic return=2115.484619140625\n", + "global step=31227904, episodic return=2108.7626953125\n", + "global step=31227904, episodic return=2112.140625\n", + "global step=31227904, episodic return=2086.2333984375\n", + "global step=31227904, episodic return=2135.094970703125\n", + "global step=31227904, episodic return=2136.074951171875\n", + "global step=31232000, episodic return=1289.2508544921875\n", + "global step=31232000, episodic return=2135.552001953125\n", + "global step=31232000, episodic return=2089.155517578125\n", + "global step=31236096, episodic return=2122.291259765625\n", + "global step=31238144, episodic return=2144.98681640625\n", + "global step=31240192, episodic return=2108.403564453125\n", + "global step=31242240, episodic return=2130.10107421875\n", + "global step=31244288, episodic return=2145.68505859375\n", + "global step=31246336, episodic return=2121.327392578125\n", + "global step=31246336, episodic return=2137.756103515625\n", + "global step=31248384, episodic return=2118.000244140625\n", + "global step=31248384, episodic return=2124.614013671875\n", + "global step=31248384, episodic return=2149.2919921875\n", + "global step=31250432, episodic return=2099.360595703125\n", + "global step=31250432, episodic return=2122.24365234375\n", + "global step=31250432, episodic return=2065.239990234375\n", + "global step=31252480, episodic return=1354.7127685546875\n", + "global step=31252480, episodic return=2147.87890625\n", + "global step=31256576, episodic return=2117.659423828125\n", + "global step=31256576, episodic return=2149.64208984375\n", + "global step=31256576, episodic return=1591.4058837890625\n", + "global step=31258624, episodic return=2104.045166015625\n", + "global step=31258624, episodic return=2128.509521484375\n", + "global step=31264768, episodic return=928.9049072265625\n", + "global step=31266816, episodic return=1221.9112548828125\n", + "global step=31268864, episodic return=1159.704833984375\n", + "global step=31270912, episodic return=2152.058837890625\n", + "global step=31272960, episodic return=2099.900634765625\n", + "global step=31272960, episodic return=2121.77880859375\n", + "global step=31272960, episodic return=2087.760986328125\n", + "global step=31272960, episodic return=1097.684326171875\n", + "global step=31272960, episodic return=1315.2528076171875\n", + "global step=31272960, episodic return=1069.9923095703125\n", + "global step=31272960, episodic return=2124.263671875\n", + "global step=31277056, episodic return=2062.47216796875\n", + "global step=31279104, episodic return=2103.579833984375\n", + "global step=31279104, episodic return=2111.065673828125\n", + "global step=31279104, episodic return=2145.469970703125\n", + "global step=31287296, episodic return=2066.435791015625\n", + "global step=31287296, episodic return=2129.849365234375\n", + "global step=31287296, episodic return=2113.33544921875\n", + "global step=31289344, episodic return=2153.619140625\n", + "global step=31289344, episodic return=2123.128662109375\n", + "global step=31289344, episodic return=2135.071044921875\n", + "global step=31291392, episodic return=1464.2130126953125\n", + "global step=31291392, episodic return=2132.48681640625\n", + "global step=31293440, episodic return=2132.260009765625\n", + "global step=31295488, episodic return=2120.83984375\n", + "global step=31295488, episodic return=2101.4599609375\n", + "global step=31297536, episodic return=2051.107177734375\n", + "global step=31297536, episodic return=2074.08984375\n", + "global step=31299584, episodic return=2096.92041015625\n", + "global step=31301632, episodic return=2123.857666015625\n", + "global step=31301632, episodic return=2143.356201171875\n", + "global step=31303680, episodic return=2108.560302734375\n", + "global step=31303680, episodic return=2125.427490234375\n", + "global step=31303680, episodic return=2121.84033203125\n", + "global step=31307776, episodic return=2133.073974609375\n", + "global step=31307776, episodic return=2092.041748046875\n", + "global step=31311872, episodic return=2088.60400390625\n", + "global step=31313920, episodic return=2093.662841796875\n", + "global step=31315968, episodic return=2111.87060546875\n", + "global step=31315968, episodic return=2046.9991455078125\n", + "global step=31318016, episodic return=2070.175048828125\n", + "global step=31318016, episodic return=1047.321044921875\n", + "global step=31318016, episodic return=2081.290771484375\n", + "global step=31318016, episodic return=1469.6380615234375\n", + "global step=31320064, episodic return=2084.977783203125\n", + "global step=31320064, episodic return=435.77252197265625\n", + "global step=31322112, episodic return=2106.753662109375\n", + "global step=31324160, episodic return=2117.861572265625\n", + "global step=31324160, episodic return=2101.5224609375\n", + "global step=31324160, episodic return=2117.326904296875\n", + "global step=31324160, episodic return=2107.98974609375\n", + "global step=31326208, episodic return=27.413846969604492\n", + "global step=31332352, episodic return=2110.080078125\n", + "global step=31332352, episodic return=2085.60693359375\n", + "global step=31332352, episodic return=2089.356689453125\n", + "global step=31334400, episodic return=2078.597900390625\n", + "global step=31334400, episodic return=2142.867919921875\n", + "global step=31334400, episodic return=1321.1513671875\n", + "global step=31336448, episodic return=2069.26953125\n", + "global step=31336448, episodic return=1971.878173828125\n", + "global step=31336448, episodic return=2136.225341796875\n", + "global step=31338496, episodic return=2116.08837890625\n", + "global step=31338496, episodic return=2115.172119140625\n", + "global step=31338496, episodic return=937.9661865234375\n", + "global step=31340544, episodic return=26.35523223876953\n", + "global step=31344640, episodic return=2061.443359375\n", + "global step=31346688, episodic return=2078.24560546875\n", + "global step=31348736, episodic return=2157.16259765625\n", + "global step=31348736, episodic return=1580.307861328125\n", + "global step=31348736, episodic return=2131.464111328125\n", + "global step=31350784, episodic return=2125.20263671875\n", + "global step=31350784, episodic return=1016.8246459960938\n", + "global step=31352832, episodic return=2128.776611328125\n", + "global step=31352832, episodic return=2107.767333984375\n", + "global step=31352832, episodic return=2077.50537109375\n", + "global step=31358976, episodic return=353.3201599121094\n", + "global step=31363072, episodic return=365.1704406738281\n", + "global step=31363072, episodic return=2133.072998046875\n", + "global step=31363072, episodic return=1280.3538818359375\n", + "global step=31369216, episodic return=2083.7294921875\n", + "global step=31369216, episodic return=2111.253173828125\n", + "global step=31369216, episodic return=1227.335693359375\n", + "global step=31369216, episodic return=2104.453369140625\n", + "global step=31373312, episodic return=2053.663818359375\n", + "global step=31373312, episodic return=2113.00244140625\n", + "global step=31373312, episodic return=2127.96923828125\n", + "global step=31375360, episodic return=2110.245361328125\n", + "global step=31377408, episodic return=2095.68603515625\n", + "global step=31377408, episodic return=2099.52099609375\n", + "global step=31379456, episodic return=2067.340576171875\n", + "global step=31381504, episodic return=2107.98779296875\n", + "global step=31383552, episodic return=2032.0059814453125\n", + "global step=31385600, episodic return=2137.712890625\n", + "global step=31385600, episodic return=2101.593017578125\n", + "global step=31389696, episodic return=2126.64697265625\n", + "global step=31389696, episodic return=2106.396240234375\n", + "global step=31391744, episodic return=2144.986572265625\n", + "global step=31393792, episodic return=2078.302978515625\n", + "global step=31393792, episodic return=2107.805908203125\n", + "global step=31397888, episodic return=2114.0859375\n", + "global step=31399936, episodic return=2082.595703125\n", + "global step=31404032, episodic return=2111.118896484375\n", + "global step=31406080, episodic return=2052.30859375\n", + "global step=31412224, episodic return=2100.509521484375\n", + "global step=31412224, episodic return=2092.441650390625\n", + "global step=31414272, episodic return=2119.76904296875\n", + "global step=31416320, episodic return=2055.9521484375\n", + "global step=31416320, episodic return=2007.0076904296875\n", + "global step=31416320, episodic return=2061.8671875\n", + "global step=31418368, episodic return=2112.477294921875\n", + "global step=31418368, episodic return=2094.04345703125\n", + "global step=31418368, episodic return=2086.24072265625\n", + "global step=31420416, episodic return=2110.1806640625\n", + "global step=31420416, episodic return=2132.02880859375\n", + "global step=31420416, episodic return=2059.194580078125\n", + "global step=31422464, episodic return=2107.5224609375\n", + "global step=31422464, episodic return=2072.439208984375\n", + "global step=31422464, episodic return=2099.429443359375\n", + "global step=31428608, episodic return=2067.778076171875\n", + "global step=31428608, episodic return=1339.7364501953125\n", + "global step=31428608, episodic return=2089.89501953125\n", + "global step=31430656, episodic return=225.38645935058594\n", + "global step=31430656, episodic return=2062.909912109375\n", + "global step=31432704, episodic return=2041.3741455078125\n", + "global step=31432704, episodic return=2123.937255859375\n", + "global step=31432704, episodic return=2145.7783203125\n", + "global step=31434752, episodic return=2122.553955078125\n", + "global step=31434752, episodic return=1409.0916748046875\n", + "global step=31436800, episodic return=1192.5074462890625\n", + "global step=31440896, episodic return=2097.8818359375\n", + "global step=31440896, episodic return=1686.860107421875\n", + "global step=31444992, episodic return=2091.974365234375\n", + "global step=31453184, episodic return=2067.135986328125\n", + "global step=31455232, episodic return=2098.732421875\n", + "global step=31457280, episodic return=2003.2501220703125\n", + "global step=31459328, episodic return=2109.374755859375\n", + "global step=31459328, episodic return=899.6173095703125\n", + "global step=31459328, episodic return=1671.5963134765625\n", + "global step=31461376, episodic return=2066.146728515625\n", + "global step=31461376, episodic return=2082.8310546875\n", + "global step=31463424, episodic return=2132.981689453125\n", + "global step=31463424, episodic return=1400.7403564453125\n", + "global step=31465472, episodic return=2098.203369140625\n", + "global step=31465472, episodic return=2100.659423828125\n", + "global step=31471616, episodic return=2110.431884765625\n", + "global step=31471616, episodic return=2116.676513671875\n", + "global step=31471616, episodic return=2113.46826171875\n", + "global step=31471616, episodic return=2027.216796875\n", + "global step=31473664, episodic return=1080.42822265625\n", + "global step=31473664, episodic return=596.3742065429688\n", + "global step=31477760, episodic return=2143.263427734375\n", + "global step=31477760, episodic return=2112.1552734375\n", + "global step=31477760, episodic return=2117.3408203125\n", + "global step=31479808, episodic return=2098.640869140625\n", + "global step=31483904, episodic return=2063.754638671875\n", + "global step=31485952, episodic return=2060.877197265625\n", + "global step=31488000, episodic return=2069.17236328125\n", + "global step=31490048, episodic return=2048.109130859375\n", + "global step=31494144, episodic return=2034.0455322265625\n", + "global step=31496192, episodic return=383.3455505371094\n", + "global step=31496192, episodic return=2013.3729248046875\n", + "global step=31498240, episodic return=2067.922119140625\n", + "global step=31498240, episodic return=2086.624267578125\n", + "global step=31498240, episodic return=2118.855224609375\n", + "global step=31500288, episodic return=2091.80224609375\n", + "global step=31500288, episodic return=2017.905029296875\n", + "global step=31502336, episodic return=42.12150192260742\n", + "global step=31504384, episodic return=2083.739501953125\n", + "global step=31506432, episodic return=2085.708251953125\n", + "global step=31510528, episodic return=2132.84521484375\n", + "global step=31512576, episodic return=233.35208129882812\n", + "global step=31516672, episodic return=2125.02392578125\n", + "global step=31516672, episodic return=2042.49658203125\n", + "global step=31516672, episodic return=2097.12744140625\n", + "global step=31518720, episodic return=2088.580078125\n", + "global step=31520768, episodic return=2052.37060546875\n", + "global step=31524864, episodic return=2126.8564453125\n", + "global step=31526912, episodic return=2081.76904296875\n", + "global step=31526912, episodic return=2053.988037109375\n", + "global step=31528960, episodic return=1557.9886474609375\n", + "global step=31531008, episodic return=2033.82373046875\n", + "global step=31531008, episodic return=2061.585693359375\n", + "global step=31531008, episodic return=1120.6029052734375\n", + "global step=31533056, episodic return=1176.6376953125\n", + "global step=31533056, episodic return=2085.795654296875\n", + "global step=31535104, episodic return=2081.741943359375\n", + "global step=31535104, episodic return=2092.06298828125\n", + "global step=31537152, episodic return=1350.5570068359375\n", + "global step=31537152, episodic return=2091.493896484375\n", + "global step=31537152, episodic return=808.9537353515625\n", + "global step=31539200, episodic return=1971.034912109375\n", + "global step=31541248, episodic return=1976.9288330078125\n", + "global step=31543296, episodic return=2091.0205078125\n", + "global step=31545344, episodic return=2110.75537109375\n", + "global step=31545344, episodic return=1220.7608642578125\n", + "global step=31549440, episodic return=1972.05322265625\n", + "global step=31553536, episodic return=2111.977783203125\n", + "global step=31553536, episodic return=2047.0960693359375\n", + "global step=31553536, episodic return=2085.292724609375\n", + "global step=31555584, episodic return=2130.139892578125\n", + "global step=31559680, episodic return=2116.206298828125\n", + "global step=31559680, episodic return=2097.0556640625\n", + "global step=31559680, episodic return=2086.072509765625\n", + "global step=31561728, episodic return=2109.6064453125\n", + "global step=31561728, episodic return=2129.031005859375\n", + "global step=31563776, episodic return=2038.7696533203125\n", + "global step=31565824, episodic return=2093.69677734375\n", + "global step=31565824, episodic return=2099.3310546875\n", + "global step=31569920, episodic return=2090.234130859375\n", + "global step=31571968, episodic return=2092.06494140625\n", + "global step=31574016, episodic return=2110.257080078125\n", + "global step=31578112, episodic return=2126.7275390625\n", + "global step=31578112, episodic return=2106.934814453125\n", + "global step=31580160, episodic return=2089.6240234375\n", + "global step=31582208, episodic return=2079.792724609375\n", + "global step=31584256, episodic return=2016.2275390625\n", + "global step=31584256, episodic return=1382.7467041015625\n", + "global step=31586304, episodic return=1206.5047607421875\n", + "global step=31588352, episodic return=2004.661865234375\n", + "global step=31588352, episodic return=2007.7332763671875\n", + "global step=31588352, episodic return=2131.17236328125\n", + "global step=31588352, episodic return=2107.748046875\n", + "global step=31588352, episodic return=2081.691650390625\n", + "global step=31588352, episodic return=2107.254150390625\n", + "global step=31590400, episodic return=2102.78564453125\n", + "global step=31590400, episodic return=295.0680847167969\n", + "global step=31592448, episodic return=2059.93017578125\n", + "global step=31594496, episodic return=331.48492431640625\n", + "global step=31594496, episodic return=2094.45703125\n", + "global step=31594496, episodic return=2086.515869140625\n", + "global step=31594496, episodic return=2106.31396484375\n", + "global step=31598592, episodic return=2104.515869140625\n", + "global step=31598592, episodic return=2114.523681640625\n", + "global step=31598592, episodic return=1452.723388671875\n", + "global step=31600640, episodic return=2117.59912109375\n", + "global step=31600640, episodic return=2048.598876953125\n", + "global step=31600640, episodic return=2080.771484375\n", + "global step=31602688, episodic return=2114.927001953125\n", + "global step=31602688, episodic return=2078.197998046875\n", + "global step=31604736, episodic return=2100.5966796875\n", + "global step=31604736, episodic return=1656.8822021484375\n", + "global step=31606784, episodic return=1657.7430419921875\n", + "global step=31606784, episodic return=2118.0078125\n", + "global step=31608832, episodic return=2060.091064453125\n", + "global step=31608832, episodic return=2090.791259765625\n", + "global step=31610880, episodic return=2110.569580078125\n", + "global step=31610880, episodic return=2064.912353515625\n", + "global step=31612928, episodic return=2059.079833984375\n", + "global step=31612928, episodic return=2080.07177734375\n", + "global step=31614976, episodic return=2066.95703125\n", + "global step=31614976, episodic return=2116.47412109375\n", + "global step=31614976, episodic return=2021.807861328125\n", + "global step=31614976, episodic return=2104.334716796875\n", + "global step=31617024, episodic return=1516.9434814453125\n", + "global step=31619072, episodic return=2109.564697265625\n", + "global step=31619072, episodic return=2082.282958984375\n", + "global step=31619072, episodic return=1153.5377197265625\n", + "global step=31621120, episodic return=2105.790283203125\n", + "global step=31623168, episodic return=1363.7786865234375\n", + "global step=31623168, episodic return=2152.788330078125\n", + "global step=31625216, episodic return=1515.574462890625\n", + "global step=31625216, episodic return=2147.96240234375\n", + "global step=31625216, episodic return=2089.469970703125\n", + "global step=31627264, episodic return=2115.917236328125\n", + "global step=31631360, episodic return=2121.261962890625\n", + "global step=31631360, episodic return=2070.18115234375\n", + "global step=31631360, episodic return=2071.498779296875\n", + "global step=31635456, episodic return=2114.688232421875\n", + "global step=31637504, episodic return=1991.041748046875\n", + "global step=31637504, episodic return=2037.065673828125\n", + "global step=31637504, episodic return=2057.1728515625\n", + "global step=31639552, episodic return=210.73646545410156\n", + "global step=31639552, episodic return=2008.859619140625\n", + "global step=31641600, episodic return=2087.746337890625\n", + "global step=31641600, episodic return=2087.36279296875\n", + "global step=31641600, episodic return=2073.113525390625\n", + "global step=31641600, episodic return=1558.199951171875\n", + "global step=31643648, episodic return=191.50123596191406\n", + "global step=31647744, episodic return=2085.01220703125\n", + "global step=31649792, episodic return=2135.91748046875\n", + "global step=31649792, episodic return=956.4885864257812\n", + "global step=31651840, episodic return=2081.91748046875\n", + "global step=31651840, episodic return=2065.06396484375\n", + "global step=31651840, episodic return=2074.9775390625\n", + "global step=31653888, episodic return=2093.437744140625\n", + "global step=31653888, episodic return=2114.801513671875\n", + "global step=31653888, episodic return=2077.966064453125\n", + "global step=31653888, episodic return=2114.84326171875\n", + "global step=31655936, episodic return=2086.212646484375\n", + "global step=31657984, episodic return=2087.2763671875\n", + "global step=31660032, episodic return=1503.440185546875\n", + "global step=31660032, episodic return=2126.97509765625\n", + "global step=31662080, episodic return=2077.135009765625\n", + "global step=31662080, episodic return=2110.277099609375\n", + "global step=31662080, episodic return=2080.92236328125\n", + "global step=31664128, episodic return=2106.768798828125\n", + "global step=31664128, episodic return=2084.4541015625\n", + "global step=31664128, episodic return=2073.68310546875\n", + "global step=31664128, episodic return=2047.3111572265625\n", + "global step=31664128, episodic return=2114.677001953125\n", + "global step=31666176, episodic return=1356.85302734375\n", + "global step=31666176, episodic return=2016.585693359375\n", + "global step=31670272, episodic return=1490.843017578125\n", + "global step=31670272, episodic return=2106.185546875\n", + "global step=31672320, episodic return=2121.081298828125\n", + "global step=31672320, episodic return=2100.58740234375\n", + "global step=31672320, episodic return=2138.09619140625\n", + "global step=31674368, episodic return=2077.51806640625\n", + "global step=31676416, episodic return=2098.263671875\n", + "global step=31676416, episodic return=2130.51123046875\n", + "global step=31676416, episodic return=2131.19677734375\n", + "global step=31676416, episodic return=2086.359130859375\n", + "global step=31678464, episodic return=2109.981201171875\n", + "global step=31680512, episodic return=2071.057373046875\n", + "global step=31680512, episodic return=2080.66455078125\n", + "global step=31682560, episodic return=2121.076171875\n", + "global step=31682560, episodic return=1057.5760498046875\n", + "global step=31684608, episodic return=2056.94287109375\n", + "global step=31684608, episodic return=2057.296875\n", + "global step=31684608, episodic return=2053.497314453125\n", + "global step=31686656, episodic return=2095.2939453125\n", + "global step=31686656, episodic return=2088.620849609375\n", + "global step=31686656, episodic return=2078.18310546875\n", + "global step=31688704, episodic return=2125.276123046875\n", + "global step=31690752, episodic return=2124.0859375\n", + "global step=31690752, episodic return=2071.710693359375\n", + "global step=31692800, episodic return=1617.897705078125\n", + "global step=31692800, episodic return=2017.793701171875\n", + "global step=31694848, episodic return=2069.73193359375\n", + "global step=31694848, episodic return=2058.842529296875\n", + "global step=31696896, episodic return=2060.994873046875\n", + "global step=31696896, episodic return=2090.785888671875\n", + "global step=31696896, episodic return=2092.86279296875\n", + "global step=31696896, episodic return=2070.098876953125\n", + "global step=31700992, episodic return=2026.9237060546875\n", + "global step=31700992, episodic return=2077.486328125\n", + "global step=31703040, episodic return=2094.466064453125\n", + "global step=31705088, episodic return=2116.89990234375\n", + "global step=31705088, episodic return=2107.198486328125\n", + "global step=31705088, episodic return=2035.9996337890625\n", + "global step=31707136, episodic return=2118.204833984375\n", + "global step=31709184, episodic return=2078.649169921875\n", + "global step=31709184, episodic return=2039.714111328125\n", + "global step=31709184, episodic return=2032.6151123046875\n", + "global step=31709184, episodic return=2101.95068359375\n", + "global step=31711232, episodic return=2107.978271484375\n", + "global step=31711232, episodic return=2139.85107421875\n", + "global step=31711232, episodic return=2039.8968505859375\n", + "global step=31711232, episodic return=2106.303466796875\n", + "global step=31711232, episodic return=2090.784912109375\n", + "global step=31713280, episodic return=2089.255859375\n", + "global step=31713280, episodic return=2083.572998046875\n", + "global step=31715328, episodic return=2121.80908203125\n", + "global step=31715328, episodic return=2074.5830078125\n", + "global step=31715328, episodic return=2060.307861328125\n", + "global step=31715328, episodic return=2109.959716796875\n", + "global step=31717376, episodic return=2055.95263671875\n", + "global step=31717376, episodic return=2075.021484375\n", + "global step=31717376, episodic return=2087.586181640625\n", + "global step=31719424, episodic return=2041.0687255859375\n", + "global step=31719424, episodic return=1349.3194580078125\n", + "global step=31719424, episodic return=701.2303466796875\n", + "global step=31719424, episodic return=2033.2725830078125\n", + "global step=31721472, episodic return=2097.028564453125\n", + "global step=31721472, episodic return=2107.515869140625\n", + "global step=31721472, episodic return=2122.041259765625\n", + "global step=31721472, episodic return=2101.521728515625\n", + "global step=31721472, episodic return=1707.8824462890625\n", + "global step=31723520, episodic return=2091.183837890625\n", + "global step=31723520, episodic return=2103.794189453125\n", + "global step=31723520, episodic return=2114.26904296875\n", + "global step=31723520, episodic return=1206.477294921875\n", + "global step=31723520, episodic return=2126.35400390625\n", + "global step=31723520, episodic return=2119.6982421875\n", + "global step=31723520, episodic return=2077.991943359375\n", + "global step=31725568, episodic return=1870.83251953125\n", + "global step=31725568, episodic return=2086.771484375\n", + "global step=31727616, episodic return=2110.59521484375\n", + "global step=31729664, episodic return=2071.0712890625\n", + "global step=31729664, episodic return=2080.702392578125\n", + "global step=31731712, episodic return=2084.887939453125\n", + "global step=31731712, episodic return=2100.00146484375\n", + "global step=31733760, episodic return=2078.588623046875\n", + "global step=31735808, episodic return=2127.792236328125\n", + "global step=31735808, episodic return=2097.896484375\n", + "global step=31737856, episodic return=2104.49755859375\n", + "global step=31737856, episodic return=2098.900390625\n", + "global step=31739904, episodic return=1402.30029296875\n", + "global step=31739904, episodic return=2086.020263671875\n", + "global step=31739904, episodic return=1804.35546875\n", + "global step=31741952, episodic return=2112.308837890625\n", + "global step=31741952, episodic return=2084.718994140625\n", + "global step=31744000, episodic return=2088.90478515625\n", + "global step=31744000, episodic return=2100.559326171875\n", + "global step=31744000, episodic return=2121.320068359375\n", + "global step=31744000, episodic return=2062.7919921875\n", + "global step=31744000, episodic return=2084.108642578125\n", + "global step=31744000, episodic return=2072.065185546875\n", + "global step=31746048, episodic return=2058.268798828125\n", + "global step=31746048, episodic return=2038.50732421875\n", + "global step=31746048, episodic return=2077.79345703125\n", + "global step=31746048, episodic return=2108.869873046875\n", + "global step=31750144, episodic return=2090.391845703125\n", + "global step=31754240, episodic return=2070.901611328125\n", + "global step=31754240, episodic return=2120.27294921875\n", + "global step=31754240, episodic return=2102.354248046875\n", + "global step=31756288, episodic return=2091.955322265625\n", + "global step=31758336, episodic return=2112.9091796875\n", + "global step=31758336, episodic return=2098.37939453125\n", + "global step=31760384, episodic return=2103.85302734375\n", + "global step=31760384, episodic return=2058.107421875\n", + "global step=31760384, episodic return=2057.337890625\n", + "global step=31760384, episodic return=2084.026611328125\n", + "global step=31760384, episodic return=1884.7137451171875\n", + "global step=31762432, episodic return=2065.10009765625\n", + "global step=31762432, episodic return=2039.6766357421875\n", + "global step=31762432, episodic return=2080.44873046875\n", + "global step=31762432, episodic return=2132.26953125\n", + "global step=31764480, episodic return=2129.59814453125\n", + "global step=31764480, episodic return=2080.499755859375\n", + "global step=31764480, episodic return=2111.959228515625\n", + "global step=31764480, episodic return=2047.4251708984375\n", + "global step=31768576, episodic return=2121.763427734375\n", + "global step=31768576, episodic return=2127.618896484375\n", + "global step=31768576, episodic return=2129.596923828125\n", + "global step=31770624, episodic return=2085.127197265625\n", + "global step=31772672, episodic return=2085.54541015625\n", + "global step=31772672, episodic return=2058.347900390625\n", + "global step=31774720, episodic return=2088.080078125\n", + "global step=31774720, episodic return=2091.766357421875\n", + "global step=31776768, episodic return=2101.674072265625\n", + "global step=31776768, episodic return=2050.1171875\n", + "global step=31776768, episodic return=2044.91845703125\n", + "global step=31776768, episodic return=2118.199951171875\n", + "global step=31778816, episodic return=2078.41552734375\n", + "global step=31778816, episodic return=2109.887939453125\n", + "global step=31780864, episodic return=2117.69189453125\n", + "global step=31780864, episodic return=2096.099609375\n", + "global step=31780864, episodic return=2103.236328125\n", + "global step=31782912, episodic return=611.0240478515625\n", + "global step=31782912, episodic return=2095.599853515625\n", + "global step=31784960, episodic return=1993.1424560546875\n", + "global step=31784960, episodic return=2068.1318359375\n", + "global step=31784960, episodic return=2075.733642578125\n", + "global step=31784960, episodic return=2043.5792236328125\n", + "global step=31784960, episodic return=2024.783447265625\n", + "global step=31787008, episodic return=2040.830078125\n", + "global step=31787008, episodic return=512.6990966796875\n", + "global step=31789056, episodic return=2098.4560546875\n", + "global step=31789056, episodic return=2065.1748046875\n", + "global step=31789056, episodic return=2038.0975341796875\n", + "global step=31789056, episodic return=2052.822021484375\n", + "global step=31789056, episodic return=2089.400390625\n", + "global step=31791104, episodic return=2050.0400390625\n", + "global step=31793152, episodic return=2128.576904296875\n", + "global step=31795200, episodic return=2067.750732421875\n", + "global step=31795200, episodic return=2133.00634765625\n", + "global step=31799296, episodic return=1986.54296875\n", + "global step=31799296, episodic return=2132.763671875\n", + "global step=31799296, episodic return=2110.180419921875\n", + "global step=31801344, episodic return=2048.694091796875\n", + "global step=31801344, episodic return=2100.78271484375\n", + "global step=31801344, episodic return=2097.846435546875\n", + "global step=31801344, episodic return=2111.998046875\n", + "global step=31801344, episodic return=2050.804443359375\n", + "global step=31801344, episodic return=1992.7728271484375\n", + "global step=31803392, episodic return=2140.71337890625\n", + "global step=31803392, episodic return=2125.89599609375\n", + "global step=31803392, episodic return=2108.09033203125\n", + "global step=31803392, episodic return=2072.78125\n", + "global step=31805440, episodic return=2148.340576171875\n", + "global step=31805440, episodic return=2038.4163818359375\n", + "global step=31809536, episodic return=2110.65283203125\n", + "global step=31809536, episodic return=2014.23486328125\n", + "global step=31809536, episodic return=2065.409423828125\n", + "global step=31809536, episodic return=2055.949951171875\n", + "global step=31811584, episodic return=2070.409912109375\n", + "global step=31811584, episodic return=2066.118896484375\n", + "global step=31811584, episodic return=2020.6766357421875\n", + "global step=31811584, episodic return=2108.94677734375\n", + "global step=31811584, episodic return=2047.350341796875\n", + "global step=31811584, episodic return=2116.7109375\n", + "global step=31813632, episodic return=2059.70751953125\n", + "global step=31813632, episodic return=2066.2431640625\n", + "global step=31813632, episodic return=2100.66259765625\n", + "global step=31813632, episodic return=2084.27099609375\n", + "global step=31815680, episodic return=2043.517578125\n", + "global step=31815680, episodic return=2075.983642578125\n", + "global step=31815680, episodic return=2107.478271484375\n", + "global step=31815680, episodic return=2063.761474609375\n", + "global step=31817728, episodic return=2079.580078125\n", + "global step=31817728, episodic return=2125.110107421875\n", + "global step=31817728, episodic return=2015.4925537109375\n", + "global step=31817728, episodic return=2119.84912109375\n", + "global step=31821824, episodic return=2091.449462890625\n", + "global step=31821824, episodic return=746.69287109375\n", + "global step=31823872, episodic return=2113.223388671875\n", + "global step=31823872, episodic return=1443.294677734375\n", + "global step=31823872, episodic return=1146.0201416015625\n", + "global step=31825920, episodic return=2101.1728515625\n", + "global step=31825920, episodic return=2070.9453125\n", + "global step=31825920, episodic return=2114.234375\n", + "global step=31825920, episodic return=385.6628112792969\n", + "global step=31825920, episodic return=2094.1943359375\n", + "global step=31827968, episodic return=2034.16357421875\n", + "global step=31827968, episodic return=1213.2188720703125\n", + "global step=31827968, episodic return=1367.8592529296875\n", + "global step=31827968, episodic return=2098.358642578125\n", + "global step=31830016, episodic return=2068.4697265625\n", + "global step=31830016, episodic return=2144.65966796875\n", + "global step=31832064, episodic return=2094.885986328125\n", + "global step=31832064, episodic return=2064.975830078125\n", + "global step=31834112, episodic return=2112.044677734375\n", + "global step=31834112, episodic return=461.7136535644531\n", + "global step=31834112, episodic return=2025.6455078125\n", + "global step=31834112, episodic return=1708.70556640625\n", + "global step=31838208, episodic return=2001.65576171875\n", + "global step=31838208, episodic return=1937.035400390625\n", + "global step=31840256, episodic return=1997.3095703125\n", + "global step=31840256, episodic return=2035.8447265625\n", + "global step=31840256, episodic return=1185.2425537109375\n", + "global step=31842304, episodic return=1980.7947998046875\n", + "global step=31842304, episodic return=2092.998291015625\n", + "global step=31844352, episodic return=2077.69140625\n", + "global step=31844352, episodic return=2069.914306640625\n", + "global step=31844352, episodic return=2121.2529296875\n", + "global step=31846400, episodic return=2028.7158203125\n", + "global step=31846400, episodic return=2062.95068359375\n", + "global step=31846400, episodic return=2086.821533203125\n", + "global step=31848448, episodic return=1997.0618896484375\n", + "global step=31848448, episodic return=2124.19091796875\n", + "global step=31850496, episodic return=2095.102783203125\n", + "global step=31850496, episodic return=2064.1669921875\n", + "global step=31850496, episodic return=2121.1435546875\n", + "global step=31852544, episodic return=2083.99853515625\n", + "global step=31854592, episodic return=2107.078857421875\n", + "global step=31854592, episodic return=2111.77294921875\n", + "global step=31854592, episodic return=2034.25634765625\n", + "global step=31854592, episodic return=2026.4090576171875\n", + "global step=31856640, episodic return=2024.0133056640625\n", + "global step=31856640, episodic return=1443.532470703125\n", + "global step=31856640, episodic return=2114.349365234375\n", + "global step=31856640, episodic return=409.24365234375\n", + "global step=31856640, episodic return=2075.69384765625\n", + "global step=31856640, episodic return=2126.2568359375\n", + "global step=31856640, episodic return=2048.859130859375\n", + "global step=31856640, episodic return=2040.220458984375\n", + "global step=31856640, episodic return=2100.104736328125\n", + "global step=31856640, episodic return=2067.53076171875\n", + "global step=31858688, episodic return=2084.33349609375\n", + "global step=31860736, episodic return=2040.255859375\n", + "global step=31862784, episodic return=2054.01025390625\n", + "global step=31862784, episodic return=2105.5498046875\n", + "global step=31862784, episodic return=2123.827880859375\n", + "global step=31862784, episodic return=2101.90625\n", + "global step=31864832, episodic return=2095.524169921875\n", + "global step=31864832, episodic return=2106.331787109375\n", + "global step=31866880, episodic return=2098.24853515625\n", + "global step=31866880, episodic return=2120.171142578125\n", + "global step=31866880, episodic return=2022.711669921875\n", + "global step=31866880, episodic return=2059.02978515625\n", + "global step=31866880, episodic return=2022.1767578125\n", + "global step=31866880, episodic return=2030.6231689453125\n", + "global step=31868928, episodic return=2040.7437744140625\n", + "global step=31868928, episodic return=1773.79736328125\n", + "global step=31868928, episodic return=2079.107177734375\n", + "global step=31870976, episodic return=1401.616455078125\n", + "global step=31870976, episodic return=2087.83984375\n", + "global step=31873024, episodic return=2061.00732421875\n", + "global step=31873024, episodic return=530.0847778320312\n", + "global step=31873024, episodic return=2031.071533203125\n", + "global step=31873024, episodic return=2109.361083984375\n", + "global step=31875072, episodic return=2103.132080078125\n", + "global step=31877120, episodic return=2057.3837890625\n", + "global step=31877120, episodic return=2083.742919921875\n", + "global step=31877120, episodic return=2105.762451171875\n", + "global step=31877120, episodic return=2087.352783203125\n", + "global step=31877120, episodic return=2137.780029296875\n", + "global step=31877120, episodic return=886.4859619140625\n", + "global step=31877120, episodic return=1778.432861328125\n", + "global step=31879168, episodic return=2116.3828125\n", + "global step=31879168, episodic return=558.145751953125\n", + "global step=31881216, episodic return=2011.468505859375\n", + "global step=31881216, episodic return=2063.802978515625\n", + "global step=31881216, episodic return=2069.05029296875\n", + "global step=31883264, episodic return=2051.4111328125\n", + "global step=31883264, episodic return=2097.085205078125\n", + "global step=31883264, episodic return=2077.67138671875\n", + "global step=31885312, episodic return=2119.341064453125\n", + "global step=31885312, episodic return=2095.982421875\n", + "global step=31885312, episodic return=2103.50634765625\n", + "global step=31885312, episodic return=2016.860107421875\n", + "global step=31885312, episodic return=1874.832763671875\n", + "global step=31885312, episodic return=1371.6385498046875\n", + "global step=31887360, episodic return=2067.2109375\n", + "global step=31887360, episodic return=2055.9375\n", + "global step=31887360, episodic return=2071.07080078125\n", + "global step=31889408, episodic return=2073.354248046875\n", + "global step=31889408, episodic return=2095.835205078125\n", + "global step=31889408, episodic return=2108.441650390625\n", + "global step=31891456, episodic return=2001.228271484375\n", + "global step=31891456, episodic return=2054.160888671875\n", + "global step=31891456, episodic return=2033.5115966796875\n", + "global step=31891456, episodic return=2099.07958984375\n", + "global step=31891456, episodic return=1936.5440673828125\n", + "global step=31893504, episodic return=2025.1734619140625\n", + "global step=31893504, episodic return=2134.94775390625\n", + "global step=31893504, episodic return=2123.941650390625\n", + "global step=31895552, episodic return=2057.78369140625\n", + "global step=31895552, episodic return=2026.4117431640625\n", + "global step=31895552, episodic return=2085.501220703125\n", + "global step=31895552, episodic return=2049.900146484375\n", + "global step=31895552, episodic return=2033.9510498046875\n", + "global step=31897600, episodic return=2060.957275390625\n", + "global step=31897600, episodic return=2036.976806640625\n", + "global step=31897600, episodic return=2093.73583984375\n", + "global step=31897600, episodic return=2128.4130859375\n", + "global step=31897600, episodic return=2114.648681640625\n", + "global step=31901696, episodic return=2049.93896484375\n", + "global step=31901696, episodic return=2052.63623046875\n", + "global step=31901696, episodic return=769.4778442382812\n", + "global step=31901696, episodic return=2026.41455078125\n", + "global step=31901696, episodic return=1383.2684326171875\n", + "global step=31901696, episodic return=2067.72265625\n", + "global step=31901696, episodic return=2053.137451171875\n", + "global step=31903744, episodic return=2112.100830078125\n", + "global step=31903744, episodic return=2048.991943359375\n", + "global step=31905792, episodic return=2123.934814453125\n", + "global step=31905792, episodic return=494.32354736328125\n", + "global step=31905792, episodic return=2033.0665283203125\n", + "global step=31907840, episodic return=2162.93212890625\n", + "global step=31907840, episodic return=2066.399658203125\n", + "global step=31907840, episodic return=2071.046630859375\n", + "global step=31909888, episodic return=1344.8072509765625\n", + "global step=31909888, episodic return=2135.073974609375\n", + "global step=31911936, episodic return=2123.98828125\n", + "global step=31911936, episodic return=2080.537841796875\n", + "global step=31911936, episodic return=2060.41552734375\n", + "global step=31911936, episodic return=2032.896728515625\n", + "global step=31913984, episodic return=2071.625\n", + "global step=31913984, episodic return=1741.0166015625\n", + "global step=31913984, episodic return=2081.4677734375\n", + "global step=31916032, episodic return=2052.1201171875\n", + "global step=31916032, episodic return=2092.4814453125\n", + "global step=31916032, episodic return=2107.214111328125\n", + "global step=31916032, episodic return=2071.81396484375\n", + "global step=31916032, episodic return=2090.40478515625\n", + "global step=31918080, episodic return=1256.7041015625\n", + "global step=31918080, episodic return=2099.580810546875\n", + "global step=31918080, episodic return=2110.135498046875\n", + "global step=31918080, episodic return=2094.099853515625\n", + "global step=31918080, episodic return=887.9935302734375\n", + "global step=31920128, episodic return=2048.1875\n", + "global step=31920128, episodic return=2115.75\n", + "global step=31920128, episodic return=2075.749755859375\n", + "global step=31922176, episodic return=1759.7806396484375\n", + "global step=31922176, episodic return=2016.807861328125\n", + "global step=31922176, episodic return=2038.005859375\n", + "global step=31922176, episodic return=2046.1337890625\n", + "global step=31924224, episodic return=2072.642333984375\n", + "global step=31924224, episodic return=1981.6400146484375\n", + "global step=31926272, episodic return=2074.633056640625\n", + "global step=31926272, episodic return=1002.3372802734375\n", + "global step=31926272, episodic return=2120.698974609375\n", + "global step=31926272, episodic return=2121.95654296875\n", + "global step=31928320, episodic return=2045.0496826171875\n", + "global step=31928320, episodic return=2086.8740234375\n", + "global step=31930368, episodic return=2114.468505859375\n", + "global step=31930368, episodic return=2047.6385498046875\n", + "global step=31932416, episodic return=2084.205078125\n", + "global step=31932416, episodic return=2128.04345703125\n", + "global step=31932416, episodic return=1885.9327392578125\n", + "global step=31934464, episodic return=2025.408935546875\n", + "global step=31934464, episodic return=2029.1072998046875\n", + "global step=31934464, episodic return=2041.997314453125\n", + "global step=31934464, episodic return=2089.63916015625\n", + "global step=31934464, episodic return=984.2387084960938\n", + "global step=31936512, episodic return=2068.103515625\n", + "global step=31938560, episodic return=2043.8438720703125\n", + "global step=31938560, episodic return=2061.611328125\n", + "global step=31940608, episodic return=2097.754150390625\n", + "global step=31942656, episodic return=2078.10693359375\n", + "global step=31942656, episodic return=2082.409912109375\n", + "global step=31944704, episodic return=2111.074951171875\n", + "global step=31944704, episodic return=2025.073974609375\n", + "global step=31944704, episodic return=2030.9112548828125\n", + "global step=31944704, episodic return=2096.318115234375\n", + "global step=31944704, episodic return=2133.12451171875\n", + "global step=31946752, episodic return=2038.64599609375\n", + "global step=31946752, episodic return=2084.041015625\n", + "global step=31948800, episodic return=2042.1331787109375\n", + "global step=31948800, episodic return=2073.523681640625\n", + "global step=31948800, episodic return=2083.702880859375\n", + "global step=31950848, episodic return=2026.102294921875\n", + "global step=31950848, episodic return=2112.20458984375\n", + "global step=31952896, episodic return=2023.740478515625\n", + "global step=31952896, episodic return=2069.437255859375\n", + "global step=31954944, episodic return=1490.1439208984375\n", + "global step=31954944, episodic return=2066.1513671875\n", + "global step=31956992, episodic return=2000.160888671875\n", + "global step=31956992, episodic return=2079.5087890625\n", + "global step=31956992, episodic return=2056.97412109375\n", + "global step=31959040, episodic return=2068.6083984375\n", + "global step=31959040, episodic return=2066.671630859375\n", + "global step=31959040, episodic return=1281.3082275390625\n", + "global step=31959040, episodic return=2013.31201171875\n", + "global step=31959040, episodic return=2083.984619140625\n", + "global step=31959040, episodic return=2057.797119140625\n", + "global step=31961088, episodic return=200.57952880859375\n", + "global step=31961088, episodic return=2084.78125\n", + "global step=31961088, episodic return=2089.9140625\n", + "global step=31961088, episodic return=2096.19970703125\n", + "global step=31961088, episodic return=2014.1251220703125\n", + "global step=31961088, episodic return=2076.66015625\n", + "global step=31963136, episodic return=2123.497314453125\n", + "global step=31963136, episodic return=2099.99658203125\n", + "global step=31965184, episodic return=2026.5697021484375\n", + "global step=31965184, episodic return=2111.3154296875\n", + "global step=31967232, episodic return=2046.8682861328125\n", + "global step=31967232, episodic return=2087.945068359375\n", + "global step=31967232, episodic return=2058.45068359375\n", + "global step=31967232, episodic return=2069.0673828125\n", + "global step=31967232, episodic return=2111.729736328125\n", + "global step=31967232, episodic return=2106.996337890625\n", + "global step=31969280, episodic return=2126.995361328125\n", + "global step=31969280, episodic return=2051.501953125\n", + "global step=31969280, episodic return=2085.127197265625\n", + "global step=31969280, episodic return=2079.085693359375\n", + "global step=31971328, episodic return=2057.13916015625\n", + "global step=31971328, episodic return=2075.9775390625\n", + "global step=31971328, episodic return=1981.8284912109375\n", + "global step=31973376, episodic return=2046.7227783203125\n", + "global step=31973376, episodic return=2104.739501953125\n", + "global step=31975424, episodic return=2048.40380859375\n", + "global step=31975424, episodic return=2102.049072265625\n", + "global step=31975424, episodic return=2091.6904296875\n", + "global step=31975424, episodic return=2106.39794921875\n", + "global step=31977472, episodic return=2086.55810546875\n", + "global step=31977472, episodic return=2088.92333984375\n", + "global step=31977472, episodic return=1745.8203125\n", + "global step=31977472, episodic return=2022.2413330078125\n", + "global step=31977472, episodic return=2056.17041015625\n", + "global step=31977472, episodic return=2078.046875\n", + "global step=31977472, episodic return=1438.9383544921875\n", + "global step=31979520, episodic return=2116.872802734375\n", + "global step=31981568, episodic return=2014.5587158203125\n", + "global step=31981568, episodic return=2106.537353515625\n", + "global step=31981568, episodic return=2031.42333984375\n", + "global step=31981568, episodic return=1353.123779296875\n", + "global step=31981568, episodic return=2084.57958984375\n", + "global step=31981568, episodic return=2062.983154296875\n", + "global step=31981568, episodic return=2128.35693359375\n", + "global step=31981568, episodic return=2097.775634765625\n", + "global step=31983616, episodic return=2076.470703125\n", + "global step=31983616, episodic return=2046.8450927734375\n", + "global step=31983616, episodic return=2069.95947265625\n", + "global step=31985664, episodic return=2038.592529296875\n", + "global step=31987712, episodic return=2075.53466796875\n", + "global step=31989760, episodic return=2113.8037109375\n", + "global step=31989760, episodic return=2090.119873046875\n", + "global step=31989760, episodic return=2090.610107421875\n", + "global step=31991808, episodic return=2120.15087890625\n", + "global step=31991808, episodic return=2057.625732421875\n", + "global step=31991808, episodic return=2042.6409912109375\n", + "global step=31993856, episodic return=2109.177490234375\n", + "global step=31993856, episodic return=2074.074462890625\n", + "global step=31993856, episodic return=2056.240234375\n", + "global step=31993856, episodic return=2068.2705078125\n", + "global step=31993856, episodic return=2078.407958984375\n", + "global step=31995904, episodic return=2039.5484619140625\n", + "global step=31995904, episodic return=2108.320556640625\n", + "global step=31995904, episodic return=2039.8861083984375\n", + "global step=31995904, episodic return=2076.8994140625\n", + "global step=31997952, episodic return=2068.77783203125\n", + "global step=31997952, episodic return=2033.5458984375\n", + "global step=32000000, episodic return=2082.498779296875\n", + "global step=32000000, episodic return=2035.0325927734375\n", + "global step=32000000, episodic return=2034.0782470703125\n", + "global step=32002048, episodic return=2067.391357421875\n", + "global step=32002048, episodic return=2073.3671875\n", + "global step=32002048, episodic return=2050.484619140625\n", + "global step=32002048, episodic return=2053.8984375\n", + "global step=32002048, episodic return=1427.593994140625\n", + "global step=32004096, episodic return=2051.413330078125\n", + "global step=32004096, episodic return=2115.382080078125\n", + "global step=32004096, episodic return=2063.656494140625\n", + "global step=32006144, episodic return=2096.455322265625\n", + "global step=32006144, episodic return=2054.07275390625\n", + "global step=32006144, episodic return=2085.6767578125\n", + "global step=32006144, episodic return=2051.654052734375\n", + "global step=32006144, episodic return=1106.8365478515625\n", + "global step=32006144, episodic return=2046.850341796875\n", + "global step=32008192, episodic return=2086.938232421875\n", + "global step=32008192, episodic return=2090.392578125\n", + "global step=32008192, episodic return=2014.6842041015625\n", + "global step=32008192, episodic return=2080.97265625\n", + "global step=32008192, episodic return=2094.92626953125\n", + "global step=32008192, episodic return=2028.1705322265625\n", + "global step=32008192, episodic return=2084.340576171875\n", + "global step=32008192, episodic return=2109.1708984375\n", + "global step=32010240, episodic return=2115.44287109375\n", + "global step=32010240, episodic return=1250.3643798828125\n", + "global step=32010240, episodic return=2137.54296875\n", + "global step=32010240, episodic return=2079.567138671875\n", + "global step=32010240, episodic return=2077.150634765625\n", + "global step=32012288, episodic return=2047.9945068359375\n", + "global step=32012288, episodic return=2046.555908203125\n", + "global step=32014336, episodic return=2078.5498046875\n", + "global step=32014336, episodic return=2023.84814453125\n", + "global step=32016384, episodic return=2141.758056640625\n", + "global step=32016384, episodic return=2053.154541015625\n", + "global step=32016384, episodic return=2077.405517578125\n", + "global step=32016384, episodic return=2103.65869140625\n", + "global step=32018432, episodic return=2095.662841796875\n", + "global step=32018432, episodic return=2138.8154296875\n", + "global step=32020480, episodic return=2086.570556640625\n", + "global step=32020480, episodic return=2095.776611328125\n", + "global step=32022528, episodic return=2068.932373046875\n", + "global step=32022528, episodic return=2038.277587890625\n", + "global step=32022528, episodic return=2112.27783203125\n", + "global step=32022528, episodic return=2041.2674560546875\n", + "global step=32022528, episodic return=2007.0382080078125\n", + "global step=32024576, episodic return=1749.5465087890625\n", + "global step=32024576, episodic return=2061.31103515625\n", + "global step=32026624, episodic return=2036.91015625\n", + "global step=32026624, episodic return=2104.28857421875\n", + "global step=32026624, episodic return=2054.931884765625\n", + "global step=32026624, episodic return=2096.986083984375\n", + "global step=32028672, episodic return=2097.5751953125\n", + "global step=32028672, episodic return=2055.952880859375\n", + "global step=32028672, episodic return=2102.361083984375\n", + "global step=32028672, episodic return=2028.966552734375\n", + "global step=32028672, episodic return=757.9581298828125\n", + "global step=32030720, episodic return=2102.098388671875\n", + "global step=32030720, episodic return=2012.8194580078125\n", + "global step=32030720, episodic return=2085.56689453125\n", + "global step=32030720, episodic return=2085.0419921875\n", + "global step=32034816, episodic return=2003.2235107421875\n", + "global step=32034816, episodic return=2031.9737548828125\n", + "global step=32036864, episodic return=2098.66650390625\n", + "global step=32036864, episodic return=202.2803955078125\n", + "global step=32036864, episodic return=2044.5775146484375\n", + "global step=32036864, episodic return=2118.822509765625\n", + "global step=32038912, episodic return=2113.452392578125\n", + "global step=32040960, episodic return=2074.6787109375\n", + "global step=32040960, episodic return=2113.27734375\n", + "global step=32043008, episodic return=2073.301513671875\n", + "global step=32045056, episodic return=806.272216796875\n", + "global step=32047104, episodic return=2114.27783203125\n", + "global step=32047104, episodic return=2103.878173828125\n", + "global step=32047104, episodic return=2065.094970703125\n", + "global step=32049152, episodic return=2024.80078125\n", + "global step=32049152, episodic return=2099.079345703125\n", + "global step=32049152, episodic return=792.45361328125\n", + "global step=32051200, episodic return=2058.0244140625\n", + "global step=32051200, episodic return=2074.65234375\n", + "global step=32051200, episodic return=2069.043701171875\n", + "global step=32051200, episodic return=2096.072509765625\n", + "global step=32051200, episodic return=2077.924072265625\n", + "global step=32053248, episodic return=2108.09912109375\n", + "global step=32053248, episodic return=2055.573974609375\n", + "global step=32053248, episodic return=2089.708740234375\n", + "global step=32057344, episodic return=2107.567138671875\n", + "global step=32057344, episodic return=1565.3321533203125\n", + "global step=32057344, episodic return=2084.9443359375\n", + "global step=32059392, episodic return=1302.605224609375\n", + "global step=32059392, episodic return=2094.912109375\n", + "global step=32059392, episodic return=2068.04248046875\n", + "global step=32059392, episodic return=2062.994384765625\n", + "global step=32059392, episodic return=2111.113525390625\n", + "global step=32059392, episodic return=2117.514892578125\n", + "global step=32061440, episodic return=2052.994140625\n", + "global step=32061440, episodic return=2137.069091796875\n", + "global step=32061440, episodic return=2134.120361328125\n", + "global step=32063488, episodic return=2050.19677734375\n", + "global step=32063488, episodic return=2063.531005859375\n", + "global step=32063488, episodic return=2087.921630859375\n", + "global step=32063488, episodic return=821.3091430664062\n", + "global step=32063488, episodic return=2112.81298828125\n", + "global step=32065536, episodic return=2107.966796875\n", + "global step=32065536, episodic return=790.8313598632812\n", + "global step=32065536, episodic return=2060.349609375\n", + "global step=32067584, episodic return=2108.853759765625\n", + "global step=32067584, episodic return=2061.44189453125\n", + "global step=32067584, episodic return=2055.221923828125\n", + "global step=32067584, episodic return=2099.9443359375\n", + "global step=32067584, episodic return=2137.003662109375\n", + "global step=32069632, episodic return=2074.536865234375\n", + "global step=32069632, episodic return=2103.9345703125\n", + "global step=32069632, episodic return=2064.98779296875\n", + "global step=32071680, episodic return=2065.337890625\n", + "global step=32071680, episodic return=2096.19482421875\n", + "global step=32071680, episodic return=2047.9425048828125\n", + "global step=32073728, episodic return=2100.31103515625\n", + "global step=32073728, episodic return=2094.837646484375\n", + "global step=32075776, episodic return=2115.83349609375\n", + "global step=32075776, episodic return=2076.412353515625\n", + "global step=32077824, episodic return=2101.5615234375\n", + "global step=32077824, episodic return=2059.3955078125\n", + "global step=32077824, episodic return=2065.999267578125\n", + "global step=32077824, episodic return=2041.2535400390625\n", + "global step=32079872, episodic return=1888.3988037109375\n", + "global step=32079872, episodic return=2090.474365234375\n", + "global step=32079872, episodic return=2077.150634765625\n", + "global step=32079872, episodic return=932.0208740234375\n", + "global step=32079872, episodic return=2085.698486328125\n", + "global step=32079872, episodic return=2082.31298828125\n", + "global step=32079872, episodic return=2010.76171875\n", + "global step=32081920, episodic return=2061.68310546875\n", + "global step=32081920, episodic return=632.6858520507812\n", + "global step=32081920, episodic return=2119.455810546875\n", + "global step=32081920, episodic return=2093.16796875\n", + "global step=32081920, episodic return=2079.29296875\n", + "global step=32081920, episodic return=2086.73291015625\n", + "global step=32083968, episodic return=2105.505126953125\n", + "global step=32083968, episodic return=2102.82421875\n", + "global step=32083968, episodic return=2080.258544921875\n", + "global step=32083968, episodic return=2077.74365234375\n", + "global step=32086016, episodic return=2127.53662109375\n", + "global step=32088064, episodic return=2125.28759765625\n", + "global step=32088064, episodic return=2114.58056640625\n", + "global step=32088064, episodic return=2125.518798828125\n", + "global step=32088064, episodic return=2086.050537109375\n", + "global step=32088064, episodic return=2113.931396484375\n", + "global step=32090112, episodic return=2091.88232421875\n", + "global step=32090112, episodic return=2102.097412109375\n", + "global step=32092160, episodic return=252.9152069091797\n", + "global step=32092160, episodic return=2070.17724609375\n", + "global step=32092160, episodic return=2095.9921875\n", + "global step=32094208, episodic return=2087.13232421875\n", + "global step=32094208, episodic return=2074.675048828125\n", + "global step=32094208, episodic return=2074.60498046875\n", + "global step=32094208, episodic return=2109.23388671875\n", + "global step=32096256, episodic return=2053.853515625\n", + "global step=32098304, episodic return=2077.155029296875\n", + "global step=32098304, episodic return=2075.242431640625\n", + "global step=32098304, episodic return=2105.663330078125\n", + "global step=32100352, episodic return=2115.095947265625\n", + "global step=32100352, episodic return=2057.71826171875\n", + "global step=32102400, episodic return=2017.3646240234375\n", + "global step=32102400, episodic return=2082.171875\n", + "global step=32102400, episodic return=2116.16796875\n", + "global step=32102400, episodic return=2106.7294921875\n", + "global step=32104448, episodic return=2089.7626953125\n", + "global step=32104448, episodic return=2133.394287109375\n", + "global step=32104448, episodic return=2099.72119140625\n", + "global step=32106496, episodic return=2099.088134765625\n", + "global step=32106496, episodic return=2104.088134765625\n", + "global step=32108544, episodic return=2091.549560546875\n", + "global step=32108544, episodic return=2063.67626953125\n", + "global step=32108544, episodic return=2098.01806640625\n", + "global step=32110592, episodic return=2083.281005859375\n", + "global step=32110592, episodic return=1617.1461181640625\n", + "global step=32110592, episodic return=401.75628662109375\n", + "global step=32112640, episodic return=2019.0936279296875\n", + "global step=32114688, episodic return=2094.834228515625\n", + "global step=32114688, episodic return=2036.8243408203125\n", + "global step=32114688, episodic return=2053.24462890625\n", + "global step=32114688, episodic return=2084.45703125\n", + "global step=32116736, episodic return=2114.7578125\n", + "global step=32116736, episodic return=2145.0\n", + "global step=32116736, episodic return=2013.6097412109375\n", + "global step=32116736, episodic return=2143.268310546875\n", + "global step=32118784, episodic return=2119.4140625\n", + "global step=32118784, episodic return=694.7498779296875\n", + "global step=32118784, episodic return=1971.864013671875\n", + "global step=32120832, episodic return=2025.7686767578125\n", + "global step=32122880, episodic return=2121.15087890625\n", + "global step=32122880, episodic return=2079.495849609375\n", + "global step=32122880, episodic return=2095.459228515625\n", + "global step=32126976, episodic return=2071.035888671875\n", + "global step=32126976, episodic return=2070.633056640625\n", + "global step=32126976, episodic return=2078.895263671875\n", + "global step=32131072, episodic return=2120.154296875\n", + "global step=32131072, episodic return=77.89567565917969\n", + "global step=32131072, episodic return=2130.658447265625\n", + "global step=32133120, episodic return=2094.205078125\n", + "global step=32133120, episodic return=2088.03857421875\n", + "global step=32133120, episodic return=296.64544677734375\n", + "global step=32135168, episodic return=2061.6103515625\n", + "global step=32135168, episodic return=2092.4853515625\n", + "global step=32135168, episodic return=2080.3173828125\n", + "global step=32137216, episodic return=2061.547607421875\n", + "global step=32137216, episodic return=2078.078125\n", + "global step=32137216, episodic return=2151.1689453125\n", + "global step=32137216, episodic return=2121.310791015625\n", + "global step=32137216, episodic return=2070.87109375\n", + "global step=32137216, episodic return=2118.75927734375\n", + "global step=32137216, episodic return=796.04541015625\n", + "global step=32137216, episodic return=2144.1279296875\n", + "global step=32139264, episodic return=2049.52587890625\n", + "global step=32139264, episodic return=2115.174560546875\n", + "global step=32139264, episodic return=2088.816162109375\n", + "global step=32141312, episodic return=2150.75\n", + "global step=32143360, episodic return=2102.726318359375\n", + "global step=32143360, episodic return=2089.92724609375\n", + "global step=32143360, episodic return=2106.713623046875\n", + "global step=32143360, episodic return=2086.86474609375\n", + "global step=32143360, episodic return=2149.093505859375\n", + "global step=32145408, episodic return=2101.690673828125\n", + "global step=32145408, episodic return=2066.35546875\n", + "global step=32145408, episodic return=2127.742919921875\n", + "global step=32145408, episodic return=717.2328491210938\n", + "global step=32147456, episodic return=2071.4814453125\n", + "global step=32147456, episodic return=335.80462646484375\n", + "global step=32147456, episodic return=2075.3916015625\n", + "global step=32149504, episodic return=2060.51953125\n", + "global step=32149504, episodic return=2106.424072265625\n", + "global step=32149504, episodic return=2104.23583984375\n", + "global step=32151552, episodic return=2124.07958984375\n", + "global step=32155648, episodic return=2099.293212890625\n", + "global step=32157696, episodic return=277.508544921875\n", + "global step=32157696, episodic return=2105.24609375\n", + "global step=32157696, episodic return=2054.1728515625\n", + "global step=32159744, episodic return=2111.262939453125\n", + "global step=32159744, episodic return=2097.0283203125\n", + "global step=32161792, episodic return=2075.486328125\n", + "global step=32161792, episodic return=2115.08837890625\n", + "global step=32161792, episodic return=2129.63720703125\n", + "global step=32163840, episodic return=2111.609375\n", + "global step=32163840, episodic return=387.2350158691406\n", + "global step=32165888, episodic return=2122.6015625\n", + "global step=32165888, episodic return=2103.816162109375\n", + "global step=32167936, episodic return=2111.87744140625\n", + "global step=32167936, episodic return=2072.826416015625\n", + "global step=32167936, episodic return=2091.5068359375\n", + "global step=32167936, episodic return=2098.249755859375\n", + "global step=32167936, episodic return=2105.875\n", + "global step=32169984, episodic return=1681.599365234375\n", + "global step=32169984, episodic return=2094.42138671875\n", + "global step=32169984, episodic return=1814.2784423828125\n", + "global step=32172032, episodic return=2116.167724609375\n", + "global step=32172032, episodic return=833.8890991210938\n", + "global step=32172032, episodic return=2096.9609375\n", + "global step=32172032, episodic return=2058.9091796875\n", + "global step=32172032, episodic return=2100.130615234375\n", + "global step=32172032, episodic return=2026.829345703125\n", + "global step=32174080, episodic return=2110.412841796875\n", + "global step=32174080, episodic return=2072.292724609375\n", + "global step=32178176, episodic return=2078.611083984375\n", + "global step=32178176, episodic return=2106.044921875\n", + "global step=32178176, episodic return=2087.172607421875\n", + "global step=32178176, episodic return=2162.61669921875\n", + "global step=32180224, episodic return=2122.618896484375\n", + "global step=32180224, episodic return=2146.019775390625\n", + "global step=32180224, episodic return=2100.7900390625\n", + "global step=32180224, episodic return=2055.941162109375\n", + "global step=32180224, episodic return=2106.167236328125\n", + "global step=32184320, episodic return=1501.4478759765625\n", + "global step=32184320, episodic return=394.8203430175781\n", + "global step=32184320, episodic return=2090.39404296875\n", + "global step=32184320, episodic return=2116.877197265625\n", + "global step=32184320, episodic return=2097.168212890625\n", + "global step=32184320, episodic return=2094.62646484375\n", + "global step=32186368, episodic return=2061.06884765625\n", + "global step=32186368, episodic return=2108.025390625\n", + "global step=32188416, episodic return=2096.24365234375\n", + "global step=32190464, episodic return=2082.668701171875\n", + "global step=32190464, episodic return=2077.67333984375\n", + "global step=32190464, episodic return=2128.20654296875\n", + "global step=32190464, episodic return=2116.44384765625\n", + "global step=32192512, episodic return=2096.93505859375\n", + "global step=32192512, episodic return=2122.268798828125\n", + "global step=32192512, episodic return=2082.550537109375\n", + "global step=32194560, episodic return=2112.790771484375\n", + "global step=32194560, episodic return=1070.788818359375\n", + "global step=32196608, episodic return=2069.360107421875\n", + "global step=32196608, episodic return=2106.17138671875\n", + "global step=32196608, episodic return=1839.323486328125\n", + "global step=32196608, episodic return=2118.693359375\n", + "global step=32198656, episodic return=2118.49365234375\n", + "global step=32198656, episodic return=2124.688720703125\n", + "global step=32198656, episodic return=2081.47314453125\n", + "global step=32200704, episodic return=179.20938110351562\n", + "global step=32200704, episodic return=2071.135009765625\n", + "global step=32200704, episodic return=2126.421630859375\n", + "global step=32200704, episodic return=1787.2911376953125\n", + "global step=32200704, episodic return=1335.4720458984375\n", + "global step=32202752, episodic return=2105.55078125\n", + "global step=32202752, episodic return=2112.082763671875\n", + "global step=32204800, episodic return=2126.797607421875\n", + "global step=32204800, episodic return=2066.55859375\n", + "global step=32206848, episodic return=2107.629638671875\n", + "global step=32206848, episodic return=2102.55224609375\n", + "global step=32206848, episodic return=2105.027587890625\n", + "global step=32208896, episodic return=2138.453369140625\n", + "global step=32208896, episodic return=2110.3525390625\n", + "global step=32208896, episodic return=2143.478759765625\n", + "global step=32208896, episodic return=2105.6064453125\n", + "global step=32208896, episodic return=2120.82958984375\n", + "global step=32208896, episodic return=2141.758056640625\n", + "global step=32208896, episodic return=2111.519287109375\n", + "global step=32210944, episodic return=2104.11767578125\n", + "global step=32210944, episodic return=2103.3515625\n", + "global step=32210944, episodic return=2103.972900390625\n", + "global step=32210944, episodic return=2141.7607421875\n", + "global step=32212992, episodic return=2126.664306640625\n", + "global step=32212992, episodic return=2114.07763671875\n", + "global step=32217088, episodic return=2111.400634765625\n", + "global step=32217088, episodic return=2146.489013671875\n", + "global step=32219136, episodic return=2134.806396484375\n", + "global step=32219136, episodic return=2157.35107421875\n", + "global step=32219136, episodic return=1490.1336669921875\n", + "global step=32221184, episodic return=2106.932861328125\n", + "global step=32221184, episodic return=2115.186279296875\n", + "global step=32223232, episodic return=2093.818115234375\n", + "global step=32223232, episodic return=2072.479736328125\n", + "global step=32223232, episodic return=2107.655029296875\n", + "global step=32223232, episodic return=2122.913330078125\n", + "global step=32223232, episodic return=2094.197021484375\n", + "global step=32223232, episodic return=2104.22705078125\n", + "global step=32225280, episodic return=2108.848876953125\n", + "global step=32229376, episodic return=2148.031005859375\n", + "global step=32229376, episodic return=2110.40478515625\n", + "global step=32229376, episodic return=2092.080078125\n", + "global step=32229376, episodic return=2063.040283203125\n", + "global step=32231424, episodic return=2111.59765625\n", + "global step=32231424, episodic return=2099.690185546875\n", + "global step=32231424, episodic return=2124.19091796875\n", + "global step=32231424, episodic return=2130.20166015625\n", + "global step=32233472, episodic return=2098.41552734375\n", + "global step=32237568, episodic return=2113.260986328125\n", + "global step=32237568, episodic return=2120.691650390625\n", + "global step=32237568, episodic return=2131.622314453125\n", + "global step=32239616, episodic return=2124.186279296875\n", + "global step=32239616, episodic return=2076.302978515625\n", + "global step=32239616, episodic return=2095.6416015625\n", + "global step=32239616, episodic return=2133.880859375\n", + "global step=32239616, episodic return=2118.60986328125\n", + "global step=32241664, episodic return=2102.9404296875\n", + "global step=32241664, episodic return=2104.297607421875\n", + "global step=32241664, episodic return=2076.552490234375\n", + "global step=32241664, episodic return=2073.83349609375\n", + "global step=32243712, episodic return=2142.622314453125\n", + "global step=32245760, episodic return=629.6211547851562\n", + "global step=32245760, episodic return=2108.51171875\n", + "global step=32245760, episodic return=2128.85400390625\n", + "global step=32247808, episodic return=2103.36865234375\n", + "global step=32247808, episodic return=2158.44970703125\n", + "global step=32247808, episodic return=2155.061767578125\n", + "global step=32247808, episodic return=2124.31640625\n", + "global step=32249856, episodic return=2095.197509765625\n", + "global step=32249856, episodic return=2113.674560546875\n", + "global step=32251904, episodic return=2107.21044921875\n", + "global step=32251904, episodic return=2126.509765625\n", + "global step=32251904, episodic return=2104.378173828125\n", + "global step=32253952, episodic return=2070.84228515625\n", + "global step=32253952, episodic return=2108.560546875\n", + "global step=32253952, episodic return=2085.1943359375\n", + "global step=32253952, episodic return=1747.983642578125\n", + "global step=32258048, episodic return=2059.93505859375\n", + "global step=32258048, episodic return=2109.367919921875\n", + "global step=32258048, episodic return=2097.216796875\n", + "global step=32260096, episodic return=2116.94482421875\n", + "global step=32260096, episodic return=2092.117431640625\n", + "global step=32260096, episodic return=2108.055419921875\n", + "global step=32262144, episodic return=2101.98388671875\n", + "global step=32262144, episodic return=2110.4091796875\n", + "global step=32264192, episodic return=2113.95947265625\n", + "global step=32264192, episodic return=2131.316162109375\n", + "global step=32264192, episodic return=2089.385986328125\n", + "global step=32266240, episodic return=2135.093017578125\n", + "global step=32266240, episodic return=2132.36767578125\n", + "global step=32266240, episodic return=1707.873779296875\n", + "global step=32268288, episodic return=2085.2177734375\n", + "global step=32268288, episodic return=2062.027099609375\n", + "global step=32270336, episodic return=2101.888427734375\n", + "global step=32272384, episodic return=2063.26708984375\n", + "global step=32272384, episodic return=2132.573974609375\n", + "global step=32272384, episodic return=2117.7607421875\n", + "global step=32272384, episodic return=2084.330322265625\n", + "global step=32274432, episodic return=2115.649658203125\n", + "global step=32274432, episodic return=2084.878173828125\n", + "global step=32274432, episodic return=2121.802734375\n", + "global step=32274432, episodic return=2139.90234375\n", + "global step=32276480, episodic return=614.2947998046875\n", + "global step=32278528, episodic return=1088.09521484375\n", + "global step=32278528, episodic return=1194.069091796875\n", + "global step=32280576, episodic return=2121.10400390625\n", + "global step=32280576, episodic return=2107.859619140625\n", + "global step=32280576, episodic return=2131.86328125\n", + "global step=32280576, episodic return=2121.5859375\n", + "global step=32280576, episodic return=2066.8330078125\n", + "global step=32282624, episodic return=2103.76904296875\n", + "global step=32282624, episodic return=2112.033935546875\n", + "global step=32282624, episodic return=195.0471954345703\n", + "global step=32282624, episodic return=2117.717041015625\n", + "global step=32282624, episodic return=2056.0517578125\n", + "global step=32284672, episodic return=2076.738525390625\n", + "global step=32284672, episodic return=2114.129150390625\n", + "global step=32284672, episodic return=2115.770751953125\n", + "global step=32284672, episodic return=2099.946044921875\n", + "global step=32284672, episodic return=2073.261474609375\n", + "global step=32284672, episodic return=2112.614013671875\n", + "global step=32284672, episodic return=2076.8896484375\n", + "global step=32284672, episodic return=2071.06494140625\n", + "global step=32284672, episodic return=2086.182861328125\n", + "global step=32286720, episodic return=2137.040771484375\n", + "global step=32286720, episodic return=2114.28076171875\n", + "global step=32290816, episodic return=2115.36767578125\n", + "global step=32290816, episodic return=39.729793548583984\n", + "global step=32290816, episodic return=2075.379150390625\n", + "global step=32290816, episodic return=2055.95068359375\n", + "global step=32290816, episodic return=2123.17333984375\n", + "global step=32292864, episodic return=2121.330810546875\n", + "global step=32292864, episodic return=2132.166259765625\n", + "global step=32292864, episodic return=38.01444625854492\n", + "global step=32292864, episodic return=545.3948364257812\n", + "global step=32294912, episodic return=2119.51025390625\n", + "global step=32294912, episodic return=2079.55224609375\n", + "global step=32294912, episodic return=2086.083740234375\n", + "global step=32294912, episodic return=2116.008056640625\n", + "global step=32296960, episodic return=2138.238037109375\n", + "global step=32299008, episodic return=2091.322998046875\n", + "global step=32301056, episodic return=2097.8193359375\n", + "global step=32301056, episodic return=2113.557373046875\n", + "global step=32301056, episodic return=2098.64990234375\n", + "global step=32303104, episodic return=2099.38330078125\n", + "global step=32303104, episodic return=2110.53759765625\n", + "global step=32305152, episodic return=2096.712646484375\n", + "global step=32307200, episodic return=2106.5693359375\n", + "global step=32307200, episodic return=2099.81396484375\n", + "global step=32309248, episodic return=2114.9208984375\n", + "global step=32309248, episodic return=2092.015380859375\n", + "global step=32309248, episodic return=2096.263671875\n", + "global step=32309248, episodic return=2131.674560546875\n", + "global step=32311296, episodic return=417.5870056152344\n", + "global step=32311296, episodic return=2135.659423828125\n", + "global step=32313344, episodic return=2129.66357421875\n", + "global step=32313344, episodic return=2085.678466796875\n", + "global step=32315392, episodic return=2016.291748046875\n", + "global step=32315392, episodic return=1826.1251220703125\n", + "global step=32315392, episodic return=2076.36962890625\n", + "global step=32317440, episodic return=2151.0673828125\n", + "global step=32317440, episodic return=2059.6650390625\n", + "global step=32319488, episodic return=2040.481689453125\n", + "global step=32319488, episodic return=2094.00390625\n", + "global step=32319488, episodic return=2133.876220703125\n", + "global step=32319488, episodic return=1999.0955810546875\n", + "global step=32319488, episodic return=2149.228271484375\n", + "global step=32319488, episodic return=2092.90576171875\n", + "global step=32319488, episodic return=2105.302978515625\n", + "global step=32321536, episodic return=1049.337158203125\n", + "global step=32321536, episodic return=2132.24609375\n", + "global step=32323584, episodic return=1268.91748046875\n", + "global step=32323584, episodic return=2130.416015625\n", + "global step=32325632, episodic return=2128.7216796875\n", + "global step=32325632, episodic return=2141.96484375\n", + "global step=32325632, episodic return=2114.435546875\n", + "global step=32327680, episodic return=2067.61376953125\n", + "global step=32327680, episodic return=2048.467529296875\n", + "global step=32327680, episodic return=2101.60107421875\n", + "global step=32327680, episodic return=2131.355712890625\n", + "global step=32329728, episodic return=2136.204833984375\n", + "global step=32329728, episodic return=2042.51611328125\n", + "global step=32331776, episodic return=2095.664794921875\n", + "global step=32331776, episodic return=2102.806640625\n", + "global step=32331776, episodic return=2092.703369140625\n", + "global step=32331776, episodic return=2084.63134765625\n", + "global step=32331776, episodic return=2109.348876953125\n", + "global step=32333824, episodic return=2124.412109375\n", + "global step=32333824, episodic return=2073.0859375\n", + "global step=32333824, episodic return=2114.69970703125\n", + "global step=32333824, episodic return=2059.585205078125\n", + "global step=32335872, episodic return=2126.1640625\n", + "global step=32335872, episodic return=2130.51953125\n", + "global step=32335872, episodic return=2086.393798828125\n", + "global step=32335872, episodic return=2150.49462890625\n", + "global step=32335872, episodic return=527.0631103515625\n", + "global step=32337920, episodic return=1800.9227294921875\n", + "global step=32339968, episodic return=1592.4456787109375\n", + "global step=32339968, episodic return=2118.289794921875\n", + "global step=32339968, episodic return=2113.630126953125\n", + "global step=32339968, episodic return=2149.89697265625\n", + "global step=32342016, episodic return=2086.00830078125\n", + "global step=32342016, episodic return=531.3988037109375\n", + "global step=32342016, episodic return=2048.16796875\n", + "global step=32344064, episodic return=2089.06787109375\n", + "global step=32344064, episodic return=2092.185302734375\n", + "global step=32344064, episodic return=2140.03271484375\n", + "global step=32344064, episodic return=2095.921630859375\n", + "global step=32344064, episodic return=2101.11865234375\n", + "global step=32344064, episodic return=806.6871337890625\n", + "global step=32344064, episodic return=2126.610107421875\n", + "global step=32344064, episodic return=2151.410888671875\n", + "global step=32346112, episodic return=1801.376708984375\n", + "global step=32346112, episodic return=2118.712646484375\n", + "global step=32346112, episodic return=1948.8050537109375\n", + "global step=32348160, episodic return=2040.6690673828125\n", + "global step=32348160, episodic return=2094.98046875\n", + "global step=32348160, episodic return=2131.830078125\n", + "global step=32348160, episodic return=2109.67431640625\n", + "global step=32348160, episodic return=2066.4580078125\n", + "global step=32350208, episodic return=2142.385009765625\n", + "global step=32352256, episodic return=2102.365478515625\n", + "global step=32352256, episodic return=2113.05029296875\n", + "global step=32354304, episodic return=1890.2293701171875\n", + "global step=32354304, episodic return=2123.697265625\n", + "global step=32354304, episodic return=2121.037841796875\n", + "global step=32354304, episodic return=1821.4185791015625\n", + "global step=32354304, episodic return=2122.732666015625\n", + "global step=32354304, episodic return=2112.001708984375\n", + "global step=32356352, episodic return=2166.561279296875\n", + "global step=32356352, episodic return=2129.20166015625\n", + "global step=32356352, episodic return=2115.375732421875\n", + "global step=32356352, episodic return=2114.392578125\n", + "global step=32356352, episodic return=2131.346435546875\n", + "global step=32356352, episodic return=2096.493408203125\n", + "global step=32358400, episodic return=2119.56201171875\n", + "global step=32358400, episodic return=2102.941162109375\n", + "global step=32360448, episodic return=2118.412353515625\n", + "global step=32360448, episodic return=2137.686767578125\n", + "global step=32362496, episodic return=2120.0078125\n", + "global step=32362496, episodic return=2104.556640625\n", + "global step=32362496, episodic return=2140.9443359375\n", + "global step=32362496, episodic return=2048.947509765625\n", + "global step=32362496, episodic return=2125.84912109375\n", + "global step=32362496, episodic return=2087.275146484375\n", + "global step=32362496, episodic return=2159.820556640625\n", + "global step=32362496, episodic return=2083.197021484375\n", + "global step=32364544, episodic return=2136.03369140625\n", + "global step=32364544, episodic return=2144.778564453125\n", + "global step=32366592, episodic return=2157.00537109375\n", + "global step=32366592, episodic return=2101.90185546875\n", + "global step=32366592, episodic return=2120.20166015625\n", + "global step=32366592, episodic return=2154.74560546875\n", + "global step=32366592, episodic return=501.32965087890625\n", + "global step=32368640, episodic return=2104.810302734375\n", + "global step=32368640, episodic return=2086.59228515625\n", + "global step=32368640, episodic return=2107.461181640625\n", + "global step=32368640, episodic return=2127.667236328125\n", + "global step=32368640, episodic return=2102.21142578125\n", + "global step=32370688, episodic return=1893.080810546875\n", + "global step=32370688, episodic return=2103.76611328125\n", + "global step=32370688, episodic return=2148.453857421875\n", + "global step=32372736, episodic return=2123.352294921875\n", + "global step=32376832, episodic return=2137.234619140625\n", + "global step=32376832, episodic return=2113.45361328125\n", + "global step=32376832, episodic return=2095.047607421875\n", + "global step=32378880, episodic return=2121.639892578125\n", + "global step=32378880, episodic return=2124.359619140625\n", + "global step=32378880, episodic return=2111.480224609375\n", + "global step=32378880, episodic return=2124.424560546875\n", + "global step=32378880, episodic return=2114.567138671875\n", + "global step=32380928, episodic return=2104.83935546875\n", + "global step=32380928, episodic return=2121.3701171875\n", + "global step=32380928, episodic return=2083.23291015625\n", + "global step=32380928, episodic return=2148.144287109375\n", + "global step=32382976, episodic return=2062.14892578125\n", + "global step=32385024, episodic return=2046.2122802734375\n", + "global step=32385024, episodic return=2116.506591796875\n", + "global step=32385024, episodic return=2111.5361328125\n", + "global step=32387072, episodic return=206.7681427001953\n", + "global step=32387072, episodic return=2135.5732421875\n", + "global step=32387072, episodic return=2087.178955078125\n", + "global step=32387072, episodic return=2160.878173828125\n", + "global step=32389120, episodic return=2056.94482421875\n", + "global step=32389120, episodic return=690.8944702148438\n", + "global step=32389120, episodic return=2133.240478515625\n", + "global step=32391168, episodic return=2139.83056640625\n", + "global step=32391168, episodic return=2103.135498046875\n", + "global step=32391168, episodic return=2093.521240234375\n", + "global step=32391168, episodic return=2104.136474609375\n", + "global step=32391168, episodic return=628.5494995117188\n", + "global step=32393216, episodic return=2093.001220703125\n", + "global step=32393216, episodic return=1408.56884765625\n", + "global step=32393216, episodic return=2109.427978515625\n", + "global step=32393216, episodic return=2118.51416015625\n", + "global step=32395264, episodic return=2093.05908203125\n", + "global step=32395264, episodic return=1557.919677734375\n", + "global step=32395264, episodic return=2127.558837890625\n", + "global step=32397312, episodic return=2140.562744140625\n", + "global step=32397312, episodic return=833.5906982421875\n", + "global step=32397312, episodic return=2139.985595703125\n", + "global step=32399360, episodic return=1897.6312255859375\n", + "global step=32399360, episodic return=2128.298583984375\n", + "global step=32399360, episodic return=1710.271728515625\n", + "global step=32401408, episodic return=543.9537963867188\n", + "global step=32401408, episodic return=2110.433837890625\n", + "global step=32403456, episodic return=2131.907958984375\n", + "global step=32405504, episodic return=2114.18310546875\n", + "global step=32405504, episodic return=2147.986328125\n", + "global step=32405504, episodic return=795.162109375\n", + "global step=32407552, episodic return=2110.73876953125\n", + "global step=32409600, episodic return=2100.08984375\n", + "global step=32409600, episodic return=2120.41552734375\n", + "global step=32409600, episodic return=2128.87451171875\n", + "global step=32409600, episodic return=2124.234375\n", + "global step=32409600, episodic return=2118.211181640625\n", + "global step=32409600, episodic return=2124.00732421875\n", + "global step=32411648, episodic return=2116.798095703125\n", + "global step=32411648, episodic return=2084.9111328125\n", + "global step=32411648, episodic return=2074.293212890625\n", + "global step=32411648, episodic return=2154.28466796875\n", + "global step=32413696, episodic return=2093.703369140625\n", + "global step=32413696, episodic return=2149.875244140625\n", + "global step=32415744, episodic return=2124.07763671875\n", + "global step=32415744, episodic return=2106.8359375\n", + "global step=32415744, episodic return=2112.806640625\n", + "global step=32417792, episodic return=2136.0634765625\n", + "global step=32417792, episodic return=2113.0009765625\n", + "global step=32417792, episodic return=2110.375\n", + "global step=32417792, episodic return=2107.27685546875\n", + "global step=32417792, episodic return=2110.461669921875\n", + "global step=32419840, episodic return=2049.58544921875\n", + "global step=32419840, episodic return=2131.226806640625\n", + "global step=32419840, episodic return=985.0626220703125\n", + "global step=32421888, episodic return=2100.022216796875\n", + "global step=32423936, episodic return=2120.84326171875\n", + "global step=32423936, episodic return=2079.08056640625\n", + "global step=32423936, episodic return=2137.126220703125\n", + "global step=32423936, episodic return=2137.91162109375\n", + "global step=32425984, episodic return=2122.8447265625\n", + "global step=32425984, episodic return=2135.26611328125\n", + "global step=32425984, episodic return=2154.843994140625\n", + "global step=32425984, episodic return=2133.46044921875\n", + "global step=32425984, episodic return=1081.1285400390625\n", + "global step=32425984, episodic return=203.01266479492188\n", + "global step=32428032, episodic return=2102.565185546875\n", + "global step=32430080, episodic return=2150.94580078125\n", + "global step=32430080, episodic return=2118.322509765625\n", + "global step=32432128, episodic return=2132.5712890625\n", + "global step=32432128, episodic return=2107.49169921875\n", + "global step=32432128, episodic return=2145.584228515625\n", + "global step=32434176, episodic return=2155.3046875\n", + "global step=32436224, episodic return=2118.489013671875\n", + "global step=32436224, episodic return=202.09817504882812\n", + "global step=32436224, episodic return=2103.397216796875\n", + "global step=32436224, episodic return=2108.87451171875\n", + "global step=32436224, episodic return=2143.050537109375\n", + "global step=32436224, episodic return=2175.5771484375\n", + "global step=32438272, episodic return=2117.1318359375\n", + "global step=32440320, episodic return=2103.860107421875\n", + "global step=32440320, episodic return=2127.903564453125\n", + "global step=32440320, episodic return=2107.707275390625\n", + "global step=32440320, episodic return=2111.572021484375\n", + "global step=32440320, episodic return=2103.00732421875\n", + "global step=32442368, episodic return=2097.372802734375\n", + "global step=32444416, episodic return=2128.914306640625\n", + "global step=32444416, episodic return=2110.0166015625\n", + "global step=32444416, episodic return=2131.068115234375\n", + "global step=32446464, episodic return=2080.994140625\n", + "global step=32446464, episodic return=2119.990966796875\n", + "global step=32446464, episodic return=2150.216552734375\n", + "global step=32446464, episodic return=2075.738525390625\n", + "global step=32448512, episodic return=2099.26025390625\n", + "global step=32448512, episodic return=2104.328857421875\n", + "global step=32448512, episodic return=2126.863037109375\n", + "global step=32450560, episodic return=57.632965087890625\n", + "global step=32450560, episodic return=2136.759765625\n", + "global step=32450560, episodic return=2075.735595703125\n", + "global step=32452608, episodic return=2102.0078125\n", + "global step=32454656, episodic return=2091.49169921875\n", + "global step=32454656, episodic return=2119.4541015625\n", + "global step=32454656, episodic return=2095.150146484375\n", + "global step=32454656, episodic return=2110.87890625\n", + "global step=32454656, episodic return=2135.813720703125\n", + "global step=32454656, episodic return=2141.413330078125\n", + "global step=32456704, episodic return=637.4097900390625\n", + "global step=32456704, episodic return=2122.3701171875\n", + "global step=32456704, episodic return=2120.781005859375\n", + "global step=32458752, episodic return=2115.231689453125\n", + "global step=32458752, episodic return=2110.72802734375\n", + "global step=32458752, episodic return=2135.989013671875\n", + "global step=32458752, episodic return=2094.4072265625\n", + "global step=32460800, episodic return=687.9444580078125\n", + "global step=32460800, episodic return=2154.21826171875\n", + "global step=32460800, episodic return=2103.46337890625\n", + "global step=32462848, episodic return=2081.52001953125\n", + "global step=32462848, episodic return=1725.787109375\n", + "global step=32462848, episodic return=2035.93359375\n", + "global step=32464896, episodic return=2160.44482421875\n", + "global step=32464896, episodic return=2141.728515625\n", + "global step=32464896, episodic return=2064.363525390625\n", + "global step=32466944, episodic return=1163.1727294921875\n", + "global step=32466944, episodic return=189.24583435058594\n", + "global step=32466944, episodic return=2159.15087890625\n", + "global step=32466944, episodic return=2102.741943359375\n", + "global step=32466944, episodic return=2105.037109375\n", + "global step=32466944, episodic return=2115.088134765625\n", + "global step=32466944, episodic return=2078.15283203125\n", + "global step=32468992, episodic return=2071.4140625\n", + "global step=32468992, episodic return=2155.853759765625\n", + "global step=32468992, episodic return=2116.510498046875\n", + "global step=32468992, episodic return=2093.350341796875\n", + "global step=32471040, episodic return=2109.823974609375\n", + "global step=32471040, episodic return=2138.5126953125\n", + "global step=32471040, episodic return=2140.235595703125\n", + "global step=32471040, episodic return=2058.44482421875\n", + "global step=32473088, episodic return=2094.5673828125\n", + "global step=32473088, episodic return=2105.840087890625\n", + "global step=32475136, episodic return=2122.152099609375\n", + "global step=32477184, episodic return=2095.36376953125\n", + "global step=32477184, episodic return=2118.324462890625\n", + "global step=32479232, episodic return=814.6118774414062\n", + "global step=32479232, episodic return=2128.245849609375\n", + "global step=32479232, episodic return=2083.325439453125\n", + "global step=32483328, episodic return=2085.592041015625\n", + "global step=32485376, episodic return=1017.841552734375\n", + "global step=32485376, episodic return=2016.6910400390625\n", + "global step=32485376, episodic return=2111.036376953125\n", + "global step=32487424, episodic return=2044.9656982421875\n", + "global step=32487424, episodic return=2135.519775390625\n", + "global step=32489472, episodic return=2126.25927734375\n", + "global step=32489472, episodic return=2107.10009765625\n", + "global step=32489472, episodic return=2130.01953125\n", + "global step=32491520, episodic return=2157.427490234375\n", + "global step=32491520, episodic return=679.6969604492188\n", + "global step=32491520, episodic return=2147.545166015625\n", + "global step=32491520, episodic return=2168.5400390625\n", + "global step=32491520, episodic return=2103.32763671875\n", + "global step=32493568, episodic return=570.1477661132812\n", + "global step=32493568, episodic return=590.9708251953125\n", + "global step=32493568, episodic return=2104.947998046875\n", + "global step=32493568, episodic return=2158.0576171875\n", + "global step=32493568, episodic return=2096.87109375\n", + "global step=32495616, episodic return=2130.662841796875\n", + "global step=32495616, episodic return=2052.7314453125\n", + "global step=32497664, episodic return=2129.433837890625\n", + "global step=32497664, episodic return=746.5479125976562\n", + "global step=32497664, episodic return=2088.432861328125\n", + "global step=32499712, episodic return=2162.55615234375\n", + "global step=32499712, episodic return=2145.974365234375\n", + "global step=32501760, episodic return=2099.97705078125\n", + "global step=32501760, episodic return=2152.043212890625\n", + "global step=32503808, episodic return=2135.2255859375\n", + "global step=32503808, episodic return=2140.98876953125\n", + "global step=32505856, episodic return=2109.224609375\n", + "global step=32505856, episodic return=2137.06689453125\n", + "global step=32507904, episodic return=2151.26318359375\n", + "global step=32509952, episodic return=2126.549560546875\n", + "global step=32512000, episodic return=2116.764892578125\n", + "global step=32512000, episodic return=802.5433959960938\n", + "global step=32514048, episodic return=2104.5439453125\n", + "global step=32514048, episodic return=195.59849548339844\n", + "global step=32516096, episodic return=2110.4248046875\n", + "global step=32516096, episodic return=196.2863311767578\n", + "global step=32516096, episodic return=2136.62353515625\n", + "global step=32516096, episodic return=2113.92529296875\n", + "global step=32518144, episodic return=2125.491455078125\n", + "global step=32520192, episodic return=2131.431884765625\n", + "global step=32520192, episodic return=185.29673767089844\n", + "global step=32522240, episodic return=156.34898376464844\n", + "global step=32524288, episodic return=2080.109375\n", + "global step=32524288, episodic return=2114.239990234375\n", + "global step=32524288, episodic return=2065.6337890625\n", + "global step=32526336, episodic return=2110.8125\n", + "global step=32526336, episodic return=2102.886474609375\n", + "global step=32526336, episodic return=2112.66357421875\n", + "global step=32526336, episodic return=2130.055908203125\n", + "global step=32528384, episodic return=2150.596435546875\n", + "global step=32528384, episodic return=2081.70068359375\n", + "global step=32528384, episodic return=2102.070556640625\n", + "global step=32528384, episodic return=2094.460205078125\n", + "global step=32528384, episodic return=2109.757568359375\n", + "global step=32528384, episodic return=2125.4755859375\n", + "global step=32528384, episodic return=2120.482177734375\n", + "global step=32530432, episodic return=2150.11767578125\n", + "global step=32532480, episodic return=2098.773681640625\n", + "global step=32532480, episodic return=2118.09716796875\n", + "global step=32534528, episodic return=2119.426513671875\n", + "global step=32534528, episodic return=2113.080810546875\n", + "global step=32534528, episodic return=2095.419677734375\n", + "global step=32534528, episodic return=2128.213623046875\n", + "global step=32534528, episodic return=2129.099853515625\n", + "global step=32536576, episodic return=2129.8544921875\n", + "global step=32536576, episodic return=2159.777587890625\n", + "global step=32538624, episodic return=641.6671142578125\n", + "global step=32538624, episodic return=244.88966369628906\n", + "global step=32540672, episodic return=2136.265869140625\n", + "global step=32540672, episodic return=2158.407470703125\n", + "global step=32540672, episodic return=2137.609130859375\n", + "global step=32542720, episodic return=2105.948486328125\n", + "global step=32542720, episodic return=2107.90966796875\n", + "global step=32544768, episodic return=2077.2060546875\n", + "global step=32544768, episodic return=2135.039306640625\n", + "global step=32544768, episodic return=2136.450439453125\n", + "global step=32546816, episodic return=2142.1796875\n", + "global step=32546816, episodic return=2104.051513671875\n", + "global step=32548864, episodic return=2028.748779296875\n", + "global step=32548864, episodic return=2103.280029296875\n", + "global step=32548864, episodic return=1848.68505859375\n", + "global step=32550912, episodic return=2144.208740234375\n", + "global step=32552960, episodic return=2127.43359375\n", + "global step=32552960, episodic return=2118.5810546875\n", + "global step=32555008, episodic return=726.2250366210938\n", + "global step=32555008, episodic return=2105.656005859375\n", + "global step=32555008, episodic return=2102.356689453125\n", + "global step=32555008, episodic return=2108.79931640625\n", + "global step=32557056, episodic return=2143.0498046875\n", + "global step=32557056, episodic return=2110.48388671875\n", + "global step=32559104, episodic return=2107.8603515625\n", + "global step=32559104, episodic return=2123.869140625\n", + "global step=32561152, episodic return=2117.084716796875\n", + "global step=32563200, episodic return=2130.37548828125\n", + "global step=32563200, episodic return=558.3026733398438\n", + "global step=32565248, episodic return=2104.68994140625\n", + "global step=32565248, episodic return=2124.96435546875\n", + "global step=32565248, episodic return=2154.057861328125\n", + "global step=32567296, episodic return=2064.272216796875\n", + "global step=32567296, episodic return=2120.85546875\n", + "global step=32569344, episodic return=2139.77880859375\n", + "global step=32569344, episodic return=2107.01318359375\n", + "global step=32569344, episodic return=2092.892822265625\n", + "global step=32571392, episodic return=2157.311767578125\n", + "global step=32571392, episodic return=2087.12646484375\n", + "global step=32571392, episodic return=2092.177490234375\n", + "global step=32571392, episodic return=2110.499755859375\n", + "global step=32571392, episodic return=2101.759033203125\n", + "global step=32573440, episodic return=2127.93359375\n", + "global step=32575488, episodic return=2122.14306640625\n", + "global step=32575488, episodic return=1695.01953125\n", + "global step=32577536, episodic return=2150.7568359375\n", + "global step=32579584, episodic return=2096.53173828125\n", + "global step=32581632, episodic return=2120.66064453125\n", + "global step=32581632, episodic return=2116.348876953125\n", + "global step=32581632, episodic return=2113.810791015625\n", + "global step=32583680, episodic return=2117.090576171875\n", + "global step=32583680, episodic return=2125.349365234375\n", + "global step=32585728, episodic return=2136.025390625\n", + "global step=32587776, episodic return=2142.190673828125\n", + "global step=32589824, episodic return=596.8767700195312\n", + "global step=32589824, episodic return=2121.149658203125\n", + "global step=32591872, episodic return=2129.501220703125\n", + "global step=32591872, episodic return=2118.812744140625\n", + "global step=32591872, episodic return=2133.267578125\n", + "global step=32591872, episodic return=2108.57275390625\n", + "global step=32593920, episodic return=2124.875732421875\n", + "global step=32593920, episodic return=2118.426513671875\n", + "global step=32593920, episodic return=2110.927978515625\n", + "global step=32593920, episodic return=2092.69921875\n", + "global step=32595968, episodic return=2144.881103515625\n", + "global step=32595968, episodic return=2114.711181640625\n", + "global step=32595968, episodic return=2120.695068359375\n", + "global step=32595968, episodic return=2113.064453125\n", + "global step=32595968, episodic return=2076.98388671875\n", + "global step=32598016, episodic return=2111.905029296875\n", + "global step=32600064, episodic return=2083.6513671875\n", + "global step=32600064, episodic return=558.3800048828125\n", + "global step=32600064, episodic return=2078.847412109375\n", + "global step=32602112, episodic return=2106.86181640625\n", + "global step=32604160, episodic return=2148.743896484375\n", + "global step=32604160, episodic return=2112.993408203125\n", + "global step=32604160, episodic return=2131.45263671875\n", + "global step=32606208, episodic return=2104.1884765625\n", + "global step=32606208, episodic return=2066.106201171875\n", + "global step=32606208, episodic return=2091.54638671875\n", + "global step=32606208, episodic return=2103.0341796875\n", + "global step=32608256, episodic return=2148.77685546875\n", + "global step=32608256, episodic return=269.9556579589844\n", + "global step=32610304, episodic return=2131.877197265625\n", + "global step=32610304, episodic return=2103.78369140625\n", + "global step=32610304, episodic return=2107.992431640625\n", + "global step=32612352, episodic return=2123.561279296875\n", + "global step=32612352, episodic return=772.7733154296875\n", + "global step=32614400, episodic return=2141.942626953125\n", + "global step=32616448, episodic return=2088.001953125\n", + "global step=32616448, episodic return=2117.152099609375\n", + "global step=32618496, episodic return=2134.079345703125\n", + "global step=32618496, episodic return=2129.6357421875\n", + "global step=32618496, episodic return=2116.941162109375\n", + "global step=32620544, episodic return=2154.469482421875\n", + "global step=32622592, episodic return=2111.343017578125\n", + "global step=32624640, episodic return=2140.676025390625\n", + "global step=32624640, episodic return=2126.45263671875\n", + "global step=32624640, episodic return=2125.098388671875\n", + "global step=32624640, episodic return=2118.415283203125\n", + "global step=32626688, episodic return=2110.234130859375\n", + "global step=32628736, episodic return=2113.92822265625\n", + "global step=32628736, episodic return=2076.648681640625\n", + "global step=32632832, episodic return=2106.657958984375\n", + "global step=32634880, episodic return=2126.09716796875\n", + "global step=32634880, episodic return=2113.807861328125\n", + "global step=32634880, episodic return=2139.408203125\n", + "global step=32636928, episodic return=2187.681884765625\n", + "global step=32638976, episodic return=2106.132080078125\n", + "global step=32638976, episodic return=2092.14697265625\n", + "global step=32638976, episodic return=2147.646240234375\n", + "global step=32638976, episodic return=1915.5797119140625\n", + "global step=32641024, episodic return=1184.48193359375\n", + "global step=32641024, episodic return=2174.09130859375\n", + "global step=32641024, episodic return=2120.308837890625\n", + "global step=32641024, episodic return=539.8148193359375\n", + "global step=32641024, episodic return=2123.880126953125\n", + "global step=32643072, episodic return=2078.613037109375\n", + "global step=32645120, episodic return=2019.815185546875\n", + "global step=32645120, episodic return=2155.734375\n", + "global step=32645120, episodic return=2149.467529296875\n", + "global step=32645120, episodic return=2132.21240234375\n", + "global step=32647168, episodic return=1962.3680419921875\n", + "global step=32647168, episodic return=1290.1558837890625\n", + "global step=32649216, episodic return=2122.274658203125\n", + "global step=32649216, episodic return=2095.610107421875\n", + "global step=32649216, episodic return=2112.53662109375\n", + "global step=32649216, episodic return=607.7135620117188\n", + "global step=32651264, episodic return=2122.04443359375\n", + "global step=32651264, episodic return=2123.079345703125\n", + "global step=32653312, episodic return=2110.71142578125\n", + "global step=32655360, episodic return=2152.4814453125\n", + "global step=32657408, episodic return=2127.88671875\n", + "global step=32657408, episodic return=2130.9375\n", + "global step=32657408, episodic return=2075.0908203125\n", + "global step=32659456, episodic return=576.9775390625\n", + "global step=32659456, episodic return=2084.5693359375\n", + "global step=32659456, episodic return=2111.725341796875\n", + "global step=32659456, episodic return=2128.949462890625\n", + "global step=32661504, episodic return=2142.009521484375\n", + "global step=32661504, episodic return=2145.038818359375\n", + "global step=32661504, episodic return=2119.0498046875\n", + "global step=32661504, episodic return=2113.66552734375\n", + "global step=32663552, episodic return=2059.71044921875\n", + "global step=32663552, episodic return=2113.33349609375\n", + "global step=32663552, episodic return=2115.2060546875\n", + "global step=32665600, episodic return=2127.071044921875\n", + "global step=32665600, episodic return=2115.863037109375\n", + "global step=32667648, episodic return=2130.0556640625\n", + "global step=32667648, episodic return=631.2595825195312\n", + "global step=32667648, episodic return=2082.6416015625\n", + "global step=32667648, episodic return=2014.9765625\n", + "global step=32669696, episodic return=2083.6259765625\n", + "global step=32671744, episodic return=2127.07763671875\n", + "global step=32671744, episodic return=2156.194091796875\n", + "global step=32673792, episodic return=676.5277099609375\n", + "global step=32673792, episodic return=2122.92333984375\n", + "global step=32675840, episodic return=961.400146484375\n", + "global step=32675840, episodic return=1757.92236328125\n", + "global step=32675840, episodic return=2052.41845703125\n", + "global step=32675840, episodic return=2003.356689453125\n", + "global step=32677888, episodic return=2147.846923828125\n", + "global step=32677888, episodic return=2129.962158203125\n", + "global step=32681984, episodic return=2133.215576171875\n", + "global step=32684032, episodic return=2163.90380859375\n", + "global step=32684032, episodic return=691.5780639648438\n", + "global step=32688128, episodic return=2073.218994140625\n", + "global step=32688128, episodic return=405.84600830078125\n", + "global step=32688128, episodic return=317.2381591796875\n", + "global step=32690176, episodic return=2122.435546875\n", + "global step=32690176, episodic return=274.84869384765625\n", + "global step=32692224, episodic return=2100.066650390625\n", + "global step=32692224, episodic return=2147.523193359375\n", + "global step=32694272, episodic return=2114.501220703125\n", + "global step=32696320, episodic return=762.0475463867188\n", + "global step=32696320, episodic return=2121.37255859375\n", + "global step=32696320, episodic return=2140.6123046875\n", + "global step=32698368, episodic return=2145.30078125\n", + "global step=32698368, episodic return=2121.014892578125\n", + "global step=32698368, episodic return=2163.3828125\n", + "global step=32700416, episodic return=2139.58203125\n", + "global step=32700416, episodic return=2134.839111328125\n", + "global step=32702464, episodic return=2143.106689453125\n", + "global step=32704512, episodic return=2117.367919921875\n", + "global step=32706560, episodic return=747.3319091796875\n", + "global step=32706560, episodic return=275.47088623046875\n", + "global step=32706560, episodic return=279.5377197265625\n", + "global step=32706560, episodic return=2106.918212890625\n", + "global step=32706560, episodic return=302.24249267578125\n", + "global step=32708608, episodic return=2145.0732421875\n", + "global step=32712704, episodic return=2153.560791015625\n", + "global step=32712704, episodic return=349.3119812011719\n", + "global step=32712704, episodic return=2139.881103515625\n", + "global step=32712704, episodic return=2123.498046875\n", + "global step=32714752, episodic return=2099.610107421875\n", + "global step=32714752, episodic return=2147.981201171875\n", + "global step=32714752, episodic return=564.2373657226562\n", + "global step=32714752, episodic return=2150.473388671875\n", + "global step=32714752, episodic return=2123.997802734375\n", + "global step=32716800, episodic return=2133.337890625\n", + "global step=32716800, episodic return=1344.1380615234375\n", + "global step=32718848, episodic return=2112.533935546875\n", + "global step=32718848, episodic return=2142.968017578125\n", + "global step=32718848, episodic return=2151.82177734375\n", + "global step=32718848, episodic return=2089.51611328125\n", + "global step=32718848, episodic return=2130.095947265625\n", + "global step=32718848, episodic return=2130.363037109375\n", + "global step=32720896, episodic return=2136.65478515625\n", + "global step=32720896, episodic return=2131.383544921875\n", + "global step=32722944, episodic return=2154.637939453125\n", + "global step=32722944, episodic return=1702.17626953125\n", + "global step=32724992, episodic return=2124.571044921875\n", + "global step=32724992, episodic return=2105.266357421875\n", + "global step=32724992, episodic return=394.2385559082031\n", + "global step=32724992, episodic return=2133.496337890625\n", + "global step=32727040, episodic return=661.8565673828125\n", + "global step=32729088, episodic return=2162.307861328125\n", + "global step=32729088, episodic return=2143.970458984375\n", + "global step=32729088, episodic return=2148.299072265625\n", + "global step=32731136, episodic return=2132.92138671875\n", + "global step=32731136, episodic return=619.087158203125\n", + "global step=32731136, episodic return=270.3918151855469\n", + "global step=32731136, episodic return=1649.075927734375\n", + "global step=32731136, episodic return=924.1307983398438\n", + "global step=32733184, episodic return=2155.91650390625\n", + "global step=32733184, episodic return=2127.267333984375\n", + "global step=32735232, episodic return=1367.657958984375\n", + "global step=32737280, episodic return=2127.314453125\n", + "global step=32737280, episodic return=321.3646545410156\n", + "global step=32739328, episodic return=547.4242553710938\n", + "global step=32739328, episodic return=2136.95849609375\n", + "global step=32739328, episodic return=2145.495849609375\n", + "global step=32739328, episodic return=2137.812255859375\n", + "global step=32743424, episodic return=2106.505859375\n", + "global step=32743424, episodic return=2133.510009765625\n", + "global step=32743424, episodic return=2134.2724609375\n", + "global step=32745472, episodic return=2088.677734375\n", + "global step=32745472, episodic return=2142.153076171875\n", + "global step=32745472, episodic return=2126.128173828125\n", + "global step=32745472, episodic return=2124.524169921875\n", + "global step=32747520, episodic return=296.6489562988281\n", + "global step=32747520, episodic return=2123.34716796875\n", + "global step=32749568, episodic return=2166.5029296875\n", + "global step=32749568, episodic return=2146.778564453125\n", + "global step=32749568, episodic return=944.4580688476562\n", + "global step=32749568, episodic return=2144.73876953125\n", + "global step=32751616, episodic return=2149.939453125\n", + "global step=32751616, episodic return=2145.58447265625\n", + "global step=32751616, episodic return=2132.97119140625\n", + "global step=32751616, episodic return=2131.290771484375\n", + "global step=32753664, episodic return=2137.3251953125\n", + "global step=32757760, episodic return=2141.447021484375\n", + "global step=32757760, episodic return=2151.344482421875\n", + "global step=32759808, episodic return=2134.394287109375\n", + "global step=32759808, episodic return=611.5845336914062\n", + "global step=32759808, episodic return=2146.063720703125\n", + "global step=32761856, episodic return=525.73681640625\n", + "global step=32763904, episodic return=615.5657348632812\n", + "global step=32763904, episodic return=2164.632080078125\n", + "global step=32763904, episodic return=2150.38232421875\n", + "global step=32763904, episodic return=185.0398712158203\n", + "global step=32768000, episodic return=583.539306640625\n", + "global step=32768000, episodic return=1774.4888916015625\n", + "global step=32770048, episodic return=2149.361328125\n", + "global step=32770048, episodic return=1483.8646240234375\n", + "global step=32772096, episodic return=2114.70166015625\n", + "global step=32774144, episodic return=875.0114135742188\n", + "global step=32774144, episodic return=2138.576416015625\n", + "global step=32776192, episodic return=2133.422607421875\n", + "global step=32776192, episodic return=2120.72265625\n", + "global step=32778240, episodic return=1721.23876953125\n", + "global step=32780288, episodic return=2121.2490234375\n", + "global step=32780288, episodic return=618.8644409179688\n", + "global step=32780288, episodic return=2145.0439453125\n", + "global step=32782336, episodic return=2132.608642578125\n", + "global step=32784384, episodic return=2133.599853515625\n", + "global step=32788480, episodic return=2165.91259765625\n", + "global step=32790528, episodic return=2139.58203125\n", + "global step=32792576, episodic return=2093.91357421875\n", + "global step=32794624, episodic return=2159.21337890625\n", + "global step=32794624, episodic return=2163.831298828125\n", + "global step=32794624, episodic return=2154.405517578125\n", + "global step=32794624, episodic return=2148.98046875\n", + "global step=32794624, episodic return=2077.330322265625\n", + "global step=32796672, episodic return=2152.59033203125\n", + "global step=32796672, episodic return=2134.968017578125\n", + "global step=32800768, episodic return=936.6183471679688\n", + "global step=32800768, episodic return=2124.554931640625\n", + "global step=32802816, episodic return=601.9938354492188\n", + "global step=32804864, episodic return=2131.90185546875\n", + "global step=32804864, episodic return=2166.60107421875\n", + "global step=32804864, episodic return=2135.55126953125\n", + "global step=32804864, episodic return=2159.865478515625\n", + "global step=32806912, episodic return=2150.847900390625\n", + "global step=32806912, episodic return=2132.588623046875\n", + "global step=32808960, episodic return=2147.578125\n", + "global step=32808960, episodic return=2107.4951171875\n", + "global step=32811008, episodic return=2116.37158203125\n", + "global step=32815104, episodic return=2132.973388671875\n", + "global step=32817152, episodic return=2159.142333984375\n", + "global step=32817152, episodic return=2139.049072265625\n", + "global step=32817152, episodic return=2136.4248046875\n", + "global step=32819200, episodic return=839.8953247070312\n", + "global step=32819200, episodic return=2154.836181640625\n", + "global step=32819200, episodic return=2130.4208984375\n", + "global step=32821248, episodic return=2102.298095703125\n", + "global step=32823296, episodic return=897.9652099609375\n", + "global step=32827392, episodic return=2158.51953125\n", + "global step=32829440, episodic return=2152.966796875\n", + "global step=32831488, episodic return=632.2299194335938\n", + "global step=32831488, episodic return=2171.878173828125\n", + "global step=32833536, episodic return=650.880126953125\n", + "global step=32833536, episodic return=2141.791015625\n", + "global step=32833536, episodic return=2146.43994140625\n", + "global step=32835584, episodic return=2142.792724609375\n", + "global step=32835584, episodic return=2105.40966796875\n", + "global step=32835584, episodic return=2148.258544921875\n", + "global step=32835584, episodic return=2075.279541015625\n", + "global step=32837632, episodic return=2158.574462890625\n", + "global step=32839680, episodic return=754.3984985351562\n", + "global step=32839680, episodic return=2071.72998046875\n", + "global step=32839680, episodic return=944.2388305664062\n", + "global step=32841728, episodic return=2120.693603515625\n", + "global step=32843776, episodic return=2135.29833984375\n", + "global step=32843776, episodic return=2158.65185546875\n", + "global step=32845824, episodic return=2105.013427734375\n", + "global step=32845824, episodic return=2099.6845703125\n", + "global step=32845824, episodic return=2115.370361328125\n", + "global step=32845824, episodic return=2112.135498046875\n", + "global step=32849920, episodic return=2132.10498046875\n", + "global step=32851968, episodic return=2152.548095703125\n", + "global step=32854016, episodic return=2152.50927734375\n", + "global step=32854016, episodic return=2126.33740234375\n", + "global step=32856064, episodic return=2134.34912109375\n", + "global step=32858112, episodic return=2137.92578125\n", + "global step=32858112, episodic return=2139.8623046875\n", + "global step=32858112, episodic return=2147.35205078125\n", + "global step=32860160, episodic return=2107.15234375\n", + "global step=32862208, episodic return=2142.8037109375\n", + "global step=32862208, episodic return=2145.656982421875\n", + "global step=32864256, episodic return=2154.517822265625\n", + "global step=32866304, episodic return=2109.459228515625\n", + "global step=32866304, episodic return=2149.891845703125\n", + "global step=32868352, episodic return=2161.220947265625\n", + "global step=32868352, episodic return=2138.55322265625\n", + "global step=32872448, episodic return=2147.635498046875\n", + "global step=32872448, episodic return=2077.971923828125\n", + "global step=32878592, episodic return=2148.28173828125\n", + "global step=32882688, episodic return=2182.426513671875\n", + "global step=32882688, episodic return=2133.33984375\n", + "global step=32882688, episodic return=904.182861328125\n", + "global step=32882688, episodic return=777.7781982421875\n", + "global step=32884736, episodic return=528.836181640625\n", + "global step=32884736, episodic return=2045.35302734375\n", + "global step=32886784, episodic return=2121.88134765625\n", + "global step=32886784, episodic return=2155.546875\n", + "global step=32888832, episodic return=794.6203002929688\n", + "global step=32890880, episodic return=2174.652587890625\n", + "global step=32890880, episodic return=2155.626708984375\n", + "global step=32890880, episodic return=2096.256103515625\n", + "global step=32890880, episodic return=2149.7314453125\n", + "global step=32890880, episodic return=2128.255859375\n", + "global step=32890880, episodic return=586.0634155273438\n", + "global step=32892928, episodic return=607.6228637695312\n", + "global step=32894976, episodic return=441.6448059082031\n", + "global step=32897024, episodic return=2107.93212890625\n", + "global step=32897024, episodic return=753.41650390625\n", + "global step=32901120, episodic return=2131.9755859375\n", + "global step=32901120, episodic return=2158.115234375\n", + "global step=32905216, episodic return=2112.44091796875\n", + "global step=32905216, episodic return=812.2265014648438\n", + "global step=32907264, episodic return=355.5748596191406\n", + "global step=32909312, episodic return=2152.852783203125\n", + "global step=32909312, episodic return=2112.63916015625\n", + "global step=32917504, episodic return=2161.37060546875\n", + "global step=32917504, episodic return=2135.260009765625\n", + "global step=32923648, episodic return=76.87272644042969\n", + "global step=32927744, episodic return=2113.491455078125\n", + "global step=32927744, episodic return=2117.5419921875\n", + "global step=32927744, episodic return=2128.745849609375\n", + "global step=32927744, episodic return=2148.849365234375\n", + "global step=32927744, episodic return=2122.54736328125\n", + "global step=32931840, episodic return=1341.2276611328125\n", + "global step=32931840, episodic return=2129.65625\n", + "global step=32933888, episodic return=2087.581787109375\n", + "global step=32933888, episodic return=2149.984130859375\n", + "global step=32937984, episodic return=1272.48876953125\n", + "global step=32940032, episodic return=2110.940673828125\n", + "global step=32940032, episodic return=2129.58056640625\n", + "global step=32944128, episodic return=909.3407592773438\n", + "global step=32946176, episodic return=2122.519775390625\n", + "global step=32946176, episodic return=1371.0289306640625\n", + "global step=32948224, episodic return=2102.732666015625\n", + "global step=32948224, episodic return=2124.211181640625\n", + "global step=32950272, episodic return=2116.458740234375\n", + "global step=32950272, episodic return=2139.9072265625\n", + "global step=32952320, episodic return=2118.855712890625\n", + "global step=32952320, episodic return=2123.53759765625\n", + "global step=32954368, episodic return=754.7864990234375\n", + "global step=32956416, episodic return=753.7210083007812\n", + "global step=32958464, episodic return=2121.998291015625\n", + "global step=32958464, episodic return=481.98150634765625\n", + "global step=32958464, episodic return=1147.67919921875\n", + "global step=32960512, episodic return=2137.876708984375\n", + "global step=32962560, episodic return=2156.47412109375\n", + "global step=32962560, episodic return=863.28369140625\n", + "global step=32970752, episodic return=2108.629150390625\n", + "global step=32974848, episodic return=2105.876953125\n", + "global step=32976896, episodic return=2133.18896484375\n", + "global step=32976896, episodic return=2144.37255859375\n", + "global step=32976896, episodic return=2148.97705078125\n", + "global step=32976896, episodic return=2143.760009765625\n", + "global step=32978944, episodic return=547.3729858398438\n", + "global step=32983040, episodic return=880.84326171875\n", + "global step=32983040, episodic return=2174.599365234375\n", + "global step=32983040, episodic return=2121.313720703125\n", + "global step=32985088, episodic return=547.34521484375\n", + "global step=32987136, episodic return=2112.645263671875\n", + "global step=32987136, episodic return=829.4340209960938\n", + "global step=32987136, episodic return=2117.083740234375\n", + "global step=32987136, episodic return=2125.974853515625\n", + "global step=32987136, episodic return=2143.9833984375\n", + "global step=32989184, episodic return=2123.12890625\n", + "global step=32991232, episodic return=2147.699951171875\n", + "global step=32991232, episodic return=2136.376708984375\n", + "global step=32991232, episodic return=2142.841064453125\n", + "global step=32993280, episodic return=2156.059326171875\n", + "global step=32995328, episodic return=2123.79296875\n", + "global step=32995328, episodic return=2164.510009765625\n", + "global step=32997376, episodic return=2141.7880859375\n", + "global step=32997376, episodic return=736.8159790039062\n", + "global step=32999424, episodic return=2101.593505859375\n", + "global step=32999424, episodic return=2131.667724609375\n", + "global step=33001472, episodic return=2141.71435546875\n", + "global step=33001472, episodic return=2150.423095703125\n", + "global step=33003520, episodic return=2102.1806640625\n", + "global step=33007616, episodic return=978.8480834960938\n", + "global step=33007616, episodic return=2141.087890625\n", + "global step=33007616, episodic return=2090.288818359375\n", + "global step=33009664, episodic return=1746.3721923828125\n", + "global step=33017856, episodic return=2158.387451171875\n", + "global step=33017856, episodic return=2123.1796875\n", + "global step=33021952, episodic return=2158.59228515625\n", + "global step=33021952, episodic return=2081.965087890625\n", + "global step=33024000, episodic return=1015.6035766601562\n", + "global step=33024000, episodic return=2140.536376953125\n", + "global step=33024000, episodic return=2113.072998046875\n", + "global step=33026048, episodic return=2130.08935546875\n", + "global step=33028096, episodic return=2142.41064453125\n", + "global step=33028096, episodic return=2118.35205078125\n", + "global step=33028096, episodic return=800.0481567382812\n", + "global step=33030144, episodic return=2133.58251953125\n", + "global step=33032192, episodic return=2063.821533203125\n", + "global step=33032192, episodic return=2085.106689453125\n", + "global step=33038336, episodic return=604.0927124023438\n", + "global step=33040384, episodic return=2086.757080078125\n", + "global step=33044480, episodic return=2123.83251953125\n", + "global step=33044480, episodic return=2143.271728515625\n", + "global step=33044480, episodic return=2128.886474609375\n", + "global step=33046528, episodic return=2165.506103515625\n", + "global step=33046528, episodic return=2117.1611328125\n", + "global step=33056768, episodic return=1094.14599609375\n", + "global step=33056768, episodic return=2138.733642578125\n", + "global step=33058816, episodic return=913.8818359375\n", + "global step=33060864, episodic return=2153.709228515625\n", + "global step=33064960, episodic return=459.53411865234375\n", + "global step=33069056, episodic return=2112.880859375\n", + "global step=33071104, episodic return=2121.721923828125\n", + "global step=33081344, episodic return=2127.243408203125\n", + "global step=33081344, episodic return=2103.669189453125\n", + "global step=33083392, episodic return=2160.37841796875\n", + "global step=33083392, episodic return=2152.8251953125\n", + "global step=33083392, episodic return=2155.777099609375\n", + "global step=33087488, episodic return=2157.87353515625\n", + "global step=33089536, episodic return=580.8060302734375\n", + "global step=33089536, episodic return=2163.197509765625\n", + "global step=33089536, episodic return=2170.311279296875\n", + "global step=33091584, episodic return=750.9414672851562\n", + "global step=33091584, episodic return=630.0179443359375\n", + "global step=33093632, episodic return=2139.408447265625\n", + "global step=33093632, episodic return=1005.2666625976562\n", + "global step=33097728, episodic return=1325.2449951171875\n", + "global step=33097728, episodic return=2123.1591796875\n", + "global step=33099776, episodic return=2109.10205078125\n", + "global step=33099776, episodic return=2097.991943359375\n", + "global step=33101824, episodic return=2151.4736328125\n", + "global step=33103872, episodic return=2100.332763671875\n", + "global step=33103872, episodic return=2145.269287109375\n", + "global step=33110016, episodic return=2129.254150390625\n", + "global step=33112064, episodic return=2145.7373046875\n", + "global step=33112064, episodic return=2156.9833984375\n", + "global step=33112064, episodic return=2156.30126953125\n", + "global step=33112064, episodic return=2090.028076171875\n", + "global step=33114112, episodic return=2155.9921875\n", + "global step=33116160, episodic return=2122.484619140625\n", + "global step=33116160, episodic return=2155.41455078125\n", + "global step=33116160, episodic return=1048.329833984375\n", + "global step=33116160, episodic return=2144.534912109375\n", + "global step=33118208, episodic return=2147.81298828125\n", + "global step=33118208, episodic return=2149.55419921875\n", + "global step=33118208, episodic return=2150.40478515625\n", + "global step=33120256, episodic return=2112.59716796875\n", + "global step=33122304, episodic return=2125.741943359375\n", + "global step=33122304, episodic return=2059.176025390625\n", + "global step=33122304, episodic return=2120.89453125\n", + "global step=33124352, episodic return=2141.364501953125\n", + "global step=33124352, episodic return=2048.14013671875\n", + "global step=33132544, episodic return=2117.89306640625\n", + "global step=33132544, episodic return=2128.107666015625\n", + "global step=33132544, episodic return=2101.974609375\n", + "global step=33136640, episodic return=2170.427001953125\n", + "global step=33136640, episodic return=2143.505859375\n", + "global step=33136640, episodic return=2135.679443359375\n", + "global step=33140736, episodic return=852.29052734375\n", + "global step=33140736, episodic return=588.4061889648438\n", + "global step=33140736, episodic return=2116.710693359375\n", + "global step=33142784, episodic return=2130.84912109375\n", + "global step=33144832, episodic return=2142.06201171875\n", + "global step=33146880, episodic return=2121.466064453125\n", + "global step=33146880, episodic return=2120.059326171875\n", + "global step=33148928, episodic return=2126.12060546875\n", + "global step=33150976, episodic return=2127.023681640625\n", + "global step=33150976, episodic return=2159.81884765625\n", + "global step=33150976, episodic return=2151.2939453125\n", + "global step=33153024, episodic return=278.6017150878906\n", + "global step=33153024, episodic return=2112.453369140625\n", + "global step=33157120, episodic return=1245.98974609375\n", + "global step=33159168, episodic return=2167.5185546875\n", + "global step=33159168, episodic return=2144.4296875\n", + "global step=33161216, episodic return=2131.70263671875\n", + "global step=33163264, episodic return=199.61497497558594\n", + "global step=33165312, episodic return=2154.588623046875\n", + "global step=33165312, episodic return=2160.344970703125\n", + "global step=33167360, episodic return=618.6863403320312\n", + "global step=33167360, episodic return=2109.484375\n", + "global step=33171456, episodic return=2141.297607421875\n", + "global step=33171456, episodic return=2145.645263671875\n", + "global step=33173504, episodic return=2146.586669921875\n", + "global step=33173504, episodic return=2124.031005859375\n", + "global step=33173504, episodic return=392.52069091796875\n", + "global step=33175552, episodic return=475.88922119140625\n", + "global step=33175552, episodic return=2140.626220703125\n", + "global step=33177600, episodic return=2151.5009765625\n", + "global step=33181696, episodic return=201.8516082763672\n", + "global step=33181696, episodic return=2145.47705078125\n", + "global step=33183744, episodic return=2136.828369140625\n", + "global step=33185792, episodic return=2128.860107421875\n", + "global step=33187840, episodic return=2149.256591796875\n", + "global step=33189888, episodic return=2154.53857421875\n", + "global step=33189888, episodic return=2141.30078125\n", + "global step=33189888, episodic return=2130.904052734375\n", + "global step=33193984, episodic return=2154.57080078125\n", + "global step=33196032, episodic return=2138.9775390625\n", + "global step=33198080, episodic return=2110.754638671875\n", + "global step=33200128, episodic return=2149.408935546875\n", + "global step=33200128, episodic return=2130.53955078125\n", + "global step=33200128, episodic return=2149.504150390625\n", + "global step=33202176, episodic return=2141.447021484375\n", + "global step=33202176, episodic return=2165.048095703125\n", + "global step=33204224, episodic return=647.8939819335938\n", + "global step=33206272, episodic return=2103.648193359375\n", + "global step=33210368, episodic return=2144.01513671875\n", + "global step=33212416, episodic return=2148.43896484375\n", + "global step=33212416, episodic return=2119.055419921875\n", + "global step=33212416, episodic return=2145.312255859375\n", + "global step=33212416, episodic return=2175.875732421875\n", + "global step=33214464, episodic return=2119.205078125\n", + "global step=33214464, episodic return=2136.516357421875\n", + "global step=33214464, episodic return=2136.753173828125\n", + "global step=33214464, episodic return=2100.240966796875\n", + "global step=33216512, episodic return=2135.278564453125\n", + "global step=33216512, episodic return=2136.07080078125\n", + "global step=33218560, episodic return=2136.69970703125\n", + "global step=33220608, episodic return=2140.19091796875\n", + "global step=33220608, episodic return=2140.301513671875\n", + "global step=33222656, episodic return=2163.801513671875\n", + "global step=33222656, episodic return=2150.800048828125\n", + "global step=33222656, episodic return=2153.250732421875\n", + "global step=33222656, episodic return=2109.48974609375\n", + "global step=33222656, episodic return=2140.5986328125\n", + "global step=33224704, episodic return=2102.091796875\n", + "global step=33224704, episodic return=196.39523315429688\n", + "global step=33226752, episodic return=2155.828369140625\n", + "global step=33226752, episodic return=2128.52734375\n", + "global step=33228800, episodic return=2124.908203125\n", + "global step=33228800, episodic return=2114.60009765625\n", + "global step=33230848, episodic return=2133.515869140625\n", + "global step=33230848, episodic return=2132.538330078125\n", + "global step=33230848, episodic return=2132.082275390625\n", + "global step=33230848, episodic return=2143.65966796875\n", + "global step=33230848, episodic return=2130.017578125\n", + "global step=33232896, episodic return=2163.778076171875\n", + "global step=33234944, episodic return=2112.83642578125\n", + "global step=33234944, episodic return=2172.272705078125\n", + "global step=33234944, episodic return=2119.477294921875\n", + "global step=33236992, episodic return=2156.144287109375\n", + "global step=33239040, episodic return=2127.10107421875\n", + "global step=33239040, episodic return=2095.51123046875\n", + "global step=33245184, episodic return=2109.010009765625\n", + "global step=33245184, episodic return=950.7515258789062\n", + "global step=33245184, episodic return=973.2991333007812\n", + "global step=33245184, episodic return=2157.733154296875\n", + "global step=33251328, episodic return=2164.19921875\n", + "global step=33251328, episodic return=473.2886962890625\n", + "global step=33253376, episodic return=466.1513366699219\n", + "global step=33253376, episodic return=2109.405517578125\n", + "global step=33253376, episodic return=2140.250244140625\n", + "global step=33255424, episodic return=2157.61962890625\n", + "global step=33255424, episodic return=2103.415283203125\n", + "global step=33257472, episodic return=2137.740966796875\n", + "global step=33261568, episodic return=2147.465087890625\n", + "global step=33261568, episodic return=2166.231689453125\n", + "global step=33263616, episodic return=2136.4130859375\n", + "global step=33263616, episodic return=2106.947265625\n", + "global step=33263616, episodic return=2124.54931640625\n", + "global step=33263616, episodic return=2135.717041015625\n", + "global step=33265664, episodic return=2119.3818359375\n", + "global step=33269760, episodic return=2167.92236328125\n", + "global step=33269760, episodic return=2174.305908203125\n", + "global step=33269760, episodic return=2104.55126953125\n", + "global step=33271808, episodic return=1582.45947265625\n", + "global step=33273856, episodic return=2157.347900390625\n", + "global step=33275904, episodic return=2149.391845703125\n", + "global step=33275904, episodic return=2086.041259765625\n", + "global step=33275904, episodic return=2147.841796875\n", + "global step=33275904, episodic return=2148.603515625\n", + "global step=33275904, episodic return=2154.81201171875\n", + "global step=33275904, episodic return=2133.709716796875\n", + "global step=33280000, episodic return=1014.1535034179688\n", + "global step=33280000, episodic return=2099.1337890625\n", + "global step=33280000, episodic return=2179.885009765625\n", + "global step=33280000, episodic return=2141.71728515625\n", + "global step=33284096, episodic return=2150.408203125\n", + "global step=33286144, episodic return=2128.083740234375\n", + "global step=33286144, episodic return=650.17431640625\n", + "global step=33288192, episodic return=2137.01025390625\n", + "global step=33290240, episodic return=450.4319763183594\n", + "global step=33290240, episodic return=2126.062744140625\n", + "global step=33292288, episodic return=2162.534912109375\n", + "global step=33294336, episodic return=2124.7783203125\n", + "global step=33294336, episodic return=2141.194580078125\n", + "global step=33296384, episodic return=2142.6064453125\n", + "global step=33296384, episodic return=2128.606201171875\n", + "global step=33296384, episodic return=2102.02294921875\n", + "global step=33298432, episodic return=2165.937255859375\n", + "global step=33298432, episodic return=2131.309326171875\n", + "global step=33298432, episodic return=430.04742431640625\n", + "global step=33300480, episodic return=2088.64892578125\n", + "global step=33300480, episodic return=1198.182373046875\n", + "global step=33300480, episodic return=2164.611572265625\n", + "global step=33304576, episodic return=2118.624755859375\n", + "global step=33304576, episodic return=2148.489013671875\n", + "global step=33304576, episodic return=2162.529296875\n", + "global step=33306624, episodic return=1350.762451171875\n", + "global step=33306624, episodic return=2171.430908203125\n", + "global step=33310720, episodic return=1184.81396484375\n", + "global step=33312768, episodic return=2153.98583984375\n", + "global step=33314816, episodic return=2140.6044921875\n", + "global step=33318912, episodic return=881.4907836914062\n", + "global step=33318912, episodic return=2097.98583984375\n", + "global step=33320960, episodic return=2129.143798828125\n", + "global step=33320960, episodic return=2112.571533203125\n", + "global step=33320960, episodic return=2146.6513671875\n", + "global step=33320960, episodic return=2134.015869140625\n", + "global step=33320960, episodic return=2135.636962890625\n", + "global step=33323008, episodic return=743.2590942382812\n", + "global step=33325056, episodic return=2116.695556640625\n", + "global step=33327104, episodic return=1078.0020751953125\n", + "global step=33327104, episodic return=2149.474853515625\n", + "global step=33327104, episodic return=2112.08447265625\n", + "global step=33327104, episodic return=2149.339599609375\n", + "global step=33331200, episodic return=579.626953125\n", + "global step=33335296, episodic return=2116.308349609375\n", + "global step=33335296, episodic return=2109.620361328125\n", + "global step=33335296, episodic return=2107.55517578125\n", + "global step=33337344, episodic return=2180.681396484375\n", + "global step=33337344, episodic return=2130.382080078125\n", + "global step=33337344, episodic return=1141.48486328125\n", + "global step=33337344, episodic return=2114.670166015625\n", + "global step=33337344, episodic return=876.8841552734375\n", + "global step=33339392, episodic return=2123.674560546875\n", + "global step=33339392, episodic return=2112.899169921875\n", + "global step=33341440, episodic return=1068.0272216796875\n", + "global step=33341440, episodic return=2122.149169921875\n", + "global step=33343488, episodic return=2158.650390625\n", + "global step=33343488, episodic return=2172.9892578125\n", + "global step=33345536, episodic return=2165.667724609375\n", + "global step=33345536, episodic return=2104.390625\n", + "global step=33347584, episodic return=2177.215087890625\n", + "global step=33349632, episodic return=2118.27783203125\n", + "global step=33351680, episodic return=2154.529541015625\n", + "global step=33355776, episodic return=2137.797119140625\n", + "global step=33357824, episodic return=1482.25927734375\n", + "global step=33359872, episodic return=1019.1425170898438\n", + "global step=33359872, episodic return=2100.888427734375\n", + "global step=33361920, episodic return=2106.5224609375\n", + "global step=33363968, episodic return=2160.115966796875\n", + "global step=33363968, episodic return=1245.2958984375\n", + "global step=33366016, episodic return=2174.820556640625\n", + "global step=33366016, episodic return=2165.669921875\n", + "global step=33366016, episodic return=2155.7421875\n", + "global step=33366016, episodic return=2140.550048828125\n", + "global step=33368064, episodic return=2126.114013671875\n", + "global step=33368064, episodic return=1208.3292236328125\n", + "global step=33368064, episodic return=2149.675537109375\n", + "global step=33370112, episodic return=2153.83251953125\n", + "global step=33372160, episodic return=2138.010498046875\n", + "global step=33372160, episodic return=2147.24072265625\n", + "global step=33374208, episodic return=2125.7734375\n", + "global step=33380352, episodic return=2171.05908203125\n", + "global step=33380352, episodic return=2155.3232421875\n", + "global step=33382400, episodic return=2122.13720703125\n", + "global step=33382400, episodic return=2127.278076171875\n", + "global step=33384448, episodic return=2138.57568359375\n", + "global step=33384448, episodic return=2139.94775390625\n", + "global step=33384448, episodic return=2103.826171875\n", + "global step=33386496, episodic return=2161.548095703125\n", + "global step=33386496, episodic return=2154.50146484375\n", + "global step=33386496, episodic return=971.8067626953125\n", + "global step=33386496, episodic return=2155.3125\n", + "global step=33388544, episodic return=2138.497802734375\n", + "global step=33390592, episodic return=1107.8975830078125\n", + "global step=33394688, episodic return=2105.78173828125\n", + "global step=33396736, episodic return=2173.24462890625\n", + "global step=33396736, episodic return=2117.319580078125\n", + "global step=33398784, episodic return=2119.075439453125\n", + "global step=33398784, episodic return=2136.451904296875\n", + "global step=33398784, episodic return=700.93310546875\n", + "global step=33398784, episodic return=1094.40576171875\n", + "global step=33400832, episodic return=2137.7109375\n", + "global step=33400832, episodic return=2124.844482421875\n", + "global step=33400832, episodic return=1100.8526611328125\n", + "global step=33406976, episodic return=2122.30078125\n", + "global step=33411072, episodic return=2131.504150390625\n", + "global step=33411072, episodic return=2139.74853515625\n", + "global step=33415168, episodic return=1420.1312255859375\n", + "global step=33417216, episodic return=2093.27734375\n", + "global step=33417216, episodic return=2130.11376953125\n", + "global step=33417216, episodic return=347.7956237792969\n", + "global step=33417216, episodic return=2138.53515625\n", + "global step=33417216, episodic return=2138.66259765625\n", + "global step=33419264, episodic return=1895.90478515625\n", + "global step=33421312, episodic return=2157.786865234375\n", + "global step=33421312, episodic return=1368.9989013671875\n", + "global step=33421312, episodic return=2156.99169921875\n", + "global step=33421312, episodic return=2097.7841796875\n", + "global step=33423360, episodic return=2121.9482421875\n", + "global step=33425408, episodic return=2122.664794921875\n", + "global step=33425408, episodic return=2116.6044921875\n", + "global step=33427456, episodic return=2145.581787109375\n", + "global step=33429504, episodic return=2151.438232421875\n", + "global step=33431552, episodic return=373.22149658203125\n", + "global step=33433600, episodic return=2087.069580078125\n", + "global step=33433600, episodic return=2130.779296875\n", + "global step=33433600, episodic return=1535.18798828125\n", + "global step=33437696, episodic return=2134.650634765625\n", + "global step=33437696, episodic return=2134.82275390625\n", + "global step=33439744, episodic return=891.1875610351562\n", + "global step=33439744, episodic return=2155.52783203125\n", + "global step=33441792, episodic return=621.2384033203125\n", + "global step=33441792, episodic return=2145.013916015625\n", + "global step=33441792, episodic return=2136.53759765625\n", + "global step=33441792, episodic return=1888.579345703125\n", + "global step=33445888, episodic return=2127.767822265625\n", + "global step=33447936, episodic return=2136.70703125\n", + "global step=33458176, episodic return=204.67906188964844\n", + "global step=33458176, episodic return=1345.741943359375\n", + "global step=33460224, episodic return=2146.994873046875\n", + "global step=33460224, episodic return=2143.55859375\n", + "global step=33462272, episodic return=2098.0888671875\n", + "global step=33464320, episodic return=2155.771728515625\n", + "global step=33464320, episodic return=2084.505859375\n", + "global step=33464320, episodic return=2197.211181640625\n", + "global step=33466368, episodic return=2134.332763671875\n", + "global step=33466368, episodic return=2148.08349609375\n", + "global step=33466368, episodic return=2121.788330078125\n", + "global step=33468416, episodic return=2153.13818359375\n", + "global step=33468416, episodic return=2131.499267578125\n", + "global step=33470464, episodic return=2142.605712890625\n", + "global step=33470464, episodic return=1205.496337890625\n", + "global step=33470464, episodic return=2112.88134765625\n", + "global step=33470464, episodic return=2102.85302734375\n", + "global step=33472512, episodic return=931.285400390625\n", + "global step=33474560, episodic return=1349.559814453125\n", + "global step=33476608, episodic return=2134.67529296875\n", + "global step=33476608, episodic return=214.39500427246094\n", + "global step=33476608, episodic return=2011.1630859375\n", + "global step=33476608, episodic return=2150.041015625\n", + "global step=33476608, episodic return=1930.99560546875\n", + "global step=33478656, episodic return=2140.3447265625\n", + "global step=33478656, episodic return=922.4374389648438\n", + "global step=33478656, episodic return=2126.454345703125\n", + "global step=33480704, episodic return=597.0608520507812\n", + "global step=33480704, episodic return=2144.410888671875\n", + "global step=33480704, episodic return=2162.081787109375\n", + "global step=33482752, episodic return=2162.95947265625\n", + "global step=33482752, episodic return=2087.81494140625\n", + "global step=33484800, episodic return=2141.982666015625\n", + "global step=33488896, episodic return=461.934326171875\n", + "global step=33488896, episodic return=2114.78662109375\n", + "global step=33488896, episodic return=2123.8486328125\n", + "global step=33492992, episodic return=2157.898681640625\n", + "global step=33497088, episodic return=692.8961791992188\n", + "global step=33497088, episodic return=943.16259765625\n", + "global step=33499136, episodic return=614.0368041992188\n", + "global step=33499136, episodic return=1102.5582275390625\n", + "global step=33501184, episodic return=2121.699951171875\n", + "global step=33503232, episodic return=904.7612915039062\n", + "global step=33503232, episodic return=2082.41259765625\n", + "global step=33505280, episodic return=2181.76416015625\n", + "global step=33505280, episodic return=1568.930419921875\n", + "global step=33507328, episodic return=2145.2802734375\n", + "global step=33507328, episodic return=2137.03125\n", + "global step=33507328, episodic return=2123.948974609375\n", + "global step=33511424, episodic return=2134.284912109375\n", + "global step=33511424, episodic return=1619.9622802734375\n", + "global step=33511424, episodic return=2088.314453125\n", + "global step=33513472, episodic return=2116.835205078125\n", + "global step=33513472, episodic return=2127.76171875\n", + "global step=33519616, episodic return=2149.22998046875\n", + "global step=33519616, episodic return=2136.215087890625\n", + "global step=33519616, episodic return=2095.0107421875\n", + "global step=33519616, episodic return=2136.048583984375\n", + "global step=33521664, episodic return=2140.740234375\n", + "global step=33525760, episodic return=2120.825927734375\n", + "global step=33525760, episodic return=2136.544677734375\n", + "global step=33525760, episodic return=2123.699462890625\n", + "global step=33527808, episodic return=2137.61962890625\n", + "global step=33529856, episodic return=871.3594360351562\n", + "global step=33531904, episodic return=749.8264770507812\n", + "global step=33531904, episodic return=2133.651611328125\n", + "global step=33533952, episodic return=2122.92578125\n", + "global step=33536000, episodic return=2119.25244140625\n", + "global step=33538048, episodic return=2146.567626953125\n", + "global step=33540096, episodic return=192.34974670410156\n", + "global step=33542144, episodic return=2087.684814453125\n", + "global step=33542144, episodic return=622.9766845703125\n", + "global step=33544192, episodic return=2112.709228515625\n", + "global step=33544192, episodic return=2150.887451171875\n", + "global step=33546240, episodic return=2115.027099609375\n", + "global step=33546240, episodic return=2124.0966796875\n", + "global step=33546240, episodic return=2127.726806640625\n", + "global step=33548288, episodic return=1211.071533203125\n", + "global step=33548288, episodic return=2141.370849609375\n", + "global step=33548288, episodic return=2156.305908203125\n", + "global step=33548288, episodic return=597.6925659179688\n", + "global step=33552384, episodic return=716.7723388671875\n", + "global step=33552384, episodic return=2112.476318359375\n", + "global step=33554432, episodic return=1009.153564453125\n", + "global step=33554432, episodic return=2144.764892578125\n", + "global step=33558528, episodic return=2141.793701171875\n", + "global step=33564672, episodic return=2120.34619140625\n", + "global step=33564672, episodic return=2136.150634765625\n", + "global step=33564672, episodic return=2124.16552734375\n", + "global step=33566720, episodic return=1368.1273193359375\n", + "global step=33566720, episodic return=2123.682861328125\n", + "global step=33568768, episodic return=2143.047119140625\n", + "global step=33572864, episodic return=2167.68115234375\n", + "global step=33572864, episodic return=1518.5035400390625\n", + "global step=33574912, episodic return=2135.1728515625\n", + "global step=33574912, episodic return=2126.393798828125\n", + "global step=33574912, episodic return=1214.303466796875\n", + "global step=33579008, episodic return=2175.2783203125\n", + "global step=33579008, episodic return=245.6949005126953\n", + "global step=33579008, episodic return=2147.2626953125\n", + "global step=33579008, episodic return=2089.18701171875\n", + "global step=33581056, episodic return=2136.86328125\n", + "global step=33581056, episodic return=2120.9140625\n", + "global step=33581056, episodic return=268.0557556152344\n", + "global step=33583104, episodic return=2139.421630859375\n", + "global step=33583104, episodic return=2155.9609375\n", + "global step=33585152, episodic return=2155.095703125\n", + "global step=33585152, episodic return=2114.861083984375\n", + "global step=33585152, episodic return=2153.96875\n", + "global step=33587200, episodic return=1574.1318359375\n", + "global step=33587200, episodic return=2163.535400390625\n", + "global step=33589248, episodic return=2116.91796875\n", + "global step=33591296, episodic return=2123.19580078125\n", + "global step=33593344, episodic return=2166.89111328125\n", + "global step=33593344, episodic return=1047.0560302734375\n", + "global step=33593344, episodic return=2150.085693359375\n", + "global step=33597440, episodic return=2120.528564453125\n", + "global step=33601536, episodic return=2172.985107421875\n", + "global step=33601536, episodic return=2117.173583984375\n", + "global step=33601536, episodic return=2139.252685546875\n", + "global step=33603584, episodic return=2129.231689453125\n", + "global step=33607680, episodic return=2071.05908203125\n", + "global step=33607680, episodic return=2142.2548828125\n", + "global step=33607680, episodic return=1042.443115234375\n", + "global step=33609728, episodic return=2156.83056640625\n", + "global step=33609728, episodic return=1201.222900390625\n", + "global step=33609728, episodic return=2148.79345703125\n", + "global step=33611776, episodic return=2153.692138671875\n", + "global step=33613824, episodic return=2146.006103515625\n", + "global step=33613824, episodic return=2144.378173828125\n", + "global step=33619968, episodic return=2072.628173828125\n", + "global step=33626112, episodic return=2153.3359375\n", + "global step=33626112, episodic return=2128.74755859375\n", + "global step=33628160, episodic return=2146.1591796875\n", + "global step=33630208, episodic return=2100.311279296875\n", + "global step=33632256, episodic return=2134.640625\n", + "global step=33632256, episodic return=2160.0244140625\n", + "global step=33634304, episodic return=2146.77294921875\n", + "global step=33636352, episodic return=2122.282470703125\n", + "global step=33636352, episodic return=2150.572509765625\n", + "global step=33636352, episodic return=2156.11767578125\n", + "global step=33636352, episodic return=2116.16552734375\n", + "global step=33636352, episodic return=2137.852294921875\n", + "global step=33636352, episodic return=2063.089111328125\n", + "global step=33638400, episodic return=2168.108154296875\n", + "global step=33638400, episodic return=2118.12939453125\n", + "global step=33642496, episodic return=2090.143310546875\n", + "global step=33642496, episodic return=2081.32470703125\n", + "global step=33642496, episodic return=2147.735595703125\n", + "global step=33646592, episodic return=2134.9150390625\n", + "global step=33646592, episodic return=1567.607666015625\n", + "global step=33646592, episodic return=2137.212158203125\n", + "global step=33646592, episodic return=2141.0634765625\n", + "global step=33648640, episodic return=2148.71142578125\n", + "global step=33648640, episodic return=2150.94677734375\n", + "global step=33648640, episodic return=2135.66748046875\n", + "global step=33650688, episodic return=2121.045654296875\n", + "global step=33650688, episodic return=2151.479248046875\n", + "global step=33650688, episodic return=561.820068359375\n", + "global step=33652736, episodic return=2096.74951171875\n", + "global step=33654784, episodic return=2092.2724609375\n", + "global step=33654784, episodic return=2121.036865234375\n", + "global step=33656832, episodic return=2154.116943359375\n", + "global step=33658880, episodic return=2139.562744140625\n", + "global step=33660928, episodic return=2138.1708984375\n", + "global step=33662976, episodic return=2129.65478515625\n", + "global step=33662976, episodic return=2159.221435546875\n", + "global step=33662976, episodic return=2099.9599609375\n", + "global step=33665024, episodic return=537.6370239257812\n", + "global step=33665024, episodic return=357.5390930175781\n", + "global step=33667072, episodic return=2139.160888671875\n", + "global step=33667072, episodic return=2130.973876953125\n", + "global step=33667072, episodic return=2130.21630859375\n", + "global step=33667072, episodic return=1475.604248046875\n", + "global step=33667072, episodic return=713.5330200195312\n", + "global step=33671168, episodic return=2146.38134765625\n", + "global step=33671168, episodic return=2141.3984375\n", + "global step=33673216, episodic return=2134.21533203125\n", + "global step=33673216, episodic return=2129.210693359375\n", + "global step=33673216, episodic return=2109.00927734375\n", + "global step=33675264, episodic return=2141.6904296875\n", + "global step=33677312, episodic return=999.4945068359375\n", + "global step=33679360, episodic return=2130.4482421875\n", + "global step=33679360, episodic return=2134.399169921875\n", + "global step=33679360, episodic return=2100.01123046875\n", + "global step=33683456, episodic return=2144.1298828125\n", + "global step=33685504, episodic return=2118.212158203125\n", + "global step=33685504, episodic return=2085.064208984375\n", + "global step=33685504, episodic return=352.57098388671875\n", + "global step=33687552, episodic return=2115.3583984375\n", + "global step=33689600, episodic return=541.3390502929688\n", + "global step=33689600, episodic return=2149.17578125\n", + "global step=33689600, episodic return=2139.906982421875\n", + "global step=33689600, episodic return=2139.1689453125\n", + "global step=33689600, episodic return=2138.62646484375\n", + "global step=33691648, episodic return=2109.3466796875\n", + "global step=33695744, episodic return=2077.970458984375\n", + "global step=33695744, episodic return=440.55010986328125\n", + "global step=33697792, episodic return=2122.059814453125\n", + "global step=33699840, episodic return=2143.80224609375\n", + "global step=33699840, episodic return=2114.6298828125\n", + "global step=33699840, episodic return=2129.301025390625\n", + "global step=33701888, episodic return=2141.539306640625\n", + "global step=33701888, episodic return=2150.310302734375\n", + "global step=33701888, episodic return=2139.48291015625\n", + "global step=33701888, episodic return=2154.34423828125\n", + "global step=33703936, episodic return=2104.012939453125\n", + "global step=33703936, episodic return=442.9261169433594\n", + "global step=33705984, episodic return=2149.18017578125\n", + "global step=33708032, episodic return=2135.90771484375\n", + "global step=33708032, episodic return=2083.990966796875\n", + "global step=33710080, episodic return=2121.4296875\n", + "global step=33710080, episodic return=2162.903564453125\n", + "global step=33710080, episodic return=2127.283447265625\n", + "global step=33710080, episodic return=378.10791015625\n", + "global step=33712128, episodic return=2120.90283203125\n", + "global step=33712128, episodic return=2142.850341796875\n", + "global step=33712128, episodic return=2110.97119140625\n", + "global step=33712128, episodic return=2137.80908203125\n", + "global step=33712128, episodic return=2144.585205078125\n", + "global step=33714176, episodic return=2141.1591796875\n", + "global step=33714176, episodic return=2107.31884765625\n", + "global step=33718272, episodic return=2144.4345703125\n", + "global step=33718272, episodic return=2165.099853515625\n", + "global step=33720320, episodic return=2089.435546875\n", + "global step=33720320, episodic return=448.98504638671875\n", + "global step=33720320, episodic return=2145.917724609375\n", + "global step=33720320, episodic return=2150.880859375\n", + "global step=33722368, episodic return=2134.153564453125\n", + "global step=33724416, episodic return=2115.28076171875\n", + "global step=33724416, episodic return=2124.744140625\n", + "global step=33724416, episodic return=2091.16943359375\n", + "global step=33724416, episodic return=2162.278076171875\n", + "global step=33726464, episodic return=1437.0950927734375\n", + "global step=33728512, episodic return=2112.411376953125\n", + "global step=33728512, episodic return=2124.121826171875\n", + "global step=33730560, episodic return=2108.657470703125\n", + "global step=33730560, episodic return=2108.985595703125\n", + "global step=33732608, episodic return=2116.190185546875\n", + "global step=33734656, episodic return=2127.3466796875\n", + "global step=33734656, episodic return=2191.8955078125\n", + "global step=33734656, episodic return=2153.728271484375\n", + "global step=33738752, episodic return=1342.7716064453125\n", + "global step=33738752, episodic return=2129.625732421875\n", + "global step=33740800, episodic return=2115.880615234375\n", + "global step=33740800, episodic return=2027.618896484375\n", + "global step=33742848, episodic return=2124.879150390625\n", + "global step=33742848, episodic return=2113.423828125\n", + "global step=33744896, episodic return=2139.863525390625\n", + "global step=33744896, episodic return=2145.892578125\n", + "global step=33744896, episodic return=2099.177978515625\n", + "global step=33744896, episodic return=2150.822998046875\n", + "global step=33746944, episodic return=942.8460083007812\n", + "global step=33748992, episodic return=2108.886474609375\n", + "global step=33748992, episodic return=2130.9453125\n", + "global step=33751040, episodic return=2128.285888671875\n", + "global step=33753088, episodic return=2104.028076171875\n", + "global step=33753088, episodic return=2081.534423828125\n", + "global step=33753088, episodic return=2088.403564453125\n", + "global step=33755136, episodic return=2127.481689453125\n", + "global step=33757184, episodic return=2127.84375\n", + "global step=33757184, episodic return=2119.97900390625\n", + "global step=33757184, episodic return=2134.086181640625\n", + "global step=33759232, episodic return=2152.44189453125\n", + "global step=33759232, episodic return=2137.039306640625\n", + "global step=33759232, episodic return=2126.544921875\n", + "global step=33759232, episodic return=2141.060546875\n", + "global step=33761280, episodic return=2160.066650390625\n", + "global step=33761280, episodic return=2098.193359375\n", + "global step=33761280, episodic return=881.4932250976562\n", + "global step=33763328, episodic return=2066.337646484375\n", + "global step=33763328, episodic return=2166.566650390625\n", + "global step=33765376, episodic return=2123.791259765625\n", + "global step=33765376, episodic return=2127.023193359375\n", + "global step=33767424, episodic return=2104.334228515625\n", + "global step=33767424, episodic return=2149.895263671875\n", + "global step=33767424, episodic return=2177.730224609375\n", + "global step=33769472, episodic return=2142.3671875\n", + "global step=33769472, episodic return=2125.287841796875\n", + "global step=33769472, episodic return=2150.19189453125\n", + "global step=33769472, episodic return=2132.899658203125\n", + "global step=33769472, episodic return=2114.83203125\n", + "global step=33771520, episodic return=2113.7060546875\n", + "global step=33771520, episodic return=2111.655029296875\n", + "global step=33771520, episodic return=2149.418701171875\n", + "global step=33771520, episodic return=2145.948974609375\n", + "global step=33771520, episodic return=2127.071533203125\n", + "global step=33773568, episodic return=2150.0263671875\n", + "global step=33773568, episodic return=2183.507080078125\n", + "global step=33773568, episodic return=751.87060546875\n", + "global step=33775616, episodic return=2115.0439453125\n", + "global step=33777664, episodic return=2138.464111328125\n", + "global step=33779712, episodic return=2150.371826171875\n", + "global step=33779712, episodic return=2164.8681640625\n", + "global step=33781760, episodic return=2109.4130859375\n", + "global step=33783808, episodic return=2141.676025390625\n", + "global step=33783808, episodic return=2128.289794921875\n", + "global step=33785856, episodic return=2149.8076171875\n", + "global step=33785856, episodic return=2159.639892578125\n", + "global step=33787904, episodic return=2132.564697265625\n", + "global step=33787904, episodic return=2144.44970703125\n", + "global step=33787904, episodic return=2129.766845703125\n", + "global step=33789952, episodic return=2138.493896484375\n", + "global step=33789952, episodic return=2134.094970703125\n", + "global step=33792000, episodic return=2134.057861328125\n", + "global step=33792000, episodic return=2135.056396484375\n", + "global step=33792000, episodic return=2073.607177734375\n", + "global step=33792000, episodic return=2115.36669921875\n", + "global step=33792000, episodic return=2164.967529296875\n", + "global step=33794048, episodic return=2151.719482421875\n", + "global step=33794048, episodic return=2157.597412109375\n", + "global step=33794048, episodic return=2037.6514892578125\n", + "global step=33794048, episodic return=2051.9609375\n", + "global step=33798144, episodic return=2132.073974609375\n", + "global step=33802240, episodic return=2153.626953125\n", + "global step=33802240, episodic return=2165.73046875\n", + "global step=33802240, episodic return=2149.371826171875\n", + "global step=33804288, episodic return=2089.68701171875\n", + "global step=33806336, episodic return=2114.193359375\n", + "global step=33806336, episodic return=2173.172607421875\n", + "global step=33806336, episodic return=1792.171630859375\n", + "global step=33808384, episodic return=2074.312744140625\n", + "global step=33808384, episodic return=2124.96240234375\n", + "global step=33808384, episodic return=2149.02783203125\n", + "global step=33808384, episodic return=1915.137939453125\n", + "global step=33808384, episodic return=2169.39111328125\n", + "global step=33810432, episodic return=2154.323974609375\n", + "global step=33810432, episodic return=2151.04833984375\n", + "global step=33812480, episodic return=2006.9056396484375\n", + "global step=33812480, episodic return=2135.22802734375\n", + "global step=33812480, episodic return=2119.44970703125\n", + "global step=33812480, episodic return=2167.65673828125\n", + "global step=33814528, episodic return=417.5103454589844\n", + "global step=33816576, episodic return=2058.989501953125\n", + "global step=33816576, episodic return=2148.052490234375\n", + "global step=33816576, episodic return=2150.637451171875\n", + "global step=33818624, episodic return=1411.23681640625\n", + "global step=33818624, episodic return=2113.6005859375\n", + "global step=33820672, episodic return=2145.482421875\n", + "global step=33820672, episodic return=2098.663330078125\n", + "global step=33822720, episodic return=2069.737060546875\n", + "global step=33824768, episodic return=2129.182861328125\n", + "global step=33824768, episodic return=2158.048828125\n", + "global step=33824768, episodic return=2169.1875\n", + "global step=33826816, episodic return=2130.9033203125\n", + "global step=33826816, episodic return=2150.8056640625\n", + "global step=33828864, episodic return=2143.73681640625\n", + "global step=33828864, episodic return=2142.540283203125\n", + "global step=33830912, episodic return=2155.521240234375\n", + "global step=33830912, episodic return=2130.08251953125\n", + "global step=33832960, episodic return=2155.91796875\n", + "global step=33832960, episodic return=2146.1513671875\n", + "global step=33835008, episodic return=2111.030517578125\n", + "global step=33835008, episodic return=2140.219970703125\n", + "global step=33835008, episodic return=264.748779296875\n", + "global step=33837056, episodic return=2154.362060546875\n", + "global step=33837056, episodic return=2135.1083984375\n", + "global step=33837056, episodic return=2165.880615234375\n", + "global step=33837056, episodic return=2126.2373046875\n", + "global step=33837056, episodic return=2066.889892578125\n", + "global step=33839104, episodic return=2108.84912109375\n", + "global step=33841152, episodic return=2116.76953125\n", + "global step=33843200, episodic return=2136.041259765625\n", + "global step=33843200, episodic return=2105.7880859375\n", + "global step=33847296, episodic return=2151.2353515625\n", + "global step=33847296, episodic return=2155.7578125\n", + "global step=33849344, episodic return=2132.582763671875\n", + "global step=33849344, episodic return=2158.35302734375\n", + "global step=33849344, episodic return=2143.04052734375\n", + "global step=33849344, episodic return=2101.66357421875\n", + "global step=33851392, episodic return=2140.00048828125\n", + "global step=33851392, episodic return=2139.859375\n", + "global step=33853440, episodic return=2009.4334716796875\n", + "global step=33853440, episodic return=989.7291870117188\n", + "global step=33853440, episodic return=2119.9072265625\n", + "global step=33857536, episodic return=2130.297119140625\n", + "global step=33857536, episodic return=2139.708984375\n", + "global step=33857536, episodic return=2138.271728515625\n", + "global step=33857536, episodic return=2130.58544921875\n", + "global step=33859584, episodic return=2120.585693359375\n", + "global step=33859584, episodic return=2148.23583984375\n", + "global step=33859584, episodic return=2119.25732421875\n", + "global step=33859584, episodic return=2116.52197265625\n", + "global step=33859584, episodic return=2140.171875\n", + "global step=33861632, episodic return=2145.954345703125\n", + "global step=33861632, episodic return=2164.664306640625\n", + "global step=33861632, episodic return=2137.4912109375\n", + "global step=33861632, episodic return=2127.666748046875\n", + "global step=33863680, episodic return=2100.394775390625\n", + "global step=33863680, episodic return=2153.91015625\n", + "global step=33863680, episodic return=1974.75244140625\n", + "global step=33865728, episodic return=2153.49853515625\n", + "global step=33865728, episodic return=2121.40478515625\n", + "global step=33865728, episodic return=2129.77734375\n", + "global step=33865728, episodic return=2148.867431640625\n", + "global step=33869824, episodic return=2149.226318359375\n", + "global step=33869824, episodic return=2126.126953125\n", + "global step=33871872, episodic return=2154.4775390625\n", + "global step=33871872, episodic return=2149.816650390625\n", + "global step=33871872, episodic return=2125.33642578125\n", + "global step=33873920, episodic return=2057.1943359375\n", + "global step=33873920, episodic return=2099.749267578125\n", + "global step=33873920, episodic return=2003.616455078125\n", + "global step=33873920, episodic return=2151.907958984375\n", + "global step=33873920, episodic return=2133.937744140625\n", + "global step=33873920, episodic return=2133.684326171875\n", + "global step=33875968, episodic return=2116.07470703125\n", + "global step=33875968, episodic return=2134.45166015625\n", + "global step=33875968, episodic return=2139.789306640625\n", + "global step=33878016, episodic return=2139.769775390625\n", + "global step=33878016, episodic return=1558.0272216796875\n", + "global step=33878016, episodic return=2142.619140625\n", + "global step=33880064, episodic return=2135.731201171875\n", + "global step=33880064, episodic return=2149.496826171875\n", + "global step=33882112, episodic return=2142.103515625\n", + "global step=33882112, episodic return=2100.198974609375\n", + "global step=33882112, episodic return=507.4674377441406\n", + "global step=33882112, episodic return=2123.028564453125\n", + "global step=33886208, episodic return=2081.61181640625\n", + "global step=33886208, episodic return=2120.810302734375\n", + "global step=33886208, episodic return=948.4993286132812\n", + "global step=33888256, episodic return=2148.083984375\n", + "global step=33888256, episodic return=2140.563232421875\n", + "global step=33888256, episodic return=2157.608642578125\n", + "global step=33890304, episodic return=2134.29931640625\n", + "global step=33890304, episodic return=2090.839599609375\n", + "global step=33892352, episodic return=2160.416259765625\n", + "global step=33892352, episodic return=1966.2894287109375\n", + "global step=33894400, episodic return=2129.777099609375\n", + "global step=33894400, episodic return=2135.226806640625\n", + "global step=33894400, episodic return=2083.1103515625\n", + "global step=33896448, episodic return=1135.58154296875\n", + "global step=33896448, episodic return=1431.9644775390625\n", + "global step=33896448, episodic return=2088.364990234375\n", + "global step=33896448, episodic return=453.870361328125\n", + "global step=33896448, episodic return=2149.80078125\n", + "global step=33898496, episodic return=2127.524658203125\n", + "global step=33898496, episodic return=2106.584716796875\n", + "global step=33898496, episodic return=2147.5078125\n", + "global step=33900544, episodic return=627.2069091796875\n", + "global step=33900544, episodic return=2117.605712890625\n", + "global step=33900544, episodic return=937.4754028320312\n", + "global step=33902592, episodic return=2062.3037109375\n", + "global step=33902592, episodic return=2135.3212890625\n", + "global step=33902592, episodic return=2148.95556640625\n", + "global step=33904640, episodic return=2092.559814453125\n", + "global step=33904640, episodic return=2136.7998046875\n", + "global step=33904640, episodic return=2019.4422607421875\n", + "global step=33904640, episodic return=2132.05810546875\n", + "global step=33904640, episodic return=2133.37158203125\n", + "global step=33904640, episodic return=2155.177978515625\n", + "global step=33904640, episodic return=2116.390380859375\n", + "global step=33904640, episodic return=2150.101806640625\n", + "global step=33904640, episodic return=2160.728759765625\n", + "global step=33904640, episodic return=2111.917724609375\n", + "global step=33906688, episodic return=2129.987060546875\n", + "global step=33908736, episodic return=2167.31494140625\n", + "global step=33910784, episodic return=2155.851806640625\n", + "global step=33910784, episodic return=2081.87158203125\n", + "global step=33910784, episodic return=2156.855712890625\n", + "global step=33910784, episodic return=2093.867431640625\n", + "global step=33910784, episodic return=1603.32958984375\n", + "global step=33912832, episodic return=2114.462646484375\n", + "global step=33912832, episodic return=2112.358642578125\n", + "global step=33914880, episodic return=2087.4033203125\n", + "global step=33914880, episodic return=2124.37939453125\n", + "global step=33914880, episodic return=1983.92822265625\n", + "global step=33914880, episodic return=2159.42431640625\n", + "global step=33916928, episodic return=2158.019775390625\n", + "global step=33916928, episodic return=2073.738525390625\n", + "global step=33916928, episodic return=2143.211669921875\n", + "global step=33916928, episodic return=1984.043701171875\n", + "global step=33918976, episodic return=1974.94921875\n", + "global step=33918976, episodic return=2127.331787109375\n", + "global step=33921024, episodic return=2141.728759765625\n", + "global step=33921024, episodic return=2144.620849609375\n", + "global step=33921024, episodic return=2136.901123046875\n", + "global step=33921024, episodic return=2056.17822265625\n", + "global step=33923072, episodic return=2142.7958984375\n", + "global step=33925120, episodic return=2111.79052734375\n", + "global step=33925120, episodic return=2125.776611328125\n", + "global step=33925120, episodic return=2098.817138671875\n", + "global step=33925120, episodic return=2130.880615234375\n", + "global step=33925120, episodic return=2138.2744140625\n", + "global step=33925120, episodic return=2106.3759765625\n", + "global step=33927168, episodic return=2096.40478515625\n", + "global step=33929216, episodic return=886.4998779296875\n", + "global step=33929216, episodic return=2150.349609375\n", + "global step=33929216, episodic return=2125.023681640625\n", + "global step=33929216, episodic return=2135.432373046875\n", + "global step=33931264, episodic return=2115.1123046875\n", + "global step=33931264, episodic return=2105.521728515625\n", + "global step=33931264, episodic return=2092.411865234375\n", + "global step=33933312, episodic return=2148.869873046875\n", + "global step=33933312, episodic return=2143.37744140625\n", + "global step=33933312, episodic return=2121.65234375\n", + "global step=33933312, episodic return=2136.21142578125\n", + "global step=33935360, episodic return=2151.52783203125\n", + "global step=33935360, episodic return=2125.944091796875\n", + "global step=33935360, episodic return=2087.978271484375\n", + "global step=33937408, episodic return=2146.812744140625\n", + "global step=33937408, episodic return=2124.45068359375\n", + "global step=33939456, episodic return=2100.36669921875\n", + "global step=33939456, episodic return=2116.956298828125\n", + "global step=33939456, episodic return=2159.540771484375\n", + "global step=33939456, episodic return=2161.638671875\n", + "global step=33941504, episodic return=2126.917724609375\n", + "global step=33941504, episodic return=2115.065673828125\n", + "global step=33943552, episodic return=2058.330322265625\n", + "global step=33943552, episodic return=2143.89013671875\n", + "global step=33943552, episodic return=2090.093505859375\n", + "global step=33943552, episodic return=2111.339599609375\n", + "global step=33945600, episodic return=2131.1220703125\n", + "global step=33945600, episodic return=2090.529296875\n", + "global step=33945600, episodic return=2120.8505859375\n", + "global step=33945600, episodic return=2082.7734375\n", + "global step=33945600, episodic return=2132.6103515625\n", + "global step=33949696, episodic return=2103.0\n", + "global step=33949696, episodic return=2110.405517578125\n", + "global step=33949696, episodic return=2099.5322265625\n", + "global step=33949696, episodic return=2132.746826171875\n", + "global step=33949696, episodic return=2070.94775390625\n", + "global step=33949696, episodic return=2113.32763671875\n", + "global step=33951744, episodic return=2047.006103515625\n", + "global step=33951744, episodic return=1654.477294921875\n", + "global step=33953792, episodic return=2132.989501953125\n", + "global step=33953792, episodic return=1723.5914306640625\n", + "global step=33953792, episodic return=2121.002685546875\n", + "global step=33953792, episodic return=2120.824462890625\n", + "global step=33955840, episodic return=2132.546630859375\n", + "global step=33955840, episodic return=2097.489501953125\n", + "global step=33955840, episodic return=2106.244140625\n", + "global step=33957888, episodic return=2149.676513671875\n", + "global step=33959936, episodic return=1953.559326171875\n", + "global step=33961984, episodic return=2124.5087890625\n", + "global step=33961984, episodic return=2145.84912109375\n", + "global step=33961984, episodic return=2146.738525390625\n", + "global step=33961984, episodic return=235.21270751953125\n", + "global step=33964032, episodic return=2118.16748046875\n", + "global step=33964032, episodic return=2119.780029296875\n", + "global step=33964032, episodic return=2011.92431640625\n", + "global step=33964032, episodic return=2129.90576171875\n", + "global step=33964032, episodic return=1573.7481689453125\n", + "global step=33966080, episodic return=2112.614013671875\n", + "global step=33966080, episodic return=2093.638916015625\n", + "global step=33966080, episodic return=2165.268798828125\n", + "global step=33966080, episodic return=2107.0\n", + "global step=33966080, episodic return=2105.597412109375\n", + "global step=33968128, episodic return=2085.185302734375\n", + "global step=33968128, episodic return=2153.718017578125\n", + "global step=33968128, episodic return=2159.88330078125\n", + "global step=33970176, episodic return=2132.513916015625\n", + "global step=33970176, episodic return=2088.921142578125\n", + "global step=33970176, episodic return=2094.938720703125\n", + "global step=33970176, episodic return=2077.212646484375\n", + "global step=33972224, episodic return=2004.1417236328125\n", + "global step=33972224, episodic return=1980.6842041015625\n", + "global step=33974272, episodic return=2127.208251953125\n", + "global step=33974272, episodic return=2092.224609375\n", + "global step=33974272, episodic return=2086.9912109375\n", + "global step=33976320, episodic return=2127.759521484375\n", + "global step=33976320, episodic return=2121.632080078125\n", + "global step=33978368, episodic return=56.67814636230469\n", + "global step=33978368, episodic return=2132.83056640625\n", + "global step=33978368, episodic return=2086.0380859375\n", + "global step=33980416, episodic return=2025.8992919921875\n", + "global step=33980416, episodic return=2135.969482421875\n", + "global step=33980416, episodic return=2102.670654296875\n", + "global step=33982464, episodic return=2140.972412109375\n", + "global step=33982464, episodic return=2108.490966796875\n", + "global step=33982464, episodic return=38.634429931640625\n", + "global step=33982464, episodic return=2115.18310546875\n", + "global step=33982464, episodic return=2122.127685546875\n", + "global step=33982464, episodic return=2132.48681640625\n", + "global step=33984512, episodic return=2180.423828125\n", + "global step=33986560, episodic return=2111.540771484375\n", + "global step=33986560, episodic return=2113.668212890625\n", + "global step=33988608, episodic return=2006.950927734375\n", + "global step=33990656, episodic return=2142.43359375\n", + "global step=33990656, episodic return=2115.174072265625\n", + "global step=33992704, episodic return=2169.349853515625\n", + "global step=33992704, episodic return=2110.35107421875\n", + "global step=33994752, episodic return=2121.904541015625\n", + "global step=33994752, episodic return=1937.3116455078125\n", + "global step=33996800, episodic return=2105.336669921875\n", + "global step=33996800, episodic return=2128.878173828125\n", + "global step=33996800, episodic return=2072.177490234375\n", + "global step=33998848, episodic return=2098.561767578125\n", + "global step=33998848, episodic return=891.0040283203125\n", + "global step=33998848, episodic return=2088.73583984375\n", + "global step=34000896, episodic return=2111.23779296875\n", + "global step=34000896, episodic return=1964.7816162109375\n", + "global step=34002944, episodic return=2040.11865234375\n", + "global step=34002944, episodic return=1952.9866943359375\n", + "global step=34004992, episodic return=2093.92822265625\n", + "global step=34004992, episodic return=2137.006591796875\n", + "global step=34004992, episodic return=1900.1964111328125\n", + "global step=34007040, episodic return=2096.74609375\n", + "global step=34007040, episodic return=2117.859375\n", + "global step=34007040, episodic return=2077.380126953125\n", + "global step=34007040, episodic return=2096.412109375\n", + "global step=34009088, episodic return=2068.529541015625\n", + "global step=34009088, episodic return=2120.15966796875\n", + "global step=34009088, episodic return=2137.8984375\n", + "global step=34009088, episodic return=2070.91064453125\n", + "global step=34009088, episodic return=2086.17431640625\n", + "global step=34009088, episodic return=187.81121826171875\n", + "global step=34011136, episodic return=2102.0361328125\n", + "global step=34011136, episodic return=1076.1395263671875\n", + "global step=34011136, episodic return=1986.521484375\n", + "global step=34013184, episodic return=2096.65966796875\n", + "global step=34013184, episodic return=602.7659301757812\n", + "global step=34013184, episodic return=2151.399658203125\n", + "global step=34013184, episodic return=2105.700439453125\n", + "global step=34015232, episodic return=2065.017578125\n", + "global step=34015232, episodic return=2078.51611328125\n", + "global step=34015232, episodic return=2117.38671875\n", + "global step=34015232, episodic return=2130.3232421875\n", + "global step=34015232, episodic return=2053.81494140625\n", + "global step=34015232, episodic return=2131.064453125\n", + "global step=34017280, episodic return=2126.664306640625\n", + "global step=34017280, episodic return=2167.540283203125\n", + "global step=34017280, episodic return=2141.78271484375\n", + "global step=34019328, episodic return=2073.2294921875\n", + "global step=34019328, episodic return=2140.83544921875\n", + "global step=34019328, episodic return=2169.752685546875\n", + "global step=34021376, episodic return=2164.202392578125\n", + "global step=34023424, episodic return=2066.796630859375\n", + "global step=34023424, episodic return=2037.361083984375\n", + "global step=34023424, episodic return=2133.525634765625\n", + "global step=34023424, episodic return=2121.4755859375\n", + "global step=34025472, episodic return=2134.300537109375\n", + "global step=34025472, episodic return=2097.15771484375\n", + "global step=34025472, episodic return=2160.593505859375\n", + "global step=34025472, episodic return=2131.3662109375\n", + "global step=34025472, episodic return=2103.53564453125\n", + "global step=34025472, episodic return=2153.29638671875\n", + "global step=34027520, episodic return=1731.8809814453125\n", + "global step=34027520, episodic return=1674.64697265625\n", + "global step=34027520, episodic return=2105.752197265625\n", + "global step=34029568, episodic return=2072.21435546875\n", + "global step=34029568, episodic return=2117.791015625\n", + "global step=34029568, episodic return=2146.218505859375\n", + "global step=34029568, episodic return=2119.012939453125\n", + "global step=34029568, episodic return=2045.851318359375\n", + "global step=34029568, episodic return=2118.52783203125\n", + "global step=34029568, episodic return=2126.28125\n", + "global step=34031616, episodic return=1966.1494140625\n", + "global step=34031616, episodic return=2161.12744140625\n", + "global step=34033664, episodic return=2113.74267578125\n", + "global step=34035712, episodic return=2150.36572265625\n", + "global step=34035712, episodic return=675.9931030273438\n", + "global step=34035712, episodic return=1641.0029296875\n", + "global step=34035712, episodic return=1431.55078125\n", + "global step=34037760, episodic return=2130.857177734375\n", + "global step=34037760, episodic return=909.2002563476562\n", + "global step=34037760, episodic return=2036.91162109375\n", + "global step=34039808, episodic return=903.6937866210938\n", + "global step=34039808, episodic return=270.9447326660156\n", + "global step=34039808, episodic return=2126.083740234375\n", + "global step=34039808, episodic return=2153.924560546875\n", + "global step=34041856, episodic return=2118.688232421875\n", + "global step=34041856, episodic return=2170.04833984375\n", + "global step=34041856, episodic return=2133.477783203125\n", + "global step=34041856, episodic return=1950.92138671875\n", + "global step=34043904, episodic return=1953.27490234375\n", + "global step=34043904, episodic return=2126.905517578125\n", + "global step=34043904, episodic return=1608.3458251953125\n", + "global step=34043904, episodic return=2016.931396484375\n", + "global step=34043904, episodic return=2102.41357421875\n", + "global step=34045952, episodic return=2105.349609375\n", + "global step=34045952, episodic return=344.03778076171875\n", + "global step=34045952, episodic return=2132.764892578125\n", + "global step=34048000, episodic return=2126.04833984375\n", + "global step=34048000, episodic return=2084.115966796875\n", + "global step=34050048, episodic return=2066.44921875\n", + "global step=34050048, episodic return=2112.75830078125\n", + "global step=34050048, episodic return=2097.7978515625\n", + "global step=34050048, episodic return=1547.2490234375\n", + "global step=34050048, episodic return=2129.767333984375\n", + "global step=34052096, episodic return=2083.82080078125\n", + "global step=34054144, episodic return=2152.2939453125\n", + "global step=34054144, episodic return=2128.22705078125\n", + "global step=34054144, episodic return=2140.817626953125\n", + "global step=34054144, episodic return=2103.992431640625\n", + "global step=34054144, episodic return=969.1075439453125\n", + "global step=34056192, episodic return=2155.626953125\n", + "global step=34056192, episodic return=2131.364013671875\n", + "global step=34056192, episodic return=1237.3594970703125\n", + "global step=34056192, episodic return=2135.375\n", + "global step=34056192, episodic return=718.8519287109375\n", + "global step=34056192, episodic return=2113.916259765625\n", + "global step=34056192, episodic return=2037.4378662109375\n", + "global step=34056192, episodic return=2125.01220703125\n", + "global step=34056192, episodic return=2109.843505859375\n", + "global step=34058240, episodic return=547.2716064453125\n", + "global step=34058240, episodic return=2125.44775390625\n", + "global step=34058240, episodic return=1924.976318359375\n", + "global step=34058240, episodic return=2044.30517578125\n", + "global step=34058240, episodic return=1993.2510986328125\n", + "global step=34060288, episodic return=216.5706329345703\n", + "global step=34060288, episodic return=2128.96484375\n", + "global step=34062336, episodic return=2112.549072265625\n", + "global step=34062336, episodic return=2094.272216796875\n", + "global step=34064384, episodic return=2145.8037109375\n", + "global step=34064384, episodic return=1977.193115234375\n", + "global step=34064384, episodic return=1976.716552734375\n", + "global step=34064384, episodic return=2135.207275390625\n", + "global step=34064384, episodic return=843.8005981445312\n", + "global step=34066432, episodic return=1657.1202392578125\n", + "global step=34066432, episodic return=2170.296630859375\n", + "global step=34066432, episodic return=2143.976806640625\n", + "global step=34068480, episodic return=2047.6217041015625\n", + "global step=34068480, episodic return=2087.42578125\n", + "global step=34070528, episodic return=2070.14208984375\n", + "global step=34070528, episodic return=2138.678955078125\n", + "global step=34070528, episodic return=2011.3895263671875\n", + "global step=34070528, episodic return=1634.15380859375\n", + "global step=34070528, episodic return=2147.835205078125\n", + "global step=34072576, episodic return=2086.5859375\n", + "global step=34072576, episodic return=1434.641845703125\n", + "global step=34072576, episodic return=2141.851806640625\n", + "global step=34074624, episodic return=2125.919677734375\n", + "global step=34074624, episodic return=1986.92626953125\n", + "global step=34074624, episodic return=2113.425537109375\n", + "global step=34074624, episodic return=2057.995361328125\n", + "global step=34074624, episodic return=1441.990966796875\n", + "global step=34076672, episodic return=2087.13671875\n", + "global step=34076672, episodic return=2104.324951171875\n", + "global step=34076672, episodic return=2155.407958984375\n", + "global step=34076672, episodic return=2067.79052734375\n", + "global step=34078720, episodic return=2046.799072265625\n", + "global step=34078720, episodic return=2156.916259765625\n", + "global step=34078720, episodic return=2109.382568359375\n", + "global step=34080768, episodic return=798.0380249023438\n", + "global step=34082816, episodic return=792.5283203125\n", + "global step=34082816, episodic return=2157.008056640625\n", + "global step=34084864, episodic return=2007.339111328125\n", + "global step=34084864, episodic return=2169.110107421875\n", + "global step=34084864, episodic return=2099.10791015625\n", + "global step=34086912, episodic return=2089.027099609375\n", + "global step=34088960, episodic return=697.117431640625\n", + "global step=34088960, episodic return=2113.668212890625\n", + "global step=34091008, episodic return=1451.9716796875\n", + "global step=34091008, episodic return=2113.595703125\n", + "global step=34093056, episodic return=2164.64013671875\n", + "global step=34095104, episodic return=2108.839599609375\n", + "global step=34095104, episodic return=2134.165283203125\n", + "global step=34095104, episodic return=2075.37548828125\n", + "global step=34097152, episodic return=2111.827880859375\n", + "global step=34097152, episodic return=2128.5908203125\n", + "global step=34097152, episodic return=2140.895751953125\n", + "global step=34097152, episodic return=1368.6065673828125\n", + "global step=34099200, episodic return=2071.373779296875\n", + "global step=34099200, episodic return=2155.659912109375\n", + "global step=34099200, episodic return=885.984130859375\n", + "global step=34099200, episodic return=2052.73486328125\n", + "global step=34099200, episodic return=2128.30908203125\n", + "global step=34099200, episodic return=2024.148681640625\n", + "global step=34101248, episodic return=2113.85546875\n", + "global step=34101248, episodic return=2135.453369140625\n", + "global step=34101248, episodic return=678.1812744140625\n", + "global step=34101248, episodic return=2121.658203125\n", + "global step=34101248, episodic return=1664.5955810546875\n", + "global step=34105344, episodic return=2106.451416015625\n", + "global step=34105344, episodic return=2055.956298828125\n", + "global step=34107392, episodic return=2088.978759765625\n", + "global step=34107392, episodic return=2061.872314453125\n", + "global step=34107392, episodic return=2051.262451171875\n", + "global step=34107392, episodic return=2162.43310546875\n", + "global step=34107392, episodic return=2017.7489013671875\n", + "global step=34107392, episodic return=2111.275390625\n", + "global step=34107392, episodic return=1227.0428466796875\n", + "global step=34109440, episodic return=758.5528564453125\n", + "global step=34109440, episodic return=2134.60888671875\n", + "global step=34109440, episodic return=190.42774963378906\n", + "global step=34109440, episodic return=201.3372039794922\n", + "global step=34109440, episodic return=1721.8665771484375\n", + "global step=34111488, episodic return=2132.920166015625\n", + "global step=34111488, episodic return=2105.156494140625\n", + "global step=34111488, episodic return=2027.68115234375\n", + "global step=34113536, episodic return=1333.181640625\n", + "global step=34113536, episodic return=2128.0537109375\n", + "global step=34113536, episodic return=2057.145263671875\n", + "global step=34113536, episodic return=2094.415283203125\n", + "global step=34115584, episodic return=2138.157958984375\n", + "global step=34115584, episodic return=2103.910400390625\n", + "global step=34115584, episodic return=2031.296875\n", + "global step=34115584, episodic return=1935.4771728515625\n", + "global step=34115584, episodic return=2086.0625\n", + "global step=34117632, episodic return=1425.4913330078125\n", + "global step=34117632, episodic return=2105.2177734375\n", + "global step=34117632, episodic return=2065.71728515625\n", + "global step=34119680, episodic return=234.6717529296875\n", + "global step=34119680, episodic return=2092.4814453125\n", + "global step=34119680, episodic return=2147.031982421875\n", + "global step=34119680, episodic return=2109.809326171875\n", + "global step=34119680, episodic return=272.9352111816406\n", + "global step=34121728, episodic return=956.68212890625\n", + "global step=34121728, episodic return=2125.925048828125\n", + "global step=34121728, episodic return=1076.3616943359375\n", + "global step=34121728, episodic return=2154.3701171875\n", + "global step=34121728, episodic return=1708.9520263671875\n", + "global step=34123776, episodic return=1631.2657470703125\n", + "global step=34123776, episodic return=2159.08837890625\n", + "global step=34123776, episodic return=2105.9208984375\n", + "global step=34125824, episodic return=2126.1630859375\n", + "global step=34125824, episodic return=2036.464111328125\n", + "global step=34125824, episodic return=601.4293823242188\n", + "global step=34127872, episodic return=2125.44921875\n", + "global step=34127872, episodic return=2131.247314453125\n", + "global step=34127872, episodic return=2061.933349609375\n", + "global step=34127872, episodic return=2159.777099609375\n", + "global step=34127872, episodic return=2066.26025390625\n", + "global step=34127872, episodic return=2048.56689453125\n", + "global step=34127872, episodic return=2124.623046875\n", + "global step=34127872, episodic return=2122.45556640625\n", + "global step=34129920, episodic return=2139.7939453125\n", + "global step=34129920, episodic return=2134.0380859375\n", + "global step=34129920, episodic return=2150.6669921875\n", + "global step=34129920, episodic return=2096.5439453125\n", + "global step=34131968, episodic return=1982.4210205078125\n", + "global step=34131968, episodic return=259.6043701171875\n", + "global step=34131968, episodic return=1854.93359375\n", + "global step=34131968, episodic return=1931.165283203125\n", + "global step=34131968, episodic return=2048.029052734375\n", + "global step=34131968, episodic return=682.3743896484375\n", + "global step=34131968, episodic return=2128.108154296875\n", + "global step=34134016, episodic return=2124.4814453125\n", + "global step=34134016, episodic return=1454.3065185546875\n", + "global step=34134016, episodic return=1846.547607421875\n", + "global step=34136064, episodic return=2111.498779296875\n", + "global step=34136064, episodic return=2133.599365234375\n", + "global step=34136064, episodic return=2077.237548828125\n", + "global step=34136064, episodic return=1250.5823974609375\n", + "global step=34136064, episodic return=2133.416259765625\n", + "global step=34138112, episodic return=162.65597534179688\n", + "global step=34138112, episodic return=2082.241455078125\n", + "global step=34138112, episodic return=2102.984130859375\n", + "global step=34138112, episodic return=1050.90625\n", + "global step=34138112, episodic return=222.32688903808594\n", + "global step=34140160, episodic return=2121.091064453125\n", + "global step=34140160, episodic return=2142.83544921875\n", + "global step=34140160, episodic return=765.1011962890625\n", + "global step=34140160, episodic return=1988.892822265625\n", + "global step=34140160, episodic return=1600.9805908203125\n", + "global step=34142208, episodic return=2116.589599609375\n", + "global step=34142208, episodic return=2016.0439453125\n", + "global step=34142208, episodic return=1992.3179931640625\n", + "global step=34142208, episodic return=2135.697998046875\n", + "global step=34142208, episodic return=1523.978271484375\n", + "global step=34144256, episodic return=2163.163818359375\n", + "global step=34146304, episodic return=2123.47265625\n", + "global step=34146304, episodic return=1851.94384765625\n", + "global step=34146304, episodic return=2122.375732421875\n", + "global step=34146304, episodic return=251.5401153564453\n", + "global step=34146304, episodic return=2118.245849609375\n", + "global step=34148352, episodic return=2123.318115234375\n", + "global step=34148352, episodic return=2130.03125\n", + "global step=34148352, episodic return=223.0013885498047\n", + "global step=34150400, episodic return=2128.33642578125\n", + "global step=34150400, episodic return=1571.3538818359375\n", + "global step=34150400, episodic return=1968.611083984375\n", + "global step=34150400, episodic return=2130.405517578125\n", + "global step=34152448, episodic return=2076.435546875\n", + "global step=34152448, episodic return=2105.03369140625\n", + "global step=34152448, episodic return=2135.562744140625\n", + "global step=34154496, episodic return=1953.4439697265625\n", + "global step=34154496, episodic return=2136.5595703125\n", + "global step=34156544, episodic return=2045.8773193359375\n", + "global step=34156544, episodic return=2097.178955078125\n", + "global step=34156544, episodic return=2113.455322265625\n", + "global step=34158592, episodic return=2057.0830078125\n", + "global step=34158592, episodic return=946.8125610351562\n", + "global step=34158592, episodic return=2164.915283203125\n", + "global step=34158592, episodic return=2151.837158203125\n", + "global step=34160640, episodic return=2094.323486328125\n", + "global step=34162688, episodic return=2091.744384765625\n", + "global step=34162688, episodic return=2122.408935546875\n", + "global step=34164736, episodic return=1983.7374267578125\n", + "global step=34164736, episodic return=2121.635009765625\n", + "global step=34164736, episodic return=2150.650634765625\n", + "global step=34164736, episodic return=2131.912353515625\n", + "global step=34166784, episodic return=833.0467529296875\n", + "global step=34166784, episodic return=2060.554931640625\n", + "global step=34166784, episodic return=2081.40869140625\n", + "global step=34166784, episodic return=2142.669189453125\n", + "global step=34168832, episodic return=934.9676513671875\n", + "global step=34168832, episodic return=2095.415771484375\n", + "global step=34170880, episodic return=2142.92626953125\n", + "global step=34170880, episodic return=2016.0523681640625\n", + "global step=34170880, episodic return=394.5538330078125\n", + "global step=34170880, episodic return=2095.547119140625\n", + "global step=34172928, episodic return=1880.27587890625\n", + "global step=34174976, episodic return=109.8067626953125\n", + "global step=34174976, episodic return=2029.275634765625\n", + "global step=34174976, episodic return=2094.654296875\n", + "global step=34179072, episodic return=2072.487548828125\n", + "global step=34179072, episodic return=2105.678955078125\n", + "global step=34179072, episodic return=2019.794921875\n", + "global step=34181120, episodic return=2026.572998046875\n", + "global step=34181120, episodic return=260.8742980957031\n", + "global step=34181120, episodic return=2121.148681640625\n", + "global step=34183168, episodic return=2116.4609375\n", + "global step=34183168, episodic return=2087.238037109375\n", + "global step=34183168, episodic return=2022.5677490234375\n", + "global step=34185216, episodic return=2035.110107421875\n", + "global step=34185216, episodic return=2078.18701171875\n", + "global step=34185216, episodic return=2114.945556640625\n", + "global step=34185216, episodic return=1402.9373779296875\n", + "global step=34185216, episodic return=2137.81005859375\n", + "global step=34185216, episodic return=1964.38232421875\n", + "global step=34185216, episodic return=2152.537353515625\n", + "global step=34185216, episodic return=1979.3262939453125\n", + "global step=34185216, episodic return=2108.4130859375\n", + "global step=34187264, episodic return=1402.9222412109375\n", + "global step=34187264, episodic return=2075.954833984375\n", + "global step=34187264, episodic return=2109.869140625\n", + "global step=34187264, episodic return=2119.510986328125\n", + "global step=34189312, episodic return=2082.254638671875\n", + "global step=34191360, episodic return=2003.009033203125\n", + "global step=34191360, episodic return=2107.17529296875\n", + "global step=34191360, episodic return=2025.8258056640625\n", + "global step=34191360, episodic return=2105.8408203125\n", + "global step=34191360, episodic return=2106.704345703125\n", + "global step=34193408, episodic return=2125.25830078125\n", + "global step=34193408, episodic return=2138.973388671875\n", + "global step=34193408, episodic return=2154.411376953125\n", + "global step=34193408, episodic return=1084.98388671875\n", + "global step=34195456, episodic return=2040.708740234375\n", + "global step=34195456, episodic return=1931.3134765625\n", + "global step=34195456, episodic return=2086.157470703125\n", + "global step=34197504, episodic return=2076.02734375\n", + "global step=34199552, episodic return=680.1931762695312\n", + "global step=34199552, episodic return=2085.107421875\n", + "global step=34199552, episodic return=1697.2733154296875\n", + "global step=34205696, episodic return=2027.6180419921875\n", + "global step=34205696, episodic return=2164.285400390625\n", + "global step=34205696, episodic return=2153.832275390625\n", + "global step=34207744, episodic return=2170.352294921875\n", + "global step=34207744, episodic return=2047.761962890625\n", + "global step=34209792, episodic return=2042.797119140625\n", + "global step=34209792, episodic return=1206.0238037109375\n", + "global step=34209792, episodic return=2085.996826171875\n", + "global step=34209792, episodic return=2111.021240234375\n", + "global step=34211840, episodic return=2110.119140625\n", + "global step=34211840, episodic return=2123.993408203125\n", + "global step=34213888, episodic return=1139.2132568359375\n", + "global step=34213888, episodic return=2110.734375\n", + "global step=34213888, episodic return=711.6994018554688\n", + "global step=34215936, episodic return=2088.31689453125\n", + "global step=34215936, episodic return=2089.26220703125\n", + "global step=34215936, episodic return=1728.266845703125\n", + "global step=34215936, episodic return=2114.00537109375\n", + "global step=34217984, episodic return=1338.2423095703125\n", + "global step=34217984, episodic return=394.94097900390625\n", + "global step=34217984, episodic return=2149.712890625\n", + "global step=34220032, episodic return=999.170166015625\n", + "global step=34220032, episodic return=1947.6536865234375\n", + "global step=34220032, episodic return=2068.15869140625\n", + "global step=34222080, episodic return=2060.02587890625\n", + "global step=34224128, episodic return=1704.9471435546875\n", + "global step=34226176, episodic return=2144.25146484375\n", + "global step=34226176, episodic return=2149.140380859375\n", + "global step=34226176, episodic return=2147.79345703125\n", + "global step=34228224, episodic return=1869.3135986328125\n", + "global step=34228224, episodic return=2141.929443359375\n", + "global step=34228224, episodic return=2094.547119140625\n", + "global step=34228224, episodic return=1949.8431396484375\n", + "global step=34232320, episodic return=1989.8609619140625\n", + "global step=34232320, episodic return=2066.69384765625\n", + "global step=34232320, episodic return=2138.234619140625\n", + "global step=34232320, episodic return=2113.12060546875\n", + "global step=34232320, episodic return=2017.9287109375\n", + "global step=34234368, episodic return=2171.55224609375\n", + "global step=34234368, episodic return=765.9940185546875\n", + "global step=34234368, episodic return=865.7828369140625\n", + "global step=34234368, episodic return=2149.210693359375\n", + "global step=34236416, episodic return=2082.552001953125\n", + "global step=34238464, episodic return=2107.418212890625\n", + "global step=34238464, episodic return=2135.06591796875\n", + "global step=34238464, episodic return=2093.556396484375\n", + "global step=34240512, episodic return=2035.85498046875\n", + "global step=34240512, episodic return=2078.7802734375\n", + "global step=34240512, episodic return=2002.197021484375\n", + "global step=34242560, episodic return=2092.2060546875\n", + "global step=34242560, episodic return=1381.006591796875\n", + "global step=34242560, episodic return=1127.855224609375\n", + "global step=34244608, episodic return=2014.0535888671875\n", + "global step=34244608, episodic return=2130.42724609375\n", + "global step=34244608, episodic return=2038.631103515625\n", + "global step=34246656, episodic return=2059.9560546875\n", + "global step=34246656, episodic return=2130.4609375\n", + "global step=34246656, episodic return=851.2921752929688\n", + "global step=34248704, episodic return=1338.3341064453125\n", + "global step=34248704, episodic return=2084.146240234375\n", + "global step=34248704, episodic return=2089.592529296875\n", + "global step=34248704, episodic return=2134.720947265625\n", + "global step=34248704, episodic return=2063.88525390625\n", + "global step=34248704, episodic return=2127.529541015625\n", + "global step=34250752, episodic return=2166.111083984375\n", + "global step=34250752, episodic return=2073.870849609375\n", + "global step=34252800, episodic return=2130.37060546875\n", + "global step=34254848, episodic return=2154.21630859375\n", + "global step=34254848, episodic return=2077.432861328125\n", + "global step=34256896, episodic return=2145.40673828125\n", + "global step=34256896, episodic return=2105.28466796875\n", + "global step=34256896, episodic return=378.51055908203125\n", + "global step=34256896, episodic return=2025.7288818359375\n", + "global step=34256896, episodic return=1991.44384765625\n", + "global step=34256896, episodic return=2084.67236328125\n", + "global step=34256896, episodic return=2044.476318359375\n", + "global step=34258944, episodic return=2059.497802734375\n", + "global step=34258944, episodic return=2160.61474609375\n", + "global step=34260992, episodic return=2122.574951171875\n", + "global step=34260992, episodic return=2112.6943359375\n", + "global step=34265088, episodic return=2004.58203125\n", + "global step=34265088, episodic return=2131.40869140625\n", + "global step=34267136, episodic return=2077.281005859375\n", + "global step=34267136, episodic return=2161.87548828125\n", + "global step=34267136, episodic return=2066.91015625\n", + "global step=34269184, episodic return=2140.89306640625\n", + "global step=34269184, episodic return=2031.1263427734375\n", + "global step=34271232, episodic return=1999.58154296875\n", + "global step=34271232, episodic return=2126.4033203125\n", + "global step=34271232, episodic return=2056.13720703125\n", + "global step=34271232, episodic return=2100.7939453125\n", + "global step=34271232, episodic return=1924.0721435546875\n", + "global step=34273280, episodic return=297.895263671875\n", + "global step=34273280, episodic return=2134.407958984375\n", + "global step=34277376, episodic return=2094.53173828125\n", + "global step=34277376, episodic return=2122.52734375\n", + "global step=34277376, episodic return=2149.176025390625\n", + "global step=34277376, episodic return=2063.462646484375\n", + "global step=34279424, episodic return=2045.1041259765625\n", + "global step=34279424, episodic return=2131.854736328125\n", + "global step=34279424, episodic return=2141.794189453125\n", + "global step=34281472, episodic return=2147.5107421875\n", + "global step=34283520, episodic return=2024.1904296875\n", + "global step=34285568, episodic return=2102.777099609375\n", + "global step=34285568, episodic return=1117.04443359375\n", + "global step=34285568, episodic return=2133.80126953125\n", + "global step=34285568, episodic return=2106.458251953125\n", + "global step=34287616, episodic return=2054.088623046875\n", + "global step=34287616, episodic return=2072.75\n", + "global step=34287616, episodic return=2131.723876953125\n", + "global step=34287616, episodic return=2091.20654296875\n", + "global step=34287616, episodic return=2056.85546875\n", + "global step=34289664, episodic return=2175.14404296875\n", + "global step=34289664, episodic return=2037.35595703125\n", + "global step=34289664, episodic return=2006.962646484375\n", + "global step=34289664, episodic return=2129.1201171875\n", + "global step=34291712, episodic return=2076.032470703125\n", + "global step=34293760, episodic return=2127.63037109375\n", + "global step=34293760, episodic return=2047.4224853515625\n", + "global step=34293760, episodic return=2040.0174560546875\n", + "global step=34295808, episodic return=2089.58544921875\n", + "global step=34295808, episodic return=2147.161865234375\n", + "global step=34295808, episodic return=2068.429443359375\n", + "global step=34295808, episodic return=2055.287353515625\n", + "global step=34297856, episodic return=2108.782958984375\n", + "global step=34297856, episodic return=2094.999755859375\n", + "global step=34299904, episodic return=1248.7154541015625\n", + "global step=34299904, episodic return=2038.83544921875\n", + "global step=34299904, episodic return=2148.7509765625\n", + "global step=34299904, episodic return=2073.166259765625\n", + "global step=34301952, episodic return=1155.2821044921875\n", + "global step=34301952, episodic return=2114.7919921875\n", + "global step=34301952, episodic return=2014.07470703125\n", + "global step=34306048, episodic return=2134.36572265625\n", + "global step=34306048, episodic return=2116.46875\n", + "global step=34308096, episodic return=905.070556640625\n", + "global step=34308096, episodic return=2163.602783203125\n", + "global step=34308096, episodic return=560.0450439453125\n", + "global step=34308096, episodic return=2063.403564453125\n", + "global step=34310144, episodic return=2148.244384765625\n", + "global step=34312192, episodic return=2085.989501953125\n", + "global step=34312192, episodic return=465.70672607421875\n", + "global step=34312192, episodic return=2033.016845703125\n", + "global step=34312192, episodic return=2170.188720703125\n", + "global step=34314240, episodic return=2118.386962890625\n", + "global step=34314240, episodic return=2128.52783203125\n", + "global step=34316288, episodic return=2117.37255859375\n", + "global step=34316288, episodic return=774.5850830078125\n", + "global step=34316288, episodic return=2111.981201171875\n", + "global step=34320384, episodic return=2053.476806640625\n", + "global step=34320384, episodic return=2094.50732421875\n", + "global step=34320384, episodic return=2014.2525634765625\n", + "global step=34322432, episodic return=2112.976806640625\n", + "global step=34322432, episodic return=2104.497802734375\n", + "global step=34322432, episodic return=2082.578857421875\n", + "global step=34324480, episodic return=2086.59912109375\n", + "global step=34326528, episodic return=2106.430908203125\n", + "global step=34326528, episodic return=1564.96484375\n", + "global step=34328576, episodic return=2162.979736328125\n", + "global step=34328576, episodic return=2080.21630859375\n", + "global step=34328576, episodic return=2061.06494140625\n", + "global step=34328576, episodic return=2048.5126953125\n", + "global step=34328576, episodic return=894.6812133789062\n", + "global step=34330624, episodic return=2079.61767578125\n", + "global step=34330624, episodic return=2083.58154296875\n", + "global step=34330624, episodic return=2094.0966796875\n", + "global step=34332672, episodic return=2102.055419921875\n", + "global step=34332672, episodic return=1639.9918212890625\n", + "global step=34332672, episodic return=2020.126953125\n", + "global step=34332672, episodic return=2085.387451171875\n", + "global step=34332672, episodic return=2124.047119140625\n", + "global step=34332672, episodic return=2111.238525390625\n", + "global step=34332672, episodic return=2119.068603515625\n", + "global step=34332672, episodic return=2120.56494140625\n", + "global step=34332672, episodic return=2053.946044921875\n", + "global step=34332672, episodic return=1132.128173828125\n", + "global step=34332672, episodic return=2007.5411376953125\n", + "global step=34338816, episodic return=2144.7685546875\n", + "global step=34338816, episodic return=2004.555908203125\n", + "global step=34338816, episodic return=576.3284301757812\n", + "global step=34338816, episodic return=2047.0169677734375\n", + "global step=34338816, episodic return=2153.1728515625\n", + "global step=34340864, episodic return=2105.065185546875\n", + "global step=34340864, episodic return=2156.51708984375\n", + "global step=34340864, episodic return=2128.2587890625\n", + "global step=34342912, episodic return=2166.01416015625\n", + "global step=34342912, episodic return=2127.7646484375\n", + "global step=34342912, episodic return=2034.5301513671875\n", + "global step=34342912, episodic return=2164.876220703125\n", + "global step=34344960, episodic return=2084.799072265625\n", + "global step=34349056, episodic return=2109.037109375\n", + "global step=34349056, episodic return=2067.500732421875\n", + "global step=34349056, episodic return=1903.1192626953125\n", + "global step=34349056, episodic return=2116.97119140625\n", + "global step=34349056, episodic return=968.2999267578125\n", + "global step=34351104, episodic return=2143.87646484375\n", + "global step=34353152, episodic return=2046.177490234375\n", + "global step=34355200, episodic return=1506.9539794921875\n", + "global step=34355200, episodic return=1150.90673828125\n", + "global step=34355200, episodic return=2096.584228515625\n", + "global step=34357248, episodic return=2168.872314453125\n", + "global step=34357248, episodic return=2118.12353515625\n", + "global step=34357248, episodic return=2107.363037109375\n", + "global step=34357248, episodic return=2152.1806640625\n", + "global step=34359296, episodic return=2130.64013671875\n", + "global step=34359296, episodic return=2068.438232421875\n", + "global step=34361344, episodic return=1483.1102294921875\n", + "global step=34361344, episodic return=2041.03955078125\n", + "global step=34363392, episodic return=2136.784912109375\n", + "global step=34363392, episodic return=2077.648681640625\n", + "global step=34365440, episodic return=2102.173828125\n", + "global step=34367488, episodic return=2092.33056640625\n", + "global step=34367488, episodic return=2080.494140625\n", + "global step=34367488, episodic return=2047.791015625\n", + "global step=34367488, episodic return=2111.859619140625\n", + "global step=34367488, episodic return=2076.24169921875\n", + "global step=34367488, episodic return=1648.2904052734375\n", + "global step=34369536, episodic return=2075.341064453125\n", + "global step=34369536, episodic return=2058.47216796875\n", + "global step=34369536, episodic return=701.6602172851562\n", + "global step=34369536, episodic return=718.3779907226562\n", + "global step=34371584, episodic return=1823.04931640625\n", + "global step=34371584, episodic return=2145.29833984375\n", + "global step=34371584, episodic return=2040.2763671875\n", + "global step=34373632, episodic return=2096.692626953125\n", + "global step=34373632, episodic return=2134.181396484375\n", + "global step=34373632, episodic return=2094.319091796875\n", + "global step=34375680, episodic return=2094.218505859375\n", + "global step=34375680, episodic return=1913.044921875\n", + "global step=34375680, episodic return=2142.762939453125\n", + "global step=34375680, episodic return=2153.531005859375\n", + "global step=34377728, episodic return=665.9246215820312\n", + "global step=34377728, episodic return=1358.8905029296875\n", + "global step=34377728, episodic return=2075.885986328125\n", + "global step=34377728, episodic return=2131.682861328125\n", + "global step=34379776, episodic return=2156.515380859375\n", + "global step=34379776, episodic return=2146.264892578125\n", + "global step=34379776, episodic return=2079.923583984375\n", + "global step=34381824, episodic return=2125.945068359375\n", + "global step=34381824, episodic return=2150.83447265625\n", + "global step=34381824, episodic return=2137.240234375\n", + "global step=34381824, episodic return=359.775634765625\n", + "global step=34383872, episodic return=2092.0859375\n", + "global step=34383872, episodic return=2122.562744140625\n", + "global step=34383872, episodic return=2164.91943359375\n", + "global step=34385920, episodic return=2080.05712890625\n", + "global step=34385920, episodic return=1328.7330322265625\n", + "global step=34387968, episodic return=2153.414306640625\n", + "global step=34387968, episodic return=2068.25732421875\n", + "global step=34387968, episodic return=362.4849548339844\n", + "global step=34387968, episodic return=2018.7008056640625\n", + "global step=34390016, episodic return=2135.239501953125\n", + "global step=34390016, episodic return=2056.072265625\n", + "global step=34390016, episodic return=2080.408447265625\n", + "global step=34392064, episodic return=2065.32470703125\n", + "global step=34392064, episodic return=2129.73388671875\n", + "global step=34392064, episodic return=2116.9345703125\n", + "global step=34392064, episodic return=1131.443115234375\n", + "global step=34392064, episodic return=2150.522705078125\n", + "global step=34392064, episodic return=2011.5673828125\n", + "global step=34392064, episodic return=2147.7734375\n", + "global step=34394112, episodic return=2136.56689453125\n", + "global step=34394112, episodic return=2105.828857421875\n", + "global step=34396160, episodic return=2139.813720703125\n", + "global step=34396160, episodic return=2138.3203125\n", + "global step=34396160, episodic return=2104.88623046875\n", + "global step=34398208, episodic return=2125.617431640625\n", + "global step=34398208, episodic return=612.14013671875\n", + "global step=34400256, episodic return=2115.79052734375\n", + "global step=34402304, episodic return=1910.874267578125\n", + "global step=34402304, episodic return=1449.85107421875\n", + "global step=34402304, episodic return=2148.172119140625\n", + "global step=34402304, episodic return=2141.695068359375\n", + "global step=34402304, episodic return=2013.8935546875\n", + "global step=34402304, episodic return=2125.0498046875\n", + "global step=34402304, episodic return=2096.12744140625\n", + "global step=34402304, episodic return=2119.918701171875\n", + "global step=34404352, episodic return=2160.0224609375\n", + "global step=34404352, episodic return=2105.631591796875\n", + "global step=34404352, episodic return=1409.276123046875\n", + "global step=34404352, episodic return=2160.819091796875\n", + "global step=34404352, episodic return=2079.70068359375\n", + "global step=34404352, episodic return=2144.608154296875\n", + "global step=34404352, episodic return=2155.050537109375\n", + "global step=34406400, episodic return=2040.7735595703125\n", + "global step=34406400, episodic return=2013.218994140625\n", + "global step=34408448, episodic return=2056.587646484375\n", + "global step=34408448, episodic return=2123.77197265625\n", + "global step=34410496, episodic return=2106.10791015625\n", + "global step=34410496, episodic return=2083.1103515625\n", + "global step=34410496, episodic return=2073.302490234375\n", + "global step=34410496, episodic return=2097.758544921875\n", + "global step=34410496, episodic return=2149.110595703125\n", + "global step=34410496, episodic return=2145.572021484375\n", + "global step=34412544, episodic return=2124.4052734375\n", + "global step=34412544, episodic return=2041.7884521484375\n", + "global step=34414592, episodic return=2007.0567626953125\n", + "global step=34414592, episodic return=2090.72119140625\n", + "global step=34414592, episodic return=2132.677978515625\n", + "global step=34414592, episodic return=2126.13623046875\n", + "global step=34414592, episodic return=2133.574951171875\n", + "global step=34416640, episodic return=2142.327880859375\n", + "global step=34416640, episodic return=2147.266357421875\n", + "global step=34418688, episodic return=2051.43408203125\n", + "global step=34418688, episodic return=2107.7412109375\n", + "global step=34418688, episodic return=2101.048095703125\n", + "global step=34420736, episodic return=2129.4150390625\n", + "global step=34424832, episodic return=2090.402587890625\n", + "global step=34424832, episodic return=2106.021728515625\n", + "global step=34426880, episodic return=2120.990966796875\n", + "global step=34426880, episodic return=2118.008544921875\n", + "global step=34426880, episodic return=2011.0179443359375\n", + "global step=34426880, episodic return=2170.196044921875\n", + "global step=34428928, episodic return=2180.409423828125\n", + "global step=34428928, episodic return=2137.083740234375\n", + "global step=34428928, episodic return=2107.45458984375\n", + "global step=34430976, episodic return=2060.15966796875\n", + "global step=34433024, episodic return=2129.2041015625\n", + "global step=34433024, episodic return=2114.84228515625\n", + "global step=34433024, episodic return=2131.8466796875\n", + "global step=34435072, episodic return=2131.44482421875\n", + "global step=34435072, episodic return=2054.798583984375\n", + "global step=34435072, episodic return=2126.04931640625\n", + "global step=34435072, episodic return=2131.16259765625\n", + "global step=34437120, episodic return=2144.6220703125\n", + "global step=34437120, episodic return=2062.794921875\n", + "global step=34437120, episodic return=2089.662109375\n", + "global step=34439168, episodic return=2165.70654296875\n", + "global step=34439168, episodic return=2112.927001953125\n", + "global step=34439168, episodic return=2147.459716796875\n", + "global step=34439168, episodic return=2012.197509765625\n", + "global step=34441216, episodic return=2148.614990234375\n", + "global step=34441216, episodic return=2130.40625\n", + "global step=34441216, episodic return=2091.310791015625\n", + "global step=34441216, episodic return=2095.56396484375\n", + "global step=34443264, episodic return=2153.836181640625\n", + "global step=34443264, episodic return=2107.29248046875\n", + "global step=34443264, episodic return=2109.0634765625\n", + "global step=34445312, episodic return=2102.123291015625\n", + "global step=34445312, episodic return=1759.01123046875\n", + "global step=34445312, episodic return=2164.05322265625\n", + "global step=34447360, episodic return=2154.539794921875\n", + "global step=34447360, episodic return=2134.29443359375\n", + "global step=34447360, episodic return=2116.252197265625\n", + "global step=34449408, episodic return=2140.263916015625\n", + "global step=34449408, episodic return=2176.341552734375\n", + "global step=34451456, episodic return=437.39117431640625\n", + "global step=34451456, episodic return=2138.992919921875\n", + "global step=34453504, episodic return=2032.122314453125\n", + "global step=34453504, episodic return=2165.400634765625\n", + "global step=34453504, episodic return=2094.436279296875\n", + "global step=34455552, episodic return=1775.524169921875\n", + "global step=34455552, episodic return=1675.0975341796875\n", + "global step=34455552, episodic return=2099.177001953125\n", + "global step=34457600, episodic return=2119.868896484375\n", + "global step=34457600, episodic return=2131.197509765625\n", + "global step=34457600, episodic return=2145.902587890625\n", + "global step=34457600, episodic return=2106.965576171875\n", + "global step=34457600, episodic return=2133.853271484375\n", + "global step=34459648, episodic return=2099.607177734375\n", + "global step=34459648, episodic return=2097.151611328125\n", + "global step=34459648, episodic return=2062.96044921875\n", + "global step=34459648, episodic return=2127.367919921875\n", + "global step=34461696, episodic return=2136.73681640625\n", + "global step=34461696, episodic return=2038.689453125\n", + "global step=34461696, episodic return=2173.35595703125\n", + "global step=34461696, episodic return=478.39105224609375\n", + "global step=34463744, episodic return=2149.9892578125\n", + "global step=34463744, episodic return=852.8408203125\n", + "global step=34463744, episodic return=2117.478759765625\n", + "global step=34463744, episodic return=2086.216064453125\n", + "global step=34465792, episodic return=2073.71435546875\n", + "global step=34465792, episodic return=2058.687744140625\n", + "global step=34465792, episodic return=2132.82861328125\n", + "global step=34465792, episodic return=2140.378173828125\n", + "global step=34465792, episodic return=369.7417907714844\n", + "global step=34467840, episodic return=2109.87841796875\n", + "global step=34467840, episodic return=2100.361572265625\n", + "global step=34469888, episodic return=2123.04296875\n", + "global step=34471936, episodic return=2107.061279296875\n", + "global step=34471936, episodic return=2029.7113037109375\n", + "global step=34473984, episodic return=2107.39697265625\n", + "global step=34473984, episodic return=2149.05615234375\n", + "global step=34473984, episodic return=2079.839599609375\n", + "global step=34473984, episodic return=2112.38720703125\n", + "global step=34473984, episodic return=2154.2763671875\n", + "global step=34473984, episodic return=1719.1170654296875\n", + "global step=34473984, episodic return=2025.290771484375\n", + "global step=34476032, episodic return=2134.81201171875\n", + "global step=34476032, episodic return=943.5446166992188\n", + "global step=34478080, episodic return=2093.117919921875\n", + "global step=34480128, episodic return=733.3893432617188\n", + "global step=34480128, episodic return=2174.61474609375\n", + "global step=34480128, episodic return=2024.7210693359375\n", + "global step=34480128, episodic return=2090.533935546875\n", + "global step=34482176, episodic return=1630.69091796875\n", + "global step=34484224, episodic return=2135.60791015625\n", + "global step=34484224, episodic return=2036.5399169921875\n", + "global step=34484224, episodic return=2152.8857421875\n", + "global step=34484224, episodic return=2126.243896484375\n", + "global step=34484224, episodic return=2161.247314453125\n", + "global step=34486272, episodic return=2122.278564453125\n", + "global step=34488320, episodic return=2153.876220703125\n", + "global step=34488320, episodic return=2044.7137451171875\n", + "global step=34488320, episodic return=2138.130859375\n", + "global step=34488320, episodic return=2146.6640625\n", + "global step=34490368, episodic return=2116.9736328125\n", + "global step=34492416, episodic return=2062.4140625\n", + "global step=34492416, episodic return=2146.17578125\n", + "global step=34494464, episodic return=2106.3447265625\n", + "global step=34494464, episodic return=2134.57177734375\n", + "global step=34494464, episodic return=2116.55419921875\n", + "global step=34496512, episodic return=2160.54345703125\n", + "global step=34496512, episodic return=2157.329345703125\n", + "global step=34498560, episodic return=2149.4775390625\n", + "global step=34498560, episodic return=2137.16455078125\n", + "global step=34498560, episodic return=2149.497802734375\n", + "global step=34500608, episodic return=2157.139404296875\n", + "global step=34502656, episodic return=2079.781982421875\n", + "global step=34502656, episodic return=2176.030029296875\n", + "global step=34502656, episodic return=2148.518798828125\n", + "global step=34502656, episodic return=2131.082275390625\n", + "global step=34502656, episodic return=2027.7998046875\n", + "global step=34504704, episodic return=2141.24951171875\n", + "global step=34504704, episodic return=2120.82421875\n", + "global step=34504704, episodic return=2022.10693359375\n", + "global step=34506752, episodic return=2144.79345703125\n", + "global step=34506752, episodic return=2092.3134765625\n", + "global step=34506752, episodic return=2105.35546875\n", + "global step=34506752, episodic return=2114.322265625\n", + "global step=34508800, episodic return=2065.581298828125\n", + "global step=34508800, episodic return=2163.361083984375\n", + "global step=34508800, episodic return=2102.163330078125\n", + "global step=34510848, episodic return=2147.761474609375\n", + "global step=34510848, episodic return=740.6221313476562\n", + "global step=34510848, episodic return=2135.495849609375\n", + "global step=34512896, episodic return=2143.098388671875\n", + "global step=34512896, episodic return=2120.013671875\n", + "global step=34514944, episodic return=185.0547332763672\n", + "global step=34514944, episodic return=2113.657470703125\n", + "global step=34514944, episodic return=2154.122802734375\n", + "global step=34514944, episodic return=2118.468505859375\n", + "global step=34514944, episodic return=2020.286865234375\n", + "global step=34514944, episodic return=2139.863037109375\n", + "global step=34514944, episodic return=2104.500244140625\n", + "global step=34516992, episodic return=2147.949951171875\n", + "global step=34516992, episodic return=2171.0107421875\n", + "global step=34516992, episodic return=2165.881103515625\n", + "global step=34519040, episodic return=2148.990966796875\n", + "global step=34519040, episodic return=2146.549072265625\n", + "global step=34519040, episodic return=2124.43603515625\n", + "global step=34519040, episodic return=2078.210205078125\n", + "global step=34521088, episodic return=2105.8046875\n", + "global step=34523136, episodic return=2105.373046875\n", + "global step=34525184, episodic return=2169.54638671875\n", + "global step=34525184, episodic return=2111.052734375\n", + "global step=34527232, episodic return=2133.6923828125\n", + "global step=34527232, episodic return=917.9624633789062\n", + "global step=34527232, episodic return=2165.47705078125\n", + "global step=34531328, episodic return=2134.932373046875\n", + "global step=34533376, episodic return=2135.511962890625\n", + "global step=34533376, episodic return=2127.372314453125\n", + "global step=34535424, episodic return=2123.68359375\n", + "global step=34535424, episodic return=2032.6497802734375\n", + "global step=34537472, episodic return=2088.349853515625\n", + "global step=34537472, episodic return=120.18389129638672\n", + "global step=34537472, episodic return=2074.71240234375\n", + "global step=34537472, episodic return=2030.1575927734375\n", + "global step=34539520, episodic return=2132.01806640625\n", + "global step=34539520, episodic return=2119.296875\n", + "global step=34539520, episodic return=2129.693115234375\n", + "global step=34539520, episodic return=2153.393798828125\n", + "global step=34541568, episodic return=2134.033935546875\n", + "global step=34541568, episodic return=2099.161376953125\n", + "global step=34541568, episodic return=2114.362548828125\n", + "global step=34541568, episodic return=2140.564697265625\n", + "global step=34541568, episodic return=2140.4658203125\n", + "global step=34541568, episodic return=190.83152770996094\n", + "global step=34543616, episodic return=2082.3798828125\n", + "global step=34543616, episodic return=1393.80712890625\n", + "global step=34545664, episodic return=2045.0281982421875\n", + "global step=34545664, episodic return=2033.3367919921875\n", + "global step=34545664, episodic return=2082.680908203125\n", + "global step=34547712, episodic return=2128.6767578125\n", + "global step=34547712, episodic return=2099.279052734375\n", + "global step=34549760, episodic return=2141.744873046875\n", + "global step=34549760, episodic return=384.4222106933594\n", + "global step=34549760, episodic return=2143.013427734375\n", + "global step=34551808, episodic return=2145.14990234375\n", + "global step=34553856, episodic return=2129.935791015625\n", + "global step=34555904, episodic return=2121.349609375\n", + "global step=34557952, episodic return=2117.239501953125\n", + "global step=34560000, episodic return=1911.0830078125\n", + "global step=34562048, episodic return=2117.490966796875\n", + "global step=34562048, episodic return=2148.482177734375\n", + "global step=34564096, episodic return=2117.012451171875\n", + "global step=34564096, episodic return=2162.602294921875\n", + "global step=34564096, episodic return=2096.003662109375\n", + "global step=34566144, episodic return=508.5809631347656\n", + "global step=34566144, episodic return=2135.848388671875\n", + "global step=34568192, episodic return=2142.832763671875\n", + "global step=34568192, episodic return=2147.317626953125\n", + "global step=34570240, episodic return=2112.46142578125\n", + "global step=34572288, episodic return=2138.2236328125\n", + "global step=34572288, episodic return=2095.03369140625\n", + "global step=34572288, episodic return=2138.71044921875\n", + "global step=34574336, episodic return=2094.6455078125\n", + "global step=34574336, episodic return=2109.15185546875\n", + "global step=34574336, episodic return=2119.705810546875\n", + "global step=34574336, episodic return=2118.861328125\n", + "global step=34576384, episodic return=2025.23388671875\n", + "global step=34576384, episodic return=2116.011474609375\n", + "global step=34576384, episodic return=2141.955322265625\n", + "global step=34576384, episodic return=2165.28173828125\n", + "global step=34576384, episodic return=2155.87744140625\n", + "global step=34576384, episodic return=2034.268798828125\n", + "global step=34576384, episodic return=2143.320556640625\n", + "global step=34580480, episodic return=2106.4404296875\n", + "global step=34580480, episodic return=1971.7113037109375\n", + "global step=34580480, episodic return=2138.406005859375\n", + "global step=34582528, episodic return=2082.73095703125\n", + "global step=34582528, episodic return=2156.9091796875\n", + "global step=34582528, episodic return=2060.229248046875\n", + "global step=34582528, episodic return=1322.209228515625\n", + "global step=34582528, episodic return=2148.79052734375\n", + "global step=34582528, episodic return=2152.20703125\n", + "global step=34582528, episodic return=2091.921142578125\n", + "global step=34584576, episodic return=2146.099853515625\n", + "global step=34584576, episodic return=2114.51904296875\n", + "global step=34586624, episodic return=2152.11767578125\n", + "global step=34588672, episodic return=2159.882568359375\n", + "global step=34588672, episodic return=2169.27734375\n", + "global step=34588672, episodic return=2140.57275390625\n", + "global step=34590720, episodic return=2110.862548828125\n", + "global step=34590720, episodic return=2150.62744140625\n", + "global step=34592768, episodic return=2082.489990234375\n", + "global step=34592768, episodic return=1752.6331787109375\n", + "global step=34592768, episodic return=2142.39208984375\n", + "global step=34594816, episodic return=2086.551513671875\n", + "global step=34594816, episodic return=2082.673095703125\n", + "global step=34596864, episodic return=2119.693359375\n", + "global step=34596864, episodic return=2149.439697265625\n", + "global step=34596864, episodic return=1090.589599609375\n", + "global step=34598912, episodic return=2125.232421875\n", + "global step=34600960, episodic return=2114.3291015625\n", + "global step=34603008, episodic return=2149.435791015625\n", + "global step=34603008, episodic return=2151.05029296875\n", + "global step=34603008, episodic return=2118.5947265625\n", + "global step=34605056, episodic return=2134.2451171875\n", + "global step=34605056, episodic return=2161.09765625\n", + "global step=34605056, episodic return=285.1973876953125\n", + "global step=34607104, episodic return=2083.765869140625\n", + "global step=34609152, episodic return=2149.1806640625\n", + "global step=34611200, episodic return=2138.80712890625\n", + "global step=34611200, episodic return=2071.521240234375\n", + "global step=34613248, episodic return=2141.666259765625\n", + "global step=34613248, episodic return=2123.94189453125\n", + "global step=34613248, episodic return=2121.081787109375\n", + "global step=34613248, episodic return=2048.57080078125\n", + "global step=34615296, episodic return=2144.478515625\n", + "global step=34615296, episodic return=270.1026916503906\n", + "global step=34615296, episodic return=37.26870346069336\n", + "global step=34615296, episodic return=2116.871337890625\n", + "global step=34617344, episodic return=2139.5244140625\n", + "global step=34617344, episodic return=2126.346923828125\n", + "global step=34617344, episodic return=2134.9150390625\n", + "global step=34619392, episodic return=2085.9755859375\n", + "global step=34619392, episodic return=2153.345947265625\n", + "global step=34619392, episodic return=2031.729248046875\n", + "global step=34619392, episodic return=2087.412841796875\n", + "global step=34621440, episodic return=2146.22607421875\n", + "global step=34623488, episodic return=2086.45556640625\n", + "global step=34623488, episodic return=2113.802734375\n", + "global step=34625536, episodic return=2141.29931640625\n", + "global step=34627584, episodic return=2095.069091796875\n", + "global step=34629632, episodic return=2103.960205078125\n", + "global step=34629632, episodic return=2156.13232421875\n", + "global step=34629632, episodic return=2129.135498046875\n", + "global step=34631680, episodic return=2145.80859375\n", + "global step=34633728, episodic return=2049.263671875\n", + "global step=34637824, episodic return=2172.45263671875\n", + "global step=34637824, episodic return=2128.455322265625\n", + "global step=34639872, episodic return=2107.702880859375\n", + "global step=34639872, episodic return=2133.255859375\n", + "global step=34639872, episodic return=2094.648193359375\n", + "global step=34641920, episodic return=2125.508056640625\n", + "global step=34641920, episodic return=2161.6474609375\n", + "global step=34641920, episodic return=231.71441650390625\n", + "global step=34643968, episodic return=2171.305908203125\n", + "global step=34643968, episodic return=2081.455810546875\n", + "global step=34643968, episodic return=2117.216796875\n", + "global step=34643968, episodic return=2122.533203125\n", + "global step=34646016, episodic return=2095.25341796875\n", + "global step=34648064, episodic return=2112.98291015625\n", + "global step=34648064, episodic return=2149.609619140625\n", + "global step=34650112, episodic return=2127.079345703125\n", + "global step=34652160, episodic return=2086.904296875\n", + "global step=34652160, episodic return=2106.9208984375\n", + "global step=34654208, episodic return=2151.03564453125\n", + "global step=34654208, episodic return=2104.888671875\n", + "global step=34654208, episodic return=2131.68359375\n", + "global step=34654208, episodic return=2121.056884765625\n", + "global step=34656256, episodic return=2068.78857421875\n", + "global step=34656256, episodic return=2129.15478515625\n", + "global step=34658304, episodic return=1955.0384521484375\n", + "global step=34658304, episodic return=2106.27734375\n", + "global step=34658304, episodic return=2093.153564453125\n", + "global step=34658304, episodic return=470.1505126953125\n", + "global step=34658304, episodic return=558.2593994140625\n", + "global step=34658304, episodic return=2167.91015625\n", + "global step=34660352, episodic return=2099.830810546875\n", + "global step=34660352, episodic return=2165.482666015625\n", + "global step=34660352, episodic return=457.4457702636719\n", + "global step=34662400, episodic return=420.1263122558594\n", + "global step=34664448, episodic return=357.6031188964844\n", + "global step=34664448, episodic return=2130.189697265625\n", + "global step=34664448, episodic return=2179.960693359375\n", + "global step=34666496, episodic return=2176.0\n", + "global step=34666496, episodic return=2157.448974609375\n", + "global step=34666496, episodic return=2120.408203125\n", + "global step=34668544, episodic return=2096.663330078125\n", + "global step=34670592, episodic return=1448.576171875\n", + "global step=34670592, episodic return=2122.914306640625\n", + "global step=34672640, episodic return=2114.594482421875\n", + "global step=34672640, episodic return=2065.00146484375\n", + "global step=34672640, episodic return=2156.354736328125\n", + "global step=34674688, episodic return=2106.2265625\n", + "global step=34676736, episodic return=2115.886962890625\n", + "global step=34676736, episodic return=31.67007827758789\n", + "global step=34676736, episodic return=2141.234130859375\n", + "global step=34682880, episodic return=2136.121337890625\n", + "global step=34682880, episodic return=2128.84423828125\n", + "global step=34682880, episodic return=2074.926513671875\n", + "global step=34686976, episodic return=2158.998046875\n", + "global step=34686976, episodic return=2146.9365234375\n", + "global step=34686976, episodic return=2153.40771484375\n", + "global step=34689024, episodic return=2140.356689453125\n", + "global step=34689024, episodic return=2131.2177734375\n", + "global step=34689024, episodic return=2149.70068359375\n", + "global step=34689024, episodic return=2109.270263671875\n", + "global step=34689024, episodic return=2162.39794921875\n", + "global step=34691072, episodic return=2159.78515625\n", + "global step=34693120, episodic return=2120.094970703125\n", + "global step=34693120, episodic return=2133.4892578125\n", + "global step=34693120, episodic return=2144.578857421875\n", + "global step=34693120, episodic return=2142.404296875\n", + "global step=34695168, episodic return=2146.752685546875\n", + "global step=34695168, episodic return=2143.331787109375\n", + "global step=34697216, episodic return=2148.783447265625\n", + "global step=34697216, episodic return=2126.150146484375\n", + "global step=34697216, episodic return=2103.035400390625\n", + "global step=34697216, episodic return=2115.922607421875\n", + "global step=34697216, episodic return=209.60142517089844\n", + "global step=34699264, episodic return=786.2294921875\n", + "global step=34699264, episodic return=2137.306396484375\n", + "global step=34699264, episodic return=2140.078125\n", + "global step=34701312, episodic return=2127.44091796875\n", + "global step=34703360, episodic return=790.6880493164062\n", + "global step=34703360, episodic return=2120.548095703125\n", + "global step=34705408, episodic return=2115.36962890625\n", + "global step=34705408, episodic return=2146.18115234375\n", + "global step=34705408, episodic return=2140.686279296875\n", + "global step=34707456, episodic return=2036.725341796875\n", + "global step=34707456, episodic return=2149.015625\n", + "global step=34707456, episodic return=2107.58251953125\n", + "global step=34707456, episodic return=2138.22265625\n", + "global step=34709504, episodic return=2146.49951171875\n", + "global step=34709504, episodic return=2146.900634765625\n", + "global step=34709504, episodic return=2094.192626953125\n", + "global step=34711552, episodic return=2094.620849609375\n", + "global step=34711552, episodic return=2077.076171875\n", + "global step=34713600, episodic return=2127.6025390625\n", + "global step=34713600, episodic return=2139.500732421875\n", + "global step=34715648, episodic return=2135.54736328125\n", + "global step=34715648, episodic return=2148.31884765625\n", + "global step=34717696, episodic return=2161.652099609375\n", + "global step=34719744, episodic return=2137.391845703125\n", + "global step=34719744, episodic return=2062.842529296875\n", + "global step=34719744, episodic return=2034.7845458984375\n", + "global step=34721792, episodic return=2148.20849609375\n", + "global step=34723840, episodic return=1996.696533203125\n", + "global step=34723840, episodic return=2120.78564453125\n", + "global step=34723840, episodic return=743.8409423828125\n", + "global step=34725888, episodic return=2123.244873046875\n", + "global step=34729984, episodic return=2121.585693359375\n", + "global step=34732032, episodic return=2112.385498046875\n", + "global step=34732032, episodic return=1956.3909912109375\n", + "global step=34736128, episodic return=2150.094482421875\n", + "global step=34736128, episodic return=2054.235595703125\n", + "global step=34736128, episodic return=216.14076232910156\n", + "global step=34736128, episodic return=2136.23486328125\n", + "global step=34738176, episodic return=2102.678466796875\n", + "global step=34738176, episodic return=2106.28564453125\n", + "global step=34740224, episodic return=2170.000732421875\n", + "global step=34740224, episodic return=2128.153564453125\n", + "global step=34742272, episodic return=2054.02294921875\n", + "global step=34744320, episodic return=2139.684326171875\n", + "global step=34744320, episodic return=2150.063720703125\n", + "global step=34744320, episodic return=2145.750732421875\n", + "global step=34746368, episodic return=2105.76318359375\n", + "global step=34746368, episodic return=2118.6396484375\n", + "global step=34746368, episodic return=2126.427001953125\n", + "global step=34748416, episodic return=22.458005905151367\n", + "global step=34748416, episodic return=2076.887939453125\n", + "global step=34748416, episodic return=2115.717529296875\n", + "global step=34748416, episodic return=1065.9853515625\n", + "global step=34752512, episodic return=2114.40625\n", + "global step=34752512, episodic return=400.7188415527344\n", + "global step=34754560, episodic return=2164.943603515625\n", + "global step=34754560, episodic return=2102.961669921875\n", + "global step=34754560, episodic return=2088.855224609375\n", + "global step=34754560, episodic return=2127.995849609375\n", + "global step=34756608, episodic return=2154.6201171875\n", + "global step=34760704, episodic return=2145.467529296875\n", + "global step=34760704, episodic return=2037.504638671875\n", + "global step=34760704, episodic return=213.12826538085938\n", + "global step=34760704, episodic return=2124.322509765625\n", + "global step=34762752, episodic return=2131.501953125\n", + "global step=34762752, episodic return=2151.52734375\n", + "global step=34762752, episodic return=2090.7763671875\n", + "global step=34762752, episodic return=2113.010009765625\n", + "global step=34762752, episodic return=2142.0771484375\n", + "global step=34764800, episodic return=2143.03564453125\n", + "global step=34764800, episodic return=2078.699951171875\n", + "global step=34764800, episodic return=1208.6282958984375\n", + "global step=34766848, episodic return=2131.0048828125\n", + "global step=34766848, episodic return=2097.21435546875\n", + "global step=34766848, episodic return=2124.713623046875\n", + "global step=34766848, episodic return=2152.072021484375\n", + "global step=34766848, episodic return=2115.85302734375\n", + "global step=34768896, episodic return=2141.562255859375\n", + "global step=34770944, episodic return=2134.68212890625\n", + "global step=34770944, episodic return=2152.529541015625\n", + "global step=34772992, episodic return=2136.569091796875\n", + "global step=34772992, episodic return=2079.014404296875\n", + "global step=34772992, episodic return=2080.3056640625\n", + "global step=34775040, episodic return=2186.53125\n", + "global step=34775040, episodic return=203.51524353027344\n", + "global step=34777088, episodic return=2119.2587890625\n", + "global step=34777088, episodic return=2122.798828125\n", + "global step=34779136, episodic return=2089.43701171875\n", + "global step=34779136, episodic return=2074.862060546875\n", + "global step=34779136, episodic return=2087.298095703125\n", + "global step=34779136, episodic return=2146.6728515625\n", + "global step=34779136, episodic return=461.84234619140625\n", + "global step=34783232, episodic return=2105.81005859375\n", + "global step=34785280, episodic return=2108.9482421875\n", + "global step=34785280, episodic return=2142.001220703125\n", + "global step=34787328, episodic return=2111.46337890625\n", + "global step=34787328, episodic return=2134.702392578125\n", + "global step=34791424, episodic return=2105.895751953125\n", + "global step=34791424, episodic return=2117.273681640625\n", + "global step=34793472, episodic return=2121.184814453125\n", + "global step=34793472, episodic return=2075.62353515625\n", + "global step=34793472, episodic return=2107.335693359375\n", + "global step=34793472, episodic return=2148.02978515625\n", + "global step=34797568, episodic return=2146.71826171875\n", + "global step=34797568, episodic return=2077.886962890625\n", + "global step=34797568, episodic return=2125.26611328125\n", + "global step=34799616, episodic return=2119.16259765625\n", + "global step=34799616, episodic return=2113.47802734375\n", + "global step=34799616, episodic return=2107.681640625\n", + "global step=34801664, episodic return=2149.751220703125\n", + "global step=34801664, episodic return=1643.351318359375\n", + "global step=34805760, episodic return=2138.39453125\n", + "global step=34805760, episodic return=2148.89794921875\n", + "global step=34807808, episodic return=2125.29345703125\n", + "global step=34807808, episodic return=2045.0867919921875\n", + "global step=34807808, episodic return=2151.045654296875\n", + "global step=34809856, episodic return=2090.31396484375\n", + "global step=34811904, episodic return=2130.887451171875\n", + "global step=34811904, episodic return=2064.537109375\n", + "global step=34813952, episodic return=670.97998046875\n", + "global step=34816000, episodic return=2093.726318359375\n", + "global step=34816000, episodic return=2074.442626953125\n", + "global step=34818048, episodic return=2091.37841796875\n", + "global step=34820096, episodic return=2055.162841796875\n", + "global step=34822144, episodic return=2114.5283203125\n", + "global step=34822144, episodic return=2064.0029296875\n", + "global step=34824192, episodic return=2146.686279296875\n", + "global step=34826240, episodic return=2142.90234375\n", + "global step=34828288, episodic return=2059.763671875\n", + "global step=34828288, episodic return=2087.174072265625\n", + "global step=34830336, episodic return=2148.79443359375\n", + "global step=34834432, episodic return=462.9290771484375\n", + "global step=34836480, episodic return=2099.1982421875\n", + "global step=34838528, episodic return=2108.142578125\n", + "global step=34840576, episodic return=2096.72412109375\n", + "global step=34842624, episodic return=2161.138916015625\n", + "global step=34842624, episodic return=2163.7978515625\n", + "global step=34842624, episodic return=2090.033203125\n", + "global step=34842624, episodic return=2107.974365234375\n", + "global step=34842624, episodic return=2127.39453125\n", + "global step=34844672, episodic return=342.47332763671875\n", + "global step=34844672, episodic return=2126.168701171875\n", + "global step=34848768, episodic return=2123.170166015625\n", + "global step=34848768, episodic return=2119.12353515625\n", + "global step=34850816, episodic return=2073.666748046875\n", + "global step=34852864, episodic return=2114.504638671875\n", + "global step=34852864, episodic return=2115.3037109375\n", + "global step=34852864, episodic return=2135.14453125\n", + "global step=34854912, episodic return=2105.068359375\n", + "global step=34854912, episodic return=2108.158447265625\n", + "global step=34856960, episodic return=2128.54443359375\n", + "global step=34859008, episodic return=2137.05859375\n", + "global step=34863104, episodic return=2118.0615234375\n", + "global step=34865152, episodic return=2060.62353515625\n", + "global step=34865152, episodic return=2131.823486328125\n", + "global step=34865152, episodic return=2084.3798828125\n", + "global step=34867200, episodic return=2000.6829833984375\n", + "global step=34869248, episodic return=2134.765869140625\n", + "global step=34871296, episodic return=2126.510986328125\n", + "global step=34877440, episodic return=1830.507080078125\n", + "global step=34879488, episodic return=2114.26318359375\n", + "global step=34881536, episodic return=2136.68798828125\n", + "global step=34881536, episodic return=2037.18603515625\n", + "global step=34881536, episodic return=2170.259521484375\n", + "global step=34881536, episodic return=968.3082885742188\n", + "global step=34883584, episodic return=2143.800537109375\n", + "global step=34883584, episodic return=2164.807861328125\n", + "global step=34885632, episodic return=2130.9501953125\n", + "global step=34887680, episodic return=2122.81494140625\n", + "global step=34887680, episodic return=2110.86328125\n", + "global step=34887680, episodic return=2147.27685546875\n", + "global step=34889728, episodic return=2131.940673828125\n", + "global step=34891776, episodic return=2127.490234375\n", + "global step=34893824, episodic return=2134.841796875\n", + "global step=34893824, episodic return=2110.45361328125\n", + "global step=34893824, episodic return=2169.71142578125\n", + "global step=34897920, episodic return=2005.3614501953125\n", + "global step=34899968, episodic return=2166.62060546875\n", + "global step=34902016, episodic return=2145.50048828125\n", + "global step=34902016, episodic return=2130.45947265625\n", + "global step=34904064, episodic return=2059.40966796875\n", + "global step=34906112, episodic return=2118.450927734375\n", + "global step=34906112, episodic return=2124.091552734375\n", + "global step=34908160, episodic return=2038.267578125\n", + "global step=34910208, episodic return=2139.92138671875\n", + "global step=34912256, episodic return=2077.306396484375\n", + "global step=34914304, episodic return=2094.236328125\n", + "global step=34916352, episodic return=2047.5576171875\n", + "global step=34920448, episodic return=2138.153564453125\n", + "global step=34920448, episodic return=2088.325927734375\n", + "global step=34926592, episodic return=2143.8427734375\n", + "global step=34930688, episodic return=2120.246337890625\n", + "global step=34930688, episodic return=2129.25830078125\n", + "global step=34930688, episodic return=2137.889892578125\n", + "global step=34930688, episodic return=2120.200439453125\n", + "global step=34932736, episodic return=2100.953369140625\n", + "global step=34932736, episodic return=2119.779052734375\n", + "global step=34934784, episodic return=2127.366455078125\n", + "global step=34934784, episodic return=2087.817138671875\n", + "global step=34936832, episodic return=2144.592041015625\n", + "global step=34938880, episodic return=2093.919677734375\n", + "global step=34938880, episodic return=2116.06005859375\n", + "global step=34938880, episodic return=2115.22607421875\n", + "global step=34938880, episodic return=2152.06298828125\n", + "global step=34938880, episodic return=2081.622802734375\n", + "global step=34938880, episodic return=2126.962646484375\n", + "global step=34940928, episodic return=2121.114501953125\n", + "global step=34942976, episodic return=2105.1044921875\n", + "global step=34945024, episodic return=2073.3359375\n", + "global step=34945024, episodic return=2088.337646484375\n", + "global step=34949120, episodic return=2086.4638671875\n", + "global step=34949120, episodic return=2005.8133544921875\n", + "global step=34953216, episodic return=2127.4296875\n", + "global step=34953216, episodic return=2138.024169921875\n", + "global step=34957312, episodic return=2119.3251953125\n", + "global step=34957312, episodic return=2132.927490234375\n", + "global step=34959360, episodic return=888.7901611328125\n", + "global step=34965504, episodic return=2114.507568359375\n", + "global step=34971648, episodic return=2136.843505859375\n", + "global step=34975744, episodic return=1950.7421875\n", + "global step=34975744, episodic return=2142.630126953125\n", + "global step=34975744, episodic return=2087.694580078125\n", + "global step=34979840, episodic return=2076.16259765625\n", + "global step=34979840, episodic return=2140.765869140625\n", + "global step=34981888, episodic return=201.8755340576172\n", + "global step=34981888, episodic return=2128.468017578125\n", + "global step=34981888, episodic return=2159.05517578125\n", + "global step=34983936, episodic return=2006.5545654296875\n", + "global step=34985984, episodic return=2125.745361328125\n", + "global step=34988032, episodic return=1982.225341796875\n", + "global step=34992128, episodic return=2170.516845703125\n", + "global step=34994176, episodic return=2150.061767578125\n", + "global step=34994176, episodic return=572.9296264648438\n", + "global step=34996224, episodic return=2147.446044921875\n", + "global step=34996224, episodic return=672.5249633789062\n", + "global step=34998272, episodic return=2155.31103515625\n", + "global step=34998272, episodic return=2139.492919921875\n", + "global step=35000320, episodic return=2178.930908203125\n", + "global step=35002368, episodic return=2139.8212890625\n", + "global step=35004416, episodic return=2166.76318359375\n", + "global step=35006464, episodic return=2091.533203125\n", + "global step=35006464, episodic return=2095.78857421875\n", + "global step=35010560, episodic return=2126.899658203125\n", + "global step=35010560, episodic return=2160.751220703125\n", + "global step=35022848, episodic return=989.6643676757812\n", + "global step=35022848, episodic return=2086.23779296875\n", + "global step=35024896, episodic return=2193.859619140625\n", + "global step=35024896, episodic return=2128.2041015625\n", + "global step=35026944, episodic return=2089.7900390625\n", + "global step=35031040, episodic return=2139.676025390625\n", + "global step=35031040, episodic return=2143.767822265625\n", + "global step=35031040, episodic return=2180.260009765625\n", + "global step=35033088, episodic return=2052.507568359375\n", + "global step=35035136, episodic return=2041.08642578125\n", + "global step=35035136, episodic return=2120.7119140625\n", + "global step=35035136, episodic return=2146.392578125\n", + "global step=35035136, episodic return=2095.8583984375\n", + "global step=35037184, episodic return=937.5750122070312\n", + "global step=35037184, episodic return=2141.0029296875\n", + "global step=35039232, episodic return=2106.15234375\n", + "global step=35039232, episodic return=846.9312133789062\n", + "global step=35039232, episodic return=2123.850341796875\n", + "global step=35041280, episodic return=2117.4384765625\n", + "global step=35043328, episodic return=2100.4619140625\n", + "global step=35045376, episodic return=2113.708251953125\n", + "global step=35047424, episodic return=2123.072021484375\n", + "global step=35049472, episodic return=2097.0732421875\n", + "global step=35051520, episodic return=1994.1583251953125\n", + "global step=35055616, episodic return=2131.5712890625\n", + "global step=35055616, episodic return=2111.186767578125\n", + "global step=35057664, episodic return=2026.0916748046875\n", + "global step=35065856, episodic return=2129.482421875\n", + "global step=35065856, episodic return=2079.46142578125\n", + "global step=35069952, episodic return=2149.873046875\n", + "global step=35072000, episodic return=2167.6220703125\n", + "global step=35072000, episodic return=2121.126708984375\n", + "global step=35072000, episodic return=2114.06005859375\n", + "global step=35076096, episodic return=2153.743408203125\n", + "global step=35076096, episodic return=2138.861083984375\n", + "global step=35076096, episodic return=2116.725830078125\n", + "global step=35076096, episodic return=867.7991943359375\n", + "global step=35078144, episodic return=2068.757080078125\n", + "global step=35080192, episodic return=2151.482421875\n", + "global step=35080192, episodic return=2095.759765625\n", + "global step=35086336, episodic return=2107.789794921875\n", + "global step=35088384, episodic return=2124.109375\n", + "global step=35092480, episodic return=2122.916015625\n", + "global step=35092480, episodic return=2007.7750244140625\n", + "global step=35094528, episodic return=2149.573486328125\n", + "global step=35104768, episodic return=2164.04345703125\n", + "global step=35104768, episodic return=2121.49072265625\n", + "global step=35104768, episodic return=197.830078125\n", + "global step=35108864, episodic return=2142.981689453125\n", + "global step=35112960, episodic return=2107.662109375\n", + "global step=35115008, episodic return=970.9700317382812\n", + "global step=35119104, episodic return=2078.137451171875\n", + "global step=35125248, episodic return=716.3345947265625\n", + "global step=35129344, episodic return=2173.47900390625\n", + "global step=35129344, episodic return=2134.984130859375\n", + "global step=35131392, episodic return=2119.6455078125\n", + "global step=35131392, episodic return=2102.687744140625\n", + "global step=35131392, episodic return=2101.196533203125\n", + "global step=35135488, episodic return=2105.799072265625\n", + "global step=35137536, episodic return=2095.14892578125\n", + "global step=35137536, episodic return=2126.50439453125\n", + "global step=35137536, episodic return=2136.94140625\n", + "global step=35139584, episodic return=2154.12060546875\n", + "global step=35145728, episodic return=2157.948974609375\n", + "global step=35145728, episodic return=2106.85205078125\n", + "global step=35147776, episodic return=2178.9970703125\n", + "global step=35149824, episodic return=2132.69580078125\n", + "global step=35151872, episodic return=2030.9427490234375\n", + "global step=35151872, episodic return=2146.622314453125\n", + "global step=35160064, episodic return=2126.998046875\n", + "global step=35160064, episodic return=2124.551513671875\n", + "global step=35160064, episodic return=2155.650390625\n", + "global step=35162112, episodic return=2140.595458984375\n", + "global step=35164160, episodic return=2116.422119140625\n", + "global step=35164160, episodic return=2111.833984375\n", + "global step=35164160, episodic return=2112.401123046875\n", + "global step=35164160, episodic return=2176.688232421875\n", + "global step=35166208, episodic return=2173.85400390625\n", + "global step=35166208, episodic return=2115.828125\n", + "global step=35166208, episodic return=2093.54736328125\n", + "global step=35168256, episodic return=2117.470458984375\n", + "global step=35170304, episodic return=2125.4111328125\n", + "global step=35170304, episodic return=2132.861328125\n", + "global step=35172352, episodic return=2095.943115234375\n", + "global step=35172352, episodic return=2143.412841796875\n", + "global step=35180544, episodic return=2177.80322265625\n", + "global step=35180544, episodic return=2133.162353515625\n", + "global step=35180544, episodic return=2125.433837890625\n", + "global step=35184640, episodic return=2130.899658203125\n", + "global step=35184640, episodic return=2118.20166015625\n", + "global step=35184640, episodic return=1981.7080078125\n", + "global step=35188736, episodic return=2156.490966796875\n", + "global step=35190784, episodic return=2173.835205078125\n", + "global step=35192832, episodic return=2125.666259765625\n", + "global step=35196928, episodic return=2058.647705078125\n", + "global step=35198976, episodic return=2150.70654296875\n", + "global step=35198976, episodic return=99.45165252685547\n", + "global step=35201024, episodic return=2131.364990234375\n", + "global step=35205120, episodic return=2139.241455078125\n", + "global step=35207168, episodic return=2123.371826171875\n", + "global step=35207168, episodic return=2119.510009765625\n", + "global step=35209216, episodic return=2095.1259765625\n", + "global step=35211264, episodic return=194.37448120117188\n", + "global step=35211264, episodic return=2082.86572265625\n", + "global step=35213312, episodic return=2152.85546875\n", + "global step=35213312, episodic return=195.94479370117188\n", + "global step=35215360, episodic return=2152.150146484375\n", + "global step=35219456, episodic return=2120.570068359375\n", + "global step=35219456, episodic return=2148.075927734375\n", + "global step=35221504, episodic return=2114.112548828125\n", + "global step=35221504, episodic return=2135.89599609375\n", + "global step=35223552, episodic return=2099.98974609375\n", + "global step=35223552, episodic return=2177.3701171875\n", + "global step=35229696, episodic return=2152.411376953125\n", + "global step=35229696, episodic return=2182.778076171875\n", + "global step=35233792, episodic return=2140.9130859375\n", + "global step=35235840, episodic return=2161.022216796875\n", + "global step=35237888, episodic return=2116.736328125\n", + "global step=35237888, episodic return=2149.8076171875\n", + "global step=35241984, episodic return=2169.010986328125\n", + "global step=35244032, episodic return=2143.327392578125\n", + "global step=35246080, episodic return=2103.22216796875\n", + "global step=35248128, episodic return=2122.37744140625\n", + "global step=35248128, episodic return=2133.634765625\n", + "global step=35250176, episodic return=1886.734130859375\n", + "global step=35252224, episodic return=2113.18359375\n", + "global step=35254272, episodic return=2157.131103515625\n", + "global step=35258368, episodic return=2137.143798828125\n", + "global step=35260416, episodic return=2137.96435546875\n", + "global step=35260416, episodic return=2114.841796875\n", + "global step=35262464, episodic return=2147.85595703125\n", + "global step=35262464, episodic return=2149.25048828125\n", + "global step=35262464, episodic return=2181.319091796875\n", + "global step=35262464, episodic return=2137.072998046875\n", + "global step=35264512, episodic return=2147.8662109375\n", + "global step=35264512, episodic return=1953.913330078125\n", + "global step=35266560, episodic return=2146.511474609375\n", + "global step=35268608, episodic return=2149.029296875\n", + "global step=35270656, episodic return=2104.611328125\n", + "global step=35270656, episodic return=2115.992431640625\n", + "global step=35270656, episodic return=2121.707275390625\n", + "global step=35272704, episodic return=2167.6748046875\n", + "global step=35272704, episodic return=2096.53759765625\n", + "global step=35274752, episodic return=2120.91162109375\n", + "global step=35274752, episodic return=2003.8240966796875\n", + "global step=35276800, episodic return=2118.650390625\n", + "global step=35278848, episodic return=1945.9168701171875\n", + "global step=35278848, episodic return=2120.277587890625\n", + "global step=35278848, episodic return=2181.310302734375\n", + "global step=35278848, episodic return=2124.195556640625\n", + "global step=35280896, episodic return=2177.923583984375\n", + "global step=35282944, episodic return=2067.677001953125\n", + "global step=35282944, episodic return=2163.833251953125\n", + "global step=35282944, episodic return=2088.7587890625\n", + "global step=35284992, episodic return=2144.340576171875\n", + "global step=35287040, episodic return=2146.913330078125\n", + "global step=35289088, episodic return=464.632080078125\n", + "global step=35293184, episodic return=2108.90966796875\n", + "global step=35293184, episodic return=2090.60107421875\n", + "global step=35293184, episodic return=2149.013427734375\n", + "global step=35299328, episodic return=2074.156982421875\n", + "global step=35301376, episodic return=2139.388916015625\n", + "global step=35301376, episodic return=2120.072998046875\n", + "global step=35303424, episodic return=2132.29052734375\n", + "global step=35303424, episodic return=2105.397216796875\n", + "global step=35305472, episodic return=2129.28466796875\n", + "global step=35309568, episodic return=2158.8544921875\n", + "global step=35309568, episodic return=2137.182373046875\n", + "global step=35311616, episodic return=1978.5537109375\n", + "global step=35311616, episodic return=2137.15185546875\n", + "global step=35311616, episodic return=2070.05517578125\n", + "global step=35311616, episodic return=2147.05126953125\n", + "global step=35317760, episodic return=2135.159912109375\n", + "global step=35317760, episodic return=2106.556396484375\n", + "global step=35319808, episodic return=2136.302001953125\n", + "global step=35321856, episodic return=2103.802490234375\n", + "global step=35323904, episodic return=2144.8818359375\n", + "global step=35323904, episodic return=2098.28271484375\n", + "global step=35323904, episodic return=2067.234130859375\n", + "global step=35323904, episodic return=1943.225341796875\n", + "global step=35323904, episodic return=2135.038818359375\n", + "global step=35323904, episodic return=1600.2882080078125\n", + "global step=35328000, episodic return=2097.955322265625\n", + "global step=35328000, episodic return=2138.62451171875\n", + "global step=35328000, episodic return=2124.176513671875\n", + "global step=35328000, episodic return=2101.01611328125\n", + "global step=35332096, episodic return=2162.202880859375\n", + "global step=35334144, episodic return=2125.359619140625\n", + "global step=35334144, episodic return=2088.474853515625\n", + "global step=35336192, episodic return=2134.91455078125\n", + "global step=35338240, episodic return=2109.299072265625\n", + "global step=35338240, episodic return=2109.576171875\n", + "global step=35340288, episodic return=2105.82763671875\n", + "global step=35342336, episodic return=2123.6455078125\n", + "global step=35342336, episodic return=2050.7802734375\n", + "global step=35344384, episodic return=2091.941650390625\n", + "global step=35344384, episodic return=995.2713623046875\n", + "global step=35346432, episodic return=2092.694580078125\n", + "global step=35346432, episodic return=2090.243896484375\n", + "global step=35348480, episodic return=2169.5634765625\n", + "global step=35348480, episodic return=2150.9189453125\n", + "global step=35352576, episodic return=2137.20947265625\n", + "global step=35352576, episodic return=2131.13720703125\n", + "global step=35354624, episodic return=2122.271240234375\n", + "global step=35358720, episodic return=2138.30078125\n", + "global step=35360768, episodic return=2141.29345703125\n", + "global step=35362816, episodic return=1972.7498779296875\n", + "global step=35366912, episodic return=2093.99365234375\n", + "global step=35366912, episodic return=2120.456787109375\n", + "global step=35368960, episodic return=2137.580322265625\n", + "global step=35368960, episodic return=2139.302734375\n", + "global step=35368960, episodic return=2134.60595703125\n", + "global step=35371008, episodic return=2137.263916015625\n", + "global step=35373056, episodic return=2112.85107421875\n", + "global step=35375104, episodic return=2144.485595703125\n", + "global step=35375104, episodic return=2122.253173828125\n", + "global step=35375104, episodic return=41.902061462402344\n", + "global step=35375104, episodic return=2129.899658203125\n", + "global step=35375104, episodic return=2128.975830078125\n", + "global step=35379200, episodic return=2108.842529296875\n", + "global step=35383296, episodic return=2053.445556640625\n", + "global step=35383296, episodic return=2133.99951171875\n", + "global step=35383296, episodic return=2017.9144287109375\n", + "global step=35385344, episodic return=2112.747314453125\n", + "global step=35385344, episodic return=2149.9990234375\n", + "global step=35385344, episodic return=2088.215576171875\n", + "global step=35385344, episodic return=2126.68896484375\n", + "global step=35387392, episodic return=2152.01708984375\n", + "global step=35387392, episodic return=2007.5517578125\n", + "global step=35389440, episodic return=2090.924560546875\n", + "global step=35389440, episodic return=193.2607421875\n", + "global step=35391488, episodic return=2081.877685546875\n", + "global step=35391488, episodic return=2095.865234375\n", + "global step=35393536, episodic return=2039.8057861328125\n", + "global step=35393536, episodic return=2083.412109375\n", + "global step=35393536, episodic return=1215.938232421875\n", + "global step=35395584, episodic return=2136.385498046875\n", + "global step=35397632, episodic return=203.79257202148438\n", + "global step=35397632, episodic return=2112.25439453125\n", + "global step=35399680, episodic return=2082.411865234375\n", + "global step=35401728, episodic return=804.662109375\n", + "global step=35403776, episodic return=2077.082275390625\n", + "global step=35405824, episodic return=2117.39404296875\n", + "global step=35407872, episodic return=2170.747802734375\n", + "global step=35407872, episodic return=2138.4970703125\n", + "global step=35409920, episodic return=2135.26171875\n", + "global step=35411968, episodic return=2110.22021484375\n", + "global step=35411968, episodic return=2072.057861328125\n", + "global step=35414016, episodic return=2095.744384765625\n", + "global step=35414016, episodic return=2140.78173828125\n", + "global step=35414016, episodic return=2089.204345703125\n", + "global step=35414016, episodic return=2103.525634765625\n", + "global step=35416064, episodic return=2133.205810546875\n", + "global step=35416064, episodic return=2119.076171875\n", + "global step=35416064, episodic return=2036.4251708984375\n", + "global step=35418112, episodic return=623.1463012695312\n", + "global step=35420160, episodic return=2026.8414306640625\n", + "global step=35420160, episodic return=2098.25048828125\n", + "global step=35426304, episodic return=1265.9083251953125\n", + "global step=35428352, episodic return=2079.635498046875\n", + "global step=35428352, episodic return=2142.75146484375\n", + "global step=35430400, episodic return=2105.85888671875\n", + "global step=35432448, episodic return=2114.021240234375\n", + "global step=35432448, episodic return=2135.894775390625\n", + "global step=35432448, episodic return=2120.314697265625\n", + "global step=35434496, episodic return=2098.93310546875\n", + "global step=35434496, episodic return=2090.9443359375\n", + "global step=35434496, episodic return=1998.73291015625\n", + "global step=35434496, episodic return=2047.01904296875\n", + "global step=35436544, episodic return=2100.975830078125\n", + "global step=35438592, episodic return=2142.623291015625\n", + "global step=35442688, episodic return=2102.92822265625\n", + "global step=35444736, episodic return=2086.22705078125\n", + "global step=35444736, episodic return=2067.968505859375\n", + "global step=35446784, episodic return=2087.960693359375\n", + "global step=35446784, episodic return=2074.155517578125\n", + "global step=35446784, episodic return=2108.37158203125\n", + "global step=35446784, episodic return=2112.23583984375\n", + "global step=35448832, episodic return=2095.19970703125\n", + "global step=35448832, episodic return=2076.5634765625\n", + "global step=35454976, episodic return=2139.91748046875\n", + "global step=35457024, episodic return=763.7192993164062\n", + "global step=35459072, episodic return=2100.964599609375\n", + "global step=35463168, episodic return=2126.428466796875\n", + "global step=35463168, episodic return=345.9906921386719\n", + "global step=35465216, episodic return=2108.3330078125\n", + "global step=35465216, episodic return=2052.724609375\n", + "global step=35465216, episodic return=2081.636474609375\n", + "global step=35465216, episodic return=2111.55517578125\n", + "global step=35467264, episodic return=2150.68115234375\n", + "global step=35469312, episodic return=2062.62255859375\n", + "global step=35469312, episodic return=2126.73095703125\n", + "global step=35469312, episodic return=2118.322998046875\n", + "global step=35469312, episodic return=2008.6075439453125\n", + "global step=35471360, episodic return=2106.57958984375\n", + "global step=35473408, episodic return=1982.3765869140625\n", + "global step=35475456, episodic return=2082.53076171875\n", + "global step=35477504, episodic return=1972.3167724609375\n", + "global step=35479552, episodic return=2081.93212890625\n", + "global step=35481600, episodic return=2115.073486328125\n", + "global step=35481600, episodic return=2109.7998046875\n", + "global step=35481600, episodic return=2087.223388671875\n", + "global step=35483648, episodic return=312.59539794921875\n", + "global step=35483648, episodic return=1328.4288330078125\n", + "global step=35485696, episodic return=2106.703125\n", + "global step=35485696, episodic return=2123.7490234375\n", + "global step=35487744, episodic return=2119.4951171875\n", + "global step=35487744, episodic return=2098.53125\n", + "global step=35489792, episodic return=2108.09765625\n", + "global step=35489792, episodic return=2159.51708984375\n", + "global step=35489792, episodic return=2092.923095703125\n", + "global step=35489792, episodic return=2106.119140625\n", + "global step=35493888, episodic return=2092.102294921875\n", + "global step=35506176, episodic return=2108.681640625\n", + "global step=35506176, episodic return=2081.325927734375\n", + "global step=35508224, episodic return=1955.1767578125\n", + "global step=35508224, episodic return=1984.2232666015625\n", + "global step=35510272, episodic return=1977.564697265625\n", + "global step=35512320, episodic return=508.82891845703125\n", + "global step=35512320, episodic return=2042.130859375\n", + "global step=35512320, episodic return=902.1625366210938\n", + "global step=35512320, episodic return=2143.257568359375\n", + "global step=35514368, episodic return=330.3667907714844\n", + "global step=35514368, episodic return=2095.47021484375\n", + "global step=35514368, episodic return=1926.5955810546875\n", + "global step=35514368, episodic return=2064.315673828125\n", + "global step=35516416, episodic return=2081.321044921875\n", + "global step=35516416, episodic return=2117.920166015625\n", + "global step=35518464, episodic return=2048.7978515625\n", + "global step=35518464, episodic return=2132.54833984375\n", + "global step=35518464, episodic return=2115.8212890625\n", + "global step=35518464, episodic return=2049.9384765625\n", + "global step=35520512, episodic return=425.8022766113281\n", + "global step=35520512, episodic return=2089.678955078125\n", + "global step=35522560, episodic return=2096.119384765625\n", + "global step=35524608, episodic return=2068.407958984375\n", + "global step=35524608, episodic return=2070.335205078125\n", + "global step=35524608, episodic return=2143.611083984375\n", + "global step=35524608, episodic return=2060.039306640625\n", + "global step=35526656, episodic return=2136.018310546875\n", + "global step=35526656, episodic return=2071.231201171875\n", + "global step=35526656, episodic return=2018.5606689453125\n", + "global step=35528704, episodic return=2092.33935546875\n", + "global step=35528704, episodic return=2108.261474609375\n", + "global step=35528704, episodic return=2137.11083984375\n", + "global step=35530752, episodic return=278.0220947265625\n", + "global step=35530752, episodic return=2092.275634765625\n", + "global step=35530752, episodic return=2064.614501953125\n", + "global step=35532800, episodic return=2112.72509765625\n", + "global step=35536896, episodic return=1683.3531494140625\n", + "global step=35536896, episodic return=2102.2333984375\n", + "global step=35536896, episodic return=2090.671630859375\n", + "global step=35536896, episodic return=2077.894287109375\n", + "global step=35540992, episodic return=2050.46484375\n", + "global step=35540992, episodic return=2004.9036865234375\n", + "global step=35540992, episodic return=369.18658447265625\n", + "global step=35543040, episodic return=266.84722900390625\n", + "global step=35545088, episodic return=2077.03369140625\n", + "global step=35545088, episodic return=2148.610107421875\n", + "global step=35545088, episodic return=1548.1361083984375\n", + "global step=35547136, episodic return=1976.1861572265625\n", + "global step=35547136, episodic return=2078.321044921875\n", + "global step=35549184, episodic return=2048.146728515625\n", + "global step=35551232, episodic return=1718.9459228515625\n", + "global step=35551232, episodic return=2087.749755859375\n", + "global step=35553280, episodic return=2058.959716796875\n", + "global step=35553280, episodic return=2106.6103515625\n", + "global step=35555328, episodic return=2081.4248046875\n", + "global step=35555328, episodic return=2162.895263671875\n", + "global step=35555328, episodic return=2095.948486328125\n", + "global step=35557376, episodic return=997.8719482421875\n", + "global step=35559424, episodic return=1929.62841796875\n", + "global step=35559424, episodic return=2118.988037109375\n", + "global step=35561472, episodic return=2121.660888671875\n", + "global step=35561472, episodic return=2087.260009765625\n", + "global step=35567616, episodic return=2040.030517578125\n", + "global step=35567616, episodic return=1939.3656005859375\n", + "global step=35567616, episodic return=2093.457275390625\n", + "global step=35567616, episodic return=439.78009033203125\n", + "global step=35567616, episodic return=228.49594116210938\n", + "global step=35569664, episodic return=1297.725341796875\n", + "global step=35569664, episodic return=2104.21337890625\n", + "global step=35571712, episodic return=1214.44287109375\n", + "global step=35573760, episodic return=2132.28369140625\n", + "global step=35573760, episodic return=2089.08203125\n", + "global step=35573760, episodic return=2090.2255859375\n", + "global step=35575808, episodic return=930.9688720703125\n", + "global step=35575808, episodic return=2065.90087890625\n", + "global step=35577856, episodic return=2080.100341796875\n", + "global step=35579904, episodic return=1118.3568115234375\n", + "global step=35579904, episodic return=2071.2861328125\n", + "global step=35579904, episodic return=1994.7080078125\n", + "global step=35581952, episodic return=1975.4365234375\n", + "global step=35584000, episodic return=2117.643798828125\n", + "global step=35586048, episodic return=2103.678955078125\n", + "global step=35588096, episodic return=1367.195068359375\n", + "global step=35588096, episodic return=2126.473388671875\n", + "global step=35590144, episodic return=2109.009521484375\n", + "global step=35590144, episodic return=2114.458740234375\n", + "global step=35592192, episodic return=2096.0185546875\n", + "global step=35592192, episodic return=2044.874755859375\n", + "global step=35594240, episodic return=2104.10986328125\n", + "global step=35594240, episodic return=2125.430419921875\n", + "global step=35594240, episodic return=2053.66357421875\n", + "global step=35596288, episodic return=2098.33447265625\n", + "global step=35596288, episodic return=2075.622314453125\n", + "global step=35596288, episodic return=2086.1962890625\n", + "global step=35596288, episodic return=2121.21875\n", + "global step=35598336, episodic return=1176.4998779296875\n", + "global step=35600384, episodic return=2106.418701171875\n", + "global step=35600384, episodic return=2076.86376953125\n", + "global step=35602432, episodic return=1227.9691162109375\n", + "global step=35602432, episodic return=2122.15087890625\n", + "global step=35602432, episodic return=2047.396728515625\n", + "global step=35606528, episodic return=2117.261962890625\n", + "global step=35610624, episodic return=1370.1478271484375\n", + "global step=35612672, episodic return=2094.987548828125\n", + "global step=35612672, episodic return=2109.074951171875\n", + "global step=35614720, episodic return=2013.7606201171875\n", + "global step=35614720, episodic return=2112.58935546875\n", + "global step=35614720, episodic return=851.1032104492188\n", + "global step=35616768, episodic return=2110.99853515625\n", + "global step=35620864, episodic return=2124.5888671875\n", + "global step=35620864, episodic return=2067.504150390625\n", + "global step=35622912, episodic return=2075.804931640625\n", + "global step=35622912, episodic return=2074.04736328125\n", + "global step=35622912, episodic return=2126.051513671875\n", + "global step=35627008, episodic return=2102.725341796875\n", + "global step=35627008, episodic return=340.79205322265625\n", + "global step=35627008, episodic return=2073.845458984375\n", + "global step=35627008, episodic return=2069.45654296875\n", + "global step=35629056, episodic return=2137.54443359375\n", + "global step=35629056, episodic return=2078.44287109375\n", + "global step=35629056, episodic return=1379.8363037109375\n", + "global step=35629056, episodic return=741.4610595703125\n", + "global step=35629056, episodic return=2079.735107421875\n", + "global step=35631104, episodic return=2092.953125\n", + "global step=35633152, episodic return=2055.78076171875\n", + "global step=35633152, episodic return=2090.571533203125\n", + "global step=35633152, episodic return=2087.525634765625\n", + "global step=35635200, episodic return=2056.770751953125\n", + "global step=35635200, episodic return=2039.8106689453125\n", + "global step=35637248, episodic return=242.9649200439453\n", + "global step=35637248, episodic return=748.2949829101562\n", + "global step=35637248, episodic return=2067.057373046875\n", + "global step=35639296, episodic return=1950.350830078125\n", + "global step=35641344, episodic return=2098.80859375\n", + "global step=35641344, episodic return=2005.0130615234375\n", + "global step=35641344, episodic return=2117.776123046875\n", + "global step=35649536, episodic return=1653.6087646484375\n", + "global step=35649536, episodic return=2028.3155517578125\n", + "global step=35649536, episodic return=2119.341796875\n", + "global step=35651584, episodic return=2094.104248046875\n", + "global step=35655680, episodic return=2053.482177734375\n", + "global step=35655680, episodic return=2056.28759765625\n", + "global step=35655680, episodic return=2105.479736328125\n", + "global step=35657728, episodic return=2083.95947265625\n", + "global step=35657728, episodic return=2069.25146484375\n", + "global step=35657728, episodic return=2078.0517578125\n", + "global step=35659776, episodic return=2064.74560546875\n", + "global step=35659776, episodic return=1339.43701171875\n", + "global step=35661824, episodic return=2006.900634765625\n", + "global step=35661824, episodic return=857.5066528320312\n", + "global step=35665920, episodic return=1324.5517578125\n", + "global step=35667968, episodic return=2091.450927734375\n", + "global step=35670016, episodic return=523.8202514648438\n", + "global step=35674112, episodic return=2087.69091796875\n", + "global step=35674112, episodic return=2131.92138671875\n", + "global step=35676160, episodic return=2112.400390625\n", + "global step=35678208, episodic return=2093.55859375\n", + "global step=35680256, episodic return=2066.784912109375\n", + "global step=35680256, episodic return=2098.05322265625\n", + "global step=35682304, episodic return=1990.286865234375\n", + "global step=35682304, episodic return=1030.7486572265625\n", + "global step=35684352, episodic return=2061.70849609375\n", + "global step=35684352, episodic return=2017.21728515625\n", + "global step=35684352, episodic return=2112.68701171875\n", + "global step=35684352, episodic return=2027.0806884765625\n", + "global step=35684352, episodic return=1977.5023193359375\n", + "global step=35686400, episodic return=2100.227294921875\n", + "global step=35686400, episodic return=2073.9287109375\n", + "global step=35688448, episodic return=1805.072021484375\n", + "global step=35690496, episodic return=2017.470458984375\n", + "global step=35690496, episodic return=2139.199462890625\n", + "global step=35694592, episodic return=2093.40087890625\n", + "global step=35694592, episodic return=2039.8623046875\n", + "global step=35696640, episodic return=1961.872314453125\n", + "global step=35696640, episodic return=1259.687255859375\n", + "global step=35696640, episodic return=2070.1787109375\n", + "global step=35696640, episodic return=1941.80615234375\n", + "global step=35696640, episodic return=1196.193359375\n", + "global step=35698688, episodic return=2025.1114501953125\n", + "global step=35698688, episodic return=2098.1953125\n", + "global step=35698688, episodic return=1924.590087890625\n", + "global step=35700736, episodic return=2038.8883056640625\n", + "global step=35702784, episodic return=236.9544219970703\n", + "global step=35702784, episodic return=2069.90185546875\n", + "global step=35704832, episodic return=2012.438720703125\n", + "global step=35706880, episodic return=1972.385498046875\n", + "global step=35708928, episodic return=2099.548583984375\n", + "global step=35710976, episodic return=1989.2259521484375\n", + "global step=35710976, episodic return=2032.0150146484375\n", + "global step=35713024, episodic return=1911.014892578125\n", + "global step=35713024, episodic return=1921.4287109375\n", + "global step=35715072, episodic return=1994.68359375\n", + "global step=35715072, episodic return=1968.3140869140625\n", + "global step=35715072, episodic return=2034.078369140625\n", + "global step=35715072, episodic return=1991.1602783203125\n", + "global step=35719168, episodic return=2078.134033203125\n", + "global step=35719168, episodic return=2102.282958984375\n", + "global step=35721216, episodic return=2117.1748046875\n", + "global step=35721216, episodic return=2084.836669921875\n", + "global step=35721216, episodic return=1991.3192138671875\n", + "global step=35723264, episodic return=2119.2587890625\n", + "global step=35725312, episodic return=2121.392822265625\n", + "global step=35727360, episodic return=2050.233154296875\n", + "global step=35727360, episodic return=2062.83740234375\n", + "global step=35731456, episodic return=2076.677978515625\n", + "global step=35733504, episodic return=1959.8968505859375\n", + "global step=35733504, episodic return=2051.19091796875\n", + "global step=35733504, episodic return=2062.198486328125\n", + "global step=35735552, episodic return=2074.6201171875\n", + "global step=35735552, episodic return=1171.4508056640625\n", + "global step=35737600, episodic return=2114.4072265625\n", + "global step=35737600, episodic return=1906.6864013671875\n", + "global step=35737600, episodic return=2037.6221923828125\n", + "global step=35737600, episodic return=2050.5634765625\n", + "global step=35739648, episodic return=2086.2705078125\n", + "global step=35743744, episodic return=2107.519287109375\n", + "global step=35743744, episodic return=2001.755126953125\n", + "global step=35745792, episodic return=2060.066650390625\n", + "global step=35747840, episodic return=2048.3349609375\n", + "global step=35747840, episodic return=2113.5693359375\n", + "global step=35747840, episodic return=2023.0848388671875\n", + "global step=35749888, episodic return=2035.1810302734375\n", + "global step=35749888, episodic return=2035.6685791015625\n", + "global step=35749888, episodic return=2038.4376220703125\n", + "global step=35749888, episodic return=2093.643798828125\n", + "global step=35751936, episodic return=2092.295654296875\n", + "global step=35751936, episodic return=2081.5517578125\n", + "global step=35753984, episodic return=1950.201416015625\n", + "global step=35756032, episodic return=1951.400634765625\n", + "global step=35758080, episodic return=1977.858154296875\n", + "global step=35758080, episodic return=2138.9892578125\n", + "global step=35758080, episodic return=1925.1317138671875\n", + "global step=35758080, episodic return=2047.2838134765625\n", + "global step=35760128, episodic return=2011.10009765625\n", + "global step=35760128, episodic return=2025.7734375\n", + "global step=35760128, episodic return=1998.697509765625\n", + "global step=35760128, episodic return=2098.732666015625\n", + "global step=35760128, episodic return=2008.4354248046875\n", + "global step=35762176, episodic return=2083.93798828125\n", + "global step=35762176, episodic return=2103.934326171875\n", + "global step=35766272, episodic return=2115.8623046875\n", + "global step=35766272, episodic return=1955.7974853515625\n", + "global step=35768320, episodic return=1983.603759765625\n", + "global step=35768320, episodic return=2056.331787109375\n", + "global step=35768320, episodic return=2020.696044921875\n", + "global step=35768320, episodic return=2067.0556640625\n", + "global step=35770368, episodic return=2105.823974609375\n", + "global step=35772416, episodic return=2069.12548828125\n", + "global step=35772416, episodic return=1984.4112548828125\n", + "global step=35772416, episodic return=2082.328857421875\n", + "global step=35772416, episodic return=2067.592529296875\n", + "global step=35774464, episodic return=2078.300537109375\n", + "global step=35776512, episodic return=2092.952392578125\n", + "global step=35776512, episodic return=2050.10400390625\n", + "global step=35776512, episodic return=1592.69091796875\n", + "global step=35778560, episodic return=2056.55615234375\n", + "global step=35778560, episodic return=419.60980224609375\n", + "global step=35780608, episodic return=2084.49609375\n", + "global step=35782656, episodic return=2058.0546875\n", + "global step=35782656, episodic return=1992.4478759765625\n", + "global step=35782656, episodic return=2058.4736328125\n", + "global step=35782656, episodic return=1528.832275390625\n", + "global step=35786752, episodic return=2104.85498046875\n", + "global step=35786752, episodic return=2048.756103515625\n", + "global step=35788800, episodic return=2073.121337890625\n", + "global step=35788800, episodic return=1016.2409057617188\n", + "global step=35788800, episodic return=2003.340087890625\n", + "global step=35790848, episodic return=2086.439208984375\n", + "global step=35790848, episodic return=2064.711669921875\n", + "global step=35792896, episodic return=2020.42724609375\n", + "global step=35792896, episodic return=1959.8162841796875\n", + "global step=35792896, episodic return=185.47640991210938\n", + "global step=35792896, episodic return=2040.9967041015625\n", + "global step=35792896, episodic return=2050.157470703125\n", + "global step=35794944, episodic return=2073.35302734375\n", + "global step=35796992, episodic return=43.412376403808594\n", + "global step=35796992, episodic return=2006.382568359375\n", + "global step=35796992, episodic return=1550.3878173828125\n", + "global step=35796992, episodic return=2099.006103515625\n", + "global step=35796992, episodic return=955.3949584960938\n", + "global step=35799040, episodic return=902.0438232421875\n", + "global step=35799040, episodic return=2088.8720703125\n", + "global step=35799040, episodic return=67.24998474121094\n", + "global step=35801088, episodic return=2115.6767578125\n", + "global step=35801088, episodic return=2035.630615234375\n", + "global step=35801088, episodic return=2064.6044921875\n", + "global step=35803136, episodic return=2090.839111328125\n", + "global step=35805184, episodic return=2116.6064453125\n", + "global step=35805184, episodic return=2056.21337890625\n", + "global step=35807232, episodic return=1950.1512451171875\n", + "global step=35807232, episodic return=2059.5390625\n", + "global step=35807232, episodic return=2075.51953125\n", + "global step=35807232, episodic return=2122.579345703125\n", + "global step=35809280, episodic return=2125.01708984375\n", + "global step=35809280, episodic return=2073.969970703125\n", + "global step=35811328, episodic return=1967.1617431640625\n", + "global step=35811328, episodic return=2041.3763427734375\n", + "global step=35813376, episodic return=2082.784912109375\n", + "global step=35813376, episodic return=1978.4378662109375\n", + "global step=35815424, episodic return=2094.668212890625\n", + "global step=35815424, episodic return=1381.5045166015625\n", + "global step=35815424, episodic return=2068.368896484375\n", + "global step=35815424, episodic return=2017.4107666015625\n", + "global step=35817472, episodic return=2109.124755859375\n", + "global step=35817472, episodic return=2085.04296875\n", + "global step=35817472, episodic return=1990.3018798828125\n", + "global step=35819520, episodic return=962.6297607421875\n", + "global step=35819520, episodic return=1958.0120849609375\n", + "global step=35819520, episodic return=1950.6722412109375\n", + "global step=35819520, episodic return=2099.88916015625\n", + "global step=35819520, episodic return=2031.8304443359375\n", + "global step=35819520, episodic return=1945.5172119140625\n", + "global step=35821568, episodic return=1944.0853271484375\n", + "global step=35821568, episodic return=2075.408203125\n", + "global step=35821568, episodic return=1987.5325927734375\n", + "global step=35823616, episodic return=1076.482177734375\n", + "global step=35825664, episodic return=2066.279296875\n", + "global step=35827712, episodic return=1964.397705078125\n", + "global step=35827712, episodic return=2079.340087890625\n", + "global step=35829760, episodic return=1706.9664306640625\n", + "global step=35829760, episodic return=1969.390380859375\n", + "global step=35831808, episodic return=1996.1533203125\n", + "global step=35831808, episodic return=2098.0166015625\n", + "global step=35833856, episodic return=2073.61572265625\n", + "global step=35833856, episodic return=655.8385009765625\n", + "global step=35835904, episodic return=1988.4298095703125\n", + "global step=35835904, episodic return=2085.9111328125\n", + "global step=35835904, episodic return=2026.176513671875\n", + "global step=35837952, episodic return=1940.893310546875\n", + "global step=35837952, episodic return=2061.255126953125\n", + "global step=35837952, episodic return=1268.33642578125\n", + "global step=35840000, episodic return=2066.638671875\n", + "global step=35840000, episodic return=2045.692626953125\n", + "global step=35840000, episodic return=2121.698974609375\n", + "global step=35840000, episodic return=2083.5908203125\n", + "global step=35840000, episodic return=1931.2457275390625\n", + "global step=35842048, episodic return=2036.1923828125\n", + "global step=35842048, episodic return=1980.68017578125\n", + "global step=35842048, episodic return=2097.0732421875\n", + "global step=35842048, episodic return=1988.2105712890625\n", + "global step=35846144, episodic return=2088.90380859375\n", + "global step=35846144, episodic return=1347.3140869140625\n", + "global step=35848192, episodic return=1443.2098388671875\n", + "global step=35852288, episodic return=2005.8140869140625\n", + "global step=35854336, episodic return=2114.794189453125\n", + "global step=35854336, episodic return=2037.50146484375\n", + "global step=35854336, episodic return=2064.637939453125\n", + "global step=35856384, episodic return=1947.4478759765625\n", + "global step=35856384, episodic return=2008.533935546875\n", + "global step=35856384, episodic return=2063.966552734375\n", + "global step=35856384, episodic return=2112.44775390625\n", + "global step=35858432, episodic return=2072.88525390625\n", + "global step=35858432, episodic return=2063.036865234375\n", + "global step=35860480, episodic return=2089.253662109375\n", + "global step=35860480, episodic return=2038.369873046875\n", + "global step=35860480, episodic return=2000.624755859375\n", + "global step=35860480, episodic return=2075.992431640625\n", + "global step=35862528, episodic return=2012.369873046875\n", + "global step=35864576, episodic return=1938.55419921875\n", + "global step=35864576, episodic return=2031.8245849609375\n", + "global step=35864576, episodic return=2009.525390625\n", + "global step=35866624, episodic return=2046.4229736328125\n", + "global step=35868672, episodic return=2020.5450439453125\n", + "global step=35868672, episodic return=1942.011474609375\n", + "global step=35870720, episodic return=2131.440673828125\n", + "global step=35872768, episodic return=2107.3203125\n", + "global step=35872768, episodic return=2072.816650390625\n", + "global step=35872768, episodic return=2037.2152099609375\n", + "global step=35874816, episodic return=2069.29150390625\n", + "global step=35874816, episodic return=2019.314453125\n", + "global step=35876864, episodic return=2004.753173828125\n", + "global step=35876864, episodic return=1932.4698486328125\n", + "global step=35878912, episodic return=2087.338623046875\n", + "global step=35880960, episodic return=2064.243408203125\n", + "global step=35880960, episodic return=2051.64892578125\n", + "global step=35883008, episodic return=1967.733642578125\n", + "global step=35883008, episodic return=1979.6175537109375\n", + "global step=35883008, episodic return=2080.702880859375\n", + "global step=35885056, episodic return=2088.609130859375\n", + "global step=35885056, episodic return=2045.463134765625\n", + "global step=35885056, episodic return=2071.307373046875\n", + "global step=35885056, episodic return=2095.778076171875\n", + "global step=35885056, episodic return=2045.9239501953125\n", + "global step=35887104, episodic return=1615.585205078125\n", + "global step=35887104, episodic return=2011.453125\n", + "global step=35889152, episodic return=2118.552734375\n", + "global step=35889152, episodic return=978.1381225585938\n", + "global step=35891200, episodic return=2082.470947265625\n", + "global step=35895296, episodic return=2101.51513671875\n", + "global step=35895296, episodic return=2007.142333984375\n", + "global step=35897344, episodic return=2037.501708984375\n", + "global step=35897344, episodic return=2060.591064453125\n", + "global step=35899392, episodic return=1894.6650390625\n", + "global step=35899392, episodic return=2099.6376953125\n", + "global step=35901440, episodic return=2149.956298828125\n", + "global step=35901440, episodic return=2066.177001953125\n", + "global step=35901440, episodic return=2067.8544921875\n", + "global step=35905536, episodic return=2069.844482421875\n", + "global step=35905536, episodic return=1970.6243896484375\n", + "global step=35905536, episodic return=1935.6580810546875\n", + "global step=35905536, episodic return=1940.074462890625\n", + "global step=35907584, episodic return=2002.9674072265625\n", + "global step=35907584, episodic return=2145.782958984375\n", + "global step=35907584, episodic return=2042.5531005859375\n", + "global step=35909632, episodic return=2147.062255859375\n", + "global step=35909632, episodic return=2132.7177734375\n", + "global step=35909632, episodic return=2047.0380859375\n", + "global step=35909632, episodic return=2052.5751953125\n", + "global step=35911680, episodic return=1948.6134033203125\n", + "global step=35911680, episodic return=1785.3221435546875\n", + "global step=35911680, episodic return=2081.961181640625\n", + "global step=35911680, episodic return=1844.2156982421875\n", + "global step=35911680, episodic return=2066.684326171875\n", + "global step=35913728, episodic return=2062.18603515625\n", + "global step=35913728, episodic return=1983.2509765625\n", + "global step=35913728, episodic return=2056.649658203125\n", + "global step=35917824, episodic return=2006.098876953125\n", + "global step=35919872, episodic return=1967.1380615234375\n", + "global step=35919872, episodic return=1981.4423828125\n", + "global step=35919872, episodic return=1762.51171875\n", + "global step=35919872, episodic return=2034.9588623046875\n", + "global step=35921920, episodic return=2056.77392578125\n", + "global step=35921920, episodic return=1997.1231689453125\n", + "global step=35921920, episodic return=2095.7607421875\n", + "global step=35921920, episodic return=2006.4991455078125\n", + "global step=35921920, episodic return=2030.8529052734375\n", + "global step=35921920, episodic return=2092.692626953125\n", + "global step=35923968, episodic return=2027.9029541015625\n", + "global step=35923968, episodic return=1948.4952392578125\n", + "global step=35923968, episodic return=2018.239990234375\n", + "global step=35926016, episodic return=2006.551513671875\n", + "global step=35926016, episodic return=2075.916015625\n", + "global step=35928064, episodic return=2039.279296875\n", + "global step=35930112, episodic return=2128.88671875\n", + "global step=35930112, episodic return=1988.285888671875\n", + "global step=35930112, episodic return=2139.338134765625\n", + "global step=35934208, episodic return=2006.958740234375\n", + "global step=35934208, episodic return=2025.1923828125\n", + "global step=35934208, episodic return=1973.678466796875\n", + "global step=35936256, episodic return=2098.48974609375\n", + "global step=35936256, episodic return=1938.716064453125\n", + "global step=35936256, episodic return=2000.722900390625\n", + "global step=35938304, episodic return=1087.003173828125\n", + "global step=35938304, episodic return=2028.5712890625\n", + "global step=35938304, episodic return=2080.209716796875\n", + "global step=35940352, episodic return=1949.6744384765625\n", + "global step=35940352, episodic return=1992.361083984375\n", + "global step=35942400, episodic return=2008.9686279296875\n", + "global step=35942400, episodic return=2154.8466796875\n", + "global step=35942400, episodic return=2107.494140625\n", + "global step=35944448, episodic return=1976.525390625\n", + "global step=35944448, episodic return=1927.412353515625\n", + "global step=35944448, episodic return=2047.773193359375\n", + "global step=35944448, episodic return=1985.933349609375\n", + "global step=35944448, episodic return=2018.6822509765625\n", + "global step=35946496, episodic return=1947.2486572265625\n", + "global step=35946496, episodic return=2051.593994140625\n", + "global step=35946496, episodic return=1962.662841796875\n", + "global step=35948544, episodic return=2042.03173828125\n", + "global step=35948544, episodic return=2084.906005859375\n", + "global step=35948544, episodic return=2107.540283203125\n", + "global step=35950592, episodic return=1973.463134765625\n", + "global step=35950592, episodic return=2071.32958984375\n", + "global step=35950592, episodic return=1991.5789794921875\n", + "global step=35952640, episodic return=2103.395751953125\n", + "global step=35952640, episodic return=1989.554443359375\n", + "global step=35952640, episodic return=2059.42431640625\n", + "global step=35952640, episodic return=2048.955078125\n", + "global step=35952640, episodic return=2044.6165771484375\n", + "global step=35952640, episodic return=2087.8525390625\n", + "global step=35952640, episodic return=1969.7022705078125\n", + "global step=35952640, episodic return=1956.8939208984375\n", + "global step=35952640, episodic return=2106.882080078125\n", + "global step=35952640, episodic return=2104.202392578125\n", + "global step=35952640, episodic return=1783.5631103515625\n", + "global step=35954688, episodic return=2071.093505859375\n", + "global step=35956736, episodic return=1253.6834716796875\n", + "global step=35956736, episodic return=1966.365966796875\n", + "global step=35958784, episodic return=2020.5084228515625\n", + "global step=35958784, episodic return=2005.8753662109375\n", + "global step=35958784, episodic return=1984.0367431640625\n", + "global step=35958784, episodic return=2121.887451171875\n", + "global step=35958784, episodic return=2067.792724609375\n", + "global step=35960832, episodic return=2069.050537109375\n", + "global step=35960832, episodic return=2021.4202880859375\n", + "global step=35962880, episodic return=2046.54296875\n", + "global step=35962880, episodic return=2012.1063232421875\n", + "global step=35962880, episodic return=2076.713134765625\n", + "global step=35964928, episodic return=2105.748046875\n", + "global step=35964928, episodic return=1949.1771240234375\n", + "global step=35964928, episodic return=2129.51220703125\n", + "global step=35964928, episodic return=2041.3623046875\n", + "global step=35966976, episodic return=2033.3302001953125\n", + "global step=35969024, episodic return=2074.72216796875\n", + "global step=35969024, episodic return=2023.291015625\n", + "global step=35969024, episodic return=2006.552001953125\n", + "global step=35969024, episodic return=2026.314697265625\n", + "global step=35971072, episodic return=2013.970458984375\n", + "global step=35973120, episodic return=2006.4532470703125\n", + "global step=35973120, episodic return=1972.01025390625\n", + "global step=35973120, episodic return=1985.0941162109375\n", + "global step=35973120, episodic return=2045.9322509765625\n", + "global step=35973120, episodic return=2126.59130859375\n", + "global step=35975168, episodic return=1959.0633544921875\n", + "global step=35977216, episodic return=2019.4244384765625\n", + "global step=35977216, episodic return=2003.005126953125\n", + "global step=35977216, episodic return=2064.573974609375\n", + "global step=35979264, episodic return=1973.3133544921875\n", + "global step=35979264, episodic return=2093.077880859375\n", + "global step=35981312, episodic return=1981.61083984375\n", + "global step=35981312, episodic return=2039.17333984375\n", + "global step=35983360, episodic return=1959.384765625\n", + "global step=35983360, episodic return=1918.38818359375\n", + "global step=35983360, episodic return=2116.499755859375\n", + "global step=35985408, episodic return=2020.3489990234375\n", + "global step=35985408, episodic return=1994.4071044921875\n", + "global step=35987456, episodic return=2019.7706298828125\n", + "global step=35987456, episodic return=2063.423095703125\n", + "global step=35987456, episodic return=1434.7117919921875\n", + "global step=35987456, episodic return=2001.3822021484375\n", + "global step=35989504, episodic return=2061.9521484375\n", + "global step=35989504, episodic return=2060.2001953125\n", + "global step=35991552, episodic return=1996.0648193359375\n", + "global step=35991552, episodic return=2053.7041015625\n", + "global step=35991552, episodic return=1950.4522705078125\n", + "global step=35991552, episodic return=2081.68017578125\n", + "global step=35991552, episodic return=1918.9560546875\n", + "global step=35993600, episodic return=1947.044189453125\n", + "global step=35993600, episodic return=2082.84814453125\n", + "global step=35993600, episodic return=2020.8165283203125\n", + "global step=35993600, episodic return=1916.5418701171875\n", + "global step=35995648, episodic return=960.5504150390625\n", + "global step=35997696, episodic return=1950.9810791015625\n", + "global step=35997696, episodic return=1941.1492919921875\n", + "global step=35997696, episodic return=1972.063232421875\n", + "global step=35997696, episodic return=2025.7081298828125\n", + "global step=35997696, episodic return=2044.9385986328125\n", + "global step=35997696, episodic return=2030.2552490234375\n", + "global step=35999744, episodic return=1227.714599609375\n", + "global step=35999744, episodic return=2053.8359375\n", + "global step=35999744, episodic return=2083.0185546875\n", + "global step=36001792, episodic return=2054.069580078125\n", + "global step=36001792, episodic return=2080.059814453125\n", + "global step=36003840, episodic return=1557.671630859375\n", + "global step=36003840, episodic return=2096.8583984375\n", + "global step=36003840, episodic return=1960.6275634765625\n", + "global step=36003840, episodic return=2030.2017822265625\n", + "global step=36005888, episodic return=1985.8187255859375\n", + "global step=36005888, episodic return=2040.0863037109375\n", + "global step=36007936, episodic return=2043.141357421875\n", + "global step=36009984, episodic return=1960.6829833984375\n", + "global step=36009984, episodic return=2088.923583984375\n", + "global step=36009984, episodic return=2097.62255859375\n", + "global step=36009984, episodic return=2056.59423828125\n", + "global step=36012032, episodic return=2021.2772216796875\n", + "global step=36012032, episodic return=1978.2950439453125\n", + "global step=36012032, episodic return=2011.5750732421875\n", + "global step=36012032, episodic return=1997.29541015625\n", + "global step=36012032, episodic return=2060.092041015625\n", + "global step=36014080, episodic return=2087.930908203125\n", + "global step=36014080, episodic return=1985.1483154296875\n", + "global step=36014080, episodic return=2097.802490234375\n", + "global step=36014080, episodic return=1971.00390625\n", + "global step=36014080, episodic return=2055.0751953125\n", + "global step=36016128, episodic return=1981.2030029296875\n", + "global step=36016128, episodic return=2117.152587890625\n", + "global step=36016128, episodic return=847.025634765625\n", + "global step=36016128, episodic return=2072.095947265625\n", + "global step=36018176, episodic return=1971.2569580078125\n", + "global step=36018176, episodic return=2036.765380859375\n", + "global step=36018176, episodic return=1995.848388671875\n", + "global step=36018176, episodic return=1945.514892578125\n", + "global step=36020224, episodic return=1920.681884765625\n", + "global step=36020224, episodic return=2004.2545166015625\n", + "global step=36022272, episodic return=1876.3004150390625\n", + "global step=36022272, episodic return=2046.1876220703125\n", + "global step=36022272, episodic return=2068.268310546875\n", + "global step=36024320, episodic return=1409.0361328125\n", + "global step=36024320, episodic return=2033.7484130859375\n", + "global step=36026368, episodic return=2051.5888671875\n", + "global step=36026368, episodic return=2114.170654296875\n", + "global step=36026368, episodic return=1993.3980712890625\n", + "global step=36028416, episodic return=2017.90966796875\n", + "global step=36028416, episodic return=2053.718994140625\n", + "global step=36028416, episodic return=2061.625732421875\n", + "global step=36030464, episodic return=2009.941162109375\n", + "global step=36030464, episodic return=1962.14013671875\n", + "global step=36030464, episodic return=1987.852783203125\n", + "global step=36030464, episodic return=2093.34375\n", + "global step=36030464, episodic return=1976.202392578125\n", + "global step=36030464, episodic return=2018.72998046875\n", + "global step=36032512, episodic return=2027.1217041015625\n", + "global step=36034560, episodic return=1999.03759765625\n", + "global step=36034560, episodic return=2057.10693359375\n", + "global step=36038656, episodic return=2056.15625\n", + "global step=36038656, episodic return=560.5859985351562\n", + "global step=36038656, episodic return=1925.8642578125\n", + "global step=36040704, episodic return=1559.77392578125\n", + "global step=36040704, episodic return=2075.929443359375\n", + "global step=36040704, episodic return=1313.5316162109375\n", + "global step=36040704, episodic return=1978.891845703125\n", + "global step=36042752, episodic return=2051.339599609375\n", + "global step=36042752, episodic return=1975.8731689453125\n", + "global step=36044800, episodic return=1960.6328125\n", + "global step=36044800, episodic return=2052.68994140625\n", + "global step=36044800, episodic return=1637.168701171875\n", + "global step=36044800, episodic return=2029.411376953125\n", + "global step=36046848, episodic return=2020.0426025390625\n", + "global step=36046848, episodic return=2090.83740234375\n", + "global step=36046848, episodic return=2062.505859375\n", + "global step=36048896, episodic return=2010.4359130859375\n", + "global step=36050944, episodic return=2094.62890625\n", + "global step=36050944, episodic return=1235.99853515625\n", + "global step=36050944, episodic return=2088.826904296875\n", + "global step=36052992, episodic return=1993.144775390625\n", + "global step=36052992, episodic return=2014.274658203125\n", + "global step=36052992, episodic return=2014.0390625\n", + "global step=36052992, episodic return=1691.2427978515625\n", + "global step=36055040, episodic return=2073.935302734375\n", + "global step=36055040, episodic return=2106.1845703125\n", + "global step=36055040, episodic return=2013.88134765625\n", + "global step=36055040, episodic return=1877.2493896484375\n", + "global step=36055040, episodic return=2075.9921875\n", + "global step=36057088, episodic return=1981.3629150390625\n", + "global step=36057088, episodic return=2049.267578125\n", + "global step=36057088, episodic return=2075.200927734375\n", + "global step=36057088, episodic return=1988.7523193359375\n", + "global step=36057088, episodic return=2039.79443359375\n", + "global step=36057088, episodic return=2072.045166015625\n", + "global step=36059136, episodic return=1985.241943359375\n", + "global step=36061184, episodic return=1871.530029296875\n", + "global step=36061184, episodic return=2032.3365478515625\n", + "global step=36061184, episodic return=1966.4268798828125\n", + "global step=36061184, episodic return=2081.182373046875\n", + "global step=36061184, episodic return=2103.01171875\n", + "global step=36063232, episodic return=2041.12353515625\n", + "global step=36063232, episodic return=2031.1817626953125\n", + "global step=36063232, episodic return=2021.2235107421875\n", + "global step=36063232, episodic return=1957.663330078125\n", + "global step=36063232, episodic return=1918.174072265625\n", + "global step=36063232, episodic return=2070.63623046875\n", + "global step=36065280, episodic return=1986.304443359375\n", + "global step=36065280, episodic return=1970.1544189453125\n", + "global step=36065280, episodic return=1989.573974609375\n", + "global step=36067328, episodic return=2090.42626953125\n", + "global step=36067328, episodic return=2044.5950927734375\n", + "global step=36069376, episodic return=1976.175537109375\n", + "global step=36071424, episodic return=2073.2265625\n", + "global step=36071424, episodic return=1998.3939208984375\n", + "global step=36071424, episodic return=2103.01953125\n", + "global step=36073472, episodic return=1552.137939453125\n", + "global step=36073472, episodic return=2048.115966796875\n", + "global step=36073472, episodic return=2040.59130859375\n", + "global step=36073472, episodic return=2056.7197265625\n", + "global step=36073472, episodic return=2108.623046875\n", + "global step=36073472, episodic return=2084.9267578125\n", + "global step=36073472, episodic return=2043.2061767578125\n", + "global step=36075520, episodic return=2027.58935546875\n", + "global step=36075520, episodic return=1978.77783203125\n", + "global step=36075520, episodic return=2087.980224609375\n", + "global step=36077568, episodic return=1969.3662109375\n", + "global step=36077568, episodic return=2093.87548828125\n", + "global step=36077568, episodic return=2103.898681640625\n", + "global step=36077568, episodic return=2099.64404296875\n", + "global step=36077568, episodic return=2117.251708984375\n", + "global step=36077568, episodic return=2057.328125\n", + "global step=36077568, episodic return=2009.5479736328125\n", + "global step=36079616, episodic return=2096.125244140625\n", + "global step=36079616, episodic return=2053.41357421875\n", + "global step=36081664, episodic return=2051.615234375\n", + "global step=36083712, episodic return=1343.05224609375\n", + "global step=36083712, episodic return=2078.088134765625\n", + "global step=36083712, episodic return=1315.80859375\n", + "global step=36083712, episodic return=1165.9869384765625\n", + "global step=36083712, episodic return=2016.443603515625\n", + "global step=36083712, episodic return=2019.283203125\n", + "global step=36083712, episodic return=2068.177001953125\n", + "global step=36085760, episodic return=2096.4248046875\n", + "global step=36085760, episodic return=1971.267333984375\n", + "global step=36087808, episodic return=2058.21630859375\n", + "global step=36087808, episodic return=1963.998046875\n", + "global step=36087808, episodic return=1970.7027587890625\n", + "global step=36087808, episodic return=2007.0645751953125\n", + "global step=36089856, episodic return=2108.4326171875\n", + "global step=36089856, episodic return=1980.2901611328125\n", + "global step=36089856, episodic return=2071.598876953125\n", + "global step=36091904, episodic return=1957.6759033203125\n", + "global step=36091904, episodic return=1983.1435546875\n", + "global step=36091904, episodic return=2000.201904296875\n", + "global step=36091904, episodic return=2035.3912353515625\n", + "global step=36093952, episodic return=2032.77197265625\n", + "global step=36093952, episodic return=1980.9188232421875\n", + "global step=36093952, episodic return=630.9833374023438\n", + "global step=36093952, episodic return=2014.2197265625\n", + "global step=36096000, episodic return=2077.8330078125\n", + "global step=36096000, episodic return=2031.79248046875\n", + "global step=36098048, episodic return=2044.0302734375\n", + "global step=36098048, episodic return=2052.951171875\n", + "global step=36098048, episodic return=1958.6849365234375\n", + "global step=36098048, episodic return=2145.430419921875\n", + "global step=36098048, episodic return=1592.8946533203125\n", + "global step=36100096, episodic return=1951.833740234375\n", + "global step=36100096, episodic return=1958.09765625\n", + "global step=36102144, episodic return=2011.0462646484375\n", + "global step=36102144, episodic return=1989.50341796875\n", + "global step=36102144, episodic return=2020.22802734375\n", + "global step=36102144, episodic return=2082.429443359375\n", + "global step=36102144, episodic return=1998.25390625\n", + "global step=36102144, episodic return=1949.306396484375\n", + "global step=36104192, episodic return=2074.076416015625\n", + "global step=36104192, episodic return=1961.2557373046875\n", + "global step=36104192, episodic return=2087.16552734375\n", + "global step=36104192, episodic return=1697.1676025390625\n", + "global step=36104192, episodic return=2072.49072265625\n", + "global step=36104192, episodic return=2060.427978515625\n", + "global step=36104192, episodic return=2068.1875\n", + "global step=36104192, episodic return=2044.4114990234375\n", + "global step=36104192, episodic return=2071.429443359375\n", + "global step=36104192, episodic return=2022.934326171875\n", + "global step=36106240, episodic return=1993.2772216796875\n", + "global step=36106240, episodic return=2060.829833984375\n", + "global step=36106240, episodic return=2062.83056640625\n", + "global step=36106240, episodic return=1755.048095703125\n", + "global step=36106240, episodic return=2081.332275390625\n", + "global step=36108288, episodic return=1969.0975341796875\n", + "global step=36108288, episodic return=1973.7457275390625\n", + "global step=36110336, episodic return=2073.361083984375\n", + "global step=36110336, episodic return=2005.74462890625\n", + "global step=36112384, episodic return=2093.43115234375\n", + "global step=36112384, episodic return=1957.4093017578125\n", + "global step=36112384, episodic return=1931.09326171875\n", + "global step=36112384, episodic return=2075.4140625\n", + "global step=36112384, episodic return=2025.8143310546875\n", + "global step=36114432, episodic return=2016.3555908203125\n", + "global step=36114432, episodic return=2058.360595703125\n", + "global step=36114432, episodic return=1985.9031982421875\n", + "global step=36116480, episodic return=931.6025390625\n", + "global step=36116480, episodic return=1931.3236083984375\n", + "global step=36116480, episodic return=1649.2979736328125\n", + "global step=36116480, episodic return=1960.747802734375\n", + "global step=36118528, episodic return=2002.6788330078125\n", + "global step=36118528, episodic return=2046.751953125\n", + "global step=36118528, episodic return=2030.2353515625\n", + "global step=36118528, episodic return=2038.2110595703125\n", + "global step=36120576, episodic return=38.509281158447266\n", + "global step=36120576, episodic return=2007.2374267578125\n", + "global step=36120576, episodic return=1992.7685546875\n", + "global step=36122624, episodic return=2063.6376953125\n", + "global step=36122624, episodic return=1998.301025390625\n", + "global step=36122624, episodic return=2012.014404296875\n", + "global step=36122624, episodic return=2010.3515625\n", + "global step=36122624, episodic return=2022.13671875\n", + "global step=36124672, episodic return=2115.7001953125\n", + "global step=36124672, episodic return=2001.67724609375\n", + "global step=36124672, episodic return=2010.4794921875\n", + "global step=36126720, episodic return=2117.492431640625\n", + "global step=36126720, episodic return=2048.36962890625\n", + "global step=36126720, episodic return=2082.69140625\n", + "global step=36128768, episodic return=1991.06640625\n", + "global step=36128768, episodic return=369.51788330078125\n", + "global step=36130816, episodic return=2081.071533203125\n", + "global step=36130816, episodic return=2009.668212890625\n", + "global step=36132864, episodic return=2016.6683349609375\n", + "global step=36132864, episodic return=2005.2353515625\n", + "global step=36132864, episodic return=1979.153076171875\n", + "global step=36134912, episodic return=1955.4405517578125\n", + "global step=36136960, episodic return=1903.300048828125\n", + "global step=36136960, episodic return=1584.5533447265625\n", + "global step=36136960, episodic return=2000.87841796875\n", + "global step=36139008, episodic return=2100.975341796875\n", + "global step=36139008, episodic return=1379.197509765625\n", + "global step=36141056, episodic return=755.0421142578125\n", + "global step=36141056, episodic return=1841.9307861328125\n", + "global step=36143104, episodic return=1976.78955078125\n", + "global step=36143104, episodic return=1959.6585693359375\n", + "global step=36143104, episodic return=2048.525390625\n", + "global step=36145152, episodic return=2099.85205078125\n", + "global step=36145152, episodic return=2057.412109375\n", + "global step=36145152, episodic return=1369.1279296875\n", + "global step=36145152, episodic return=2025.560791015625\n", + "global step=36147200, episodic return=2063.748046875\n", + "global step=36147200, episodic return=2112.73193359375\n", + "global step=36147200, episodic return=2011.7835693359375\n", + "global step=36147200, episodic return=2011.5362548828125\n", + "global step=36147200, episodic return=2023.728271484375\n", + "global step=36147200, episodic return=1600.6890869140625\n", + "global step=36147200, episodic return=2076.176025390625\n", + "global step=36149248, episodic return=1718.5582275390625\n", + "global step=36149248, episodic return=2063.0732421875\n", + "global step=36149248, episodic return=549.9085693359375\n", + "global step=36149248, episodic return=2006.4698486328125\n", + "global step=36149248, episodic return=718.3482666015625\n", + "global step=36149248, episodic return=1965.7763671875\n", + "global step=36149248, episodic return=2073.526123046875\n", + "global step=36149248, episodic return=1791.9501953125\n", + "global step=36153344, episodic return=2101.08740234375\n", + "global step=36153344, episodic return=1044.746337890625\n", + "global step=36153344, episodic return=2076.96875\n", + "global step=36155392, episodic return=2091.7890625\n", + "global step=36155392, episodic return=2097.3095703125\n", + "global step=36155392, episodic return=2055.20068359375\n", + "global step=36155392, episodic return=2042.203125\n", + "global step=36155392, episodic return=2021.7337646484375\n", + "global step=36155392, episodic return=2091.8193359375\n", + "global step=36155392, episodic return=1958.92431640625\n", + "global step=36157440, episodic return=2063.397216796875\n", + "global step=36157440, episodic return=1261.36865234375\n", + "global step=36157440, episodic return=2003.186279296875\n", + "global step=36157440, episodic return=2031.8037109375\n", + "global step=36157440, episodic return=1800.278076171875\n", + "global step=36157440, episodic return=1971.6170654296875\n", + "global step=36157440, episodic return=2006.047119140625\n", + "global step=36159488, episodic return=2012.93212890625\n", + "global step=36159488, episodic return=2027.8109130859375\n", + "global step=36159488, episodic return=2057.781005859375\n", + "global step=36161536, episodic return=2071.45556640625\n", + "global step=36161536, episodic return=2063.452880859375\n", + "global step=36161536, episodic return=2107.96533203125\n", + "global step=36161536, episodic return=1335.8590087890625\n", + "global step=36161536, episodic return=1630.844482421875\n", + "global step=36161536, episodic return=2001.07275390625\n", + "global step=36163584, episodic return=2001.1185302734375\n", + "global step=36163584, episodic return=2087.907470703125\n", + "global step=36163584, episodic return=2031.49169921875\n", + "global step=36163584, episodic return=2048.729736328125\n", + "global step=36163584, episodic return=1988.9039306640625\n", + "global step=36165632, episodic return=1814.85400390625\n", + "global step=36165632, episodic return=1969.7252197265625\n", + "global step=36165632, episodic return=2023.5009765625\n", + "global step=36165632, episodic return=2062.3818359375\n", + "global step=36167680, episodic return=2074.48486328125\n", + "global step=36167680, episodic return=2116.06298828125\n", + "global step=36167680, episodic return=1988.515380859375\n", + "global step=36167680, episodic return=2099.285888671875\n", + "global step=36169728, episodic return=2119.53759765625\n", + "global step=36169728, episodic return=2044.5113525390625\n", + "global step=36169728, episodic return=2088.392578125\n", + "global step=36169728, episodic return=2107.327880859375\n", + "global step=36169728, episodic return=2095.296875\n", + "global step=36171776, episodic return=2027.9259033203125\n", + "global step=36171776, episodic return=1865.362060546875\n", + "global step=36171776, episodic return=1989.7315673828125\n", + "global step=36171776, episodic return=2125.114501953125\n", + "global step=36173824, episodic return=2002.4281005859375\n", + "global step=36173824, episodic return=2094.24072265625\n", + "global step=36173824, episodic return=1904.7130126953125\n", + "global step=36173824, episodic return=2064.930908203125\n", + "global step=36173824, episodic return=1102.84814453125\n", + "global step=36173824, episodic return=1633.7423095703125\n", + "global step=36175872, episodic return=2006.722412109375\n", + "global step=36175872, episodic return=1956.94677734375\n", + "global step=36175872, episodic return=2034.175537109375\n", + "global step=36175872, episodic return=1995.095947265625\n", + "global step=36175872, episodic return=1951.341064453125\n", + "global step=36175872, episodic return=2076.559814453125\n", + "global step=36175872, episodic return=2090.72900390625\n", + "global step=36177920, episodic return=2039.2734375\n", + "global step=36177920, episodic return=2049.280517578125\n", + "global step=36177920, episodic return=2033.745849609375\n", + "global step=36177920, episodic return=1991.7325439453125\n", + "global step=36177920, episodic return=1388.498291015625\n", + "global step=36179968, episodic return=2057.19287109375\n", + "global step=36179968, episodic return=2097.965576171875\n", + "global step=36179968, episodic return=2096.64599609375\n", + "global step=36179968, episodic return=2085.60107421875\n", + "global step=36179968, episodic return=2010.360595703125\n", + "global step=36179968, episodic return=2005.62451171875\n", + "global step=36179968, episodic return=2049.31005859375\n", + "global step=36182016, episodic return=2069.818115234375\n", + "global step=36182016, episodic return=1490.825927734375\n", + "global step=36182016, episodic return=2030.112060546875\n", + "global step=36184064, episodic return=2034.02783203125\n", + "global step=36184064, episodic return=2006.314697265625\n", + "global step=36184064, episodic return=2048.47216796875\n", + "global step=36184064, episodic return=2051.902099609375\n", + "global step=36184064, episodic return=2064.5302734375\n", + "global step=36186112, episodic return=2079.211669921875\n", + "global step=36186112, episodic return=1951.06103515625\n", + "global step=36186112, episodic return=2059.880126953125\n", + "global step=36186112, episodic return=2068.5341796875\n", + "global step=36186112, episodic return=1712.962646484375\n", + "global step=36186112, episodic return=1125.9207763671875\n", + "global step=36186112, episodic return=2058.698486328125\n", + "global step=36188160, episodic return=2071.333740234375\n", + "global step=36188160, episodic return=2062.060302734375\n", + "global step=36188160, episodic return=2061.3740234375\n", + "global step=36190208, episodic return=2070.289794921875\n", + "global step=36190208, episodic return=2054.671630859375\n", + "global step=36190208, episodic return=2115.255126953125\n", + "global step=36190208, episodic return=1963.944091796875\n", + "global step=36192256, episodic return=1540.744140625\n", + "global step=36192256, episodic return=1943.573974609375\n", + "global step=36194304, episodic return=2119.08251953125\n", + "global step=36194304, episodic return=2009.608642578125\n", + "global step=36194304, episodic return=2075.015625\n", + "global step=36194304, episodic return=1967.4930419921875\n", + "global step=36194304, episodic return=2065.856689453125\n", + "global step=36196352, episodic return=2032.529296875\n", + "global step=36196352, episodic return=2050.83447265625\n", + "global step=36196352, episodic return=1413.619140625\n", + "global step=36196352, episodic return=2136.67919921875\n", + "global step=36198400, episodic return=2049.632080078125\n", + "global step=36198400, episodic return=2039.9342041015625\n", + "global step=36198400, episodic return=2059.968994140625\n", + "global step=36198400, episodic return=2035.2354736328125\n", + "global step=36200448, episodic return=2068.63916015625\n", + "global step=36200448, episodic return=2026.6163330078125\n", + "global step=36200448, episodic return=2055.30908203125\n", + "global step=36202496, episodic return=1960.611328125\n", + "global step=36202496, episodic return=1436.29345703125\n", + "global step=36202496, episodic return=2010.427490234375\n", + "global step=36204544, episodic return=2061.161865234375\n", + "global step=36204544, episodic return=2012.8905029296875\n", + "global step=36204544, episodic return=295.6020812988281\n", + "global step=36204544, episodic return=1292.14892578125\n", + "global step=36204544, episodic return=2001.0252685546875\n", + "global step=36206592, episodic return=2025.8905029296875\n", + "global step=36206592, episodic return=2065.721435546875\n", + "global step=36206592, episodic return=1860.131591796875\n", + "global step=36206592, episodic return=2058.010009765625\n", + "global step=36206592, episodic return=671.36669921875\n", + "global step=36206592, episodic return=2039.2835693359375\n", + "global step=36208640, episodic return=2041.2255859375\n", + "global step=36210688, episodic return=626.2138671875\n", + "global step=36210688, episodic return=1987.1754150390625\n", + "global step=36212736, episodic return=1907.653076171875\n", + "global step=36212736, episodic return=453.5914611816406\n", + "global step=36212736, episodic return=2070.603759765625\n", + "global step=36212736, episodic return=2099.86767578125\n", + "global step=36214784, episodic return=1955.3623046875\n", + "global step=36214784, episodic return=2007.103759765625\n", + "global step=36214784, episodic return=1976.52880859375\n", + "global step=36216832, episodic return=2041.3929443359375\n", + "global step=36216832, episodic return=1830.9755859375\n", + "global step=36216832, episodic return=1597.4825439453125\n", + "global step=36218880, episodic return=2084.5830078125\n", + "global step=36218880, episodic return=2142.7236328125\n", + "global step=36218880, episodic return=1966.2001953125\n", + "global step=36218880, episodic return=2070.843505859375\n", + "global step=36220928, episodic return=2004.451904296875\n", + "global step=36222976, episodic return=2064.35400390625\n", + "global step=36222976, episodic return=2114.348876953125\n", + "global step=36222976, episodic return=1991.6959228515625\n", + "global step=36227072, episodic return=1976.5218505859375\n", + "global step=36227072, episodic return=2001.8795166015625\n", + "global step=36227072, episodic return=2030.7618408203125\n", + "global step=36229120, episodic return=2146.705810546875\n", + "global step=36229120, episodic return=2109.930419921875\n", + "global step=36229120, episodic return=1894.525146484375\n", + "global step=36229120, episodic return=2001.2491455078125\n", + "global step=36231168, episodic return=2012.910400390625\n", + "global step=36231168, episodic return=2007.6876220703125\n", + "global step=36233216, episodic return=2034.52197265625\n", + "global step=36233216, episodic return=2089.072509765625\n", + "global step=36233216, episodic return=2117.534912109375\n", + "global step=36233216, episodic return=2032.1402587890625\n", + "global step=36233216, episodic return=2018.4954833984375\n", + "global step=36233216, episodic return=2055.216796875\n", + "global step=36233216, episodic return=2105.6357421875\n", + "global step=36235264, episodic return=2050.378173828125\n", + "global step=36235264, episodic return=2084.6494140625\n", + "global step=36235264, episodic return=2013.553955078125\n", + "global step=36237312, episodic return=2023.29736328125\n", + "global step=36239360, episodic return=2116.482421875\n", + "global step=36239360, episodic return=1996.5655517578125\n", + "global step=36239360, episodic return=2045.4735107421875\n", + "global step=36239360, episodic return=2133.059814453125\n", + "global step=36241408, episodic return=2109.89990234375\n", + "global step=36241408, episodic return=2104.70849609375\n", + "global step=36241408, episodic return=1746.0904541015625\n", + "global step=36241408, episodic return=2070.833740234375\n", + "global step=36241408, episodic return=104.39337158203125\n", + "global step=36243456, episodic return=2005.837890625\n", + "global step=36243456, episodic return=2016.6619873046875\n", + "global step=36245504, episodic return=2053.157470703125\n", + "global step=36247552, episodic return=2069.142333984375\n", + "global step=36247552, episodic return=2127.7431640625\n", + "global step=36247552, episodic return=2126.758544921875\n", + "global step=36249600, episodic return=608.9641723632812\n", + "global step=36253696, episodic return=2069.167236328125\n", + "global step=36253696, episodic return=2047.0361328125\n", + "global step=36253696, episodic return=2009.721435546875\n", + "global step=36253696, episodic return=1870.3206787109375\n", + "global step=36255744, episodic return=62.79017639160156\n", + "global step=36255744, episodic return=2050.715576171875\n", + "global step=36255744, episodic return=2036.4979248046875\n", + "global step=36257792, episodic return=2092.3427734375\n", + "global step=36257792, episodic return=1983.74169921875\n", + "global step=36257792, episodic return=2065.101318359375\n", + "global step=36259840, episodic return=2120.88232421875\n", + "global step=36259840, episodic return=1999.1241455078125\n", + "global step=36261888, episodic return=2052.862060546875\n", + "global step=36261888, episodic return=2023.5181884765625\n", + "global step=36261888, episodic return=2075.53466796875\n", + "global step=36263936, episodic return=1995.4967041015625\n", + "global step=36263936, episodic return=2108.6669921875\n", + "global step=36263936, episodic return=2067.023681640625\n", + "global step=36265984, episodic return=2048.950927734375\n", + "global step=36265984, episodic return=2070.937255859375\n", + "global step=36265984, episodic return=2134.336669921875\n", + "global step=36268032, episodic return=2053.568359375\n", + "global step=36270080, episodic return=2042.7928466796875\n", + "global step=36272128, episodic return=2017.8099365234375\n", + "global step=36274176, episodic return=1976.4014892578125\n", + "global step=36274176, episodic return=2068.290771484375\n", + "global step=36274176, episodic return=1548.3765869140625\n", + "global step=36274176, episodic return=2036.8931884765625\n", + "global step=36276224, episodic return=2113.456787109375\n", + "global step=36276224, episodic return=1988.9906005859375\n", + "global step=36276224, episodic return=1989.2548828125\n", + "global step=36280320, episodic return=2041.7860107421875\n", + "global step=36280320, episodic return=2094.1123046875\n", + "global step=36280320, episodic return=2062.56103515625\n", + "global step=36280320, episodic return=2020.768310546875\n", + "global step=36280320, episodic return=2043.3603515625\n", + "global step=36282368, episodic return=2052.587890625\n", + "global step=36282368, episodic return=2083.04296875\n", + "global step=36282368, episodic return=2024.39404296875\n", + "global step=36282368, episodic return=2049.368408203125\n", + "global step=36282368, episodic return=273.54241943359375\n", + "global step=36284416, episodic return=2075.882568359375\n", + "global step=36286464, episodic return=1605.2603759765625\n", + "global step=36286464, episodic return=2097.216796875\n", + "global step=36286464, episodic return=2028.605224609375\n", + "global step=36286464, episodic return=1772.3133544921875\n", + "global step=36286464, episodic return=1982.3807373046875\n", + "global step=36288512, episodic return=1993.5609130859375\n", + "global step=36288512, episodic return=2108.01806640625\n", + "global step=36288512, episodic return=2042.342529296875\n", + "global step=36290560, episodic return=2080.92724609375\n", + "global step=36290560, episodic return=2030.58349609375\n", + "global step=36290560, episodic return=1852.322998046875\n", + "global step=36292608, episodic return=2102.457763671875\n", + "global step=36292608, episodic return=2131.95703125\n", + "global step=36292608, episodic return=2122.62109375\n", + "global step=36294656, episodic return=2042.5859375\n", + "global step=36296704, episodic return=1978.393310546875\n", + "global step=36296704, episodic return=2078.892333984375\n", + "global step=36296704, episodic return=2005.813232421875\n", + "global step=36296704, episodic return=2004.043701171875\n", + "global step=36296704, episodic return=2084.106201171875\n", + "global step=36296704, episodic return=2081.287841796875\n", + "global step=36298752, episodic return=2031.70849609375\n", + "global step=36298752, episodic return=2053.23583984375\n", + "global step=36300800, episodic return=2102.0458984375\n", + "global step=36302848, episodic return=1994.4228515625\n", + "global step=36302848, episodic return=2112.21826171875\n", + "global step=36302848, episodic return=379.13812255859375\n", + "global step=36302848, episodic return=1499.076904296875\n", + "global step=36304896, episodic return=2119.556640625\n", + "global step=36304896, episodic return=2080.957275390625\n", + "global step=36304896, episodic return=1956.5517578125\n", + "global step=36304896, episodic return=2070.693603515625\n", + "global step=36304896, episodic return=2044.672607421875\n", + "global step=36306944, episodic return=2018.092529296875\n", + "global step=36306944, episodic return=945.4170532226562\n", + "global step=36306944, episodic return=1674.97998046875\n", + "global step=36306944, episodic return=2110.555419921875\n", + "global step=36306944, episodic return=1999.8863525390625\n", + "global step=36308992, episodic return=2114.888427734375\n", + "global step=36311040, episodic return=1829.3028564453125\n", + "global step=36311040, episodic return=1927.1240234375\n", + "global step=36313088, episodic return=2039.1317138671875\n", + "global step=36313088, episodic return=2087.575927734375\n", + "global step=36315136, episodic return=2065.829345703125\n", + "global step=36315136, episodic return=2020.4365234375\n", + "global step=36315136, episodic return=1975.192138671875\n", + "global step=36317184, episodic return=1976.8780517578125\n", + "global step=36317184, episodic return=2112.745361328125\n", + "global step=36319232, episodic return=2124.081787109375\n", + "global step=36319232, episodic return=2078.344970703125\n", + "global step=36319232, episodic return=2012.986328125\n", + "global step=36319232, episodic return=1992.9581298828125\n", + "global step=36321280, episodic return=1596.6859130859375\n", + "global step=36321280, episodic return=2048.197998046875\n", + "global step=36321280, episodic return=1936.8294677734375\n", + "global step=36323328, episodic return=606.2255249023438\n", + "global step=36323328, episodic return=1835.1402587890625\n", + "global step=36325376, episodic return=2064.88037109375\n", + "global step=36325376, episodic return=2091.035400390625\n", + "global step=36325376, episodic return=2083.14453125\n", + "global step=36325376, episodic return=1210.06640625\n", + "global step=36327424, episodic return=2106.15234375\n", + "global step=36327424, episodic return=2004.87255859375\n", + "global step=36327424, episodic return=2078.689208984375\n", + "global step=36329472, episodic return=2121.77001953125\n", + "global step=36329472, episodic return=1877.4991455078125\n", + "global step=36331520, episodic return=2027.47607421875\n", + "global step=36333568, episodic return=2022.6461181640625\n", + "global step=36333568, episodic return=817.8496704101562\n", + "global step=36333568, episodic return=2127.404541015625\n", + "global step=36335616, episodic return=2118.7060546875\n", + "global step=36335616, episodic return=2073.4716796875\n", + "global step=36335616, episodic return=2112.09326171875\n", + "global step=36335616, episodic return=2020.706298828125\n", + "global step=36335616, episodic return=2011.0250244140625\n", + "global step=36337664, episodic return=239.58628845214844\n", + "global step=36337664, episodic return=2029.2198486328125\n", + "global step=36337664, episodic return=2049.543701171875\n", + "global step=36337664, episodic return=1972.788818359375\n", + "global step=36337664, episodic return=196.14808654785156\n", + "global step=36337664, episodic return=2083.244384765625\n", + "global step=36339712, episodic return=2047.424072265625\n", + "global step=36341760, episodic return=2056.275146484375\n", + "global step=36341760, episodic return=2049.468994140625\n", + "global step=36341760, episodic return=295.5783386230469\n", + "global step=36341760, episodic return=2022.685546875\n", + "global step=36343808, episodic return=2049.246826171875\n", + "global step=36343808, episodic return=2068.436767578125\n", + "global step=36343808, episodic return=1999.2379150390625\n", + "global step=36345856, episodic return=2071.606689453125\n", + "global step=36345856, episodic return=2110.950927734375\n", + "global step=36347904, episodic return=205.14317321777344\n", + "global step=36347904, episodic return=2122.430419921875\n", + "global step=36347904, episodic return=1997.5516357421875\n", + "global step=36349952, episodic return=2077.445556640625\n", + "global step=36349952, episodic return=2012.21337890625\n", + "global step=36354048, episodic return=2093.702392578125\n", + "global step=36354048, episodic return=1811.436767578125\n", + "global step=36354048, episodic return=1316.673095703125\n", + "global step=36354048, episodic return=2054.06689453125\n", + "global step=36356096, episodic return=2029.344970703125\n", + "global step=36356096, episodic return=2037.40771484375\n", + "global step=36356096, episodic return=2116.285400390625\n", + "global step=36356096, episodic return=2018.9599609375\n", + "global step=36358144, episodic return=2078.6982421875\n", + "global step=36360192, episodic return=2028.3760986328125\n", + "global step=36360192, episodic return=2048.0234375\n", + "global step=36360192, episodic return=2107.869873046875\n", + "global step=36362240, episodic return=2055.73291015625\n", + "global step=36362240, episodic return=2048.177734375\n", + "global step=36364288, episodic return=2074.585205078125\n", + "global step=36364288, episodic return=2034.78271484375\n", + "global step=36364288, episodic return=2080.896484375\n", + "global step=36368384, episodic return=2006.3740234375\n", + "global step=36368384, episodic return=1990.88525390625\n", + "global step=36368384, episodic return=2036.0931396484375\n", + "global step=36370432, episodic return=2009.3623046875\n", + "global step=36370432, episodic return=2103.265869140625\n", + "global step=36372480, episodic return=2124.603515625\n", + "global step=36374528, episodic return=1963.787841796875\n", + "global step=36374528, episodic return=2037.297607421875\n", + "global step=36376576, episodic return=1992.9444580078125\n", + "global step=36376576, episodic return=1089.89453125\n", + "global step=36376576, episodic return=2085.805419921875\n", + "global step=36376576, episodic return=2053.240234375\n", + "global step=36376576, episodic return=2031.56689453125\n", + "global step=36378624, episodic return=350.9681091308594\n", + "global step=36378624, episodic return=1968.236572265625\n", + "global step=36378624, episodic return=2041.7548828125\n", + "global step=36380672, episodic return=2036.19970703125\n", + "global step=36380672, episodic return=2018.978515625\n", + "global step=36380672, episodic return=2084.919677734375\n", + "global step=36380672, episodic return=2021.989501953125\n", + "global step=36380672, episodic return=2029.3095703125\n", + "global step=36380672, episodic return=2031.2215576171875\n", + "global step=36380672, episodic return=2095.022216796875\n", + "global step=36380672, episodic return=2078.84228515625\n", + "global step=36380672, episodic return=2091.3271484375\n", + "global step=36380672, episodic return=2043.76416015625\n", + "global step=36386816, episodic return=2137.167236328125\n", + "global step=36386816, episodic return=2053.3447265625\n", + "global step=36386816, episodic return=2101.516845703125\n", + "global step=36386816, episodic return=2091.20263671875\n", + "global step=36388864, episodic return=2083.063720703125\n", + "global step=36388864, episodic return=1414.1448974609375\n", + "global step=36388864, episodic return=2017.118896484375\n", + "global step=36390912, episodic return=2024.8021240234375\n", + "global step=36390912, episodic return=2068.90869140625\n", + "global step=36392960, episodic return=2133.504638671875\n", + "global step=36397056, episodic return=2108.9072265625\n", + "global step=36397056, episodic return=2117.459716796875\n", + "global step=36397056, episodic return=2025.68408203125\n", + "global step=36397056, episodic return=2113.35009765625\n", + "global step=36397056, episodic return=2069.908447265625\n", + "global step=36399104, episodic return=2053.916259765625\n", + "global step=36399104, episodic return=2001.1031494140625\n", + "global step=36401152, episodic return=2042.115234375\n", + "global step=36401152, episodic return=1226.2540283203125\n", + "global step=36403200, episodic return=2074.210693359375\n", + "global step=36403200, episodic return=2006.2008056640625\n", + "global step=36403200, episodic return=2036.744384765625\n", + "global step=36405248, episodic return=2097.9609375\n", + "global step=36405248, episodic return=2043.5516357421875\n", + "global step=36405248, episodic return=2118.5830078125\n", + "global step=36405248, episodic return=2066.98681640625\n", + "global step=36407296, episodic return=2044.3353271484375\n", + "global step=36407296, episodic return=2110.80224609375\n", + "global step=36409344, episodic return=2074.4814453125\n", + "global step=36409344, episodic return=2112.19091796875\n", + "global step=36411392, episodic return=2013.4122314453125\n", + "global step=36413440, episodic return=2093.210205078125\n", + "global step=36415488, episodic return=2053.396728515625\n", + "global step=36415488, episodic return=2109.415771484375\n", + "global step=36415488, episodic return=2057.172119140625\n", + "global step=36415488, episodic return=2084.445556640625\n", + "global step=36417536, episodic return=2127.388427734375\n", + "global step=36417536, episodic return=2024.1795654296875\n", + "global step=36417536, episodic return=2069.78076171875\n", + "global step=36417536, episodic return=2012.792724609375\n", + "global step=36417536, episodic return=1888.6866455078125\n", + "global step=36419584, episodic return=2034.176025390625\n", + "global step=36419584, episodic return=2015.270751953125\n", + "global step=36419584, episodic return=2062.354736328125\n", + "global step=36421632, episodic return=2035.5452880859375\n", + "global step=36421632, episodic return=667.6785278320312\n", + "global step=36421632, episodic return=2046.567626953125\n", + "global step=36423680, episodic return=1972.763671875\n", + "global step=36423680, episodic return=2030.75048828125\n", + "global step=36423680, episodic return=2090.505615234375\n", + "global step=36425728, episodic return=2103.7177734375\n", + "global step=36425728, episodic return=2030.35791015625\n", + "global step=36427776, episodic return=2042.540771484375\n", + "global step=36427776, episodic return=2055.20703125\n", + "global step=36429824, episodic return=2116.455078125\n", + "global step=36429824, episodic return=2045.7344970703125\n", + "global step=36429824, episodic return=2059.791015625\n", + "global step=36429824, episodic return=2057.916015625\n", + "global step=36431872, episodic return=2020.9766845703125\n", + "global step=36431872, episodic return=2004.4072265625\n", + "global step=36433920, episodic return=2066.569091796875\n", + "global step=36433920, episodic return=2138.02734375\n", + "global step=36435968, episodic return=2115.415771484375\n", + "global step=36435968, episodic return=2092.9443359375\n", + "global step=36435968, episodic return=2042.149658203125\n", + "global step=36435968, episodic return=2114.87939453125\n", + "global step=36438016, episodic return=2033.234619140625\n", + "global step=36438016, episodic return=1526.9722900390625\n", + "global step=36438016, episodic return=2007.5291748046875\n", + "global step=36438016, episodic return=2064.85205078125\n", + "global step=36440064, episodic return=2028.306640625\n", + "global step=36440064, episodic return=2064.944091796875\n", + "global step=36440064, episodic return=2049.054443359375\n", + "global step=36440064, episodic return=2052.80712890625\n", + "global step=36440064, episodic return=2049.740966796875\n", + "global step=36442112, episodic return=2092.127685546875\n", + "global step=36442112, episodic return=2147.247802734375\n", + "global step=36444160, episodic return=2110.7939453125\n", + "global step=36446208, episodic return=2045.240234375\n", + "global step=36446208, episodic return=2104.4091796875\n", + "global step=36448256, episodic return=2052.572021484375\n", + "global step=36450304, episodic return=2087.4990234375\n", + "global step=36450304, episodic return=2060.809814453125\n", + "global step=36450304, episodic return=2034.9891357421875\n", + "global step=36450304, episodic return=2073.118408203125\n", + "global step=36450304, episodic return=2010.26953125\n", + "global step=36450304, episodic return=2055.018310546875\n", + "global step=36450304, episodic return=647.5169067382812\n", + "global step=36450304, episodic return=2069.660400390625\n", + "global step=36452352, episodic return=2109.5546875\n", + "global step=36452352, episodic return=2021.3321533203125\n", + "global step=36452352, episodic return=2018.4796142578125\n", + "global step=36452352, episodic return=2065.27587890625\n", + "global step=36452352, episodic return=2067.44921875\n", + "global step=36452352, episodic return=1621.139404296875\n", + "global step=36452352, episodic return=2119.1826171875\n", + "global step=36454400, episodic return=1452.00341796875\n", + "global step=36456448, episodic return=1914.954833984375\n", + "global step=36456448, episodic return=2061.474853515625\n", + "global step=36456448, episodic return=2085.032470703125\n", + "global step=36458496, episodic return=2085.02734375\n", + "global step=36458496, episodic return=2063.2451171875\n", + "global step=36458496, episodic return=2134.792724609375\n", + "global step=36458496, episodic return=2037.009521484375\n", + "global step=36458496, episodic return=917.3656005859375\n", + "global step=36458496, episodic return=2104.302978515625\n", + "global step=36460544, episodic return=2028.322021484375\n", + "global step=36462592, episodic return=2065.9921875\n", + "global step=36462592, episodic return=2088.256103515625\n", + "global step=36462592, episodic return=2046.527099609375\n", + "global step=36462592, episodic return=2108.2431640625\n", + "global step=36462592, episodic return=2094.900390625\n", + "global step=36464640, episodic return=2067.659912109375\n", + "global step=36464640, episodic return=2111.589599609375\n", + "global step=36466688, episodic return=2126.77490234375\n", + "global step=36468736, episodic return=2024.783447265625\n", + "global step=36472832, episodic return=2079.576171875\n", + "global step=36472832, episodic return=2071.1533203125\n", + "global step=36474880, episodic return=2052.011474609375\n", + "global step=36474880, episodic return=2065.478271484375\n", + "global step=36474880, episodic return=2086.620361328125\n", + "global step=36474880, episodic return=2062.70703125\n", + "global step=36476928, episodic return=2084.268798828125\n", + "global step=36476928, episodic return=2021.5955810546875\n", + "global step=36476928, episodic return=2056.2880859375\n", + "global step=36478976, episodic return=2043.45361328125\n", + "global step=36481024, episodic return=2056.816650390625\n", + "global step=36481024, episodic return=2009.3701171875\n", + "global step=36481024, episodic return=1848.0263671875\n", + "global step=36481024, episodic return=2087.666259765625\n", + "global step=36483072, episodic return=2029.8040771484375\n", + "global step=36483072, episodic return=2035.56884765625\n", + "global step=36483072, episodic return=2073.119384765625\n", + "global step=36485120, episodic return=2164.27294921875\n", + "global step=36485120, episodic return=2058.774658203125\n", + "global step=36485120, episodic return=2083.904052734375\n", + "global step=36485120, episodic return=2037.0523681640625\n", + "global step=36487168, episodic return=2077.206787109375\n", + "global step=36487168, episodic return=2047.8609619140625\n", + "global step=36487168, episodic return=2040.9891357421875\n", + "global step=36487168, episodic return=2082.633056640625\n", + "global step=36489216, episodic return=2106.99560546875\n", + "global step=36489216, episodic return=2112.076904296875\n", + "global step=36489216, episodic return=2005.197998046875\n", + "global step=36489216, episodic return=1416.23046875\n", + "global step=36489216, episodic return=2064.736328125\n", + "global step=36491264, episodic return=2102.634033203125\n", + "global step=36491264, episodic return=2129.009765625\n", + "global step=36493312, episodic return=2070.927734375\n", + "global step=36493312, episodic return=2121.046875\n", + "global step=36495360, episodic return=2075.583251953125\n", + "global step=36495360, episodic return=2125.018798828125\n", + "global step=36495360, episodic return=706.3765869140625\n", + "global step=36495360, episodic return=2031.7279052734375\n", + "global step=36497408, episodic return=2078.360107421875\n", + "global step=36497408, episodic return=2020.10986328125\n", + "global step=36499456, episodic return=2055.552734375\n", + "global step=36499456, episodic return=2031.7119140625\n", + "global step=36501504, episodic return=2063.60302734375\n", + "global step=36501504, episodic return=2046.843994140625\n", + "global step=36501504, episodic return=2022.098876953125\n", + "global step=36503552, episodic return=2057.41845703125\n", + "global step=36503552, episodic return=2139.2080078125\n", + "global step=36505600, episodic return=2029.2183837890625\n", + "global step=36505600, episodic return=2037.5535888671875\n", + "global step=36505600, episodic return=2003.839111328125\n", + "global step=36505600, episodic return=2045.55078125\n", + "global step=36505600, episodic return=2090.6953125\n", + "global step=36507648, episodic return=2098.040283203125\n", + "global step=36507648, episodic return=2071.751708984375\n", + "global step=36507648, episodic return=2034.27099609375\n", + "global step=36507648, episodic return=878.4117431640625\n", + "global step=36509696, episodic return=2050.470947265625\n", + "global step=36509696, episodic return=2067.5029296875\n", + "global step=36509696, episodic return=2085.877197265625\n", + "global step=36509696, episodic return=2121.874267578125\n", + "global step=36511744, episodic return=2107.79443359375\n", + "global step=36511744, episodic return=2038.775390625\n", + "global step=36511744, episodic return=1986.782958984375\n", + "global step=36511744, episodic return=2013.3629150390625\n", + "global step=36513792, episodic return=2083.366455078125\n", + "global step=36513792, episodic return=2078.912841796875\n", + "global step=36513792, episodic return=2097.63818359375\n", + "global step=36513792, episodic return=2094.556640625\n", + "global step=36513792, episodic return=2062.884521484375\n", + "global step=36519936, episodic return=2066.493408203125\n", + "global step=36519936, episodic return=2111.843017578125\n", + "global step=36521984, episodic return=2076.092041015625\n", + "global step=36521984, episodic return=2047.951416015625\n", + "global step=36521984, episodic return=2042.8544921875\n", + "global step=36521984, episodic return=2010.51513671875\n", + "global step=36521984, episodic return=2051.009765625\n", + "global step=36521984, episodic return=2072.0517578125\n", + "global step=36524032, episodic return=2101.321533203125\n", + "global step=36524032, episodic return=840.6016845703125\n", + "global step=36526080, episodic return=2048.4814453125\n", + "global step=36528128, episodic return=2088.006103515625\n", + "global step=36528128, episodic return=2053.910888671875\n", + "global step=36528128, episodic return=2048.97607421875\n", + "global step=36530176, episodic return=2036.015380859375\n", + "global step=36532224, episodic return=2062.61669921875\n", + "global step=36532224, episodic return=2076.115966796875\n", + "global step=36532224, episodic return=2106.63720703125\n", + "global step=36532224, episodic return=2056.985595703125\n", + "global step=36532224, episodic return=2011.53173828125\n", + "global step=36534272, episodic return=2055.840087890625\n", + "global step=36534272, episodic return=855.6244506835938\n", + "global step=36536320, episodic return=2067.32568359375\n", + "global step=36536320, episodic return=2054.75634765625\n", + "global step=36536320, episodic return=2011.487060546875\n", + "global step=36538368, episodic return=2080.681884765625\n", + "global step=36540416, episodic return=2126.504150390625\n", + "global step=36540416, episodic return=2071.812744140625\n", + "global step=36542464, episodic return=2088.246826171875\n", + "global step=36542464, episodic return=2069.2275390625\n", + "global step=36542464, episodic return=2058.939453125\n", + "global step=36542464, episodic return=1074.3516845703125\n", + "global step=36542464, episodic return=181.53480529785156\n", + "global step=36544512, episodic return=2059.027099609375\n", + "global step=36544512, episodic return=2022.1072998046875\n", + "global step=36544512, episodic return=2014.68115234375\n", + "global step=36546560, episodic return=2061.06640625\n", + "global step=36546560, episodic return=1865.0252685546875\n", + "global step=36546560, episodic return=2092.943603515625\n", + "global step=36546560, episodic return=2026.2476806640625\n", + "global step=36548608, episodic return=1085.9486083984375\n", + "global step=36548608, episodic return=2087.380126953125\n", + "global step=36548608, episodic return=1037.2259521484375\n", + "global step=36550656, episodic return=2057.248046875\n", + "global step=36550656, episodic return=2058.3662109375\n", + "global step=36550656, episodic return=1997.972412109375\n", + "global step=36550656, episodic return=2143.894287109375\n", + "global step=36552704, episodic return=2085.689208984375\n", + "global step=36552704, episodic return=2133.02294921875\n", + "global step=36554752, episodic return=2059.57275390625\n", + "global step=36554752, episodic return=2085.8828125\n", + "global step=36554752, episodic return=2100.572265625\n", + "global step=36556800, episodic return=2005.1658935546875\n", + "global step=36558848, episodic return=1034.224365234375\n", + "global step=36558848, episodic return=2052.758544921875\n", + "global step=36558848, episodic return=2075.512451171875\n", + "global step=36558848, episodic return=2014.6064453125\n", + "global step=36560896, episodic return=2075.3798828125\n", + "global step=36560896, episodic return=2075.79150390625\n", + "global step=36562944, episodic return=2040.82275390625\n", + "global step=36562944, episodic return=2111.93017578125\n", + "global step=36562944, episodic return=2103.15234375\n", + "global step=36562944, episodic return=2004.693603515625\n", + "global step=36562944, episodic return=2128.580078125\n", + "global step=36564992, episodic return=2115.046875\n", + "global step=36564992, episodic return=2084.03955078125\n", + "global step=36564992, episodic return=2076.222900390625\n", + "global step=36567040, episodic return=2052.10888671875\n", + "global step=36567040, episodic return=2135.566162109375\n", + "global step=36567040, episodic return=1989.933349609375\n", + "global step=36567040, episodic return=2055.872802734375\n", + "global step=36569088, episodic return=2150.97265625\n", + "global step=36571136, episodic return=2010.1075439453125\n", + "global step=36573184, episodic return=249.7454376220703\n", + "global step=36573184, episodic return=2135.45849609375\n", + "global step=36575232, episodic return=2106.3193359375\n", + "global step=36575232, episodic return=2098.07861328125\n", + "global step=36575232, episodic return=2061.487060546875\n", + "global step=36575232, episodic return=1823.9569091796875\n", + "global step=36579328, episodic return=2022.1788330078125\n", + "global step=36581376, episodic return=2068.58935546875\n", + "global step=36581376, episodic return=2062.548095703125\n", + "global step=36583424, episodic return=2041.8040771484375\n", + "global step=36583424, episodic return=2053.35546875\n", + "global step=36585472, episodic return=2075.5078125\n", + "global step=36585472, episodic return=2070.322021484375\n", + "global step=36585472, episodic return=2111.4609375\n", + "global step=36585472, episodic return=2060.76904296875\n", + "global step=36587520, episodic return=2075.791259765625\n", + "global step=36589568, episodic return=2110.711669921875\n", + "global step=36589568, episodic return=2044.8419189453125\n", + "global step=36589568, episodic return=2132.837646484375\n", + "global step=36589568, episodic return=2104.11474609375\n", + "global step=36589568, episodic return=2077.2119140625\n", + "global step=36589568, episodic return=2140.33349609375\n", + "global step=36591616, episodic return=796.3833618164062\n", + "global step=36591616, episodic return=2100.43603515625\n", + "global step=36591616, episodic return=1065.8416748046875\n", + "global step=36593664, episodic return=2066.634765625\n", + "global step=36593664, episodic return=608.0562133789062\n", + "global step=36593664, episodic return=2110.64404296875\n", + "global step=36593664, episodic return=2036.6011962890625\n", + "global step=36595712, episodic return=2101.7587890625\n", + "global step=36595712, episodic return=2077.0234375\n", + "global step=36597760, episodic return=2103.089599609375\n", + "global step=36597760, episodic return=2054.206787109375\n", + "global step=36597760, episodic return=2052.230712890625\n", + "global step=36599808, episodic return=2151.864990234375\n", + "global step=36599808, episodic return=329.38311767578125\n", + "global step=36601856, episodic return=2074.00341796875\n", + "global step=36603904, episodic return=2035.9261474609375\n", + "global step=36605952, episodic return=2100.590087890625\n", + "global step=36608000, episodic return=2104.699462890625\n", + "global step=36610048, episodic return=1935.87890625\n", + "global step=36610048, episodic return=2105.66650390625\n", + "global step=36612096, episodic return=356.9953918457031\n", + "global step=36612096, episodic return=2087.040283203125\n", + "global step=36612096, episodic return=2118.029296875\n", + "global step=36612096, episodic return=2040.3345947265625\n", + "global step=36614144, episodic return=2077.34130859375\n", + "global step=36616192, episodic return=2038.19970703125\n", + "global step=36616192, episodic return=2097.884521484375\n", + "global step=36618240, episodic return=2041.2772216796875\n", + "global step=36620288, episodic return=2061.887939453125\n", + "global step=36620288, episodic return=2071.181884765625\n", + "global step=36620288, episodic return=2043.755126953125\n", + "global step=36622336, episodic return=1802.2061767578125\n", + "global step=36622336, episodic return=2074.922119140625\n", + "global step=36622336, episodic return=2050.501953125\n", + "global step=36622336, episodic return=2037.7249755859375\n", + "global step=36624384, episodic return=2060.1708984375\n", + "global step=36624384, episodic return=2072.425537109375\n", + "global step=36624384, episodic return=2029.51318359375\n", + "global step=36624384, episodic return=2023.8424072265625\n", + "global step=36624384, episodic return=2086.94775390625\n", + "global step=36624384, episodic return=2103.864013671875\n", + "global step=36626432, episodic return=2004.114013671875\n", + "global step=36628480, episodic return=303.38885498046875\n", + "global step=36628480, episodic return=2146.742919921875\n", + "global step=36628480, episodic return=2155.52734375\n", + "global step=36628480, episodic return=670.0431518554688\n", + "global step=36628480, episodic return=2105.231201171875\n", + "global step=36630528, episodic return=2022.316650390625\n", + "global step=36630528, episodic return=2155.30859375\n", + "global step=36630528, episodic return=2036.749755859375\n", + "global step=36630528, episodic return=2071.625\n", + "global step=36630528, episodic return=2069.539306640625\n", + "global step=36630528, episodic return=2114.14501953125\n", + "global step=36632576, episodic return=2047.28662109375\n", + "global step=36632576, episodic return=2115.55322265625\n", + "global step=36634624, episodic return=2099.94970703125\n", + "global step=36636672, episodic return=2075.260986328125\n", + "global step=36636672, episodic return=838.7073364257812\n", + "global step=36636672, episodic return=2049.969482421875\n", + "global step=36636672, episodic return=2040.7022705078125\n", + "global step=36638720, episodic return=2106.238037109375\n", + "global step=36638720, episodic return=2003.660400390625\n", + "global step=36640768, episodic return=2134.90673828125\n", + "global step=36640768, episodic return=2072.426513671875\n", + "global step=36640768, episodic return=2051.69482421875\n", + "global step=36642816, episodic return=2127.310546875\n", + "global step=36642816, episodic return=1001.323974609375\n", + "global step=36644864, episodic return=2093.875\n", + "global step=36644864, episodic return=1989.767333984375\n", + "global step=36646912, episodic return=2096.58056640625\n", + "global step=36648960, episodic return=2110.66455078125\n", + "global step=36648960, episodic return=1846.967529296875\n", + "global step=36651008, episodic return=2054.444091796875\n", + "global step=36651008, episodic return=2086.032470703125\n", + "global step=36651008, episodic return=480.6629333496094\n", + "global step=36653056, episodic return=2128.9677734375\n", + "global step=36653056, episodic return=2059.397216796875\n", + "global step=36653056, episodic return=2065.71240234375\n", + "global step=36655104, episodic return=2141.138671875\n", + "global step=36657152, episodic return=2071.904541015625\n", + "global step=36657152, episodic return=661.5463256835938\n", + "global step=36659200, episodic return=2103.940673828125\n", + "global step=36659200, episodic return=2103.98388671875\n", + "global step=36661248, episodic return=2068.1572265625\n", + "global step=36661248, episodic return=2113.290771484375\n", + "global step=36661248, episodic return=2098.27392578125\n", + "global step=36661248, episodic return=2107.465087890625\n", + "global step=36663296, episodic return=2071.478271484375\n", + "global step=36663296, episodic return=2102.352294921875\n", + "global step=36663296, episodic return=2107.650634765625\n", + "global step=36663296, episodic return=571.3763427734375\n", + "global step=36663296, episodic return=2090.914306640625\n", + "global step=36665344, episodic return=2113.995361328125\n", + "global step=36667392, episodic return=2071.896240234375\n", + "global step=36667392, episodic return=2101.751953125\n", + "global step=36667392, episodic return=2122.60107421875\n", + "global step=36669440, episodic return=1993.1802978515625\n", + "global step=36669440, episodic return=855.6987915039062\n", + "global step=36671488, episodic return=2125.92919921875\n", + "global step=36671488, episodic return=2116.162109375\n", + "global step=36673536, episodic return=2116.2509765625\n", + "global step=36675584, episodic return=2033.439697265625\n", + "global step=36677632, episodic return=2140.12158203125\n", + "global step=36677632, episodic return=2138.750732421875\n", + "global step=36677632, episodic return=2109.99072265625\n", + "global step=36679680, episodic return=606.2405395507812\n", + "global step=36679680, episodic return=2072.3974609375\n", + "global step=36681728, episodic return=1726.60302734375\n", + "global step=36681728, episodic return=2092.047607421875\n", + "global step=36685824, episodic return=2118.9111328125\n", + "global step=36685824, episodic return=2015.6767578125\n", + "global step=36687872, episodic return=2059.452392578125\n", + "global step=36687872, episodic return=2077.481689453125\n", + "global step=36687872, episodic return=1480.8460693359375\n", + "global step=36687872, episodic return=2088.9921875\n", + "global step=36689920, episodic return=2126.326171875\n", + "global step=36689920, episodic return=2088.917236328125\n", + "global step=36691968, episodic return=2130.19384765625\n", + "global step=36691968, episodic return=2020.541015625\n", + "global step=36691968, episodic return=2140.511474609375\n", + "global step=36691968, episodic return=2133.40673828125\n", + "global step=36696064, episodic return=2075.15087890625\n", + "global step=36698112, episodic return=2049.682861328125\n", + "global step=36700160, episodic return=2131.21044921875\n", + "global step=36700160, episodic return=2108.821044921875\n", + "global step=36702208, episodic return=2138.89599609375\n", + "global step=36702208, episodic return=2116.850830078125\n", + "global step=36702208, episodic return=2075.31884765625\n", + "global step=36702208, episodic return=2118.62158203125\n", + "global step=36702208, episodic return=1885.4990234375\n", + "global step=36704256, episodic return=2115.915771484375\n", + "global step=36704256, episodic return=1719.2567138671875\n", + "global step=36704256, episodic return=640.8704223632812\n", + "global step=36704256, episodic return=2031.2076416015625\n", + "global step=36706304, episodic return=2079.789306640625\n", + "global step=36706304, episodic return=2081.912841796875\n", + "global step=36706304, episodic return=2136.277099609375\n", + "global step=36706304, episodic return=2097.639892578125\n", + "global step=36708352, episodic return=2115.982421875\n", + "global step=36708352, episodic return=2054.687255859375\n", + "global step=36708352, episodic return=1334.3175048828125\n", + "global step=36708352, episodic return=2055.806884765625\n", + "global step=36710400, episodic return=1485.923828125\n", + "global step=36710400, episodic return=1856.320068359375\n", + "global step=36710400, episodic return=2087.424072265625\n", + "global step=36712448, episodic return=2000.8363037109375\n", + "global step=36712448, episodic return=2042.5\n", + "global step=36712448, episodic return=2093.897216796875\n", + "global step=36714496, episodic return=2140.03515625\n", + "global step=36714496, episodic return=1513.4705810546875\n", + "global step=36714496, episodic return=914.0734252929688\n", + "global step=36714496, episodic return=2084.905029296875\n", + "global step=36716544, episodic return=975.6560668945312\n", + "global step=36716544, episodic return=2150.573974609375\n", + "global step=36716544, episodic return=1108.152587890625\n", + "global step=36718592, episodic return=2079.729248046875\n", + "global step=36718592, episodic return=2119.028076171875\n", + "global step=36720640, episodic return=2072.7138671875\n", + "global step=36720640, episodic return=2094.5732421875\n", + "global step=36720640, episodic return=2052.8603515625\n", + "global step=36722688, episodic return=466.1015319824219\n", + "global step=36722688, episodic return=2070.131591796875\n", + "global step=36724736, episodic return=2062.690185546875\n", + "global step=36724736, episodic return=2101.840576171875\n", + "global step=36724736, episodic return=2074.335693359375\n", + "global step=36726784, episodic return=1997.623291015625\n", + "global step=36730880, episodic return=2072.23876953125\n", + "global step=36730880, episodic return=843.443359375\n", + "global step=36730880, episodic return=2001.1715087890625\n", + "global step=36730880, episodic return=2038.0120849609375\n", + "global step=36730880, episodic return=725.3956298828125\n", + "global step=36734976, episodic return=2033.4093017578125\n", + "global step=36737024, episodic return=871.73046875\n", + "global step=36737024, episodic return=2153.30615234375\n", + "global step=36737024, episodic return=2105.58935546875\n", + "global step=36737024, episodic return=2115.392578125\n", + "global step=36737024, episodic return=2142.705810546875\n", + "global step=36739072, episodic return=2092.44921875\n", + "global step=36741120, episodic return=2028.3875732421875\n", + "global step=36741120, episodic return=2113.9951171875\n", + "global step=36743168, episodic return=2076.55322265625\n", + "global step=36743168, episodic return=2179.427001953125\n", + "global step=36745216, episodic return=2123.342041015625\n", + "global step=36745216, episodic return=2106.089111328125\n", + "global step=36745216, episodic return=858.9158325195312\n", + "global step=36745216, episodic return=2062.112548828125\n", + "global step=36747264, episodic return=2108.85595703125\n", + "global step=36747264, episodic return=262.51654052734375\n", + "global step=36747264, episodic return=2170.342529296875\n", + "global step=36749312, episodic return=2084.559326171875\n", + "global step=36751360, episodic return=2053.484619140625\n", + "global step=36751360, episodic return=2136.868408203125\n", + "global step=36753408, episodic return=486.937255859375\n", + "global step=36753408, episodic return=2060.3759765625\n", + "global step=36753408, episodic return=2082.3916015625\n", + "global step=36755456, episodic return=793.1956176757812\n", + "global step=36755456, episodic return=2138.034912109375\n", + "global step=36755456, episodic return=2048.09619140625\n", + "global step=36755456, episodic return=2072.851806640625\n", + "global step=36757504, episodic return=2141.913330078125\n", + "global step=36757504, episodic return=2056.597900390625\n", + "global step=36757504, episodic return=2117.58935546875\n", + "global step=36759552, episodic return=1580.8077392578125\n", + "global step=36759552, episodic return=2143.383056640625\n", + "global step=36761600, episodic return=2096.77783203125\n", + "global step=36763648, episodic return=2012.8643798828125\n", + "global step=36763648, episodic return=2082.26904296875\n", + "global step=36767744, episodic return=2115.1025390625\n", + "global step=36767744, episodic return=2086.56494140625\n", + "global step=36767744, episodic return=2040.5386962890625\n", + "global step=36769792, episodic return=2072.173583984375\n", + "global step=36771840, episodic return=2055.966796875\n", + "global step=36771840, episodic return=2140.077880859375\n", + "global step=36771840, episodic return=2106.266845703125\n", + "global step=36773888, episodic return=1866.994384765625\n", + "global step=36777984, episodic return=1287.8980712890625\n", + "global step=36777984, episodic return=1929.6177978515625\n", + "global step=36777984, episodic return=2125.6572265625\n", + "global step=36780032, episodic return=2100.717041015625\n", + "global step=36780032, episodic return=2138.433837890625\n", + "global step=36784128, episodic return=2126.400390625\n", + "global step=36784128, episodic return=2089.439208984375\n", + "global step=36784128, episodic return=1352.5452880859375\n", + "global step=36784128, episodic return=2140.95751953125\n", + "global step=36784128, episodic return=1859.9200439453125\n", + "global step=36784128, episodic return=2123.908447265625\n", + "global step=36788224, episodic return=2082.02783203125\n", + "global step=36788224, episodic return=2106.027099609375\n", + "global step=36790272, episodic return=2121.68310546875\n", + "global step=36792320, episodic return=2051.328857421875\n", + "global step=36792320, episodic return=2118.246826171875\n", + "global step=36794368, episodic return=2115.42041015625\n", + "global step=36794368, episodic return=2151.51123046875\n", + "global step=36794368, episodic return=2140.596923828125\n", + "global step=36796416, episodic return=2117.937744140625\n", + "global step=36796416, episodic return=2108.724609375\n", + "global step=36796416, episodic return=2169.208984375\n", + "global step=36798464, episodic return=1439.249755859375\n", + "global step=36800512, episodic return=2037.491943359375\n", + "global step=36800512, episodic return=2109.939208984375\n", + "global step=36800512, episodic return=1052.73193359375\n", + "global step=36802560, episodic return=504.8515625\n", + "global step=36802560, episodic return=2076.66943359375\n", + "global step=36802560, episodic return=2041.6885986328125\n", + "global step=36802560, episodic return=2063.587158203125\n", + "global step=36802560, episodic return=2120.93896484375\n", + "global step=36802560, episodic return=2053.61572265625\n", + "global step=36804608, episodic return=2134.810791015625\n", + "global step=36806656, episodic return=1612.463134765625\n", + "global step=36806656, episodic return=1314.590576171875\n", + "global step=36808704, episodic return=2086.037841796875\n", + "global step=36808704, episodic return=2060.080078125\n", + "global step=36808704, episodic return=2136.53515625\n", + "global step=36808704, episodic return=42.398765563964844\n", + "global step=36810752, episodic return=2112.38916015625\n", + "global step=36810752, episodic return=2105.92138671875\n", + "global step=36810752, episodic return=2084.43896484375\n", + "global step=36810752, episodic return=2125.0302734375\n", + "global step=36812800, episodic return=1454.0093994140625\n", + "global step=36812800, episodic return=2079.22900390625\n", + "global step=36812800, episodic return=2107.492431640625\n", + "global step=36812800, episodic return=2143.34375\n", + "global step=36814848, episodic return=2075.424072265625\n", + "global step=36814848, episodic return=793.5330200195312\n", + "global step=36814848, episodic return=2104.61083984375\n", + "global step=36814848, episodic return=2155.770263671875\n", + "global step=36814848, episodic return=2107.781494140625\n", + "global step=36814848, episodic return=2100.4111328125\n", + "global step=36816896, episodic return=1304.4166259765625\n", + "global step=36816896, episodic return=2147.62744140625\n", + "global step=36818944, episodic return=1022.1376342773438\n", + "global step=36818944, episodic return=2040.281005859375\n", + "global step=36820992, episodic return=2116.509033203125\n", + "global step=36820992, episodic return=2110.9638671875\n", + "global step=36820992, episodic return=2145.28271484375\n", + "global step=36823040, episodic return=2116.72509765625\n", + "global step=36825088, episodic return=2090.98388671875\n", + "global step=36825088, episodic return=2131.276611328125\n", + "global step=36827136, episodic return=2134.1953125\n", + "global step=36827136, episodic return=2108.61083984375\n", + "global step=36827136, episodic return=2108.531494140625\n", + "global step=36827136, episodic return=2149.31494140625\n", + "global step=36833280, episodic return=2121.460205078125\n", + "global step=36833280, episodic return=2152.40869140625\n", + "global step=36835328, episodic return=2183.5927734375\n", + "global step=36839424, episodic return=1984.3775634765625\n", + "global step=36839424, episodic return=2152.210205078125\n", + "global step=36839424, episodic return=2122.48681640625\n", + "global step=36841472, episodic return=2055.929931640625\n", + "global step=36841472, episodic return=885.5011596679688\n", + "global step=36841472, episodic return=2124.56103515625\n", + "global step=36841472, episodic return=2129.570068359375\n", + "global step=36841472, episodic return=1661.9078369140625\n", + "global step=36845568, episodic return=2115.719482421875\n", + "global step=36845568, episodic return=2069.2685546875\n", + "global step=36845568, episodic return=2100.71923828125\n", + "global step=36847616, episodic return=1051.1900634765625\n", + "global step=36847616, episodic return=1653.2440185546875\n", + "global step=36847616, episodic return=2078.371826171875\n", + "global step=36847616, episodic return=2129.45166015625\n", + "global step=36849664, episodic return=2074.7333984375\n", + "global step=36849664, episodic return=2142.097412109375\n", + "global step=36853760, episodic return=2120.80615234375\n", + "global step=36855808, episodic return=2092.947021484375\n", + "global step=36855808, episodic return=2091.6279296875\n", + "global step=36857856, episodic return=2081.566650390625\n", + "global step=36857856, episodic return=1146.359130859375\n", + "global step=36859904, episodic return=2068.534912109375\n", + "global step=36859904, episodic return=1707.2603759765625\n", + "global step=36859904, episodic return=2156.232177734375\n", + "global step=36861952, episodic return=2125.76416015625\n", + "global step=36861952, episodic return=2018.808349609375\n", + "global step=36864000, episodic return=2070.2861328125\n", + "global step=36864000, episodic return=657.8623046875\n", + "global step=36864000, episodic return=1421.4835205078125\n", + "global step=36864000, episodic return=2127.3212890625\n", + "global step=36866048, episodic return=1223.4781494140625\n", + "global step=36866048, episodic return=2101.880615234375\n", + "global step=36870144, episodic return=2160.478271484375\n", + "global step=36870144, episodic return=1805.6636962890625\n", + "global step=36870144, episodic return=2059.762451171875\n", + "global step=36872192, episodic return=2132.471923828125\n", + "global step=36874240, episodic return=2127.844482421875\n", + "global step=36874240, episodic return=1815.3839111328125\n", + "global step=36876288, episodic return=2131.653564453125\n", + "global step=36876288, episodic return=1278.823974609375\n", + "global step=36876288, episodic return=2141.484130859375\n", + "global step=36878336, episodic return=2172.374755859375\n", + "global step=36880384, episodic return=1111.187255859375\n", + "global step=36884480, episodic return=2153.5478515625\n", + "global step=36886528, episodic return=840.2495727539062\n", + "global step=36888576, episodic return=2094.703125\n", + "global step=36890624, episodic return=2137.596923828125\n", + "global step=36890624, episodic return=2112.9140625\n", + "global step=36890624, episodic return=995.4156494140625\n", + "global step=36890624, episodic return=2098.448486328125\n", + "global step=36892672, episodic return=2095.7939453125\n", + "global step=36892672, episodic return=1506.916748046875\n", + "global step=36896768, episodic return=2151.411376953125\n", + "global step=36898816, episodic return=648.4033813476562\n", + "global step=36898816, episodic return=964.6118774414062\n", + "global step=36898816, episodic return=799.69580078125\n", + "global step=36898816, episodic return=1126.4215087890625\n", + "global step=36900864, episodic return=2108.805908203125\n", + "global step=36900864, episodic return=1180.03759765625\n", + "global step=36902912, episodic return=2084.0234375\n", + "global step=36904960, episodic return=2132.740478515625\n", + "global step=36907008, episodic return=2070.6884765625\n", + "global step=36907008, episodic return=730.1912841796875\n", + "global step=36907008, episodic return=1282.43603515625\n", + "global step=36911104, episodic return=38.450016021728516\n", + "global step=36911104, episodic return=1091.663818359375\n", + "global step=36913152, episodic return=2085.7021484375\n", + "global step=36913152, episodic return=2161.2763671875\n", + "global step=36913152, episodic return=2120.61181640625\n", + "global step=36915200, episodic return=2078.208740234375\n", + "global step=36917248, episodic return=1354.5401611328125\n", + "global step=36917248, episodic return=2168.718505859375\n", + "global step=36919296, episodic return=2079.95068359375\n", + "global step=36927488, episodic return=2041.162353515625\n", + "global step=36929536, episodic return=2113.42333984375\n", + "global step=36929536, episodic return=2149.633544921875\n", + "global step=36929536, episodic return=2149.449951171875\n", + "global step=36929536, episodic return=1920.4681396484375\n", + "global step=36931584, episodic return=461.8329162597656\n", + "global step=36931584, episodic return=2110.878173828125\n", + "global step=36931584, episodic return=2127.82080078125\n", + "global step=36933632, episodic return=2168.88330078125\n", + "global step=36935680, episodic return=818.9099731445312\n", + "global step=36935680, episodic return=2158.743408203125\n", + "global step=36935680, episodic return=2165.248291015625\n", + "global step=36937728, episodic return=2148.858154296875\n", + "global step=36939776, episodic return=2074.950927734375\n", + "global step=36941824, episodic return=2135.51806640625\n", + "global step=36941824, episodic return=1732.8505859375\n", + "global step=36941824, episodic return=2120.09375\n", + "global step=36941824, episodic return=2137.42333984375\n", + "global step=36945920, episodic return=2094.16748046875\n", + "global step=36947968, episodic return=2075.984130859375\n", + "global step=36950016, episodic return=2137.8505859375\n", + "global step=36954112, episodic return=663.838623046875\n", + "global step=36954112, episodic return=2152.49462890625\n", + "global step=36954112, episodic return=2093.283935546875\n", + "global step=36956160, episodic return=2081.611083984375\n", + "global step=36956160, episodic return=1635.0361328125\n", + "global step=36958208, episodic return=1236.0999755859375\n", + "global step=36958208, episodic return=2141.337646484375\n", + "global step=36960256, episodic return=2102.96044921875\n", + "global step=36962304, episodic return=2085.51318359375\n", + "global step=36964352, episodic return=2122.692626953125\n", + "global step=36968448, episodic return=2059.63330078125\n", + "global step=36968448, episodic return=2130.9033203125\n", + "global step=36968448, episodic return=786.8662109375\n", + "global step=36970496, episodic return=1040.0093994140625\n", + "global step=36974592, episodic return=2117.72705078125\n", + "global step=36978688, episodic return=2131.65966796875\n", + "global step=36978688, episodic return=2132.480224609375\n", + "global step=36978688, episodic return=2135.053955078125\n", + "global step=36978688, episodic return=2105.844482421875\n", + "global step=36980736, episodic return=2080.508056640625\n", + "global step=36980736, episodic return=741.9646606445312\n", + "global step=36980736, episodic return=2137.027587890625\n", + "global step=36982784, episodic return=811.6375732421875\n", + "global step=36982784, episodic return=2155.956298828125\n", + "global step=36982784, episodic return=2096.7021484375\n", + "global step=36984832, episodic return=2090.6640625\n", + "global step=36984832, episodic return=1067.307861328125\n", + "global step=36986880, episodic return=2133.35888671875\n", + "global step=36986880, episodic return=2046.276611328125\n", + "global step=36986880, episodic return=2133.42822265625\n", + "global step=36986880, episodic return=2120.971435546875\n", + "global step=36988928, episodic return=2102.468505859375\n", + "global step=36990976, episodic return=2141.3330078125\n", + "global step=36993024, episodic return=2162.615478515625\n", + "global step=36997120, episodic return=2085.097412109375\n", + "global step=36997120, episodic return=2081.688720703125\n", + "global step=36999168, episodic return=1870.5562744140625\n", + "global step=36999168, episodic return=61.750732421875\n", + "global step=37001216, episodic return=1270.00244140625\n", + "global step=37001216, episodic return=2120.438720703125\n", + "global step=37003264, episodic return=951.7249145507812\n", + "global step=37005312, episodic return=2055.480224609375\n", + "global step=37007360, episodic return=2096.260498046875\n", + "global step=37007360, episodic return=136.8773193359375\n", + "global step=37009408, episodic return=1194.0047607421875\n", + "global step=37009408, episodic return=63.778385162353516\n", + "global step=37011456, episodic return=945.6464233398438\n", + "global step=37011456, episodic return=1442.7603759765625\n", + "global step=37013504, episodic return=2108.99755859375\n", + "global step=37013504, episodic return=718.4829711914062\n", + "global step=37015552, episodic return=700.83349609375\n", + "global step=37017600, episodic return=1942.39404296875\n", + "global step=37019648, episodic return=1782.6419677734375\n", + "global step=37019648, episodic return=2091.4326171875\n", + "global step=37023744, episodic return=2150.613525390625\n", + "global step=37023744, episodic return=2183.862060546875\n", + "global step=37023744, episodic return=184.468994140625\n", + "global step=37027840, episodic return=2066.6015625\n", + "global step=37027840, episodic return=837.242919921875\n", + "global step=37029888, episodic return=2143.33203125\n", + "global step=37029888, episodic return=2104.934814453125\n", + "global step=37029888, episodic return=2173.511962890625\n", + "global step=37031936, episodic return=1051.169921875\n", + "global step=37031936, episodic return=1659.0126953125\n", + "global step=37033984, episodic return=651.7167358398438\n", + "global step=37033984, episodic return=2162.153564453125\n", + "global step=37033984, episodic return=1049.3485107421875\n", + "global step=37036032, episodic return=2061.103515625\n", + "global step=37042176, episodic return=2159.0703125\n", + "global step=37044224, episodic return=2122.013671875\n", + "global step=37044224, episodic return=2135.284423828125\n", + "global step=37046272, episodic return=1903.80859375\n", + "global step=37046272, episodic return=2094.9287109375\n", + "global step=37046272, episodic return=1925.42724609375\n", + "global step=37046272, episodic return=1091.033203125\n", + "global step=37048320, episodic return=2163.94091796875\n", + "global step=37052416, episodic return=2065.706787109375\n", + "global step=37054464, episodic return=2052.455322265625\n", + "global step=37054464, episodic return=2090.40185546875\n", + "global step=37056512, episodic return=979.9971923828125\n", + "global step=37058560, episodic return=2131.267822265625\n", + "global step=37058560, episodic return=2166.02783203125\n", + "global step=37068800, episodic return=1485.911865234375\n", + "global step=37070848, episodic return=1033.402587890625\n", + "global step=37070848, episodic return=1336.383056640625\n", + "global step=37070848, episodic return=2121.873291015625\n", + "global step=37070848, episodic return=2171.481689453125\n", + "global step=37072896, episodic return=2105.7978515625\n", + "global step=37072896, episodic return=1310.7464599609375\n", + "global step=37072896, episodic return=2112.563232421875\n", + "global step=37079040, episodic return=2142.459228515625\n", + "global step=37079040, episodic return=2113.42529296875\n", + "global step=37083136, episodic return=803.7853393554688\n", + "global step=37083136, episodic return=2180.73681640625\n", + "global step=37083136, episodic return=2144.044189453125\n", + "global step=37083136, episodic return=2106.641357421875\n", + "global step=37083136, episodic return=2156.03076171875\n", + "global step=37085184, episodic return=2154.4091796875\n", + "global step=37085184, episodic return=2164.717529296875\n", + "global step=37087232, episodic return=2128.232666015625\n", + "global step=37087232, episodic return=2134.548095703125\n", + "global step=37087232, episodic return=2150.44970703125\n", + "global step=37089280, episodic return=2178.11865234375\n", + "global step=37091328, episodic return=1433.5965576171875\n", + "global step=37091328, episodic return=2205.420654296875\n", + "global step=37091328, episodic return=1118.1363525390625\n", + "global step=37091328, episodic return=765.3159790039062\n", + "global step=37093376, episodic return=2011.0660400390625\n", + "global step=37095424, episodic return=1040.7340087890625\n", + "global step=37099520, episodic return=2121.21240234375\n", + "global step=37101568, episodic return=1874.6839599609375\n", + "global step=37103616, episodic return=2178.465087890625\n", + "global step=37103616, episodic return=2095.3134765625\n", + "global step=37115904, episodic return=431.5920715332031\n", + "global step=37117952, episodic return=2172.966064453125\n", + "global step=37120000, episodic return=664.3582153320312\n", + "global step=37120000, episodic return=2139.177001953125\n", + "global step=37122048, episodic return=1301.215576171875\n", + "global step=37122048, episodic return=1152.6868896484375\n", + "global step=37124096, episodic return=2145.309326171875\n", + "global step=37124096, episodic return=2154.44677734375\n", + "global step=37126144, episodic return=2096.2099609375\n", + "global step=37128192, episodic return=704.656982421875\n", + "global step=37128192, episodic return=357.1343078613281\n", + "global step=37128192, episodic return=2096.294921875\n", + "global step=37132288, episodic return=850.9632568359375\n", + "global step=37136384, episodic return=1263.887451171875\n", + "global step=37138432, episodic return=1104.104736328125\n", + "global step=37140480, episodic return=2155.34326171875\n", + "global step=37140480, episodic return=2150.16357421875\n", + "global step=37140480, episodic return=575.3749389648438\n", + "global step=37142528, episodic return=1139.31396484375\n", + "global step=37142528, episodic return=2100.40869140625\n", + "global step=37146624, episodic return=1250.0010986328125\n", + "global step=37148672, episodic return=1305.0584716796875\n", + "global step=37148672, episodic return=1430.5367431640625\n", + "global step=37150720, episodic return=1619.079833984375\n", + "global step=37152768, episodic return=2136.0341796875\n", + "global step=37152768, episodic return=2117.537353515625\n", + "global step=37152768, episodic return=2116.296630859375\n", + "global step=37156864, episodic return=2131.582275390625\n", + "global step=37156864, episodic return=456.87237548828125\n", + "global step=37160960, episodic return=2159.101806640625\n", + "global step=37163008, episodic return=2094.869384765625\n", + "global step=37167104, episodic return=1047.5301513671875\n", + "global step=37167104, episodic return=2048.953857421875\n", + "global step=37167104, episodic return=639.3170166015625\n", + "global step=37167104, episodic return=246.4279022216797\n", + "global step=37169152, episodic return=1326.942626953125\n", + "global step=37177344, episodic return=2084.98046875\n", + "global step=37177344, episodic return=2112.85205078125\n", + "global step=37179392, episodic return=2120.74267578125\n", + "global step=37179392, episodic return=2161.90234375\n", + "global step=37179392, episodic return=1997.39208984375\n", + "global step=37179392, episodic return=1859.50146484375\n", + "global step=37183488, episodic return=2159.163330078125\n", + "global step=37185536, episodic return=529.1824340820312\n", + "global step=37185536, episodic return=2098.573486328125\n", + "global step=37185536, episodic return=2080.633544921875\n", + "global step=37191680, episodic return=1357.2459716796875\n", + "global step=37193728, episodic return=2086.66796875\n", + "global step=37195776, episodic return=2153.232666015625\n", + "global step=37199872, episodic return=2160.2099609375\n", + "global step=37199872, episodic return=2050.43994140625\n", + "global step=37199872, episodic return=1981.8587646484375\n", + "global step=37199872, episodic return=896.129638671875\n", + "global step=37201920, episodic return=1109.67333984375\n", + "global step=37201920, episodic return=613.6331787109375\n", + "global step=37208064, episodic return=2144.137451171875\n", + "global step=37208064, episodic return=2135.171630859375\n", + "global step=37210112, episodic return=2160.040771484375\n", + "global step=37212160, episodic return=2140.833984375\n", + "global step=37212160, episodic return=2144.597412109375\n", + "global step=37214208, episodic return=1186.51611328125\n", + "global step=37214208, episodic return=2147.21728515625\n", + "global step=37214208, episodic return=2156.016845703125\n", + "global step=37216256, episodic return=2120.4765625\n", + "global step=37218304, episodic return=2153.6083984375\n", + "global step=37218304, episodic return=2149.07568359375\n", + "global step=37220352, episodic return=2132.321044921875\n", + "global step=37230592, episodic return=1825.8626708984375\n", + "global step=37232640, episodic return=2022.105712890625\n", + "global step=37236736, episodic return=1170.895751953125\n", + "global step=37236736, episodic return=2067.37109375\n", + "global step=37238784, episodic return=2098.185546875\n", + "global step=37240832, episodic return=2124.453125\n", + "global step=37242880, episodic return=812.791015625\n", + "global step=37244928, episodic return=2090.021240234375\n", + "global step=37246976, episodic return=2144.5634765625\n", + "global step=37251072, episodic return=281.0260314941406\n", + "global step=37253120, episodic return=2145.13818359375\n", + "global step=37255168, episodic return=2177.2294921875\n", + "global step=37255168, episodic return=1264.4490966796875\n", + "global step=37255168, episodic return=2109.5048828125\n", + "global step=37257216, episodic return=2075.37060546875\n", + "global step=37259264, episodic return=2136.690673828125\n", + "global step=37259264, episodic return=2114.93994140625\n", + "global step=37261312, episodic return=2177.039306640625\n", + "global step=37263360, episodic return=2044.645263671875\n", + "global step=37267456, episodic return=2192.919189453125\n", + "global step=37267456, episodic return=2137.576171875\n", + "global step=37269504, episodic return=1898.4566650390625\n", + "global step=37269504, episodic return=2153.679443359375\n", + "global step=37271552, episodic return=544.9314575195312\n", + "global step=37271552, episodic return=2120.683837890625\n", + "global step=37271552, episodic return=161.58555603027344\n", + "global step=37277696, episodic return=2092.665771484375\n", + "global step=37277696, episodic return=2164.55224609375\n", + "global step=37281792, episodic return=2156.074462890625\n", + "global step=37283840, episodic return=2124.668701171875\n", + "global step=37285888, episodic return=2157.583740234375\n", + "global step=37289984, episodic return=2067.743408203125\n", + "global step=37289984, episodic return=1787.7996826171875\n", + "global step=37292032, episodic return=1997.9063720703125\n", + "global step=37294080, episodic return=2070.940185546875\n", + "global step=37296128, episodic return=2171.20458984375\n", + "global step=37296128, episodic return=2140.5234375\n", + "global step=37298176, episodic return=714.3917846679688\n", + "global step=37298176, episodic return=2094.20751953125\n", + "global step=37302272, episodic return=2140.684814453125\n", + "global step=37306368, episodic return=2177.4140625\n", + "global step=37306368, episodic return=733.9738159179688\n", + "global step=37310464, episodic return=2142.84619140625\n", + "global step=37310464, episodic return=2076.427490234375\n", + "global step=37310464, episodic return=2162.750732421875\n", + "global step=37310464, episodic return=2035.052490234375\n", + "global step=37312512, episodic return=2159.859375\n", + "global step=37312512, episodic return=1622.874267578125\n", + "global step=37314560, episodic return=2065.560791015625\n", + "global step=37316608, episodic return=1498.8739013671875\n", + "global step=37316608, episodic return=2184.998046875\n", + "global step=37318656, episodic return=2153.471923828125\n", + "global step=37318656, episodic return=2104.605712890625\n", + "global step=37320704, episodic return=2138.006591796875\n", + "global step=37320704, episodic return=2117.88623046875\n", + "global step=37322752, episodic return=2049.068359375\n", + "global step=37322752, episodic return=2081.9091796875\n", + "global step=37324800, episodic return=1297.1527099609375\n", + "global step=37324800, episodic return=1439.575927734375\n", + "global step=37326848, episodic return=2133.62744140625\n", + "global step=37326848, episodic return=2119.30029296875\n", + "global step=37328896, episodic return=2129.100830078125\n", + "global step=37330944, episodic return=2094.649658203125\n", + "global step=37330944, episodic return=2087.73193359375\n", + "global step=37330944, episodic return=2155.779296875\n", + "global step=37332992, episodic return=2124.176025390625\n", + "global step=37332992, episodic return=755.4320068359375\n", + "global step=37335040, episodic return=2128.328369140625\n", + "global step=37337088, episodic return=2118.28173828125\n", + "global step=37339136, episodic return=989.7008666992188\n", + "global step=37341184, episodic return=1323.78857421875\n", + "global step=37341184, episodic return=2170.122314453125\n", + "global step=37341184, episodic return=2057.80517578125\n", + "global step=37349376, episodic return=2059.086669921875\n", + "global step=37351424, episodic return=2089.14208984375\n", + "global step=37351424, episodic return=2154.374755859375\n", + "global step=37353472, episodic return=2120.262451171875\n", + "global step=37357568, episodic return=2134.0478515625\n", + "global step=37357568, episodic return=2097.334228515625\n", + "global step=37359616, episodic return=2034.10009765625\n", + "global step=37359616, episodic return=2100.989013671875\n", + "global step=37359616, episodic return=2125.914794921875\n", + "global step=37365760, episodic return=2099.4462890625\n", + "global step=37367808, episodic return=2153.277099609375\n", + "global step=37369856, episodic return=2157.326171875\n", + "global step=37371904, episodic return=2142.43798828125\n", + "global step=37371904, episodic return=2176.33349609375\n", + "global step=37371904, episodic return=1935.0693359375\n", + "global step=37371904, episodic return=2177.515869140625\n", + "global step=37371904, episodic return=2086.87744140625\n", + "global step=37371904, episodic return=2099.438232421875\n", + "global step=37371904, episodic return=2112.242431640625\n", + "global step=37376000, episodic return=2064.999267578125\n", + "global step=37376000, episodic return=2104.48046875\n", + "global step=37376000, episodic return=2060.802978515625\n", + "global step=37380096, episodic return=2167.873046875\n", + "global step=37382144, episodic return=2111.230712890625\n", + "global step=37384192, episodic return=2090.741455078125\n", + "global step=37386240, episodic return=2187.750244140625\n", + "global step=37386240, episodic return=2115.001220703125\n", + "global step=37388288, episodic return=2146.91064453125\n", + "global step=37390336, episodic return=2109.824462890625\n", + "global step=37392384, episodic return=2136.24951171875\n", + "global step=37392384, episodic return=2062.4033203125\n", + "global step=37394432, episodic return=2119.263671875\n", + "global step=37396480, episodic return=2123.44873046875\n", + "global step=37396480, episodic return=2105.377685546875\n", + "global step=37400576, episodic return=2163.4453125\n", + "global step=37400576, episodic return=2138.989990234375\n", + "global step=37402624, episodic return=2144.780517578125\n", + "global step=37406720, episodic return=2031.704833984375\n", + "global step=37408768, episodic return=2137.888671875\n", + "global step=37410816, episodic return=2209.034912109375\n", + "global step=37414912, episodic return=2130.116455078125\n", + "global step=37414912, episodic return=2063.888427734375\n", + "global step=37416960, episodic return=2156.1962890625\n", + "global step=37416960, episodic return=2164.889892578125\n", + "global step=37416960, episodic return=2164.291259765625\n", + "global step=37421056, episodic return=2087.5390625\n", + "global step=37423104, episodic return=2128.605712890625\n", + "global step=37423104, episodic return=2140.406982421875\n", + "global step=37423104, episodic return=2108.0625\n", + "global step=37423104, episodic return=2138.985595703125\n", + "global step=37427200, episodic return=2174.579345703125\n", + "global step=37431296, episodic return=2138.734375\n", + "global step=37431296, episodic return=2089.21142578125\n", + "global step=37431296, episodic return=2143.760498046875\n", + "global step=37433344, episodic return=2128.492919921875\n", + "global step=37433344, episodic return=2159.48779296875\n", + "global step=37435392, episodic return=2184.275390625\n", + "global step=37435392, episodic return=2137.860595703125\n", + "global step=37437440, episodic return=2114.82275390625\n", + "global step=37439488, episodic return=2171.962890625\n", + "global step=37439488, episodic return=1311.418212890625\n", + "global step=37441536, episodic return=2100.1875\n", + "global step=37441536, episodic return=2082.53076171875\n", + "global step=37441536, episodic return=2098.771728515625\n", + "global step=37443584, episodic return=2151.72216796875\n", + "global step=37443584, episodic return=1986.6207275390625\n", + "global step=37445632, episodic return=2135.165283203125\n", + "global step=37445632, episodic return=2062.4228515625\n", + "global step=37451776, episodic return=2125.939208984375\n", + "global step=37453824, episodic return=2137.787841796875\n", + "global step=37455872, episodic return=2110.976318359375\n", + "global step=37455872, episodic return=2115.841796875\n", + "global step=37459968, episodic return=2148.8857421875\n", + "global step=37459968, episodic return=2186.616455078125\n", + "global step=37462016, episodic return=2174.11962890625\n", + "global step=37462016, episodic return=2148.858642578125\n", + "global step=37462016, episodic return=2141.408447265625\n", + "global step=37462016, episodic return=2173.102783203125\n", + "global step=37464064, episodic return=2119.96875\n", + "global step=37464064, episodic return=2133.43603515625\n", + "global step=37466112, episodic return=2105.462158203125\n", + "global step=37468160, episodic return=2081.33935546875\n", + "global step=37468160, episodic return=2128.721435546875\n", + "global step=37476352, episodic return=2065.451904296875\n", + "global step=37480448, episodic return=2108.37548828125\n", + "global step=37480448, episodic return=2148.037353515625\n", + "global step=37480448, episodic return=2152.163330078125\n", + "global step=37482496, episodic return=2104.53955078125\n", + "global step=37482496, episodic return=2182.674072265625\n", + "global step=37482496, episodic return=2160.649658203125\n", + "global step=37486592, episodic return=252.96824645996094\n", + "global step=37486592, episodic return=2089.13037109375\n", + "global step=37486592, episodic return=734.8569946289062\n", + "global step=37490688, episodic return=2162.349609375\n", + "global step=37492736, episodic return=2084.0478515625\n", + "global step=37494784, episodic return=2135.171142578125\n", + "global step=37494784, episodic return=2118.728515625\n", + "global step=37494784, episodic return=2175.55615234375\n", + "global step=37496832, episodic return=2119.085205078125\n", + "global step=37502976, episodic return=2163.80419921875\n", + "global step=37505024, episodic return=2099.9677734375\n", + "global step=37507072, episodic return=2115.3798828125\n", + "global step=37509120, episodic return=506.19207763671875\n", + "global step=37511168, episodic return=2074.625\n", + "global step=37511168, episodic return=2137.091552734375\n", + "global step=37513216, episodic return=2134.5673828125\n", + "global step=37513216, episodic return=2105.552978515625\n", + "global step=37513216, episodic return=2123.311767578125\n", + "global step=37513216, episodic return=2133.167724609375\n", + "global step=37515264, episodic return=2100.614013671875\n", + "global step=37517312, episodic return=1662.8406982421875\n", + "global step=37517312, episodic return=730.9366455078125\n", + "global step=37517312, episodic return=2151.19482421875\n", + "global step=37517312, episodic return=2120.40283203125\n", + "global step=37517312, episodic return=2133.827392578125\n", + "global step=37517312, episodic return=2138.04736328125\n", + "global step=37519360, episodic return=2150.322021484375\n", + "global step=37519360, episodic return=573.29345703125\n", + "global step=37523456, episodic return=510.02972412109375\n", + "global step=37523456, episodic return=2115.5517578125\n", + "global step=37525504, episodic return=2140.74072265625\n", + "global step=37527552, episodic return=2104.146484375\n", + "global step=37529600, episodic return=2100.79833984375\n", + "global step=37529600, episodic return=2161.17919921875\n", + "global step=37529600, episodic return=2139.877685546875\n", + "global step=37531648, episodic return=2142.654296875\n", + "global step=37531648, episodic return=2104.630615234375\n", + "global step=37533696, episodic return=2090.59423828125\n", + "global step=37535744, episodic return=2121.00390625\n", + "global step=37535744, episodic return=353.8880310058594\n", + "global step=37535744, episodic return=2097.943359375\n", + "global step=37537792, episodic return=2103.3935546875\n", + "global step=37537792, episodic return=2136.325927734375\n", + "global step=37537792, episodic return=2156.695556640625\n", + "global step=37537792, episodic return=2120.283935546875\n", + "global step=37541888, episodic return=807.8181762695312\n", + "global step=37541888, episodic return=740.9631958007812\n", + "global step=37541888, episodic return=2181.76025390625\n", + "global step=37550080, episodic return=1571.803955078125\n", + "global step=37552128, episodic return=861.5796508789062\n", + "global step=37554176, episodic return=2149.072021484375\n", + "global step=37554176, episodic return=2106.625732421875\n", + "global step=37556224, episodic return=2110.37353515625\n", + "global step=37558272, episodic return=2143.73681640625\n", + "global step=37558272, episodic return=381.3124084472656\n", + "global step=37560320, episodic return=2142.05224609375\n", + "global step=37560320, episodic return=2114.67724609375\n", + "global step=37560320, episodic return=2130.043212890625\n", + "global step=37562368, episodic return=2164.10693359375\n", + "global step=37562368, episodic return=2085.431396484375\n", + "global step=37562368, episodic return=2139.498779296875\n", + "global step=37564416, episodic return=2114.3251953125\n", + "global step=37564416, episodic return=2160.781494140625\n", + "global step=37566464, episodic return=2150.716064453125\n", + "global step=37566464, episodic return=2121.4794921875\n", + "global step=37568512, episodic return=2152.351806640625\n", + "global step=37568512, episodic return=2113.37353515625\n", + "global step=37572608, episodic return=2168.680419921875\n", + "global step=37572608, episodic return=2168.700439453125\n", + "global step=37572608, episodic return=2052.43359375\n", + "global step=37574656, episodic return=2107.73095703125\n", + "global step=37574656, episodic return=2110.38671875\n", + "global step=37574656, episodic return=2102.19580078125\n", + "global step=37576704, episodic return=2151.9208984375\n", + "global step=37576704, episodic return=2124.84423828125\n", + "global step=37578752, episodic return=2153.853759765625\n", + "global step=37578752, episodic return=711.7035522460938\n", + "global step=37578752, episodic return=2140.412353515625\n", + "global step=37578752, episodic return=2120.2080078125\n", + "global step=37584896, episodic return=2131.076416015625\n", + "global step=37584896, episodic return=2176.927734375\n", + "global step=37584896, episodic return=2145.418212890625\n", + "global step=37584896, episodic return=2132.20947265625\n", + "global step=37588992, episodic return=582.2919311523438\n", + "global step=37588992, episodic return=2126.1767578125\n", + "global step=37588992, episodic return=2071.163330078125\n", + "global step=37591040, episodic return=2117.939208984375\n", + "global step=37593088, episodic return=2117.951171875\n", + "global step=37593088, episodic return=2160.66650390625\n", + "global step=37593088, episodic return=2037.0545654296875\n", + "global step=37595136, episodic return=2178.989990234375\n", + "global step=37595136, episodic return=2157.189453125\n", + "global step=37597184, episodic return=687.6055297851562\n", + "global step=37599232, episodic return=630.9694213867188\n", + "global step=37599232, episodic return=2140.951171875\n", + "global step=37599232, episodic return=2118.160888671875\n", + "global step=37601280, episodic return=2148.71630859375\n", + "global step=37601280, episodic return=2171.970703125\n", + "global step=37603328, episodic return=2138.06005859375\n", + "global step=37603328, episodic return=2163.2451171875\n", + "global step=37603328, episodic return=2154.295654296875\n", + "global step=37605376, episodic return=2158.396728515625\n", + "global step=37607424, episodic return=2091.556640625\n", + "global step=37607424, episodic return=2147.266845703125\n", + "global step=37609472, episodic return=2114.572509765625\n", + "global step=37609472, episodic return=2151.90478515625\n", + "global step=37615616, episodic return=2147.36279296875\n", + "global step=37615616, episodic return=2119.912109375\n", + "global step=37615616, episodic return=2072.95458984375\n", + "global step=37615616, episodic return=2167.80322265625\n", + "global step=37617664, episodic return=2075.242919921875\n", + "global step=37617664, episodic return=2095.9423828125\n", + "global step=37621760, episodic return=2149.4990234375\n", + "global step=37621760, episodic return=2161.89501953125\n", + "global step=37621760, episodic return=2146.56494140625\n", + "global step=37623808, episodic return=2152.671142578125\n", + "global step=37623808, episodic return=2139.263671875\n", + "global step=37625856, episodic return=2068.055419921875\n", + "global step=37625856, episodic return=729.22509765625\n", + "global step=37627904, episodic return=2085.57275390625\n", + "global step=37627904, episodic return=2165.965576171875\n", + "global step=37629952, episodic return=2156.700927734375\n", + "global step=37629952, episodic return=635.210205078125\n", + "global step=37629952, episodic return=687.6495361328125\n", + "global step=37636096, episodic return=2167.76123046875\n", + "global step=37636096, episodic return=2033.980712890625\n", + "global step=37638144, episodic return=2128.313720703125\n", + "global step=37638144, episodic return=2175.28564453125\n", + "global step=37640192, episodic return=2131.9072265625\n", + "global step=37642240, episodic return=2119.785400390625\n", + "global step=37642240, episodic return=2114.14013671875\n", + "global step=37642240, episodic return=2159.066650390625\n", + "global step=37644288, episodic return=2103.372802734375\n", + "global step=37644288, episodic return=2110.013916015625\n", + "global step=37644288, episodic return=2118.681396484375\n", + "global step=37644288, episodic return=2141.39306640625\n", + "global step=37646336, episodic return=2138.071533203125\n", + "global step=37648384, episodic return=2114.0556640625\n", + "global step=37648384, episodic return=2158.949951171875\n", + "global step=37650432, episodic return=2149.1630859375\n", + "global step=37650432, episodic return=2173.02880859375\n", + "global step=37650432, episodic return=2117.834228515625\n", + "global step=37654528, episodic return=2172.150390625\n", + "global step=37658624, episodic return=2149.28466796875\n", + "global step=37660672, episodic return=2151.91259765625\n", + "global step=37662720, episodic return=2155.30224609375\n", + "global step=37662720, episodic return=2149.533935546875\n", + "global step=37662720, episodic return=2110.326416015625\n", + "global step=37664768, episodic return=2143.09814453125\n", + "global step=37668864, episodic return=2162.62890625\n", + "global step=37670912, episodic return=2131.405517578125\n", + "global step=37670912, episodic return=2059.014892578125\n", + "global step=37675008, episodic return=2161.73193359375\n", + "global step=37675008, episodic return=2155.73486328125\n", + "global step=37675008, episodic return=2123.604248046875\n", + "global step=37675008, episodic return=2106.15966796875\n", + "global step=37677056, episodic return=2060.728515625\n", + "global step=37677056, episodic return=2133.868896484375\n", + "global step=37677056, episodic return=2111.81494140625\n", + "global step=37679104, episodic return=2153.0205078125\n", + "global step=37679104, episodic return=869.7803955078125\n", + "global step=37681152, episodic return=2143.98974609375\n", + "global step=37681152, episodic return=2160.763916015625\n", + "global step=37681152, episodic return=2142.982421875\n", + "global step=37683200, episodic return=2136.375244140625\n", + "global step=37683200, episodic return=2151.48974609375\n", + "global step=37685248, episodic return=2115.0498046875\n", + "global step=37685248, episodic return=2125.1767578125\n", + "global step=37685248, episodic return=2136.423583984375\n", + "global step=37687296, episodic return=2155.369873046875\n", + "global step=37687296, episodic return=881.177490234375\n", + "global step=37689344, episodic return=2050.938720703125\n", + "global step=37689344, episodic return=2115.205322265625\n", + "global step=37689344, episodic return=2097.61279296875\n", + "global step=37697536, episodic return=2120.43115234375\n", + "global step=37697536, episodic return=2149.969482421875\n", + "global step=37697536, episodic return=1972.088623046875\n", + "global step=37699584, episodic return=2128.719482421875\n", + "global step=37703680, episodic return=2042.262939453125\n", + "global step=37703680, episodic return=2138.496826171875\n", + "global step=37705728, episodic return=2161.94384765625\n", + "global step=37705728, episodic return=2133.03857421875\n", + "global step=37707776, episodic return=2207.334228515625\n", + "global step=37707776, episodic return=2070.6728515625\n", + "global step=37709824, episodic return=1041.22900390625\n", + "global step=37709824, episodic return=2156.7353515625\n", + "global step=37713920, episodic return=2069.728759765625\n", + "global step=37715968, episodic return=2092.63134765625\n", + "global step=37726208, episodic return=127.5890121459961\n", + "global step=37728256, episodic return=1655.9678955078125\n", + "global step=37728256, episodic return=2148.658935546875\n", + "global step=37730304, episodic return=2171.27001953125\n", + "global step=37730304, episodic return=2125.141845703125\n", + "global step=37732352, episodic return=2185.736083984375\n", + "global step=37732352, episodic return=2139.6025390625\n", + "global step=37732352, episodic return=2145.298095703125\n", + "global step=37732352, episodic return=2134.703857421875\n", + "global step=37732352, episodic return=2069.09033203125\n", + "global step=37732352, episodic return=1109.002685546875\n", + "global step=37734400, episodic return=2109.481689453125\n", + "global step=37734400, episodic return=2161.087158203125\n", + "global step=37738496, episodic return=2162.3017578125\n", + "global step=37738496, episodic return=2177.065185546875\n", + "global step=37742592, episodic return=2150.56201171875\n", + "global step=37744640, episodic return=2139.2412109375\n", + "global step=37744640, episodic return=2136.83349609375\n", + "global step=37746688, episodic return=2123.662109375\n", + "global step=37746688, episodic return=2118.60888671875\n", + "global step=37748736, episodic return=759.2764282226562\n", + "global step=37748736, episodic return=2152.0185546875\n", + "global step=37750784, episodic return=2184.218994140625\n", + "global step=37750784, episodic return=2199.301025390625\n", + "global step=37754880, episodic return=2122.85400390625\n", + "global step=37756928, episodic return=2148.662841796875\n", + "global step=37758976, episodic return=2096.859375\n", + "global step=37758976, episodic return=2173.382080078125\n", + "global step=37761024, episodic return=2145.679443359375\n", + "global step=37761024, episodic return=2165.65087890625\n", + "global step=37763072, episodic return=2047.5919189453125\n", + "global step=37763072, episodic return=2165.1015625\n", + "global step=37763072, episodic return=2133.036865234375\n", + "global step=37763072, episodic return=2134.3779296875\n", + "global step=37767168, episodic return=2177.06787109375\n", + "global step=37767168, episodic return=2164.35986328125\n", + "global step=37769216, episodic return=2066.54345703125\n", + "global step=37769216, episodic return=2068.970703125\n", + "global step=37775360, episodic return=2139.7119140625\n", + "global step=37779456, episodic return=2155.3564453125\n", + "global step=37781504, episodic return=2131.81982421875\n", + "global step=37781504, episodic return=2142.03466796875\n", + "global step=37781504, episodic return=2176.69482421875\n", + "global step=37783552, episodic return=2178.911865234375\n", + "global step=37783552, episodic return=2159.424560546875\n", + "global step=37785600, episodic return=2155.376708984375\n", + "global step=37785600, episodic return=2112.618896484375\n", + "global step=37785600, episodic return=2168.447265625\n", + "global step=37791744, episodic return=2157.136474609375\n", + "global step=37793792, episodic return=2181.639892578125\n", + "global step=37793792, episodic return=1148.1229248046875\n", + "global step=37793792, episodic return=1102.4075927734375\n", + "global step=37795840, episodic return=2186.177490234375\n", + "global step=37795840, episodic return=2084.281494140625\n", + "global step=37795840, episodic return=2186.90380859375\n", + "global step=37797888, episodic return=2176.133544921875\n", + "global step=37797888, episodic return=2118.31494140625\n", + "global step=37797888, episodic return=2098.911865234375\n", + "global step=37797888, episodic return=2179.430419921875\n", + "global step=37799936, episodic return=2168.361572265625\n", + "global step=37799936, episodic return=2163.672607421875\n", + "global step=37801984, episodic return=2172.21923828125\n", + "global step=37806080, episodic return=2157.17919921875\n", + "global step=37806080, episodic return=2086.54736328125\n", + "global step=37806080, episodic return=2190.090087890625\n", + "global step=37806080, episodic return=2175.889892578125\n", + "global step=37808128, episodic return=2005.3006591796875\n", + "global step=37808128, episodic return=2127.24560546875\n", + "global step=37808128, episodic return=2151.164306640625\n", + "global step=37808128, episodic return=2113.126953125\n", + "global step=37808128, episodic return=2148.145751953125\n", + "global step=37810176, episodic return=2176.7958984375\n", + "global step=37810176, episodic return=1104.856689453125\n", + "global step=37814272, episodic return=1294.233154296875\n", + "global step=37814272, episodic return=2120.9697265625\n", + "global step=37814272, episodic return=2048.201416015625\n", + "global step=37816320, episodic return=2122.275390625\n", + "global step=37816320, episodic return=2129.09814453125\n", + "global step=37816320, episodic return=2182.5849609375\n", + "global step=37816320, episodic return=2010.975341796875\n", + "global step=37818368, episodic return=2103.609619140625\n", + "global step=37818368, episodic return=1928.14111328125\n", + "global step=37820416, episodic return=2200.769287109375\n", + "global step=37820416, episodic return=2165.400146484375\n", + "global step=37820416, episodic return=2133.2822265625\n", + "global step=37820416, episodic return=2165.75244140625\n", + "global step=37822464, episodic return=2164.204833984375\n", + "global step=37824512, episodic return=2175.46923828125\n", + "global step=37824512, episodic return=2102.46142578125\n", + "global step=37824512, episodic return=2153.480712890625\n", + "global step=37826560, episodic return=2186.07958984375\n", + "global step=37826560, episodic return=2158.822265625\n", + "global step=37828608, episodic return=462.4408874511719\n", + "global step=37828608, episodic return=2169.69775390625\n", + "global step=37830656, episodic return=2120.004150390625\n", + "global step=37830656, episodic return=2187.9736328125\n", + "global step=37830656, episodic return=2169.030029296875\n", + "global step=37834752, episodic return=2126.932861328125\n", + "global step=37834752, episodic return=2126.83740234375\n", + "global step=37834752, episodic return=1438.5303955078125\n", + "global step=37836800, episodic return=2147.442138671875\n", + "global step=37836800, episodic return=2142.99609375\n", + "global step=37838848, episodic return=2169.1357421875\n", + "global step=37838848, episodic return=136.25465393066406\n", + "global step=37840896, episodic return=2079.342041015625\n", + "global step=37840896, episodic return=2152.936279296875\n", + "global step=37840896, episodic return=2136.774658203125\n", + "global step=37840896, episodic return=2151.24951171875\n", + "global step=37840896, episodic return=2086.04052734375\n", + "global step=37842944, episodic return=2170.770751953125\n", + "global step=37844992, episodic return=2172.386962890625\n", + "global step=37844992, episodic return=2153.940185546875\n", + "global step=37844992, episodic return=2137.968505859375\n", + "global step=37847040, episodic return=2158.099853515625\n", + "global step=37847040, episodic return=2117.13037109375\n", + "global step=37847040, episodic return=2046.4361572265625\n", + "global step=37849088, episodic return=2154.349853515625\n", + "global step=37849088, episodic return=2163.986572265625\n", + "global step=37849088, episodic return=2067.658447265625\n", + "global step=37851136, episodic return=2134.924560546875\n", + "global step=37855232, episodic return=2170.1884765625\n", + "global step=37855232, episodic return=2156.928466796875\n", + "global step=37855232, episodic return=2120.760986328125\n", + "global step=37855232, episodic return=2198.7890625\n", + "global step=37857280, episodic return=2146.212646484375\n", + "global step=37857280, episodic return=2175.53173828125\n", + "global step=37859328, episodic return=2158.968505859375\n", + "global step=37859328, episodic return=2147.37841796875\n", + "global step=37861376, episodic return=2130.438232421875\n", + "global step=37863424, episodic return=2182.304931640625\n", + "global step=37863424, episodic return=1338.2005615234375\n", + "global step=37863424, episodic return=2114.769287109375\n", + "global step=37863424, episodic return=2124.82421875\n", + "global step=37863424, episodic return=2165.5048828125\n", + "global step=37865472, episodic return=2186.99951171875\n", + "global step=37865472, episodic return=2105.7568359375\n", + "global step=37867520, episodic return=2160.092529296875\n", + "global step=37867520, episodic return=2111.84521484375\n", + "global step=37867520, episodic return=2076.02685546875\n", + "global step=37869568, episodic return=2031.88720703125\n", + "global step=37869568, episodic return=2060.110595703125\n", + "global step=37869568, episodic return=2049.5810546875\n", + "global step=37869568, episodic return=2153.53955078125\n", + "global step=37871616, episodic return=2199.189208984375\n", + "global step=37873664, episodic return=1025.24609375\n", + "global step=37873664, episodic return=2101.395751953125\n", + "global step=37875712, episodic return=2181.091796875\n", + "global step=37875712, episodic return=2162.750244140625\n", + "global step=37875712, episodic return=1041.8662109375\n", + "global step=37877760, episodic return=2189.437744140625\n", + "global step=37877760, episodic return=1646.666259765625\n", + "global step=37879808, episodic return=2170.41552734375\n", + "global step=37879808, episodic return=817.858642578125\n", + "global step=37881856, episodic return=2105.1689453125\n", + "global step=37881856, episodic return=1122.576904296875\n", + "global step=37881856, episodic return=2127.935546875\n", + "global step=37883904, episodic return=1771.6263427734375\n", + "global step=37883904, episodic return=2111.777587890625\n", + "global step=37883904, episodic return=2102.491943359375\n", + "global step=37883904, episodic return=2106.921142578125\n", + "global step=37885952, episodic return=2144.78955078125\n", + "global step=37885952, episodic return=2138.623779296875\n", + "global step=37885952, episodic return=1091.3482666015625\n", + "global step=37888000, episodic return=2182.351318359375\n", + "global step=37888000, episodic return=2099.54638671875\n", + "global step=37888000, episodic return=1961.1990966796875\n", + "global step=37890048, episodic return=2158.697265625\n", + "global step=37890048, episodic return=2144.19140625\n", + "global step=37890048, episodic return=2159.37548828125\n", + "global step=37890048, episodic return=2169.397216796875\n", + "global step=37892096, episodic return=1930.804931640625\n", + "global step=37892096, episodic return=1081.741943359375\n", + "global step=37896192, episodic return=2081.788818359375\n", + "global step=37900288, episodic return=1986.8699951171875\n", + "global step=37902336, episodic return=2168.5810546875\n", + "global step=37902336, episodic return=2035.83837890625\n", + "global step=37902336, episodic return=2169.80517578125\n", + "global step=37902336, episodic return=2079.860595703125\n", + "global step=37904384, episodic return=1414.819091796875\n", + "global step=37904384, episodic return=2135.523193359375\n", + "global step=37904384, episodic return=2135.42822265625\n", + "global step=37904384, episodic return=2178.94140625\n", + "global step=37904384, episodic return=2074.908203125\n", + "global step=37906432, episodic return=2132.6572265625\n", + "global step=37906432, episodic return=2199.583984375\n", + "global step=37908480, episodic return=2175.225341796875\n", + "global step=37908480, episodic return=2147.654541015625\n", + "global step=37908480, episodic return=1075.9757080078125\n", + "global step=37908480, episodic return=1955.0264892578125\n", + "global step=37908480, episodic return=2122.187744140625\n", + "global step=37908480, episodic return=2209.844970703125\n", + "global step=37910528, episodic return=2129.24560546875\n", + "global step=37910528, episodic return=1429.863525390625\n", + "global step=37910528, episodic return=1566.8084716796875\n", + "global step=37910528, episodic return=1218.5693359375\n", + "global step=37912576, episodic return=2134.832763671875\n", + "global step=37912576, episodic return=2106.40234375\n", + "global step=37914624, episodic return=2184.498779296875\n", + "global step=37916672, episodic return=2141.183837890625\n", + "global step=37920768, episodic return=1855.2982177734375\n", + "global step=37920768, episodic return=2174.465576171875\n", + "global step=37920768, episodic return=1801.3665771484375\n", + "global step=37920768, episodic return=2151.4609375\n", + "global step=37922816, episodic return=2136.695068359375\n", + "global step=37924864, episodic return=2085.37353515625\n", + "global step=37926912, episodic return=2186.717041015625\n", + "global step=37928960, episodic return=733.7012939453125\n", + "global step=37928960, episodic return=2132.97119140625\n", + "global step=37928960, episodic return=2149.92529296875\n", + "global step=37931008, episodic return=2120.03173828125\n", + "global step=37931008, episodic return=2146.851318359375\n", + "global step=37931008, episodic return=2194.40380859375\n", + "global step=37933056, episodic return=2089.62890625\n", + "global step=37933056, episodic return=2124.360107421875\n", + "global step=37933056, episodic return=2099.54833984375\n", + "global step=37933056, episodic return=2158.9091796875\n", + "global step=37933056, episodic return=922.4505615234375\n", + "global step=37935104, episodic return=2052.4111328125\n", + "global step=37935104, episodic return=2099.229736328125\n", + "global step=37937152, episodic return=2093.0908203125\n", + "global step=37937152, episodic return=2059.47216796875\n", + "global step=37939200, episodic return=2118.5009765625\n", + "global step=37941248, episodic return=1612.4619140625\n", + "global step=37943296, episodic return=1104.7677001953125\n", + "global step=37943296, episodic return=2163.499755859375\n", + "global step=37945344, episodic return=2121.62255859375\n", + "global step=37945344, episodic return=2140.185546875\n", + "global step=37947392, episodic return=2171.44921875\n", + "global step=37947392, episodic return=2124.87158203125\n", + "global step=37949440, episodic return=2046.484375\n", + "global step=37949440, episodic return=2170.982666015625\n", + "global step=37951488, episodic return=962.0154418945312\n", + "global step=37953536, episodic return=2094.97314453125\n", + "global step=37953536, episodic return=2165.1025390625\n", + "global step=37953536, episodic return=2164.217041015625\n", + "global step=37953536, episodic return=2155.073486328125\n", + "global step=37953536, episodic return=870.6952514648438\n", + "global step=37955584, episodic return=2127.25048828125\n", + "global step=37955584, episodic return=2191.147216796875\n", + "global step=37955584, episodic return=1944.69921875\n", + "global step=37957632, episodic return=2164.71337890625\n", + "global step=37957632, episodic return=2072.836181640625\n", + "global step=37957632, episodic return=2161.718505859375\n", + "global step=37957632, episodic return=2180.54833984375\n", + "global step=37959680, episodic return=2091.036376953125\n", + "global step=37959680, episodic return=2192.22119140625\n", + "global step=37959680, episodic return=2139.755859375\n", + "global step=37959680, episodic return=2145.075439453125\n", + "global step=37959680, episodic return=235.4133758544922\n", + "global step=37959680, episodic return=2107.073486328125\n", + "global step=37961728, episodic return=2118.7265625\n", + "global step=37961728, episodic return=1477.2568359375\n", + "global step=37961728, episodic return=2089.940185546875\n", + "global step=37961728, episodic return=2025.307373046875\n", + "global step=37963776, episodic return=1953.263427734375\n", + "global step=37965824, episodic return=2140.755126953125\n", + "global step=37967872, episodic return=2124.572998046875\n", + "global step=37967872, episodic return=2102.584228515625\n", + "global step=37967872, episodic return=2128.439208984375\n", + "global step=37969920, episodic return=1408.107177734375\n", + "global step=37969920, episodic return=2121.809814453125\n", + "global step=37969920, episodic return=2163.732177734375\n", + "global step=37969920, episodic return=2050.322021484375\n", + "global step=37969920, episodic return=2173.071533203125\n", + "global step=37969920, episodic return=1340.69873046875\n", + "global step=37971968, episodic return=2070.325927734375\n", + "global step=37971968, episodic return=2145.984130859375\n", + "global step=37971968, episodic return=2074.46923828125\n", + "global step=37974016, episodic return=847.8668212890625\n", + "global step=37974016, episodic return=2172.6259765625\n", + "global step=37974016, episodic return=2013.8140869140625\n", + "global step=37974016, episodic return=733.2930908203125\n", + "global step=37976064, episodic return=2124.381591796875\n", + "global step=37978112, episodic return=1302.322509765625\n", + "global step=37978112, episodic return=2173.991455078125\n", + "global step=37978112, episodic return=2148.2509765625\n", + "global step=37980160, episodic return=565.6663818359375\n", + "global step=37980160, episodic return=1906.469482421875\n", + "global step=37982208, episodic return=1812.909423828125\n", + "global step=37982208, episodic return=2160.173095703125\n", + "global step=37982208, episodic return=1899.9207763671875\n", + "global step=37982208, episodic return=2147.218017578125\n", + "global step=37982208, episodic return=1212.38232421875\n", + "global step=37982208, episodic return=1964.3258056640625\n", + "global step=37984256, episodic return=2120.87255859375\n", + "global step=37984256, episodic return=2181.253662109375\n", + "global step=37984256, episodic return=885.7522583007812\n", + "global step=37984256, episodic return=2120.0810546875\n", + "global step=37986304, episodic return=1822.306640625\n", + "global step=37986304, episodic return=2152.9658203125\n", + "global step=37986304, episodic return=2122.950927734375\n", + "global step=37986304, episodic return=2178.339111328125\n", + "global step=37988352, episodic return=2071.053955078125\n", + "global step=37988352, episodic return=2176.4580078125\n", + "global step=37990400, episodic return=2186.80029296875\n", + "global step=37990400, episodic return=2117.828369140625\n", + "global step=37990400, episodic return=2113.853271484375\n", + "global step=37992448, episodic return=2130.536865234375\n", + "global step=37992448, episodic return=2163.251220703125\n", + "global step=37992448, episodic return=2213.660400390625\n", + "global step=37992448, episodic return=1792.3768310546875\n", + "global step=37992448, episodic return=2164.979736328125\n", + "global step=37994496, episodic return=2112.4345703125\n", + "global step=37994496, episodic return=2186.625732421875\n", + "global step=37994496, episodic return=2150.599609375\n", + "global step=37996544, episodic return=2141.142578125\n", + "global step=37998592, episodic return=2006.91064453125\n", + "global step=37998592, episodic return=2152.982421875\n", + "global step=38000640, episodic return=2160.797119140625\n", + "global step=38000640, episodic return=2183.443115234375\n", + "global step=38000640, episodic return=2189.991943359375\n", + "global step=38000640, episodic return=2109.215087890625\n", + "global step=38000640, episodic return=2080.8271484375\n", + "global step=38000640, episodic return=2176.463134765625\n", + "global step=38000640, episodic return=2099.42626953125\n", + "global step=38000640, episodic return=2103.37841796875\n", + "global step=38004736, episodic return=2106.890869140625\n", + "global step=38004736, episodic return=2026.6807861328125\n", + "global step=38006784, episodic return=2166.898193359375\n", + "global step=38006784, episodic return=2084.5986328125\n", + "global step=38006784, episodic return=2084.90966796875\n", + "global step=38006784, episodic return=2167.545654296875\n", + "global step=38008832, episodic return=2179.251953125\n", + "global step=38010880, episodic return=1707.7227783203125\n", + "global step=38010880, episodic return=2159.302490234375\n", + "global step=38010880, episodic return=1775.15576171875\n", + "global step=38010880, episodic return=2173.4833984375\n", + "global step=38012928, episodic return=1581.36572265625\n", + "global step=38012928, episodic return=830.7979125976562\n", + "global step=38012928, episodic return=2163.722900390625\n", + "global step=38012928, episodic return=2148.2763671875\n", + "global step=38014976, episodic return=2127.054443359375\n", + "global step=38017024, episodic return=2107.44580078125\n", + "global step=38017024, episodic return=2146.45947265625\n", + "global step=38017024, episodic return=2191.809814453125\n", + "global step=38019072, episodic return=2138.0537109375\n", + "global step=38021120, episodic return=2114.878173828125\n", + "global step=38021120, episodic return=2170.037353515625\n", + "global step=38021120, episodic return=2091.97265625\n", + "global step=38021120, episodic return=2113.490966796875\n", + "global step=38021120, episodic return=2204.453857421875\n", + "global step=38023168, episodic return=2181.4208984375\n", + "global step=38025216, episodic return=2146.431884765625\n", + "global step=38025216, episodic return=2165.275634765625\n", + "global step=38025216, episodic return=2165.0830078125\n", + "global step=38027264, episodic return=2116.39697265625\n", + "global step=38027264, episodic return=2161.924072265625\n", + "global step=38029312, episodic return=2179.146240234375\n", + "global step=38031360, episodic return=2117.119384765625\n", + "global step=38031360, episodic return=946.78955078125\n", + "global step=38031360, episodic return=2178.2763671875\n", + "global step=38033408, episodic return=2208.5341796875\n", + "global step=38033408, episodic return=2165.8271484375\n", + "global step=38035456, episodic return=2099.86376953125\n", + "global step=38035456, episodic return=2144.467529296875\n", + "global step=38035456, episodic return=2101.576171875\n", + "global step=38035456, episodic return=1136.345703125\n", + "global step=38037504, episodic return=2142.809326171875\n", + "global step=38037504, episodic return=2116.55029296875\n", + "global step=38039552, episodic return=2152.576416015625\n", + "global step=38039552, episodic return=2121.390625\n", + "global step=38039552, episodic return=1920.4361572265625\n", + "global step=38041600, episodic return=2119.29931640625\n", + "global step=38041600, episodic return=2079.77685546875\n", + "global step=38041600, episodic return=2014.078125\n", + "global step=38041600, episodic return=2138.55517578125\n", + "global step=38041600, episodic return=963.0681762695312\n", + "global step=38043648, episodic return=138.338623046875\n", + "global step=38043648, episodic return=2092.9306640625\n", + "global step=38043648, episodic return=1331.533203125\n", + "global step=38045696, episodic return=1991.0936279296875\n", + "global step=38045696, episodic return=2137.8955078125\n", + "global step=38045696, episodic return=2160.903564453125\n", + "global step=38045696, episodic return=2148.823486328125\n", + "global step=38045696, episodic return=2175.04248046875\n", + "global step=38045696, episodic return=2149.686767578125\n", + "global step=38047744, episodic return=2092.427978515625\n", + "global step=38047744, episodic return=117.68859100341797\n", + "global step=38047744, episodic return=2179.790283203125\n", + "global step=38047744, episodic return=2006.304443359375\n", + "global step=38049792, episodic return=2145.892578125\n", + "global step=38051840, episodic return=164.590576171875\n", + "global step=38051840, episodic return=2166.804931640625\n", + "global step=38051840, episodic return=2135.115478515625\n", + "global step=38051840, episodic return=2148.056396484375\n", + "global step=38053888, episodic return=2167.18310546875\n", + "global step=38053888, episodic return=2194.406005859375\n", + "global step=38055936, episodic return=2105.714599609375\n", + "global step=38055936, episodic return=936.1990356445312\n", + "global step=38055936, episodic return=939.9517822265625\n", + "global step=38057984, episodic return=2195.122802734375\n", + "global step=38057984, episodic return=2148.809814453125\n", + "global step=38057984, episodic return=2142.004150390625\n", + "global step=38057984, episodic return=2189.11669921875\n", + "global step=38060032, episodic return=2072.184814453125\n", + "global step=38060032, episodic return=2164.014892578125\n", + "global step=38060032, episodic return=174.71871948242188\n", + "global step=38060032, episodic return=2118.00732421875\n", + "global step=38060032, episodic return=2145.582763671875\n", + "global step=38062080, episodic return=2180.030029296875\n", + "global step=38062080, episodic return=2113.7978515625\n", + "global step=38062080, episodic return=2158.229248046875\n", + "global step=38062080, episodic return=2068.381103515625\n", + "global step=38064128, episodic return=2144.976318359375\n", + "global step=38064128, episodic return=2183.41357421875\n", + "global step=38064128, episodic return=2119.00537109375\n", + "global step=38064128, episodic return=2146.176513671875\n", + "global step=38064128, episodic return=1092.35888671875\n", + "global step=38066176, episodic return=2171.32763671875\n", + "global step=38066176, episodic return=2140.623046875\n", + "global step=38066176, episodic return=2100.456298828125\n", + "global step=38066176, episodic return=2159.094482421875\n", + "global step=38068224, episodic return=2143.2431640625\n", + "global step=38068224, episodic return=2168.7939453125\n", + "global step=38070272, episodic return=2126.25927734375\n", + "global step=38070272, episodic return=2113.15087890625\n", + "global step=38070272, episodic return=2130.62744140625\n", + "global step=38072320, episodic return=291.8656921386719\n", + "global step=38072320, episodic return=2127.20654296875\n", + "global step=38072320, episodic return=1486.3079833984375\n", + "global step=38072320, episodic return=1161.087158203125\n", + "global step=38072320, episodic return=2130.47314453125\n", + "global step=38074368, episodic return=2113.256103515625\n", + "global step=38074368, episodic return=2136.10302734375\n", + "global step=38074368, episodic return=2141.29541015625\n", + "global step=38076416, episodic return=2179.024169921875\n", + "global step=38076416, episodic return=2138.8076171875\n", + "global step=38076416, episodic return=974.2969360351562\n", + "global step=38076416, episodic return=2068.34619140625\n", + "global step=38078464, episodic return=2121.438232421875\n", + "global step=38078464, episodic return=2095.1416015625\n", + "global step=38078464, episodic return=2045.0703125\n", + "global step=38078464, episodic return=2029.7147216796875\n", + "global step=38078464, episodic return=2142.68701171875\n", + "global step=38078464, episodic return=2136.941162109375\n", + "global step=38080512, episodic return=2131.90576171875\n", + "global step=38082560, episodic return=2112.482421875\n", + "global step=38082560, episodic return=2155.031982421875\n", + "global step=38086656, episodic return=2137.30859375\n", + "global step=38086656, episodic return=2135.87744140625\n", + "global step=38086656, episodic return=2125.66455078125\n", + "global step=38086656, episodic return=1146.20849609375\n", + "global step=38088704, episodic return=2139.92529296875\n", + "global step=38088704, episodic return=2185.6552734375\n", + "global step=38088704, episodic return=2045.256591796875\n", + "global step=38090752, episodic return=2157.1240234375\n", + "global step=38090752, episodic return=2125.26171875\n", + "global step=38092800, episodic return=2091.859375\n", + "global step=38092800, episodic return=2166.810546875\n", + "global step=38092800, episodic return=2191.3642578125\n", + "global step=38094848, episodic return=2159.88623046875\n", + "global step=38094848, episodic return=2192.859130859375\n", + "global step=38094848, episodic return=540.6637573242188\n", + "global step=38094848, episodic return=2173.979736328125\n", + "global step=38096896, episodic return=2197.579833984375\n", + "global step=38098944, episodic return=2163.74609375\n", + "global step=38098944, episodic return=2169.740478515625\n", + "global step=38098944, episodic return=2183.70361328125\n", + "global step=38100992, episodic return=2157.23193359375\n", + "global step=38100992, episodic return=2009.3160400390625\n", + "global step=38100992, episodic return=2063.01171875\n", + "global step=38100992, episodic return=2060.365234375\n", + "global step=38103040, episodic return=847.3096313476562\n", + "global step=38103040, episodic return=2020.47021484375\n", + "global step=38103040, episodic return=2167.172119140625\n", + "global step=38103040, episodic return=2078.744384765625\n", + "global step=38103040, episodic return=2133.67724609375\n", + "global step=38105088, episodic return=2083.658935546875\n", + "global step=38105088, episodic return=2139.519775390625\n", + "global step=38105088, episodic return=2163.59423828125\n", + "global step=38105088, episodic return=2128.66455078125\n", + "global step=38107136, episodic return=2197.30517578125\n", + "global step=38109184, episodic return=2154.030517578125\n", + "global step=38109184, episodic return=2165.020263671875\n", + "global step=38109184, episodic return=1143.7984619140625\n", + "global step=38109184, episodic return=2154.284423828125\n", + "global step=38109184, episodic return=2211.05810546875\n", + "global step=38109184, episodic return=2152.941650390625\n", + "global step=38111232, episodic return=2155.166259765625\n", + "global step=38111232, episodic return=2107.604736328125\n", + "global step=38111232, episodic return=2165.147216796875\n", + "global step=38111232, episodic return=2132.806640625\n", + "global step=38113280, episodic return=2138.248291015625\n", + "global step=38113280, episodic return=2029.4337158203125\n", + "global step=38113280, episodic return=2158.8447265625\n", + "global step=38115328, episodic return=2174.259765625\n", + "global step=38115328, episodic return=2165.097412109375\n", + "global step=38117376, episodic return=2140.42236328125\n", + "global step=38119424, episodic return=2176.55126953125\n", + "global step=38119424, episodic return=2037.4771728515625\n", + "global step=38119424, episodic return=2104.983642578125\n", + "global step=38121472, episodic return=2115.867431640625\n", + "global step=38121472, episodic return=2181.01025390625\n", + "global step=38121472, episodic return=1898.0943603515625\n", + "global step=38121472, episodic return=2179.3125\n", + "global step=38121472, episodic return=2057.416748046875\n", + "global step=38121472, episodic return=2035.1993408203125\n", + "global step=38121472, episodic return=2130.725341796875\n", + "global step=38123520, episodic return=2135.989501953125\n", + "global step=38123520, episodic return=2141.931640625\n", + "global step=38123520, episodic return=2115.628662109375\n", + "global step=38125568, episodic return=2179.711181640625\n", + "global step=38125568, episodic return=2128.89599609375\n", + "global step=38125568, episodic return=2101.91943359375\n", + "global step=38125568, episodic return=2167.386962890625\n", + "global step=38125568, episodic return=2176.787109375\n", + "global step=38125568, episodic return=2192.420166015625\n", + "global step=38125568, episodic return=2131.247314453125\n", + "global step=38127616, episodic return=1858.7899169921875\n", + "global step=38127616, episodic return=2105.9814453125\n", + "global step=38131712, episodic return=2156.42724609375\n", + "global step=38131712, episodic return=2183.25\n", + "global step=38131712, episodic return=2164.802490234375\n", + "global step=38131712, episodic return=2128.592529296875\n", + "global step=38131712, episodic return=2155.48291015625\n", + "global step=38133760, episodic return=2116.05029296875\n", + "global step=38133760, episodic return=640.5066528320312\n", + "global step=38135808, episodic return=2138.225341796875\n", + "global step=38135808, episodic return=2152.8662109375\n", + "global step=38135808, episodic return=2099.661376953125\n", + "global step=38135808, episodic return=2172.6669921875\n", + "global step=38137856, episodic return=2054.1640625\n", + "global step=38137856, episodic return=695.153564453125\n", + "global step=38137856, episodic return=2090.860107421875\n", + "global step=38139904, episodic return=2158.468017578125\n", + "global step=38139904, episodic return=2170.096923828125\n", + "global step=38139904, episodic return=2048.2392578125\n", + "global step=38139904, episodic return=2104.957275390625\n", + "global step=38141952, episodic return=2181.2109375\n", + "global step=38141952, episodic return=2143.037841796875\n", + "global step=38141952, episodic return=2058.661865234375\n", + "global step=38141952, episodic return=2056.7578125\n", + "global step=38144000, episodic return=2132.44140625\n", + "global step=38144000, episodic return=2191.238525390625\n", + "global step=38146048, episodic return=2207.227783203125\n", + "global step=38146048, episodic return=2097.022705078125\n", + "global step=38146048, episodic return=2168.953125\n", + "global step=38148096, episodic return=2058.812744140625\n", + "global step=38150144, episodic return=2150.39697265625\n", + "global step=38150144, episodic return=2185.965576171875\n", + "global step=38150144, episodic return=2121.53955078125\n", + "global step=38150144, episodic return=2163.37646484375\n", + "global step=38150144, episodic return=2169.144775390625\n", + "global step=38150144, episodic return=2106.546142578125\n", + "global step=38152192, episodic return=1973.65478515625\n", + "global step=38152192, episodic return=2147.572021484375\n", + "global step=38152192, episodic return=2148.675048828125\n", + "global step=38152192, episodic return=2118.919677734375\n", + "global step=38152192, episodic return=2181.555908203125\n", + "global step=38152192, episodic return=2179.535400390625\n", + "global step=38152192, episodic return=2137.32373046875\n", + "global step=38152192, episodic return=2160.003662109375\n", + "global step=38152192, episodic return=2156.861328125\n", + "global step=38152192, episodic return=2161.891845703125\n", + "global step=38154240, episodic return=2205.122314453125\n", + "global step=38154240, episodic return=2123.518310546875\n", + "global step=38154240, episodic return=2142.104248046875\n", + "global step=38154240, episodic return=2196.04541015625\n", + "global step=38154240, episodic return=2133.30517578125\n", + "global step=38156288, episodic return=2175.850830078125\n", + "global step=38156288, episodic return=2178.657470703125\n", + "global step=38158336, episodic return=2167.602783203125\n", + "global step=38158336, episodic return=2160.490478515625\n", + "global step=38158336, episodic return=1263.230712890625\n", + "global step=38160384, episodic return=2140.7099609375\n", + "global step=38160384, episodic return=2052.63330078125\n", + "global step=38160384, episodic return=2089.705322265625\n", + "global step=38160384, episodic return=744.2742919921875\n", + "global step=38160384, episodic return=1889.039306640625\n", + "global step=38162432, episodic return=2097.0126953125\n", + "global step=38162432, episodic return=2144.532470703125\n", + "global step=38162432, episodic return=2186.480712890625\n", + "global step=38164480, episodic return=40.80431365966797\n", + "global step=38164480, episodic return=2141.0751953125\n", + "global step=38164480, episodic return=2016.8909912109375\n", + "global step=38164480, episodic return=2169.970703125\n", + "global step=38166528, episodic return=2178.54248046875\n", + "global step=38166528, episodic return=2206.644287109375\n", + "global step=38166528, episodic return=2165.4990234375\n", + "global step=38166528, episodic return=2134.9716796875\n", + "global step=38168576, episodic return=2177.762451171875\n", + "global step=38168576, episodic return=2180.15380859375\n", + "global step=38168576, episodic return=2172.5771484375\n", + "global step=38170624, episodic return=2116.165283203125\n", + "global step=38170624, episodic return=2081.484130859375\n", + "global step=38170624, episodic return=2197.173583984375\n", + "global step=38170624, episodic return=2039.563720703125\n", + "global step=38172672, episodic return=2041.86328125\n", + "global step=38172672, episodic return=2168.084716796875\n", + "global step=38172672, episodic return=2161.552734375\n", + "global step=38174720, episodic return=2119.45556640625\n", + "global step=38174720, episodic return=2091.109619140625\n", + "global step=38176768, episodic return=2092.37939453125\n", + "global step=38176768, episodic return=1363.875\n", + "global step=38176768, episodic return=2211.841796875\n", + "global step=38178816, episodic return=2187.936279296875\n", + "global step=38178816, episodic return=2174.771728515625\n", + "global step=38180864, episodic return=2176.069580078125\n", + "global step=38180864, episodic return=2186.63720703125\n", + "global step=38182912, episodic return=2169.04638671875\n", + "global step=38184960, episodic return=2144.150634765625\n", + "global step=38184960, episodic return=2185.39697265625\n", + "global step=38184960, episodic return=2129.938232421875\n", + "global step=38187008, episodic return=2178.771484375\n", + "global step=38187008, episodic return=1937.35888671875\n", + "global step=38189056, episodic return=2171.06005859375\n", + "global step=38189056, episodic return=2137.072509765625\n", + "global step=38191104, episodic return=2160.38427734375\n", + "global step=38191104, episodic return=2123.7119140625\n", + "global step=38193152, episodic return=2156.68017578125\n", + "global step=38193152, episodic return=2165.483642578125\n", + "global step=38193152, episodic return=2178.37744140625\n", + "global step=38193152, episodic return=2173.727783203125\n", + "global step=38195200, episodic return=2157.68408203125\n", + "global step=38195200, episodic return=2063.461669921875\n", + "global step=38195200, episodic return=2180.458251953125\n", + "global step=38195200, episodic return=2146.135986328125\n", + "global step=38195200, episodic return=2189.83544921875\n", + "global step=38197248, episodic return=2191.800537109375\n", + "global step=38197248, episodic return=2117.34814453125\n", + "global step=38197248, episodic return=2187.45556640625\n", + "global step=38197248, episodic return=2150.444091796875\n", + "global step=38197248, episodic return=2156.450927734375\n", + "global step=38197248, episodic return=2162.554443359375\n", + "global step=38197248, episodic return=2046.1182861328125\n", + "global step=38197248, episodic return=2198.35595703125\n", + "global step=38201344, episodic return=2179.43212890625\n", + "global step=38201344, episodic return=2177.312255859375\n", + "global step=38201344, episodic return=2010.21435546875\n", + "global step=38203392, episodic return=2171.369140625\n", + "global step=38203392, episodic return=2138.512939453125\n", + "global step=38203392, episodic return=2171.747314453125\n", + "global step=38203392, episodic return=2112.197509765625\n", + "global step=38203392, episodic return=2077.591064453125\n", + "global step=38203392, episodic return=2138.632568359375\n", + "global step=38205440, episodic return=2129.94482421875\n", + "global step=38205440, episodic return=2146.8212890625\n", + "global step=38205440, episodic return=2158.827880859375\n", + "global step=38205440, episodic return=2195.30859375\n", + "global step=38205440, episodic return=2194.727783203125\n", + "global step=38205440, episodic return=2146.09423828125\n", + "global step=38205440, episodic return=2151.654296875\n", + "global step=38207488, episodic return=2150.945556640625\n", + "global step=38207488, episodic return=2169.773193359375\n", + "global step=38209536, episodic return=2136.310791015625\n", + "global step=38209536, episodic return=2175.55029296875\n", + "global step=38209536, episodic return=2083.35498046875\n", + "global step=38209536, episodic return=2171.998291015625\n", + "global step=38209536, episodic return=2185.939453125\n", + "global step=38209536, episodic return=2123.59375\n", + "global step=38211584, episodic return=2108.3173828125\n", + "global step=38211584, episodic return=2105.4169921875\n", + "global step=38211584, episodic return=2165.6962890625\n", + "global step=38211584, episodic return=2172.171630859375\n", + "global step=38211584, episodic return=2064.424560546875\n", + "global step=38213632, episodic return=2203.878173828125\n", + "global step=38213632, episodic return=2208.583740234375\n", + "global step=38215680, episodic return=2175.301513671875\n", + "global step=38215680, episodic return=2145.955078125\n", + "global step=38215680, episodic return=2086.64404296875\n", + "global step=38217728, episodic return=2156.76708984375\n", + "global step=38217728, episodic return=2102.53173828125\n", + "global step=38217728, episodic return=2150.068115234375\n", + "global step=38217728, episodic return=2121.715087890625\n", + "global step=38219776, episodic return=2195.217041015625\n", + "global step=38219776, episodic return=2170.798095703125\n", + "global step=38219776, episodic return=2175.531982421875\n", + "global step=38219776, episodic return=2165.366455078125\n", + "global step=38221824, episodic return=2164.537353515625\n", + "global step=38221824, episodic return=2171.8974609375\n", + "global step=38221824, episodic return=2052.444091796875\n", + "global step=38221824, episodic return=2080.60107421875\n", + "global step=38221824, episodic return=2073.529296875\n", + "global step=38223872, episodic return=2206.093017578125\n", + "global step=38223872, episodic return=2166.90771484375\n", + "global step=38223872, episodic return=2188.583251953125\n", + "global step=38223872, episodic return=2034.9425048828125\n", + "global step=38223872, episodic return=2160.817626953125\n", + "global step=38223872, episodic return=2160.59228515625\n", + "global step=38223872, episodic return=2192.461181640625\n", + "global step=38225920, episodic return=2184.582763671875\n", + "global step=38225920, episodic return=2174.037353515625\n", + "global step=38225920, episodic return=2193.473388671875\n", + "global step=38225920, episodic return=2157.697509765625\n", + "global step=38225920, episodic return=2149.73291015625\n", + "global step=38227968, episodic return=2074.912841796875\n", + "global step=38227968, episodic return=2082.719482421875\n", + "global step=38227968, episodic return=2133.771728515625\n", + "global step=38227968, episodic return=2117.7001953125\n", + "global step=38227968, episodic return=2200.448974609375\n", + "global step=38227968, episodic return=2182.616455078125\n", + "global step=38230016, episodic return=2156.672119140625\n", + "global step=38230016, episodic return=2182.8828125\n", + "global step=38232064, episodic return=2126.94775390625\n", + "global step=38232064, episodic return=2036.3201904296875\n", + "global step=38232064, episodic return=2110.427734375\n", + "global step=38232064, episodic return=2061.312744140625\n", + "global step=38232064, episodic return=2107.666015625\n", + "global step=38234112, episodic return=2168.2060546875\n", + "global step=38234112, episodic return=2186.2392578125\n", + "global step=38234112, episodic return=2064.305908203125\n", + "global step=38234112, episodic return=2187.608154296875\n", + "global step=38234112, episodic return=2100.725830078125\n", + "global step=38234112, episodic return=2181.572509765625\n", + "global step=38236160, episodic return=2083.291015625\n", + "global step=38236160, episodic return=2138.417724609375\n", + "global step=38236160, episodic return=2200.7275390625\n", + "global step=38238208, episodic return=2145.351318359375\n", + "global step=38238208, episodic return=2104.906494140625\n", + "global step=38238208, episodic return=2090.883544921875\n", + "global step=38238208, episodic return=2156.94189453125\n", + "global step=38240256, episodic return=2163.40234375\n", + "global step=38240256, episodic return=2123.908935546875\n", + "global step=38242304, episodic return=2170.608642578125\n", + "global step=38242304, episodic return=2179.1328125\n", + "global step=38242304, episodic return=2191.491455078125\n", + "global step=38242304, episodic return=2163.338623046875\n", + "global step=38242304, episodic return=2174.283447265625\n", + "global step=38244352, episodic return=2202.46826171875\n", + "global step=38244352, episodic return=2186.029541015625\n", + "global step=38244352, episodic return=2161.74365234375\n", + "global step=38244352, episodic return=2051.833251953125\n", + "global step=38246400, episodic return=2002.9793701171875\n", + "global step=38246400, episodic return=2177.332763671875\n", + "global step=38246400, episodic return=2184.814697265625\n", + "global step=38246400, episodic return=2083.518310546875\n", + "global step=38248448, episodic return=2179.674072265625\n", + "global step=38248448, episodic return=2153.432861328125\n", + "global step=38248448, episodic return=2146.684814453125\n", + "global step=38250496, episodic return=2190.376953125\n", + "global step=38250496, episodic return=2135.193115234375\n", + "global step=38250496, episodic return=2145.70458984375\n", + "global step=38252544, episodic return=2150.95458984375\n", + "global step=38252544, episodic return=2180.60498046875\n", + "global step=38252544, episodic return=2178.89013671875\n", + "global step=38252544, episodic return=2150.244140625\n", + "global step=38254592, episodic return=2188.038818359375\n", + "global step=38254592, episodic return=2137.90625\n", + "global step=38254592, episodic return=2169.78857421875\n", + "global step=38254592, episodic return=2130.2431640625\n", + "global step=38254592, episodic return=1601.797119140625\n", + "global step=38254592, episodic return=2174.0869140625\n", + "global step=38256640, episodic return=2172.53955078125\n", + "global step=38258688, episodic return=2149.524169921875\n", + "global step=38258688, episodic return=2201.763427734375\n", + "global step=38260736, episodic return=2170.753173828125\n", + "global step=38260736, episodic return=2080.15673828125\n", + "global step=38260736, episodic return=2144.897216796875\n", + "global step=38262784, episodic return=2179.82568359375\n", + "global step=38262784, episodic return=2195.33642578125\n", + "global step=38262784, episodic return=2149.75439453125\n", + "global step=38264832, episodic return=2197.716064453125\n", + "global step=38264832, episodic return=2098.880859375\n", + "global step=38266880, episodic return=2201.121826171875\n", + "global step=38266880, episodic return=2167.546875\n", + "global step=38266880, episodic return=2118.92333984375\n", + "global step=38266880, episodic return=2163.775390625\n", + "global step=38268928, episodic return=891.8274536132812\n", + "global step=38268928, episodic return=2168.8173828125\n", + "global step=38270976, episodic return=2189.787353515625\n", + "global step=38270976, episodic return=664.0169677734375\n", + "global step=38270976, episodic return=2097.835693359375\n", + "global step=38275072, episodic return=2183.730224609375\n", + "global step=38275072, episodic return=2175.41748046875\n", + "global step=38275072, episodic return=689.1561889648438\n", + "global step=38275072, episodic return=2008.8193359375\n", + "global step=38277120, episodic return=2154.2744140625\n", + "global step=38277120, episodic return=2076.34033203125\n", + "global step=38277120, episodic return=2131.76904296875\n", + "global step=38277120, episodic return=2135.324462890625\n", + "global step=38279168, episodic return=1808.5682373046875\n", + "global step=38279168, episodic return=2116.864013671875\n", + "global step=38279168, episodic return=508.4121398925781\n", + "global step=38281216, episodic return=2198.558837890625\n", + "global step=38281216, episodic return=2065.7470703125\n", + "global step=38281216, episodic return=2105.244140625\n", + "global step=38281216, episodic return=2184.510498046875\n", + "global step=38281216, episodic return=2160.2041015625\n", + "global step=38281216, episodic return=2106.381103515625\n", + "global step=38281216, episodic return=2153.187744140625\n", + "global step=38283264, episodic return=2184.99072265625\n", + "global step=38283264, episodic return=2197.04150390625\n", + "global step=38283264, episodic return=522.201416015625\n", + "global step=38283264, episodic return=1976.375244140625\n", + "global step=38285312, episodic return=2130.332763671875\n", + "global step=38287360, episodic return=2121.5712890625\n", + "global step=38287360, episodic return=2188.614990234375\n", + "global step=38287360, episodic return=2120.949462890625\n", + "global step=38287360, episodic return=2108.6708984375\n", + "global step=38289408, episodic return=535.0033569335938\n", + "global step=38289408, episodic return=2178.675537109375\n", + "global step=38289408, episodic return=2168.508544921875\n", + "global step=38289408, episodic return=2098.09814453125\n", + "global step=38289408, episodic return=2133.3232421875\n", + "global step=38291456, episodic return=2146.98486328125\n", + "global step=38291456, episodic return=2182.62744140625\n", + "global step=38295552, episodic return=2191.645751953125\n", + "global step=38295552, episodic return=2090.62646484375\n", + "global step=38295552, episodic return=2048.8193359375\n", + "global step=38297600, episodic return=2104.791748046875\n", + "global step=38301696, episodic return=2015.8968505859375\n", + "global step=38301696, episodic return=2092.55322265625\n", + "global step=38301696, episodic return=2156.373291015625\n", + "global step=38301696, episodic return=2088.622314453125\n", + "global step=38301696, episodic return=2034.017822265625\n", + "global step=38303744, episodic return=2065.462890625\n", + "global step=38303744, episodic return=2150.080322265625\n", + "global step=38303744, episodic return=2141.18017578125\n", + "global step=38305792, episodic return=2176.428955078125\n", + "global step=38305792, episodic return=2085.28564453125\n", + "global step=38307840, episodic return=2107.4296875\n", + "global step=38307840, episodic return=2162.55029296875\n", + "global step=38309888, episodic return=2179.723876953125\n", + "global step=38309888, episodic return=2184.662353515625\n", + "global step=38309888, episodic return=2159.885009765625\n", + "global step=38311936, episodic return=2162.025390625\n", + "global step=38311936, episodic return=2119.13427734375\n", + "global step=38311936, episodic return=2133.48046875\n", + "global step=38313984, episodic return=2084.764892578125\n", + "global step=38313984, episodic return=2040.5457763671875\n", + "global step=38313984, episodic return=2210.127197265625\n", + "global step=38316032, episodic return=2226.514892578125\n", + "global step=38318080, episodic return=2074.223388671875\n", + "global step=38320128, episodic return=2149.438720703125\n", + "global step=38322176, episodic return=2039.53271484375\n", + "global step=38322176, episodic return=1948.7608642578125\n", + "global step=38322176, episodic return=1981.3631591796875\n", + "global step=38322176, episodic return=2119.95166015625\n", + "global step=38324224, episodic return=2082.222412109375\n", + "global step=38324224, episodic return=1982.6883544921875\n", + "global step=38324224, episodic return=1952.4615478515625\n", + "global step=38324224, episodic return=2140.30322265625\n", + "global step=38328320, episodic return=2086.026611328125\n", + "global step=38328320, episodic return=2198.507080078125\n", + "global step=38328320, episodic return=2095.992919921875\n", + "global step=38328320, episodic return=2162.924560546875\n", + "global step=38330368, episodic return=2168.54541015625\n", + "global step=38330368, episodic return=2026.2181396484375\n", + "global step=38330368, episodic return=2001.2685546875\n", + "global step=38330368, episodic return=2086.900634765625\n", + "global step=38332416, episodic return=2128.5185546875\n", + "global step=38334464, episodic return=2108.897216796875\n", + "global step=38334464, episodic return=1907.8258056640625\n", + "global step=38334464, episodic return=2186.43212890625\n", + "global step=38334464, episodic return=2095.25146484375\n", + "global step=38334464, episodic return=2177.6787109375\n", + "global step=38336512, episodic return=2204.232177734375\n", + "global step=38336512, episodic return=2137.484619140625\n", + "global step=38338560, episodic return=2137.106689453125\n", + "global step=38338560, episodic return=2054.3837890625\n", + "global step=38338560, episodic return=2154.382080078125\n", + "global step=38340608, episodic return=2142.704345703125\n", + "global step=38340608, episodic return=2079.709716796875\n", + "global step=38340608, episodic return=1915.7344970703125\n", + "global step=38342656, episodic return=2186.160400390625\n", + "global step=38344704, episodic return=2151.4296875\n", + "global step=38344704, episodic return=2092.4580078125\n", + "global step=38344704, episodic return=2159.12255859375\n", + "global step=38344704, episodic return=2084.775390625\n", + "global step=38344704, episodic return=2103.400634765625\n", + "global step=38344704, episodic return=2145.674072265625\n", + "global step=38346752, episodic return=2141.36376953125\n", + "global step=38346752, episodic return=2124.586181640625\n", + "global step=38348800, episodic return=2143.52294921875\n", + "global step=38350848, episodic return=2158.466796875\n", + "global step=38350848, episodic return=2112.897705078125\n", + "global step=38350848, episodic return=747.3424682617188\n", + "global step=38350848, episodic return=2123.5068359375\n", + "global step=38350848, episodic return=2136.65380859375\n", + "global step=38352896, episodic return=2093.481689453125\n", + "global step=38352896, episodic return=2205.393798828125\n", + "global step=38352896, episodic return=1982.159912109375\n", + "global step=38352896, episodic return=1994.757080078125\n", + "global step=38352896, episodic return=2113.2431640625\n", + "global step=38354944, episodic return=2098.327880859375\n", + "global step=38354944, episodic return=2221.88671875\n", + "global step=38354944, episodic return=2084.3681640625\n", + "global step=38354944, episodic return=2063.2802734375\n", + "global step=38356992, episodic return=2158.94287109375\n", + "global step=38359040, episodic return=2086.082275390625\n", + "global step=38359040, episodic return=2029.2283935546875\n", + "global step=38361088, episodic return=2124.968017578125\n", + "global step=38361088, episodic return=2146.46728515625\n", + "global step=38363136, episodic return=2068.2919921875\n", + "global step=38363136, episodic return=2178.09716796875\n", + "global step=38363136, episodic return=2164.226806640625\n", + "global step=38365184, episodic return=2067.125732421875\n", + "global step=38365184, episodic return=2121.496826171875\n", + "global step=38367232, episodic return=2067.315185546875\n", + "global step=38367232, episodic return=2181.6552734375\n", + "global step=38367232, episodic return=2111.7939453125\n", + "global step=38369280, episodic return=2111.822998046875\n", + "global step=38369280, episodic return=2147.09912109375\n", + "global step=38369280, episodic return=2042.855712890625\n", + "global step=38371328, episodic return=2140.193603515625\n", + "global step=38373376, episodic return=2084.11474609375\n", + "global step=38373376, episodic return=2092.81787109375\n", + "global step=38373376, episodic return=2115.780029296875\n", + "global step=38375424, episodic return=2110.465087890625\n", + "global step=38375424, episodic return=2068.495361328125\n", + "global step=38375424, episodic return=2001.431640625\n", + "global step=38377472, episodic return=2163.275390625\n", + "global step=38377472, episodic return=2056.48828125\n", + "global step=38379520, episodic return=2136.32568359375\n", + "global step=38381568, episodic return=2172.5888671875\n", + "global step=38381568, episodic return=2065.59814453125\n", + "global step=38383616, episodic return=2175.740478515625\n", + "global step=38383616, episodic return=2030.2540283203125\n", + "global step=38383616, episodic return=2117.02197265625\n", + "global step=38385664, episodic return=2169.8447265625\n", + "global step=38385664, episodic return=2117.531982421875\n", + "global step=38385664, episodic return=443.7662658691406\n", + "global step=38385664, episodic return=2189.47265625\n", + "global step=38385664, episodic return=2051.15185546875\n", + "global step=38385664, episodic return=2206.30224609375\n", + "global step=38387712, episodic return=2148.384521484375\n", + "global step=38389760, episodic return=2149.79345703125\n", + "global step=38389760, episodic return=2151.5546875\n", + "global step=38391808, episodic return=2159.04931640625\n", + "global step=38391808, episodic return=2138.212158203125\n", + "global step=38391808, episodic return=1980.4876708984375\n", + "global step=38393856, episodic return=2007.2308349609375\n", + "global step=38393856, episodic return=2084.061279296875\n", + "global step=38395904, episodic return=1940.5723876953125\n", + "global step=38395904, episodic return=1949.64990234375\n", + "global step=38395904, episodic return=2137.247802734375\n", + "global step=38397952, episodic return=2138.486572265625\n", + "global step=38397952, episodic return=2077.927978515625\n", + "global step=38402048, episodic return=2001.3436279296875\n", + "global step=38402048, episodic return=2147.24365234375\n", + "global step=38402048, episodic return=2130.648681640625\n", + "global step=38402048, episodic return=1848.3062744140625\n", + "global step=38404096, episodic return=2116.88818359375\n", + "global step=38404096, episodic return=2150.080078125\n", + "global step=38404096, episodic return=2104.560546875\n", + "global step=38404096, episodic return=2074.643798828125\n", + "global step=38406144, episodic return=2194.721923828125\n", + "global step=38408192, episodic return=2152.3583984375\n", + "global step=38408192, episodic return=2167.65673828125\n", + "global step=38408192, episodic return=2103.087890625\n", + "global step=38410240, episodic return=2186.528076171875\n", + "global step=38410240, episodic return=2070.475830078125\n", + "global step=38412288, episodic return=2156.45068359375\n", + "global step=38412288, episodic return=2109.143798828125\n", + "global step=38412288, episodic return=2097.763671875\n", + "global step=38416384, episodic return=2087.635009765625\n", + "global step=38416384, episodic return=2046.77587890625\n", + "global step=38416384, episodic return=2139.830078125\n", + "global step=38418432, episodic return=2114.33203125\n", + "global step=38418432, episodic return=2164.206787109375\n", + "global step=38420480, episodic return=2119.247314453125\n", + "global step=38422528, episodic return=2105.39111328125\n", + "global step=38422528, episodic return=2156.83447265625\n", + "global step=38424576, episodic return=2130.104248046875\n", + "global step=38424576, episodic return=2037.9322509765625\n", + "global step=38424576, episodic return=2079.906494140625\n", + "global step=38424576, episodic return=2087.33349609375\n", + "global step=38426624, episodic return=2134.1162109375\n", + "global step=38426624, episodic return=2124.438720703125\n", + "global step=38428672, episodic return=2079.80078125\n", + "global step=38428672, episodic return=2126.550048828125\n", + "global step=38428672, episodic return=2066.900146484375\n", + "global step=38428672, episodic return=2091.671875\n", + "global step=38428672, episodic return=2101.627197265625\n", + "global step=38428672, episodic return=2068.406005859375\n", + "global step=38428672, episodic return=2088.3681640625\n", + "global step=38428672, episodic return=2024.71826171875\n", + "global step=38434816, episodic return=2001.2972412109375\n", + "global step=38434816, episodic return=2061.198974609375\n", + "global step=38434816, episodic return=2125.435791015625\n", + "global step=38434816, episodic return=2116.22802734375\n", + "global step=38436864, episodic return=2112.98876953125\n", + "global step=38436864, episodic return=2037.9027099609375\n", + "global step=38436864, episodic return=2030.268310546875\n", + "global step=38438912, episodic return=2116.03857421875\n", + "global step=38438912, episodic return=2101.473876953125\n", + "global step=38440960, episodic return=2099.107666015625\n", + "global step=38445056, episodic return=2150.656982421875\n", + "global step=38445056, episodic return=2066.919189453125\n", + "global step=38445056, episodic return=2056.82470703125\n", + "global step=38445056, episodic return=2078.936767578125\n", + "global step=38445056, episodic return=2056.116455078125\n", + "global step=38447104, episodic return=2133.51513671875\n", + "global step=38447104, episodic return=779.2435913085938\n", + "global step=38447104, episodic return=2175.71435546875\n", + "global step=38449152, episodic return=2072.318115234375\n", + "global step=38449152, episodic return=2122.685546875\n", + "global step=38451200, episodic return=2126.51416015625\n", + "global step=38451200, episodic return=2043.02978515625\n", + "global step=38451200, episodic return=2071.60205078125\n", + "global step=38453248, episodic return=2135.47265625\n", + "global step=38453248, episodic return=128.65298461914062\n", + "global step=38453248, episodic return=2080.226806640625\n", + "global step=38453248, episodic return=2164.784912109375\n", + "global step=38453248, episodic return=2155.618408203125\n", + "global step=38455296, episodic return=2149.378173828125\n", + "global step=38455296, episodic return=1894.172607421875\n", + "global step=38457344, episodic return=2087.754638671875\n", + "global step=38457344, episodic return=2132.9951171875\n", + "global step=38459392, episodic return=2135.17041015625\n", + "global step=38461440, episodic return=2140.625244140625\n", + "global step=38463488, episodic return=2143.477294921875\n", + "global step=38463488, episodic return=2152.5654296875\n", + "global step=38463488, episodic return=2063.506591796875\n", + "global step=38463488, episodic return=2109.187255859375\n", + "global step=38465536, episodic return=2059.00439453125\n", + "global step=38465536, episodic return=2106.82470703125\n", + "global step=38465536, episodic return=1100.3121337890625\n", + "global step=38465536, episodic return=2132.9228515625\n", + "global step=38465536, episodic return=2115.47998046875\n", + "global step=38467584, episodic return=2029.9764404296875\n", + "global step=38467584, episodic return=2071.0439453125\n", + "global step=38467584, episodic return=2051.13818359375\n", + "global step=38469632, episodic return=2183.3193359375\n", + "global step=38469632, episodic return=2080.900390625\n", + "global step=38469632, episodic return=564.2728881835938\n", + "global step=38469632, episodic return=2068.21826171875\n", + "global step=38471680, episodic return=2145.48828125\n", + "global step=38471680, episodic return=2199.567626953125\n", + "global step=38471680, episodic return=2092.488037109375\n", + "global step=38471680, episodic return=936.3316650390625\n", + "global step=38473728, episodic return=2072.327880859375\n", + "global step=38473728, episodic return=2056.542236328125\n", + "global step=38475776, episodic return=2093.93017578125\n", + "global step=38475776, episodic return=2123.802490234375\n", + "global step=38477824, episodic return=2110.3310546875\n", + "global step=38477824, episodic return=2162.42333984375\n", + "global step=38477824, episodic return=2053.259765625\n", + "global step=38477824, episodic return=2086.727783203125\n", + "global step=38479872, episodic return=2153.581298828125\n", + "global step=38479872, episodic return=2128.6357421875\n", + "global step=38481920, episodic return=2047.2275390625\n", + "global step=38481920, episodic return=2113.81884765625\n", + "global step=38483968, episodic return=2136.361328125\n", + "global step=38483968, episodic return=2145.99560546875\n", + "global step=38483968, episodic return=2060.785400390625\n", + "global step=38486016, episodic return=2121.169189453125\n", + "global step=38486016, episodic return=2054.99951171875\n", + "global step=38486016, episodic return=1777.7537841796875\n", + "global step=38486016, episodic return=2125.952392578125\n", + "global step=38486016, episodic return=2120.038330078125\n", + "global step=38488064, episodic return=2128.112060546875\n", + "global step=38488064, episodic return=2137.69140625\n", + "global step=38488064, episodic return=2048.413818359375\n", + "global step=38488064, episodic return=2133.6748046875\n", + "global step=38490112, episodic return=2106.677001953125\n", + "global step=38490112, episodic return=2130.231689453125\n", + "global step=38492160, episodic return=2133.162841796875\n", + "global step=38494208, episodic return=968.3428955078125\n", + "global step=38494208, episodic return=2100.32861328125\n", + "global step=38494208, episodic return=2055.1396484375\n", + "global step=38496256, episodic return=2191.391845703125\n", + "global step=38498304, episodic return=2070.65966796875\n", + "global step=38498304, episodic return=2156.10400390625\n", + "global step=38498304, episodic return=2170.4189453125\n", + "global step=38498304, episodic return=2051.3779296875\n", + "global step=38498304, episodic return=2105.810302734375\n", + "global step=38498304, episodic return=2028.816650390625\n", + "global step=38500352, episodic return=2075.241455078125\n", + "global step=38500352, episodic return=2096.33544921875\n", + "global step=38500352, episodic return=2163.111328125\n", + "global step=38500352, episodic return=2091.558837890625\n", + "global step=38500352, episodic return=2116.158447265625\n", + "global step=38502400, episodic return=2077.775390625\n", + "global step=38504448, episodic return=2123.729248046875\n", + "global step=38504448, episodic return=2104.734375\n", + "global step=38504448, episodic return=2109.394287109375\n", + "global step=38506496, episodic return=2065.4072265625\n", + "global step=38506496, episodic return=2097.266357421875\n", + "global step=38506496, episodic return=2153.478515625\n", + "global step=38506496, episodic return=2150.993896484375\n", + "global step=38506496, episodic return=2093.069580078125\n", + "global step=38506496, episodic return=2122.5751953125\n", + "global step=38508544, episodic return=750.3489379882812\n", + "global step=38508544, episodic return=673.5050659179688\n", + "global step=38510592, episodic return=1872.7230224609375\n", + "global step=38510592, episodic return=2128.619140625\n", + "global step=38510592, episodic return=2113.4833984375\n", + "global step=38510592, episodic return=2119.628173828125\n", + "global step=38510592, episodic return=2162.65185546875\n", + "global step=38512640, episodic return=2141.4619140625\n", + "global step=38512640, episodic return=2106.623779296875\n", + "global step=38514688, episodic return=2164.7646484375\n", + "global step=38514688, episodic return=609.2114868164062\n", + "global step=38516736, episodic return=2107.8515625\n", + "global step=38520832, episodic return=2137.197021484375\n", + "global step=38520832, episodic return=2080.79541015625\n", + "global step=38520832, episodic return=874.74267578125\n", + "global step=38522880, episodic return=2133.50048828125\n", + "global step=38522880, episodic return=2110.231689453125\n", + "global step=38522880, episodic return=2081.49609375\n", + "global step=38522880, episodic return=721.25634765625\n", + "global step=38522880, episodic return=2171.67724609375\n", + "global step=38524928, episodic return=2114.427978515625\n", + "global step=38524928, episodic return=2100.72705078125\n", + "global step=38524928, episodic return=2124.677490234375\n", + "global step=38526976, episodic return=2141.830322265625\n", + "global step=38529024, episodic return=2088.6796875\n", + "global step=38529024, episodic return=2137.37744140625\n", + "global step=38529024, episodic return=2138.63818359375\n", + "global step=38529024, episodic return=2113.769287109375\n", + "global step=38531072, episodic return=2118.642578125\n", + "global step=38531072, episodic return=2068.62158203125\n", + "global step=38531072, episodic return=1989.8614501953125\n", + "global step=38533120, episodic return=2090.024658203125\n", + "global step=38533120, episodic return=2103.260986328125\n", + "global step=38533120, episodic return=2123.893310546875\n", + "global step=38535168, episodic return=1973.5015869140625\n", + "global step=38535168, episodic return=1955.6619873046875\n", + "global step=38535168, episodic return=2060.4970703125\n", + "global step=38535168, episodic return=2131.078125\n", + "global step=38537216, episodic return=2003.3902587890625\n", + "global step=38537216, episodic return=2043.351806640625\n", + "global step=38537216, episodic return=396.08953857421875\n", + "global step=38537216, episodic return=2064.13232421875\n", + "global step=38537216, episodic return=2130.880126953125\n", + "global step=38537216, episodic return=2008.00732421875\n", + "global step=38539264, episodic return=2115.75146484375\n", + "global step=38539264, episodic return=1982.287109375\n", + "global step=38541312, episodic return=198.16995239257812\n", + "global step=38541312, episodic return=2100.59912109375\n", + "global step=38541312, episodic return=1173.89501953125\n", + "global step=38541312, episodic return=2096.3525390625\n", + "global step=38543360, episodic return=2104.54443359375\n", + "global step=38543360, episodic return=2118.2958984375\n", + "global step=38543360, episodic return=2188.16845703125\n", + "global step=38543360, episodic return=2125.823486328125\n", + "global step=38545408, episodic return=2037.199462890625\n", + "global step=38547456, episodic return=2106.484619140625\n", + "global step=38547456, episodic return=2162.128173828125\n", + "global step=38549504, episodic return=2066.982421875\n", + "global step=38549504, episodic return=2148.667724609375\n", + "global step=38549504, episodic return=2144.98876953125\n", + "global step=38549504, episodic return=40.55792999267578\n", + "global step=38551552, episodic return=2123.531982421875\n", + "global step=38551552, episodic return=2053.0849609375\n", + "global step=38553600, episodic return=2149.77490234375\n", + "global step=38553600, episodic return=2002.8740234375\n", + "global step=38553600, episodic return=2118.986083984375\n", + "global step=38553600, episodic return=2137.8251953125\n", + "global step=38553600, episodic return=2101.927490234375\n", + "global step=38555648, episodic return=2050.65478515625\n", + "global step=38555648, episodic return=2094.782958984375\n", + "global step=38555648, episodic return=543.7752685546875\n", + "global step=38555648, episodic return=2201.646484375\n", + "global step=38555648, episodic return=2121.315673828125\n", + "global step=38557696, episodic return=2026.602783203125\n", + "global step=38557696, episodic return=2080.781494140625\n", + "global step=38557696, episodic return=2101.444580078125\n", + "global step=38559744, episodic return=2078.91552734375\n", + "global step=38559744, episodic return=2142.951904296875\n", + "global step=38559744, episodic return=2176.5810546875\n", + "global step=38561792, episodic return=2073.053466796875\n", + "global step=38561792, episodic return=2089.598876953125\n", + "global step=38561792, episodic return=2115.66162109375\n", + "global step=38561792, episodic return=2137.353759765625\n", + "global step=38561792, episodic return=2026.427734375\n", + "global step=38567936, episodic return=2102.7646484375\n", + "global step=38567936, episodic return=2148.494384765625\n", + "global step=38569984, episodic return=2112.679443359375\n", + "global step=38569984, episodic return=2066.644775390625\n", + "global step=38569984, episodic return=2046.7313232421875\n", + "global step=38569984, episodic return=508.5377502441406\n", + "global step=38569984, episodic return=2070.865966796875\n", + "global step=38569984, episodic return=2099.751708984375\n", + "global step=38572032, episodic return=2086.090087890625\n", + "global step=38572032, episodic return=2123.669189453125\n", + "global step=38576128, episodic return=2086.64013671875\n", + "global step=38576128, episodic return=2023.3837890625\n", + "global step=38576128, episodic return=2154.03076171875\n", + "global step=38578176, episodic return=2103.674560546875\n", + "global step=38580224, episodic return=2112.204833984375\n", + "global step=38580224, episodic return=2110.769287109375\n", + "global step=38580224, episodic return=2107.16943359375\n", + "global step=38580224, episodic return=2090.503173828125\n", + "global step=38580224, episodic return=2131.782470703125\n", + "global step=38582272, episodic return=2154.095947265625\n", + "global step=38582272, episodic return=2074.846923828125\n", + "global step=38584320, episodic return=441.0907897949219\n", + "global step=38584320, episodic return=2056.390380859375\n", + "global step=38586368, episodic return=2173.921630859375\n", + "global step=38588416, episodic return=2044.03662109375\n", + "global step=38588416, episodic return=2116.572998046875\n", + "global step=38590464, episodic return=2153.200927734375\n", + "global step=38590464, episodic return=2044.4603271484375\n", + "global step=38590464, episodic return=2101.4921875\n", + "global step=38590464, episodic return=2049.440673828125\n", + "global step=38592512, episodic return=2037.772216796875\n", + "global step=38592512, episodic return=2130.4638671875\n", + "global step=38594560, episodic return=2104.572021484375\n", + "global step=38594560, episodic return=1982.994384765625\n", + "global step=38594560, episodic return=2159.0966796875\n", + "global step=38594560, episodic return=1929.5341796875\n", + "global step=38596608, episodic return=2023.2767333984375\n", + "global step=38596608, episodic return=2150.693359375\n", + "global step=38596608, episodic return=2129.019287109375\n", + "global step=38598656, episodic return=2119.627197265625\n", + "global step=38598656, episodic return=2123.35205078125\n", + "global step=38598656, episodic return=2138.624755859375\n", + "global step=38600704, episodic return=2085.106689453125\n", + "global step=38600704, episodic return=2017.1287841796875\n", + "global step=38602752, episodic return=2156.0927734375\n", + "global step=38602752, episodic return=2070.3544921875\n", + "global step=38602752, episodic return=2104.642822265625\n", + "global step=38604800, episodic return=1183.75390625\n", + "global step=38604800, episodic return=2082.335693359375\n", + "global step=38606848, episodic return=2142.687744140625\n", + "global step=38606848, episodic return=2115.13232421875\n", + "global step=38606848, episodic return=2055.178955078125\n", + "global step=38606848, episodic return=2150.01318359375\n", + "global step=38608896, episodic return=2128.96240234375\n", + "global step=38610944, episodic return=2105.37841796875\n", + "global step=38610944, episodic return=2106.45361328125\n", + "global step=38610944, episodic return=2131.495849609375\n", + "global step=38610944, episodic return=1997.96044921875\n", + "global step=38610944, episodic return=2062.049560546875\n", + "global step=38612992, episodic return=2078.73291015625\n", + "global step=38612992, episodic return=2140.005859375\n", + "global step=38615040, episodic return=2123.585693359375\n", + "global step=38615040, episodic return=2197.9873046875\n", + "global step=38615040, episodic return=2078.494873046875\n", + "global step=38615040, episodic return=2128.176025390625\n", + "global step=38617088, episodic return=2137.324951171875\n", + "global step=38621184, episodic return=2044.4781494140625\n", + "global step=38621184, episodic return=2117.930908203125\n", + "global step=38623232, episodic return=1839.728515625\n", + "global step=38623232, episodic return=2108.547119140625\n", + "global step=38623232, episodic return=2061.584228515625\n", + "global step=38623232, episodic return=2030.0167236328125\n", + "global step=38629376, episodic return=2150.503662109375\n", + "global step=38629376, episodic return=2157.966064453125\n", + "global step=38631424, episodic return=2109.125\n", + "global step=38631424, episodic return=2061.37939453125\n", + "global step=38633472, episodic return=2129.21435546875\n", + "global step=38633472, episodic return=2154.81689453125\n", + "global step=38633472, episodic return=2088.891357421875\n", + "global step=38633472, episodic return=2140.88916015625\n", + "global step=38635520, episodic return=2088.0576171875\n", + "global step=38637568, episodic return=2127.413818359375\n", + "global step=38637568, episodic return=2094.77392578125\n", + "global step=38637568, episodic return=2146.33984375\n", + "global step=38639616, episodic return=2078.890625\n", + "global step=38639616, episodic return=2134.1083984375\n", + "global step=38639616, episodic return=2079.406494140625\n", + "global step=38641664, episodic return=2013.651123046875\n", + "global step=38641664, episodic return=2064.545654296875\n", + "global step=38641664, episodic return=2096.47412109375\n", + "global step=38641664, episodic return=2120.029052734375\n", + "global step=38643712, episodic return=2093.677978515625\n", + "global step=38643712, episodic return=2076.37060546875\n", + "global step=38645760, episodic return=2040.1417236328125\n", + "global step=38645760, episodic return=2113.022216796875\n", + "global step=38645760, episodic return=2125.998046875\n", + "global step=38647808, episodic return=2035.968017578125\n", + "global step=38647808, episodic return=2109.2451171875\n", + "global step=38649856, episodic return=2069.47119140625\n", + "global step=38651904, episodic return=1422.682373046875\n", + "global step=38653952, episodic return=2049.456298828125\n", + "global step=38656000, episodic return=2164.051025390625\n", + "global step=38658048, episodic return=2150.15625\n", + "global step=38658048, episodic return=2083.941162109375\n", + "global step=38660096, episodic return=2129.02783203125\n", + "global step=38660096, episodic return=2097.708740234375\n", + "global step=38660096, episodic return=2069.16064453125\n", + "global step=38660096, episodic return=2105.06396484375\n", + "global step=38662144, episodic return=2152.871826171875\n", + "global step=38664192, episodic return=2144.578857421875\n", + "global step=38664192, episodic return=2039.542724609375\n", + "global step=38666240, episodic return=2145.956298828125\n", + "global step=38666240, episodic return=254.10757446289062\n", + "global step=38668288, episodic return=2137.677490234375\n", + "global step=38668288, episodic return=2117.2353515625\n", + "global step=38668288, episodic return=2064.74853515625\n", + "global step=38670336, episodic return=2118.732421875\n", + "global step=38670336, episodic return=2106.247802734375\n", + "global step=38670336, episodic return=2145.1796875\n", + "global step=38670336, episodic return=1935.6885986328125\n", + "global step=38672384, episodic return=2170.141845703125\n", + "global step=38672384, episodic return=2156.349609375\n", + "global step=38672384, episodic return=2175.350341796875\n", + "global step=38672384, episodic return=2098.343994140625\n", + "global step=38672384, episodic return=2054.239990234375\n", + "global step=38674432, episodic return=942.644775390625\n", + "global step=38674432, episodic return=2033.0081787109375\n", + "global step=38676480, episodic return=2130.40380859375\n", + "global step=38676480, episodic return=2060.9365234375\n", + "global step=38676480, episodic return=2167.666748046875\n", + "global step=38676480, episodic return=2125.873046875\n", + "global step=38676480, episodic return=2159.5185546875\n", + "global step=38678528, episodic return=2110.440185546875\n", + "global step=38678528, episodic return=1648.2435302734375\n", + "global step=38678528, episodic return=2073.095703125\n", + "global step=38678528, episodic return=2091.200927734375\n", + "global step=38678528, episodic return=2111.97021484375\n", + "global step=38678528, episodic return=2080.26513671875\n", + "global step=38680576, episodic return=2146.376953125\n", + "global step=38680576, episodic return=2138.8349609375\n", + "global step=38682624, episodic return=2132.8955078125\n", + "global step=38684672, episodic return=2139.412353515625\n", + "global step=38684672, episodic return=2145.43896484375\n", + "global step=38684672, episodic return=1976.81884765625\n", + "global step=38684672, episodic return=1085.476806640625\n", + "global step=38684672, episodic return=2029.4266357421875\n", + "global step=38686720, episodic return=2100.248291015625\n", + "global step=38688768, episodic return=2121.01806640625\n", + "global step=38688768, episodic return=2105.4794921875\n", + "global step=38688768, episodic return=2116.207763671875\n", + "global step=38690816, episodic return=2012.4398193359375\n", + "global step=38690816, episodic return=2142.8486328125\n", + "global step=38692864, episodic return=2083.82763671875\n", + "global step=38694912, episodic return=2115.35546875\n", + "global step=38696960, episodic return=2110.311279296875\n", + "global step=38696960, episodic return=2079.861572265625\n", + "global step=38699008, episodic return=2056.887451171875\n", + "global step=38699008, episodic return=2135.67041015625\n", + "global step=38699008, episodic return=2102.56640625\n", + "global step=38701056, episodic return=2042.60791015625\n", + "global step=38701056, episodic return=2146.8408203125\n", + "global step=38701056, episodic return=2134.021240234375\n", + "global step=38703104, episodic return=2147.940185546875\n", + "global step=38705152, episodic return=2100.239990234375\n", + "global step=38705152, episodic return=2162.76904296875\n", + "global step=38707200, episodic return=1896.8079833984375\n", + "global step=38707200, episodic return=2108.988525390625\n", + "global step=38709248, episodic return=2098.40771484375\n", + "global step=38709248, episodic return=2110.470458984375\n", + "global step=38709248, episodic return=2144.891357421875\n", + "global step=38709248, episodic return=2014.3255615234375\n", + "global step=38711296, episodic return=2077.379638671875\n", + "global step=38711296, episodic return=2144.319091796875\n", + "global step=38711296, episodic return=2109.94970703125\n", + "global step=38711296, episodic return=2081.9248046875\n", + "global step=38711296, episodic return=1985.8944091796875\n", + "global step=38713344, episodic return=2013.0384521484375\n", + "global step=38715392, episodic return=2058.05078125\n", + "global step=38715392, episodic return=2049.64697265625\n", + "global step=38717440, episodic return=2147.1142578125\n", + "global step=38719488, episodic return=2100.5595703125\n", + "global step=38719488, episodic return=2077.34375\n", + "global step=38721536, episodic return=2139.22705078125\n", + "global step=38723584, episodic return=2102.433837890625\n", + "global step=38725632, episodic return=2179.0908203125\n", + "global step=38725632, episodic return=2137.475830078125\n", + "global step=38725632, episodic return=2015.7529296875\n", + "global step=38727680, episodic return=2066.27392578125\n", + "global step=38727680, episodic return=1978.008056640625\n", + "global step=38729728, episodic return=2089.8271484375\n", + "global step=38729728, episodic return=2106.198486328125\n", + "global step=38733824, episodic return=2103.522705078125\n", + "global step=38735872, episodic return=2066.218505859375\n", + "global step=38735872, episodic return=2149.073486328125\n", + "global step=38735872, episodic return=2092.351806640625\n", + "global step=38737920, episodic return=2100.882080078125\n", + "global step=38737920, episodic return=2017.1778564453125\n", + "global step=38739968, episodic return=2115.416015625\n", + "global step=38739968, episodic return=2132.7939453125\n", + "global step=38739968, episodic return=2115.6953125\n", + "global step=38739968, episodic return=2104.42431640625\n", + "global step=38744064, episodic return=2148.267333984375\n", + "global step=38746112, episodic return=2067.541259765625\n", + "global step=38748160, episodic return=2170.91259765625\n", + "global step=38748160, episodic return=2073.866943359375\n", + "global step=38750208, episodic return=2098.4404296875\n", + "global step=38750208, episodic return=2059.063232421875\n", + "global step=38750208, episodic return=2190.214111328125\n", + "global step=38750208, episodic return=2093.3818359375\n", + "global step=38752256, episodic return=2120.09814453125\n", + "global step=38752256, episodic return=1985.5892333984375\n", + "global step=38752256, episodic return=1988.09716796875\n", + "global step=38752256, episodic return=2127.447509765625\n", + "global step=38754304, episodic return=757.5308837890625\n", + "global step=38754304, episodic return=2119.574462890625\n", + "global step=38754304, episodic return=2114.467041015625\n", + "global step=38754304, episodic return=1918.172119140625\n", + "global step=38756352, episodic return=2174.9541015625\n", + "global step=38756352, episodic return=2085.73974609375\n", + "global step=38756352, episodic return=2127.961669921875\n", + "global step=38758400, episodic return=2135.724853515625\n", + "global step=38758400, episodic return=2100.523681640625\n", + "global step=38758400, episodic return=2058.94384765625\n", + "global step=38758400, episodic return=1997.76171875\n", + "global step=38760448, episodic return=2094.577880859375\n", + "global step=38760448, episodic return=2061.18115234375\n", + "global step=38760448, episodic return=2112.854736328125\n", + "global step=38762496, episodic return=871.6671752929688\n", + "global step=38762496, episodic return=2130.187744140625\n", + "global step=38762496, episodic return=2099.415283203125\n", + "global step=38762496, episodic return=2087.428955078125\n", + "global step=38762496, episodic return=2093.271484375\n", + "global step=38762496, episodic return=1963.8914794921875\n", + "global step=38764544, episodic return=2082.562744140625\n", + "global step=38764544, episodic return=2077.66552734375\n", + "global step=38764544, episodic return=1752.983642578125\n", + "global step=38766592, episodic return=2120.09033203125\n", + "global step=38766592, episodic return=2051.248779296875\n", + "global step=38768640, episodic return=2096.730224609375\n", + "global step=38768640, episodic return=2042.6224365234375\n", + "global step=38768640, episodic return=2079.42431640625\n", + "global step=38770688, episodic return=2086.853515625\n", + "global step=38770688, episodic return=2079.20849609375\n", + "global step=38772736, episodic return=2148.127685546875\n", + "global step=38772736, episodic return=1926.82275390625\n", + "global step=38772736, episodic return=2107.872314453125\n", + "global step=38774784, episodic return=2121.005615234375\n", + "global step=38776832, episodic return=700.7728271484375\n", + "global step=38778880, episodic return=2011.471435546875\n", + "global step=38778880, episodic return=2140.097412109375\n", + "global step=38778880, episodic return=2107.55322265625\n", + "global step=38778880, episodic return=2096.474609375\n", + "global step=38778880, episodic return=2092.112548828125\n", + "global step=38782976, episodic return=1994.26708984375\n", + "global step=38785024, episodic return=2117.130615234375\n", + "global step=38785024, episodic return=2099.16015625\n", + "global step=38785024, episodic return=2149.21142578125\n", + "global step=38785024, episodic return=2142.693115234375\n", + "global step=38787072, episodic return=2075.982666015625\n", + "global step=38789120, episodic return=240.00289916992188\n", + "global step=38789120, episodic return=2139.770263671875\n", + "global step=38789120, episodic return=2149.30224609375\n", + "global step=38791168, episodic return=2062.6357421875\n", + "global step=38793216, episodic return=2095.900146484375\n", + "global step=38793216, episodic return=2141.95458984375\n", + "global step=38795264, episodic return=1973.2156982421875\n", + "global step=38795264, episodic return=2126.757080078125\n", + "global step=38797312, episodic return=1921.92626953125\n", + "global step=38799360, episodic return=2122.30712890625\n", + "global step=38799360, episodic return=2118.822021484375\n", + "global step=38801408, episodic return=2094.04443359375\n", + "global step=38801408, episodic return=2106.215576171875\n", + "global step=38801408, episodic return=2047.7607421875\n", + "global step=38803456, episodic return=2153.52001953125\n", + "global step=38803456, episodic return=2081.126708984375\n", + "global step=38803456, episodic return=2156.439208984375\n", + "global step=38803456, episodic return=2142.74560546875\n", + "global step=38805504, episodic return=2122.8505859375\n", + "global step=38805504, episodic return=2013.8505859375\n", + "global step=38807552, episodic return=2021.6597900390625\n", + "global step=38811648, episodic return=2134.165771484375\n", + "global step=38815744, episodic return=1091.102294921875\n", + "global step=38815744, episodic return=2081.69580078125\n", + "global step=38815744, episodic return=2083.428955078125\n", + "global step=38817792, episodic return=2045.4649658203125\n", + "global step=38819840, episodic return=160.7023468017578\n", + "global step=38819840, episodic return=2102.121337890625\n", + "global step=38819840, episodic return=2107.683349609375\n", + "global step=38819840, episodic return=2128.188232421875\n", + "global step=38821888, episodic return=2158.12158203125\n", + "global step=38825984, episodic return=2118.779541015625\n", + "global step=38825984, episodic return=2165.4814453125\n", + "global step=38825984, episodic return=2086.00634765625\n", + "global step=38828032, episodic return=2092.327880859375\n", + "global step=38828032, episodic return=2079.501708984375\n", + "global step=38832128, episodic return=2144.47607421875\n", + "global step=38832128, episodic return=2104.37939453125\n", + "global step=38832128, episodic return=2127.935791015625\n", + "global step=38832128, episodic return=2107.120849609375\n", + "global step=38832128, episodic return=2111.83056640625\n", + "global step=38836224, episodic return=2068.093994140625\n", + "global step=38840320, episodic return=2024.2823486328125\n", + "global step=38840320, episodic return=2059.181640625\n", + "global step=38842368, episodic return=2104.405029296875\n", + "global step=38842368, episodic return=1881.8939208984375\n", + "global step=38844416, episodic return=2139.138671875\n", + "global step=38844416, episodic return=2120.428955078125\n", + "global step=38848512, episodic return=2113.325927734375\n", + "global step=38848512, episodic return=2032.6138916015625\n", + "global step=38848512, episodic return=2090.23193359375\n", + "global step=38850560, episodic return=2066.81640625\n", + "global step=38850560, episodic return=2117.550537109375\n", + "global step=38850560, episodic return=2105.388427734375\n", + "global step=38850560, episodic return=2004.995361328125\n", + "global step=38850560, episodic return=2126.404541015625\n", + "global step=38850560, episodic return=2083.794921875\n", + "global step=38852608, episodic return=2061.857421875\n", + "global step=38854656, episodic return=2067.980224609375\n", + "global step=38854656, episodic return=2057.694580078125\n", + "global step=38856704, episodic return=2069.260986328125\n", + "global step=38856704, episodic return=2127.496826171875\n", + "global step=38856704, episodic return=2035.9764404296875\n", + "global step=38856704, episodic return=2117.6904296875\n", + "global step=38858752, episodic return=2169.070068359375\n", + "global step=38858752, episodic return=2139.526611328125\n", + "global step=38858752, episodic return=2119.66943359375\n", + "global step=38858752, episodic return=1903.9940185546875\n", + "global step=38860800, episodic return=2127.7705078125\n", + "global step=38860800, episodic return=2122.888916015625\n", + "global step=38860800, episodic return=2132.546142578125\n", + "global step=38860800, episodic return=2135.04638671875\n", + "global step=38862848, episodic return=2116.723876953125\n", + "global step=38862848, episodic return=2038.73681640625\n", + "global step=38862848, episodic return=2136.9443359375\n", + "global step=38862848, episodic return=2071.650146484375\n", + "global step=38862848, episodic return=2100.533447265625\n", + "global step=38862848, episodic return=2089.447509765625\n", + "global step=38864896, episodic return=907.1426391601562\n", + "global step=38864896, episodic return=2071.882080078125\n", + "global step=38864896, episodic return=2110.88427734375\n", + "global step=38866944, episodic return=2101.27197265625\n", + "global step=38866944, episodic return=1444.9056396484375\n", + "global step=38868992, episodic return=2133.724853515625\n", + "global step=38868992, episodic return=2175.514892578125\n", + "global step=38868992, episodic return=2116.5869140625\n", + "global step=38871040, episodic return=2059.012939453125\n", + "global step=38873088, episodic return=219.54461669921875\n", + "global step=38873088, episodic return=2150.9033203125\n", + "global step=38875136, episodic return=1963.8994140625\n", + "global step=38875136, episodic return=2057.5732421875\n", + "global step=38875136, episodic return=2062.77197265625\n", + "global step=38875136, episodic return=2101.813720703125\n", + "global step=38877184, episodic return=714.2452392578125\n", + "global step=38879232, episodic return=1595.6956787109375\n", + "global step=38881280, episodic return=2096.187744140625\n", + "global step=38883328, episodic return=1960.948974609375\n", + "global step=38887424, episodic return=2145.3193359375\n", + "global step=38887424, episodic return=2091.635498046875\n", + "global step=38887424, episodic return=2091.632080078125\n", + "global step=38889472, episodic return=2110.1708984375\n", + "global step=38889472, episodic return=2113.22119140625\n", + "global step=38889472, episodic return=2126.462890625\n", + "global step=38893568, episodic return=2172.55029296875\n", + "global step=38893568, episodic return=2130.52685546875\n", + "global step=38895616, episodic return=2176.201171875\n", + "global step=38895616, episodic return=2130.711669921875\n", + "global step=38895616, episodic return=2151.91845703125\n", + "global step=38897664, episodic return=1988.82275390625\n", + "global step=38901760, episodic return=2106.7177734375\n", + "global step=38903808, episodic return=2139.988037109375\n", + "global step=38903808, episodic return=2092.56005859375\n", + "global step=38903808, episodic return=375.3516845703125\n", + "global step=38905856, episodic return=2113.26220703125\n", + "global step=38905856, episodic return=2088.9296875\n", + "global step=38907904, episodic return=2057.535400390625\n", + "global step=38907904, episodic return=2091.6005859375\n", + "global step=38907904, episodic return=2116.96044921875\n", + "global step=38909952, episodic return=2083.1552734375\n", + "global step=38909952, episodic return=2121.73974609375\n", + "global step=38912000, episodic return=2058.94384765625\n", + "global step=38912000, episodic return=2098.610107421875\n", + "global step=38912000, episodic return=2054.114501953125\n", + "global step=38912000, episodic return=2019.4337158203125\n", + "global step=38914048, episodic return=1715.678466796875\n", + "global step=38914048, episodic return=2107.201416015625\n", + "global step=38914048, episodic return=1349.13525390625\n", + "global step=38914048, episodic return=2146.56982421875\n", + "global step=38918144, episodic return=1194.0985107421875\n", + "global step=38918144, episodic return=2076.0498046875\n", + "global step=38918144, episodic return=2048.51611328125\n", + "global step=38918144, episodic return=2085.499755859375\n", + "global step=38922240, episodic return=2127.994384765625\n", + "global step=38922240, episodic return=2066.8359375\n", + "global step=38924288, episodic return=2097.042724609375\n", + "global step=38926336, episodic return=2075.53076171875\n", + "global step=38928384, episodic return=2075.17041015625\n", + "global step=38932480, episodic return=1536.1180419921875\n", + "global step=38932480, episodic return=2100.693603515625\n", + "global step=38934528, episodic return=2054.563720703125\n", + "global step=38936576, episodic return=2103.724609375\n", + "global step=38938624, episodic return=929.2247924804688\n", + "global step=38938624, episodic return=669.722412109375\n", + "global step=38938624, episodic return=2136.98974609375\n", + "global step=38940672, episodic return=832.101318359375\n", + "global step=38940672, episodic return=2121.03125\n", + "global step=38944768, episodic return=2121.79248046875\n", + "global step=38946816, episodic return=2117.57666015625\n", + "global step=38946816, episodic return=2106.729248046875\n", + "global step=38946816, episodic return=2138.407470703125\n", + "global step=38948864, episodic return=2098.176513671875\n", + "global step=38948864, episodic return=2105.923583984375\n", + "global step=38950912, episodic return=2061.246826171875\n", + "global step=38952960, episodic return=2094.798095703125\n", + "global step=38955008, episodic return=2126.942138671875\n", + "global step=38955008, episodic return=1247.56103515625\n", + "global step=38955008, episodic return=2156.611572265625\n", + "global step=38955008, episodic return=2141.398681640625\n", + "global step=38959104, episodic return=2082.989013671875\n", + "global step=38959104, episodic return=2122.1279296875\n", + "global step=38961152, episodic return=2087.99951171875\n", + "global step=38961152, episodic return=2086.378662109375\n", + "global step=38961152, episodic return=2086.60205078125\n", + "global step=38963200, episodic return=2097.730712890625\n", + "global step=38965248, episodic return=2042.312744140625\n", + "global step=38965248, episodic return=1996.68212890625\n", + "global step=38967296, episodic return=2089.42724609375\n", + "global step=38975488, episodic return=2130.7001953125\n", + "global step=38977536, episodic return=2052.17431640625\n", + "global step=38977536, episodic return=2095.523681640625\n", + "global step=38977536, episodic return=2084.86279296875\n", + "global step=38979584, episodic return=2111.026123046875\n", + "global step=38981632, episodic return=2072.056396484375\n", + "global step=38983680, episodic return=1950.9573974609375\n", + "global step=38983680, episodic return=679.8480834960938\n", + "global step=38983680, episodic return=2120.18701171875\n", + "global step=38983680, episodic return=2107.1806640625\n", + "global step=38985728, episodic return=2105.287353515625\n", + "global step=38989824, episodic return=2018.902099609375\n", + "global step=38989824, episodic return=2068.468994140625\n", + "global step=38989824, episodic return=2062.783447265625\n", + "global step=38989824, episodic return=2114.12890625\n", + "global step=38993920, episodic return=2096.384521484375\n", + "global step=38998016, episodic return=2125.943359375\n", + "global step=39000064, episodic return=936.01220703125\n", + "global step=39002112, episodic return=2101.353759765625\n", + "global step=39002112, episodic return=2094.825439453125\n", + "global step=39002112, episodic return=2151.246826171875\n", + "global step=39004160, episodic return=2011.963134765625\n", + "global step=39006208, episodic return=393.0363464355469\n", + "global step=39006208, episodic return=2053.550537109375\n", + "global step=39006208, episodic return=2102.94091796875\n", + "global step=39008256, episodic return=2153.479736328125\n", + "global step=39010304, episodic return=2058.133056640625\n", + "global step=39012352, episodic return=2138.752197265625\n", + "global step=39016448, episodic return=2133.225341796875\n", + "global step=39016448, episodic return=2096.85498046875\n", + "global step=39016448, episodic return=2089.91748046875\n", + "global step=39018496, episodic return=2113.647705078125\n", + "global step=39022592, episodic return=2088.57421875\n", + "global step=39024640, episodic return=442.8802185058594\n", + "global step=39026688, episodic return=2064.38232421875\n", + "global step=39026688, episodic return=2042.6363525390625\n", + "global step=39026688, episodic return=2113.153564453125\n", + "global step=39026688, episodic return=2074.308837890625\n", + "global step=39028736, episodic return=2138.123779296875\n", + "global step=39028736, episodic return=2019.6512451171875\n", + "global step=39028736, episodic return=2095.66650390625\n", + "global step=39030784, episodic return=2112.537109375\n", + "global step=39030784, episodic return=2027.8060302734375\n", + "global step=39030784, episodic return=2045.246826171875\n", + "global step=39032832, episodic return=2112.5712890625\n", + "global step=39032832, episodic return=2092.97509765625\n", + "global step=39034880, episodic return=2036.821533203125\n", + "global step=39034880, episodic return=747.9682006835938\n", + "global step=39034880, episodic return=1987.1243896484375\n", + "global step=39034880, episodic return=2116.359375\n", + "global step=39038976, episodic return=2022.0135498046875\n", + "global step=39041024, episodic return=2047.7919921875\n", + "global step=39041024, episodic return=854.7521362304688\n", + "global step=39045120, episodic return=2066.898193359375\n", + "global step=39045120, episodic return=2126.183349609375\n", + "global step=39045120, episodic return=667.0046997070312\n", + "global step=39047168, episodic return=2138.1337890625\n", + "global step=39047168, episodic return=2108.656494140625\n", + "global step=39049216, episodic return=2097.552978515625\n", + "global step=39049216, episodic return=2117.681884765625\n", + "global step=39053312, episodic return=2063.998291015625\n", + "global step=39055360, episodic return=2068.512939453125\n", + "global step=39055360, episodic return=2117.67919921875\n", + "global step=39057408, episodic return=2136.398193359375\n", + "global step=39057408, episodic return=2132.3525390625\n", + "global step=39059456, episodic return=2133.467529296875\n", + "global step=39059456, episodic return=2128.0029296875\n", + "global step=39061504, episodic return=2078.720703125\n", + "global step=39063552, episodic return=2140.891845703125\n", + "global step=39065600, episodic return=2145.45703125\n", + "global step=39067648, episodic return=2022.7725830078125\n", + "global step=39067648, episodic return=2085.287109375\n", + "global step=39069696, episodic return=1650.543701171875\n", + "global step=39071744, episodic return=2125.63232421875\n", + "global step=39075840, episodic return=2053.180908203125\n", + "global step=39077888, episodic return=2160.989013671875\n", + "global step=39077888, episodic return=2101.375244140625\n", + "global step=39077888, episodic return=2088.227294921875\n", + "global step=39079936, episodic return=1977.556884765625\n", + "global step=39079936, episodic return=2115.4248046875\n", + "global step=39081984, episodic return=2132.365234375\n", + "global step=39081984, episodic return=2097.2646484375\n", + "global step=39081984, episodic return=2047.3779296875\n", + "global step=39084032, episodic return=2055.399658203125\n", + "global step=39090176, episodic return=2142.357666015625\n", + "global step=39092224, episodic return=2089.450439453125\n", + "global step=39092224, episodic return=120.09127807617188\n", + "global step=39094272, episodic return=2078.786376953125\n", + "global step=39094272, episodic return=2086.4326171875\n", + "global step=39094272, episodic return=2128.247802734375\n", + "global step=39094272, episodic return=2067.534423828125\n", + "global step=39096320, episodic return=2073.348388671875\n", + "global step=39098368, episodic return=257.39495849609375\n", + "global step=39100416, episodic return=2107.14697265625\n", + "global step=39102464, episodic return=1943.1368408203125\n", + "global step=39102464, episodic return=2071.47265625\n", + "global step=39104512, episodic return=2082.634521484375\n", + "global step=39106560, episodic return=1979.1417236328125\n", + "global step=39106560, episodic return=2095.44140625\n", + "global step=39116800, episodic return=2097.7822265625\n", + "global step=39118848, episodic return=2048.57568359375\n", + "global step=39118848, episodic return=1945.3128662109375\n", + "global step=39118848, episodic return=2008.2001953125\n", + "global step=39120896, episodic return=2104.59765625\n", + "global step=39120896, episodic return=2086.10546875\n", + "global step=39120896, episodic return=2061.8974609375\n", + "global step=39127040, episodic return=2086.03369140625\n", + "global step=39131136, episodic return=730.072509765625\n", + "global step=39131136, episodic return=2098.1484375\n", + "global step=39131136, episodic return=2015.4891357421875\n", + "global step=39131136, episodic return=2070.69775390625\n", + "global step=39131136, episodic return=1964.777099609375\n", + "global step=39131136, episodic return=2092.256103515625\n", + "global step=39133184, episodic return=2085.37060546875\n", + "global step=39133184, episodic return=742.0200805664062\n", + "global step=39135232, episodic return=2091.33544921875\n", + "global step=39135232, episodic return=2038.658935546875\n", + "global step=39135232, episodic return=2010.2418212890625\n", + "global step=39137280, episodic return=2112.14697265625\n", + "global step=39139328, episodic return=2076.393798828125\n", + "global step=39139328, episodic return=2095.06591796875\n", + "global step=39139328, episodic return=2054.098388671875\n", + "global step=39139328, episodic return=2051.093994140625\n", + "global step=39141376, episodic return=2084.570556640625\n", + "global step=39143424, episodic return=2074.727294921875\n", + "global step=39143424, episodic return=1656.96435546875\n", + "global step=39145472, episodic return=544.53759765625\n", + "global step=39147520, episodic return=2069.4013671875\n", + "global step=39149568, episodic return=2159.070068359375\n", + "global step=39151616, episodic return=2054.765869140625\n", + "global step=39151616, episodic return=1995.516357421875\n", + "global step=39163904, episodic return=2139.2294921875\n", + "global step=39165952, episodic return=199.1025848388672\n", + "global step=39165952, episodic return=2091.541748046875\n", + "global step=39168000, episodic return=2025.9129638671875\n", + "global step=39168000, episodic return=2053.56396484375\n", + "global step=39168000, episodic return=578.2482299804688\n", + "global step=39170048, episodic return=2101.32421875\n", + "global step=39170048, episodic return=2052.235107421875\n", + "global step=39172096, episodic return=2156.029052734375\n", + "global step=39172096, episodic return=2074.502685546875\n", + "global step=39174144, episodic return=2055.46826171875\n", + "global step=39176192, episodic return=2013.137939453125\n", + "global step=39180288, episodic return=2078.041259765625\n", + "global step=39184384, episodic return=1976.27783203125\n", + "global step=39186432, episodic return=2169.419921875\n", + "global step=39188480, episodic return=2065.682861328125\n", + "global step=39188480, episodic return=2055.095458984375\n", + "global step=39190528, episodic return=2108.96875\n", + "global step=39194624, episodic return=2140.36962890625\n", + "global step=39196672, episodic return=2094.27783203125\n", + "global step=39196672, episodic return=2081.6904296875\n", + "global step=39198720, episodic return=2035.631591796875\n", + "global step=39200768, episodic return=2089.212646484375\n", + "global step=39200768, episodic return=2102.096923828125\n", + "global step=39200768, episodic return=2076.119873046875\n", + "global step=39204864, episodic return=2055.4521484375\n", + "global step=39204864, episodic return=2073.498046875\n", + "global step=39208960, episodic return=2058.048095703125\n", + "global step=39211008, episodic return=2128.772705078125\n", + "global step=39215104, episodic return=2109.162841796875\n", + "global step=39215104, episodic return=1984.0694580078125\n", + "global step=39215104, episodic return=2050.447265625\n", + "global step=39215104, episodic return=2014.5540771484375\n", + "global step=39217152, episodic return=2028.5626220703125\n", + "global step=39225344, episodic return=2089.895263671875\n", + "global step=39225344, episodic return=2002.219482421875\n", + "global step=39227392, episodic return=2085.65380859375\n", + "global step=39227392, episodic return=2090.361083984375\n", + "global step=39231488, episodic return=2013.2388916015625\n", + "global step=39233536, episodic return=2029.640625\n", + "global step=39233536, episodic return=2086.245849609375\n", + "global step=39233536, episodic return=2093.029541015625\n", + "global step=39237632, episodic return=891.0916137695312\n", + "global step=39239680, episodic return=2097.52880859375\n", + "global step=39241728, episodic return=2075.921142578125\n", + "global step=39243776, episodic return=1998.701171875\n", + "global step=39247872, episodic return=2102.788330078125\n", + "global step=39247872, episodic return=1970.9993896484375\n", + "global step=39247872, episodic return=2118.27880859375\n", + "global step=39247872, episodic return=2056.993408203125\n", + "global step=39249920, episodic return=2104.3876953125\n", + "global step=39249920, episodic return=2095.097900390625\n", + "global step=39256064, episodic return=2069.80615234375\n", + "global step=39258112, episodic return=2088.107666015625\n", + "global step=39258112, episodic return=365.48822021484375\n", + "global step=39260160, episodic return=1976.520751953125\n", + "global step=39260160, episodic return=2109.307373046875\n", + "global step=39260160, episodic return=888.3568115234375\n", + "global step=39262208, episodic return=2081.653564453125\n", + "global step=39262208, episodic return=2095.84619140625\n", + "global step=39262208, episodic return=2085.290771484375\n", + "global step=39264256, episodic return=2044.202392578125\n", + "global step=39266304, episodic return=2031.9276123046875\n", + "global step=39266304, episodic return=2101.19384765625\n", + "global step=39268352, episodic return=797.749755859375\n", + "global step=39268352, episodic return=2057.684814453125\n", + "global step=39268352, episodic return=1078.431884765625\n", + "global step=39278592, episodic return=2098.11376953125\n", + "global step=39280640, episodic return=2079.293701171875\n", + "global step=39284736, episodic return=2115.79833984375\n", + "global step=39284736, episodic return=2078.46875\n", + "global step=39286784, episodic return=2092.27392578125\n", + "global step=39286784, episodic return=1114.26611328125\n", + "global step=39288832, episodic return=2042.7305908203125\n", + "global step=39288832, episodic return=985.9349975585938\n", + "global step=39290880, episodic return=2044.231201171875\n", + "global step=39292928, episodic return=2092.398681640625\n", + "global step=39299072, episodic return=1996.956787109375\n", + "global step=39301120, episodic return=1914.8326416015625\n", + "global step=39303168, episodic return=2126.199462890625\n", + "global step=39303168, episodic return=1988.7384033203125\n", + "global step=39303168, episodic return=2096.452392578125\n", + "global step=39305216, episodic return=1984.0821533203125\n", + "global step=39307264, episodic return=1955.65625\n", + "global step=39307264, episodic return=2097.16064453125\n", + "global step=39309312, episodic return=1994.760009765625\n", + "global step=39311360, episodic return=2020.5611572265625\n", + "global step=39315456, episodic return=2085.81640625\n", + "global step=39317504, episodic return=1999.0531005859375\n", + "global step=39317504, episodic return=2070.025390625\n", + "global step=39319552, episodic return=2060.705810546875\n", + "global step=39319552, episodic return=2079.06884765625\n", + "global step=39325696, episodic return=2037.4334716796875\n", + "global step=39325696, episodic return=2065.561767578125\n", + "global step=39329792, episodic return=2093.087158203125\n", + "global step=39333888, episodic return=1975.888916015625\n", + "global step=39337984, episodic return=2024.9305419921875\n", + "global step=39337984, episodic return=2041.9967041015625\n", + "global step=39342080, episodic return=2064.478515625\n", + "global step=39344128, episodic return=1958.690673828125\n", + "global step=39344128, episodic return=666.353515625\n", + "global step=39346176, episodic return=2056.435546875\n", + "global step=39350272, episodic return=2024.7850341796875\n", + "global step=39354368, episodic return=1855.2962646484375\n", + "global step=39354368, episodic return=2047.7088623046875\n", + "global step=39354368, episodic return=2118.868896484375\n", + "global step=39358464, episodic return=2066.982421875\n", + "global step=39358464, episodic return=2061.137451171875\n", + "global step=39358464, episodic return=2090.53466796875\n", + "global step=39358464, episodic return=2095.04638671875\n", + "global step=39360512, episodic return=2024.1827392578125\n", + "global step=39360512, episodic return=1020.1336059570312\n", + "global step=39360512, episodic return=2083.554443359375\n", + "global step=39362560, episodic return=2090.6005859375\n", + "global step=39364608, episodic return=2059.623291015625\n", + "global step=39364608, episodic return=2054.311767578125\n", + "global step=39366656, episodic return=2065.28271484375\n", + "global step=39366656, episodic return=2041.8388671875\n", + "global step=39368704, episodic return=1990.65234375\n", + "global step=39368704, episodic return=2085.1376953125\n", + "global step=39370752, episodic return=2088.181640625\n", + "global step=39370752, episodic return=2116.134033203125\n", + "global step=39372800, episodic return=2072.16552734375\n", + "global step=39372800, episodic return=2080.481201171875\n", + "global step=39374848, episodic return=2035.7401123046875\n", + "global step=39374848, episodic return=2032.4554443359375\n", + "global step=39376896, episodic return=2084.047607421875\n", + "global step=39378944, episodic return=2036.4364013671875\n", + "global step=39378944, episodic return=1992.154296875\n", + "global step=39378944, episodic return=2012.21533203125\n", + "global step=39380992, episodic return=2088.888671875\n", + "global step=39380992, episodic return=2140.52197265625\n", + "global step=39383040, episodic return=2072.360595703125\n", + "global step=39385088, episodic return=2063.529541015625\n", + "global step=39387136, episodic return=2081.926513671875\n", + "global step=39389184, episodic return=1997.4293212890625\n", + "global step=39389184, episodic return=2049.010009765625\n", + "global step=39389184, episodic return=2001.152099609375\n", + "global step=39391232, episodic return=1202.426025390625\n", + "global step=39391232, episodic return=1859.3494873046875\n", + "global step=39397376, episodic return=2085.964599609375\n", + "global step=39399424, episodic return=1971.198486328125\n", + "global step=39399424, episodic return=2073.7998046875\n", + "global step=39401472, episodic return=2122.725341796875\n", + "global step=39405568, episodic return=2063.5078125\n", + "global step=39407616, episodic return=2032.4754638671875\n", + "global step=39407616, episodic return=2048.07275390625\n", + "global step=39407616, episodic return=1118.1395263671875\n", + "global step=39413760, episodic return=2026.6802978515625\n", + "global step=39415808, episodic return=2058.412109375\n", + "global step=39415808, episodic return=823.8455810546875\n", + "global step=39415808, episodic return=705.6031494140625\n", + "global step=39417856, episodic return=2070.58984375\n", + "global step=39419904, episodic return=2035.2025146484375\n", + "global step=39419904, episodic return=2051.56591796875\n", + "global step=39419904, episodic return=2035.92138671875\n", + "global step=39419904, episodic return=2086.482421875\n", + "global step=39419904, episodic return=1979.625732421875\n", + "global step=39419904, episodic return=2037.37353515625\n", + "global step=39419904, episodic return=2020.113525390625\n", + "global step=39421952, episodic return=201.12094116210938\n", + "global step=39424000, episodic return=2066.02783203125\n", + "global step=39424000, episodic return=2075.848876953125\n", + "global step=39424000, episodic return=482.0611572265625\n", + "global step=39428096, episodic return=2004.886962890625\n", + "global step=39430144, episodic return=2096.77294921875\n", + "global step=39432192, episodic return=1967.696044921875\n", + "global step=39434240, episodic return=2031.935791015625\n", + "global step=39436288, episodic return=2052.006103515625\n", + "global step=39440384, episodic return=2017.3135986328125\n", + "global step=39440384, episodic return=2033.450927734375\n", + "global step=39442432, episodic return=1979.825439453125\n", + "global step=39442432, episodic return=1100.0216064453125\n", + "global step=39444480, episodic return=2104.757080078125\n", + "global step=39448576, episodic return=2153.693115234375\n", + "global step=39448576, episodic return=2154.90234375\n", + "global step=39450624, episodic return=1976.891845703125\n", + "global step=39454720, episodic return=2130.62255859375\n", + "global step=39454720, episodic return=1146.3797607421875\n", + "global step=39456768, episodic return=2049.63037109375\n", + "global step=39462912, episodic return=2071.9091796875\n", + "global step=39462912, episodic return=2064.061767578125\n", + "global step=39464960, episodic return=2033.7945556640625\n", + "global step=39464960, episodic return=2086.137939453125\n", + "global step=39464960, episodic return=2088.10205078125\n", + "global step=39469056, episodic return=2044.605712890625\n", + "global step=39471104, episodic return=2096.293701171875\n", + "global step=39471104, episodic return=1953.849609375\n", + "global step=39471104, episodic return=2066.2890625\n", + "global step=39471104, episodic return=2002.931884765625\n", + "global step=39473152, episodic return=984.253662109375\n", + "global step=39475200, episodic return=2029.49462890625\n", + "global step=39475200, episodic return=779.958984375\n", + "global step=39479296, episodic return=2105.592529296875\n", + "global step=39479296, episodic return=2026.1070556640625\n", + "global step=39481344, episodic return=2068.92529296875\n", + "global step=39483392, episodic return=1559.9180908203125\n", + "global step=39483392, episodic return=2070.1201171875\n", + "global step=39483392, episodic return=2082.694091796875\n", + "global step=39485440, episodic return=2025.350830078125\n", + "global step=39485440, episodic return=1162.9189453125\n", + "global step=39487488, episodic return=1990.1553955078125\n", + "global step=39487488, episodic return=2069.1005859375\n", + "global step=39489536, episodic return=2046.2288818359375\n", + "global step=39489536, episodic return=2066.410400390625\n", + "global step=39489536, episodic return=1994.1756591796875\n", + "global step=39491584, episodic return=2061.498046875\n", + "global step=39491584, episodic return=1395.3189697265625\n", + "global step=39491584, episodic return=1994.96142578125\n", + "global step=39493632, episodic return=2079.806884765625\n", + "global step=39499776, episodic return=2022.7647705078125\n", + "global step=39501824, episodic return=2065.595458984375\n", + "global step=39501824, episodic return=1593.405517578125\n", + "global step=39501824, episodic return=1142.3192138671875\n", + "global step=39503872, episodic return=1920.1397705078125\n", + "global step=39503872, episodic return=2019.1629638671875\n", + "global step=39505920, episodic return=1448.8455810546875\n", + "global step=39507968, episodic return=1996.9832763671875\n", + "global step=39510016, episodic return=2068.89599609375\n", + "global step=39510016, episodic return=2046.227783203125\n", + "global step=39510016, episodic return=1150.60888671875\n", + "global step=39510016, episodic return=2087.544189453125\n", + "global step=39510016, episodic return=2052.178955078125\n", + "global step=39512064, episodic return=2056.40283203125\n", + "global step=39512064, episodic return=2072.4755859375\n", + "global step=39514112, episodic return=2050.6591796875\n", + "global step=39516160, episodic return=2079.26025390625\n", + "global step=39522304, episodic return=1354.2735595703125\n", + "global step=39524352, episodic return=2020.843994140625\n", + "global step=39524352, episodic return=1017.4423828125\n", + "global step=39528448, episodic return=2108.237060546875\n", + "global step=39528448, episodic return=1961.7547607421875\n", + "global step=39528448, episodic return=2027.755615234375\n", + "global step=39530496, episodic return=2006.43359375\n", + "global step=39530496, episodic return=2100.491943359375\n", + "global step=39530496, episodic return=2048.60107421875\n", + "global step=39532544, episodic return=1053.3184814453125\n", + "global step=39534592, episodic return=2054.3955078125\n", + "global step=39538688, episodic return=2001.095947265625\n", + "global step=39540736, episodic return=737.1165161132812\n", + "global step=39540736, episodic return=2030.6607666015625\n", + "global step=39542784, episodic return=1943.736328125\n", + "global step=39542784, episodic return=797.22509765625\n", + "global step=39542784, episodic return=2086.454345703125\n", + "global step=39542784, episodic return=1978.4884033203125\n", + "global step=39544832, episodic return=2060.66650390625\n", + "global step=39546880, episodic return=1716.981201171875\n", + "global step=39550976, episodic return=2047.6981201171875\n", + "global step=39553024, episodic return=1961.5244140625\n", + "global step=39555072, episodic return=2017.1336669921875\n", + "global step=39557120, episodic return=1979.8321533203125\n", + "global step=39559168, episodic return=2070.47265625\n", + "global step=39559168, episodic return=2079.1748046875\n", + "global step=39561216, episodic return=2011.44091796875\n", + "global step=39561216, episodic return=2006.449951171875\n", + "global step=39561216, episodic return=2016.6832275390625\n", + "global step=39565312, episodic return=2037.7376708984375\n", + "global step=39565312, episodic return=2035.2000732421875\n", + "global step=39565312, episodic return=1994.567626953125\n", + "global step=39565312, episodic return=2078.37744140625\n", + "global step=39565312, episodic return=2046.402099609375\n", + "global step=39567360, episodic return=2039.9349365234375\n", + "global step=39567360, episodic return=2093.44482421875\n", + "global step=39569408, episodic return=591.6624145507812\n", + "global step=39569408, episodic return=1146.7401123046875\n", + "global step=39571456, episodic return=1023.0848388671875\n", + "global step=39571456, episodic return=2063.015869140625\n", + "global step=39571456, episodic return=1926.2506103515625\n", + "global step=39573504, episodic return=2088.2490234375\n", + "global step=39575552, episodic return=2102.353759765625\n", + "global step=39577600, episodic return=1967.8167724609375\n", + "global step=39577600, episodic return=2071.32763671875\n", + "global step=39577600, episodic return=2060.402587890625\n", + "global step=39577600, episodic return=1077.422607421875\n", + "global step=39579648, episodic return=1976.9356689453125\n", + "global step=39579648, episodic return=2031.05224609375\n", + "global step=39581696, episodic return=2010.432373046875\n", + "global step=39581696, episodic return=1937.751220703125\n", + "global step=39583744, episodic return=1997.5220947265625\n", + "global step=39583744, episodic return=1980.5157470703125\n", + "global step=39583744, episodic return=2030.7410888671875\n", + "global step=39585792, episodic return=2049.44140625\n", + "global step=39585792, episodic return=2069.930908203125\n", + "global step=39585792, episodic return=2048.606201171875\n", + "global step=39585792, episodic return=1393.330810546875\n", + "global step=39585792, episodic return=2032.6649169921875\n", + "global step=39587840, episodic return=1210.171630859375\n", + "global step=39589888, episodic return=2001.372802734375\n", + "global step=39589888, episodic return=1939.9432373046875\n", + "global step=39589888, episodic return=1984.041748046875\n", + "global step=39589888, episodic return=1233.9683837890625\n", + "global step=39589888, episodic return=1165.61865234375\n", + "global step=39591936, episodic return=1470.4609375\n", + "global step=39591936, episodic return=1679.46923828125\n", + "global step=39593984, episodic return=1949.68212890625\n", + "global step=39593984, episodic return=616.87255859375\n", + "global step=39598080, episodic return=1974.8468017578125\n", + "global step=39598080, episodic return=1353.9163818359375\n", + "global step=39600128, episodic return=2039.9454345703125\n", + "global step=39602176, episodic return=2068.547119140625\n", + "global step=39602176, episodic return=2012.462890625\n", + "global step=39604224, episodic return=2037.772216796875\n", + "global step=39606272, episodic return=1994.6953125\n", + "global step=39608320, episodic return=2032.186767578125\n", + "global step=39608320, episodic return=1952.3975830078125\n", + "global step=39608320, episodic return=1969.9254150390625\n", + "global step=39610368, episodic return=2058.795166015625\n", + "global step=39610368, episodic return=2081.40234375\n", + "global step=39612416, episodic return=2042.3114013671875\n", + "global step=39614464, episodic return=2030.3519287109375\n", + "global step=39614464, episodic return=2023.9576416015625\n", + "global step=39616512, episodic return=2084.112060546875\n", + "global step=39616512, episodic return=1232.3319091796875\n", + "global step=39616512, episodic return=2046.2037353515625\n", + "global step=39620608, episodic return=1984.5732421875\n", + "global step=39620608, episodic return=191.811279296875\n", + "global step=39622656, episodic return=2101.974853515625\n", + "global step=39624704, episodic return=1999.681396484375\n", + "global step=39624704, episodic return=2077.972900390625\n", + "global step=39624704, episodic return=1297.3349609375\n", + "global step=39626752, episodic return=1981.904296875\n", + "global step=39626752, episodic return=2020.2886962890625\n", + "global step=39626752, episodic return=2000.568359375\n", + "global step=39626752, episodic return=2010.0809326171875\n", + "global step=39632896, episodic return=2010.1112060546875\n", + "global step=39632896, episodic return=1999.6171875\n", + "global step=39632896, episodic return=2064.269287109375\n", + "global step=39632896, episodic return=2083.331787109375\n", + "global step=39636992, episodic return=2055.102783203125\n", + "global step=39636992, episodic return=2019.79541015625\n", + "global step=39636992, episodic return=2005.786865234375\n", + "global step=39639040, episodic return=2066.541748046875\n", + "global step=39641088, episodic return=2021.2314453125\n", + "global step=39641088, episodic return=1983.9892578125\n", + "global step=39641088, episodic return=1066.61181640625\n", + "global step=39641088, episodic return=2056.11474609375\n", + "global step=39643136, episodic return=2061.880126953125\n", + "global step=39643136, episodic return=2031.03369140625\n", + "global step=39645184, episodic return=2019.871337890625\n", + "global step=39647232, episodic return=2053.860595703125\n", + "global step=39647232, episodic return=1956.8841552734375\n", + "global step=39647232, episodic return=1734.057861328125\n", + "global step=39649280, episodic return=2067.10546875\n", + "global step=39649280, episodic return=2069.833251953125\n", + "global step=39651328, episodic return=1983.929443359375\n", + "global step=39651328, episodic return=2022.757568359375\n", + "global step=39653376, episodic return=2017.09619140625\n", + "global step=39655424, episodic return=2002.4093017578125\n", + "global step=39655424, episodic return=2061.291015625\n", + "global step=39657472, episodic return=2028.5970458984375\n", + "global step=39663616, episodic return=2042.564697265625\n", + "global step=39663616, episodic return=193.68060302734375\n", + "global step=39663616, episodic return=1994.323486328125\n", + "global step=39663616, episodic return=1986.7518310546875\n", + "global step=39663616, episodic return=2041.21630859375\n", + "global step=39665664, episodic return=2015.5086669921875\n", + "global step=39665664, episodic return=2042.5819091796875\n", + "global step=39669760, episodic return=1976.024169921875\n", + "global step=39669760, episodic return=2023.7371826171875\n", + "global step=39669760, episodic return=2021.93505859375\n", + "global step=39671808, episodic return=2035.47216796875\n", + "global step=39671808, episodic return=2065.162841796875\n", + "global step=39673856, episodic return=1996.9278564453125\n", + "global step=39673856, episodic return=2076.307861328125\n", + "global step=39675904, episodic return=2019.1470947265625\n", + "global step=39675904, episodic return=2080.9306640625\n", + "global step=39677952, episodic return=2064.7470703125\n", + "global step=39677952, episodic return=2049.743408203125\n", + "global step=39677952, episodic return=2079.95166015625\n", + "global step=39682048, episodic return=1336.730224609375\n", + "global step=39684096, episodic return=2102.1201171875\n", + "global step=39684096, episodic return=1968.4156494140625\n", + "global step=39686144, episodic return=2002.79638671875\n", + "global step=39686144, episodic return=2034.170166015625\n", + "global step=39688192, episodic return=2023.6134033203125\n", + "global step=39690240, episodic return=2013.4552001953125\n", + "global step=39690240, episodic return=1993.0706787109375\n", + "global step=39690240, episodic return=2041.0675048828125\n", + "global step=39692288, episodic return=2045.0040283203125\n", + "global step=39692288, episodic return=2038.33056640625\n", + "global step=39692288, episodic return=1993.750732421875\n", + "global step=39694336, episodic return=1981.425048828125\n", + "global step=39696384, episodic return=2040.03662109375\n", + "global step=39698432, episodic return=2043.3529052734375\n", + "global step=39698432, episodic return=2063.18115234375\n", + "global step=39700480, episodic return=1479.7747802734375\n", + "global step=39702528, episodic return=2068.49267578125\n", + "global step=39706624, episodic return=2039.32666015625\n", + "global step=39708672, episodic return=2040.527587890625\n", + "global step=39710720, episodic return=2001.473388671875\n", + "global step=39710720, episodic return=2032.2099609375\n", + "global step=39712768, episodic return=2113.62646484375\n", + "global step=39714816, episodic return=1161.2957763671875\n", + "global step=39714816, episodic return=1052.19287109375\n", + "global step=39716864, episodic return=2092.292724609375\n", + "global step=39718912, episodic return=2043.1729736328125\n", + "global step=39723008, episodic return=2022.199462890625\n", + "global step=39723008, episodic return=2051.025634765625\n", + "global step=39723008, episodic return=2058.6708984375\n", + "global step=39723008, episodic return=2072.082275390625\n", + "global step=39725056, episodic return=2025.0740966796875\n", + "global step=39725056, episodic return=2032.8013916015625\n", + "global step=39725056, episodic return=1989.94677734375\n", + "global step=39727104, episodic return=1555.599365234375\n", + "global step=39727104, episodic return=2074.947509765625\n", + "global step=39729152, episodic return=2021.9951171875\n", + "global step=39729152, episodic return=2082.81103515625\n", + "global step=39729152, episodic return=2002.7366943359375\n", + "global step=39731200, episodic return=2086.070068359375\n", + "global step=39731200, episodic return=1999.2677001953125\n", + "global step=39733248, episodic return=2065.249267578125\n", + "global step=39733248, episodic return=2026.270263671875\n", + "global step=39733248, episodic return=2068.320556640625\n", + "global step=39735296, episodic return=2044.1566162109375\n", + "global step=39735296, episodic return=1996.4755859375\n", + "global step=39737344, episodic return=2013.7552490234375\n", + "global step=39737344, episodic return=2036.0823974609375\n", + "global step=39737344, episodic return=2060.888427734375\n", + "global step=39745536, episodic return=2009.0997314453125\n", + "global step=39745536, episodic return=2029.490478515625\n", + "global step=39745536, episodic return=2055.104736328125\n", + "global step=39747584, episodic return=2029.7916259765625\n", + "global step=39751680, episodic return=2019.5919189453125\n", + "global step=39751680, episodic return=2011.175537109375\n", + "global step=39753728, episodic return=2049.807861328125\n", + "global step=39753728, episodic return=2078.88916015625\n", + "global step=39755776, episodic return=2020.8612060546875\n", + "global step=39755776, episodic return=2043.714599609375\n", + "global step=39757824, episodic return=1990.5426025390625\n", + "global step=39757824, episodic return=1989.155517578125\n", + "global step=39761920, episodic return=2098.599853515625\n", + "global step=39763968, episodic return=2016.51318359375\n", + "global step=39770112, episodic return=763.195556640625\n", + "global step=39774208, episodic return=2026.68603515625\n", + "global step=39776256, episodic return=2047.7840576171875\n", + "global step=39776256, episodic return=1996.384521484375\n", + "global step=39778304, episodic return=2042.0140380859375\n", + "global step=39778304, episodic return=2053.834228515625\n", + "global step=39780352, episodic return=2059.1328125\n", + "global step=39780352, episodic return=2034.8037109375\n", + "global step=39780352, episodic return=2074.903076171875\n", + "global step=39780352, episodic return=1974.0550537109375\n", + "global step=39780352, episodic return=2048.282958984375\n", + "global step=39780352, episodic return=2058.58642578125\n", + "global step=39782400, episodic return=2048.38427734375\n", + "global step=39782400, episodic return=2054.14892578125\n", + "global step=39786496, episodic return=2059.11474609375\n", + "global step=39788544, episodic return=988.2798461914062\n", + "global step=39790592, episodic return=2003.016845703125\n", + "global step=39790592, episodic return=1132.52587890625\n", + "global step=39792640, episodic return=2101.115966796875\n", + "global step=39792640, episodic return=2035.882568359375\n", + "global step=39794688, episodic return=2010.1591796875\n", + "global step=39794688, episodic return=1776.780517578125\n", + "global step=39794688, episodic return=2049.117919921875\n", + "global step=39796736, episodic return=2016.2911376953125\n", + "global step=39796736, episodic return=2033.5147705078125\n", + "global step=39798784, episodic return=2104.675048828125\n", + "global step=39798784, episodic return=898.6565551757812\n", + "global step=39798784, episodic return=2058.449462890625\n", + "global step=39800832, episodic return=1487.5360107421875\n", + "global step=39802880, episodic return=1416.542724609375\n", + "global step=39802880, episodic return=1274.8363037109375\n", + "global step=39802880, episodic return=1710.87109375\n", + "global step=39802880, episodic return=1845.8985595703125\n", + "global step=39802880, episodic return=2030.96435546875\n", + "global step=39802880, episodic return=687.5441284179688\n", + "global step=39804928, episodic return=2029.1158447265625\n", + "global step=39806976, episodic return=2032.1171875\n", + "global step=39806976, episodic return=1233.9071044921875\n", + "global step=39806976, episodic return=1054.879150390625\n", + "global step=39806976, episodic return=2051.53662109375\n", + "global step=39809024, episodic return=2064.808349609375\n", + "global step=39809024, episodic return=2045.3056640625\n", + "global step=39811072, episodic return=1968.5875244140625\n", + "global step=39811072, episodic return=2013.8143310546875\n", + "global step=39811072, episodic return=1976.7525634765625\n", + "global step=39811072, episodic return=1969.1043701171875\n", + "global step=39815168, episodic return=2015.281982421875\n", + "global step=39815168, episodic return=2014.564453125\n", + "global step=39817216, episodic return=2003.167724609375\n", + "global step=39817216, episodic return=2005.9459228515625\n", + "global step=39817216, episodic return=1607.6859130859375\n", + "global step=39823360, episodic return=865.814697265625\n", + "global step=39823360, episodic return=1996.0018310546875\n", + "global step=39825408, episodic return=1392.49755859375\n", + "global step=39825408, episodic return=1745.720947265625\n", + "global step=39827456, episodic return=1483.148681640625\n", + "global step=39827456, episodic return=2104.415771484375\n", + "global step=39829504, episodic return=2054.274169921875\n", + "global step=39829504, episodic return=2064.542236328125\n", + "global step=39829504, episodic return=2003.928466796875\n", + "global step=39831552, episodic return=2070.4873046875\n", + "global step=39831552, episodic return=2002.769775390625\n", + "global step=39833600, episodic return=2063.126953125\n", + "global step=39833600, episodic return=2113.72705078125\n", + "global step=39833600, episodic return=2035.161376953125\n", + "global step=39835648, episodic return=1313.6534423828125\n", + "global step=39839744, episodic return=1787.0714111328125\n", + "global step=39841792, episodic return=1987.44140625\n", + "global step=39841792, episodic return=2108.8046875\n", + "global step=39841792, episodic return=2075.998291015625\n", + "global step=39843840, episodic return=2011.6258544921875\n", + "global step=39843840, episodic return=2080.267333984375\n", + "global step=39843840, episodic return=2116.134521484375\n", + "global step=39845888, episodic return=2006.2725830078125\n", + "global step=39845888, episodic return=1528.3873291015625\n", + "global step=39845888, episodic return=2020.51806640625\n", + "global step=39845888, episodic return=2056.17138671875\n", + "global step=39847936, episodic return=938.5372924804688\n", + "global step=39847936, episodic return=2006.1988525390625\n", + "global step=39847936, episodic return=1268.9874267578125\n", + "global step=39849984, episodic return=1185.85986328125\n", + "global step=39849984, episodic return=649.9109497070312\n", + "global step=39854080, episodic return=1138.7010498046875\n", + "global step=39854080, episodic return=2046.292236328125\n", + "global step=39854080, episodic return=2026.782470703125\n", + "global step=39854080, episodic return=2066.118408203125\n", + "global step=39854080, episodic return=1899.232666015625\n", + "global step=39854080, episodic return=2057.17041015625\n", + "global step=39856128, episodic return=1998.9173583984375\n", + "global step=39856128, episodic return=2067.93994140625\n", + "global step=39856128, episodic return=2025.6309814453125\n", + "global step=39856128, episodic return=2075.239990234375\n", + "global step=39858176, episodic return=2077.556396484375\n", + "global step=39862272, episodic return=1655.9267578125\n", + "global step=39862272, episodic return=2023.7520751953125\n", + "global step=39862272, episodic return=2106.283203125\n", + "global step=39862272, episodic return=2053.25634765625\n", + "global step=39864320, episodic return=2029.861083984375\n", + "global step=39864320, episodic return=2008.8583984375\n", + "global step=39864320, episodic return=1638.2327880859375\n", + "global step=39864320, episodic return=2042.1165771484375\n", + "global step=39864320, episodic return=2049.246337890625\n", + "global step=39866368, episodic return=2024.5447998046875\n", + "global step=39866368, episodic return=2028.13037109375\n", + "global step=39866368, episodic return=1597.7681884765625\n", + "global step=39868416, episodic return=2034.624267578125\n", + "global step=39868416, episodic return=2117.30224609375\n", + "global step=39868416, episodic return=2048.145751953125\n", + "global step=39868416, episodic return=2038.3236083984375\n", + "global step=39870464, episodic return=2063.9228515625\n", + "global step=39872512, episodic return=1991.31005859375\n", + "global step=39872512, episodic return=1598.3739013671875\n", + "global step=39872512, episodic return=1383.671630859375\n", + "global step=39872512, episodic return=2046.285400390625\n", + "global step=39874560, episodic return=1125.2879638671875\n", + "global step=39874560, episodic return=2011.1041259765625\n", + "global step=39874560, episodic return=1380.260009765625\n", + "global step=39874560, episodic return=2010.3802490234375\n", + "global step=39876608, episodic return=1999.975341796875\n", + "global step=39876608, episodic return=2025.268798828125\n", + "global step=39878656, episodic return=2017.51123046875\n", + "global step=39878656, episodic return=1473.704833984375\n", + "global step=39878656, episodic return=2052.669921875\n", + "global step=39878656, episodic return=2071.474609375\n", + "global step=39880704, episodic return=966.150634765625\n", + "global step=39882752, episodic return=2043.2203369140625\n", + "global step=39882752, episodic return=2068.821044921875\n", + "global step=39882752, episodic return=2091.516357421875\n", + "global step=39884800, episodic return=2086.838134765625\n", + "global step=39884800, episodic return=2059.663818359375\n", + "global step=39886848, episodic return=2105.585693359375\n", + "global step=39886848, episodic return=2038.0321044921875\n", + "global step=39888896, episodic return=1975.8182373046875\n", + "global step=39888896, episodic return=2058.44287109375\n", + "global step=39888896, episodic return=2013.8314208984375\n", + "global step=39888896, episodic return=2053.488037109375\n", + "global step=39888896, episodic return=2004.6988525390625\n", + "global step=39890944, episodic return=2059.195556640625\n", + "global step=39892992, episodic return=1985.181884765625\n", + "global step=39892992, episodic return=2050.6123046875\n", + "global step=39892992, episodic return=1401.35986328125\n", + "global step=39895040, episodic return=2031.5540771484375\n", + "global step=39895040, episodic return=2071.0302734375\n", + "global step=39895040, episodic return=1993.8231201171875\n", + "global step=39897088, episodic return=2027.1494140625\n", + "global step=39897088, episodic return=2085.8037109375\n", + "global step=39897088, episodic return=869.91748046875\n", + "global step=39899136, episodic return=2058.536376953125\n", + "global step=39901184, episodic return=1920.2552490234375\n", + "global step=39901184, episodic return=1247.64794921875\n", + "global step=39901184, episodic return=1375.706787109375\n", + "global step=39903232, episodic return=2051.3759765625\n", + "global step=39903232, episodic return=2041.21875\n", + "global step=39903232, episodic return=2058.61767578125\n", + "global step=39905280, episodic return=2044.7332763671875\n", + "global step=39905280, episodic return=2034.3077392578125\n", + "global step=39907328, episodic return=2039.7301025390625\n", + "global step=39909376, episodic return=2038.1002197265625\n", + "global step=39911424, episodic return=2126.222900390625\n", + "global step=39911424, episodic return=2092.313720703125\n", + "global step=39911424, episodic return=2050.841064453125\n", + "global step=39911424, episodic return=1987.11279296875\n", + "global step=39911424, episodic return=1662.724853515625\n", + "global step=39911424, episodic return=2061.208984375\n", + "global step=39913472, episodic return=2082.80419921875\n", + "global step=39913472, episodic return=2047.417724609375\n", + "global step=39915520, episodic return=2075.08984375\n", + "global step=39915520, episodic return=2072.844970703125\n", + "global step=39915520, episodic return=2061.8916015625\n", + "global step=39917568, episodic return=2013.2481689453125\n", + "global step=39917568, episodic return=2102.586669921875\n", + "global step=39917568, episodic return=2109.107177734375\n", + "global step=39917568, episodic return=1761.9730224609375\n", + "global step=39917568, episodic return=2039.60107421875\n", + "global step=39919616, episodic return=2110.794921875\n", + "global step=39921664, episodic return=2055.291015625\n", + "global step=39921664, episodic return=1471.376220703125\n", + "global step=39923712, episodic return=2042.677978515625\n", + "global step=39923712, episodic return=2010.35107421875\n", + "global step=39923712, episodic return=2067.043701171875\n", + "global step=39925760, episodic return=2031.875244140625\n", + "global step=39925760, episodic return=2067.558837890625\n", + "global step=39927808, episodic return=743.1223754882812\n", + "global step=39927808, episodic return=2033.9639892578125\n", + "global step=39927808, episodic return=2027.9224853515625\n", + "global step=39929856, episodic return=2019.7275390625\n", + "global step=39929856, episodic return=1998.927001953125\n", + "global step=39929856, episodic return=2041.3184814453125\n", + "global step=39931904, episodic return=1950.512451171875\n", + "global step=39931904, episodic return=2044.182373046875\n", + "global step=39931904, episodic return=1645.18603515625\n", + "global step=39931904, episodic return=2045.1156005859375\n", + "global step=39931904, episodic return=2081.248779296875\n", + "global step=39933952, episodic return=2032.325439453125\n", + "global step=39933952, episodic return=619.6904907226562\n", + "global step=39933952, episodic return=2043.8834228515625\n", + "global step=39933952, episodic return=1999.656005859375\n", + "global step=39933952, episodic return=1501.0631103515625\n", + "global step=39936000, episodic return=2118.325927734375\n", + "global step=39936000, episodic return=2067.00048828125\n", + "global step=39938048, episodic return=2081.8515625\n", + "global step=39938048, episodic return=2070.839599609375\n", + "global step=39938048, episodic return=2049.725830078125\n", + "global step=39938048, episodic return=2022.46435546875\n", + "global step=39940096, episodic return=2015.5240478515625\n", + "global step=39940096, episodic return=2102.16845703125\n", + "global step=39944192, episodic return=2043.8529052734375\n", + "global step=39948288, episodic return=2041.6033935546875\n", + "global step=39950336, episodic return=2010.0948486328125\n", + "global step=39950336, episodic return=2022.226318359375\n", + "global step=39952384, episodic return=2085.57666015625\n", + "global step=39952384, episodic return=2083.256103515625\n", + "global step=39952384, episodic return=2073.47998046875\n", + "global step=39952384, episodic return=2061.449951171875\n", + "global step=39954432, episodic return=2121.449951171875\n", + "global step=39956480, episodic return=1974.2900390625\n", + "global step=39956480, episodic return=2024.2901611328125\n", + "global step=39956480, episodic return=2088.50439453125\n", + "global step=39956480, episodic return=2033.5867919921875\n", + "global step=39956480, episodic return=2039.8310546875\n", + "global step=39956480, episodic return=2066.7529296875\n", + "global step=39956480, episodic return=2086.5751953125\n", + "global step=39958528, episodic return=2012.940673828125\n", + "global step=39958528, episodic return=2060.55419921875\n", + "global step=39958528, episodic return=2052.770263671875\n", + "global step=39960576, episodic return=2028.6630859375\n", + "global step=39960576, episodic return=2132.609130859375\n", + "global step=39962624, episodic return=1898.7978515625\n", + "global step=39962624, episodic return=1654.38427734375\n", + "global step=39962624, episodic return=2038.1021728515625\n", + "global step=39964672, episodic return=2066.481689453125\n", + "global step=39966720, episodic return=1269.0240478515625\n", + "global step=39968768, episodic return=2054.8740234375\n", + "global step=39968768, episodic return=2104.691650390625\n", + "global step=39968768, episodic return=2036.623291015625\n", + "global step=39968768, episodic return=2103.624267578125\n", + "global step=39970816, episodic return=2099.4599609375\n", + "global step=39970816, episodic return=1685.322021484375\n", + "global step=39972864, episodic return=2107.829345703125\n", + "global step=39974912, episodic return=2009.323974609375\n", + "global step=39974912, episodic return=1263.225341796875\n", + "global step=39976960, episodic return=1403.977783203125\n", + "global step=39976960, episodic return=2045.241943359375\n", + "global step=39976960, episodic return=2023.1240234375\n", + "global step=39976960, episodic return=2157.718994140625\n", + "global step=39979008, episodic return=1980.309814453125\n", + "global step=39979008, episodic return=2083.89990234375\n", + "global step=39979008, episodic return=2070.56787109375\n", + "global step=39979008, episodic return=1358.736083984375\n", + "global step=39981056, episodic return=2098.568359375\n", + "global step=39981056, episodic return=2062.525634765625\n", + "global step=39981056, episodic return=2090.55712890625\n", + "global step=39981056, episodic return=2011.3045654296875\n", + "global step=39981056, episodic return=2024.739013671875\n", + "global step=39983104, episodic return=2092.123779296875\n", + "global step=39983104, episodic return=2078.38671875\n", + "global step=39985152, episodic return=2072.367431640625\n", + "global step=39985152, episodic return=2055.15234375\n", + "global step=39985152, episodic return=2069.568603515625\n", + "global step=39987200, episodic return=2080.829345703125\n", + "global step=39989248, episodic return=2072.22412109375\n", + "global step=39991296, episodic return=2100.133544921875\n", + "global step=39991296, episodic return=2060.849609375\n", + "global step=39993344, episodic return=1697.9654541015625\n", + "global step=39993344, episodic return=2133.62060546875\n", + "global step=39995392, episodic return=2071.093017578125\n", + "global step=39995392, episodic return=2057.994873046875\n", + "global step=39997440, episodic return=2052.75048828125\n", + "global step=39997440, episodic return=2027.9951171875\n", + "global step=39999488, episodic return=2046.0950927734375\n", + "global step=40001536, episodic return=1984.4010009765625\n", + "global step=40001536, episodic return=2026.71728515625\n", + "global step=40001536, episodic return=2093.218505859375\n", + "global step=40001536, episodic return=1995.3914794921875\n", + "global step=40003584, episodic return=2108.045654296875\n", + "global step=40003584, episodic return=2058.0185546875\n", + "global step=40003584, episodic return=2119.125732421875\n", + "global step=40005632, episodic return=2072.60107421875\n", + "global step=40005632, episodic return=2017.7105712890625\n", + "global step=40007680, episodic return=2094.145263671875\n", + "global step=40007680, episodic return=1763.8028564453125\n", + "global step=40007680, episodic return=1923.2437744140625\n", + "global step=40007680, episodic return=2095.892333984375\n", + "global step=40007680, episodic return=2075.267822265625\n", + "global step=40007680, episodic return=2047.9879150390625\n", + "global step=40007680, episodic return=2034.3931884765625\n", + "global step=40007680, episodic return=1970.0679931640625\n", + "global step=40009728, episodic return=2153.008544921875\n", + "global step=40009728, episodic return=2040.218017578125\n", + "global step=40009728, episodic return=2070.541259765625\n", + "global step=40011776, episodic return=2048.2060546875\n", + "global step=40013824, episodic return=1637.4849853515625\n", + "global step=40013824, episodic return=2126.387939453125\n", + "global step=40015872, episodic return=2097.491455078125\n", + "global step=40015872, episodic return=2104.077392578125\n", + "global step=40015872, episodic return=2061.225830078125\n", + "global step=40017920, episodic return=2098.55517578125\n", + "global step=40017920, episodic return=2050.2958984375\n", + "global step=40017920, episodic return=2064.549560546875\n", + "global step=40017920, episodic return=1975.486572265625\n", + "global step=40017920, episodic return=2046.6309814453125\n", + "global step=40019968, episodic return=1310.6182861328125\n", + "global step=40019968, episodic return=2013.50537109375\n", + "global step=40019968, episodic return=2042.9930419921875\n", + "global step=40019968, episodic return=2038.2822265625\n", + "global step=40022016, episodic return=2084.45654296875\n", + "global step=40022016, episodic return=2038.04296875\n", + "global step=40022016, episodic return=2023.5413818359375\n", + "global step=40022016, episodic return=2028.93701171875\n", + "global step=40024064, episodic return=1167.827392578125\n", + "global step=40024064, episodic return=1497.1693115234375\n", + "global step=40024064, episodic return=2106.15869140625\n", + "global step=40024064, episodic return=1329.94287109375\n", + "global step=40026112, episodic return=2053.545166015625\n", + "global step=40026112, episodic return=2043.0699462890625\n", + "global step=40026112, episodic return=2087.318359375\n", + "global step=40028160, episodic return=2057.301025390625\n", + "global step=40030208, episodic return=2052.189208984375\n", + "global step=40030208, episodic return=2024.2987060546875\n", + "global step=40030208, episodic return=2081.36328125\n", + "global step=40030208, episodic return=2066.0498046875\n", + "global step=40030208, episodic return=2092.503662109375\n", + "global step=40030208, episodic return=2082.6943359375\n", + "global step=40032256, episodic return=2077.49755859375\n", + "global step=40032256, episodic return=2058.4921875\n", + "global step=40032256, episodic return=2164.15087890625\n", + "global step=40032256, episodic return=2058.20263671875\n", + "global step=40034304, episodic return=2071.062255859375\n", + "global step=40034304, episodic return=2116.764892578125\n", + "global step=40034304, episodic return=2109.94677734375\n", + "global step=40036352, episodic return=2082.235107421875\n", + "global step=40036352, episodic return=2050.648193359375\n", + "global step=40036352, episodic return=1359.961669921875\n", + "global step=40038400, episodic return=2106.831787109375\n", + "global step=40038400, episodic return=1537.349365234375\n", + "global step=40038400, episodic return=2040.7574462890625\n", + "global step=40040448, episodic return=2024.9471435546875\n", + "global step=40040448, episodic return=2145.42529296875\n", + "global step=40040448, episodic return=2064.32666015625\n", + "global step=40040448, episodic return=1443.5003662109375\n", + "global step=40040448, episodic return=2057.65673828125\n", + "global step=40040448, episodic return=1454.6934814453125\n", + "global step=40040448, episodic return=2106.549560546875\n", + "global step=40042496, episodic return=2042.34228515625\n", + "global step=40042496, episodic return=2001.2406005859375\n", + "global step=40042496, episodic return=2063.670654296875\n", + "global step=40044544, episodic return=2062.96875\n", + "global step=40046592, episodic return=1903.8353271484375\n", + "global step=40046592, episodic return=2108.20068359375\n", + "global step=40048640, episodic return=2096.570068359375\n", + "global step=40048640, episodic return=2007.3157958984375\n", + "global step=40048640, episodic return=195.32955932617188\n", + "global step=40048640, episodic return=2079.390625\n", + "global step=40048640, episodic return=2051.267822265625\n", + "global step=40048640, episodic return=2095.04248046875\n", + "global step=40048640, episodic return=2070.648193359375\n", + "global step=40048640, episodic return=2084.66650390625\n", + "global step=40052736, episodic return=2109.341796875\n", + "global step=40052736, episodic return=2071.74462890625\n", + "global step=40054784, episodic return=2002.45751953125\n", + "global step=40054784, episodic return=2046.6822509765625\n", + "global step=40054784, episodic return=2069.74072265625\n", + "global step=40054784, episodic return=2079.279052734375\n", + "global step=40056832, episodic return=2034.8465576171875\n", + "global step=40056832, episodic return=1939.781005859375\n", + "global step=40056832, episodic return=1364.6829833984375\n", + "global step=40058880, episodic return=1205.81396484375\n", + "global step=40058880, episodic return=1278.510498046875\n", + "global step=40058880, episodic return=2112.0126953125\n", + "global step=40058880, episodic return=2035.7584228515625\n", + "global step=40058880, episodic return=2069.958984375\n", + "global step=40058880, episodic return=2079.67578125\n", + "global step=40060928, episodic return=2013.8052978515625\n", + "global step=40060928, episodic return=2039.9827880859375\n", + "global step=40060928, episodic return=2074.51904296875\n", + "global step=40060928, episodic return=2103.759521484375\n", + "global step=40062976, episodic return=2009.954833984375\n", + "global step=40065024, episodic return=2014.7984619140625\n", + "global step=40065024, episodic return=2067.360595703125\n", + "global step=40065024, episodic return=2075.77587890625\n", + "global step=40067072, episodic return=2068.625732421875\n", + "global step=40067072, episodic return=2139.21044921875\n", + "global step=40069120, episodic return=2063.31005859375\n", + "global step=40069120, episodic return=2101.847412109375\n", + "global step=40069120, episodic return=1895.6722412109375\n", + "global step=40069120, episodic return=2038.39990234375\n", + "global step=40069120, episodic return=2120.201171875\n", + "global step=40069120, episodic return=2102.008544921875\n", + "global step=40071168, episodic return=2038.5823974609375\n", + "global step=40073216, episodic return=1999.2177734375\n", + "global step=40073216, episodic return=2075.490234375\n", + "global step=40075264, episodic return=2101.621337890625\n", + "global step=40077312, episodic return=2089.071044921875\n", + "global step=40079360, episodic return=2031.5423583984375\n", + "global step=40079360, episodic return=1996.7308349609375\n", + "global step=40079360, episodic return=1884.5736083984375\n", + "global step=40079360, episodic return=2071.977783203125\n", + "global step=40081408, episodic return=2038.1539306640625\n", + "global step=40081408, episodic return=2118.7529296875\n", + "global step=40081408, episodic return=2104.226318359375\n", + "global step=40083456, episodic return=1214.83154296875\n", + "global step=40083456, episodic return=2063.158447265625\n", + "global step=40083456, episodic return=2064.73681640625\n", + "global step=40083456, episodic return=2017.215576171875\n", + "global step=40085504, episodic return=2143.98779296875\n", + "global step=40087552, episodic return=2051.48974609375\n", + "global step=40087552, episodic return=2022.39013671875\n", + "global step=40087552, episodic return=2031.7288818359375\n", + "global step=40089600, episodic return=2058.4580078125\n", + "global step=40089600, episodic return=2082.239013671875\n", + "global step=40089600, episodic return=2131.8369140625\n", + "global step=40089600, episodic return=2047.7493896484375\n", + "global step=40089600, episodic return=1743.4964599609375\n", + "global step=40089600, episodic return=2077.953369140625\n", + "global step=40091648, episodic return=2068.2802734375\n", + "global step=40091648, episodic return=2065.545166015625\n", + "global step=40091648, episodic return=2081.332763671875\n", + "global step=40093696, episodic return=2066.771484375\n", + "global step=40093696, episodic return=2017.7347412109375\n", + "global step=40093696, episodic return=2021.8052978515625\n", + "global step=40093696, episodic return=2066.435302734375\n", + "global step=40093696, episodic return=2078.3623046875\n", + "global step=40093696, episodic return=2083.302490234375\n", + "global step=40095744, episodic return=2063.3544921875\n", + "global step=40095744, episodic return=2130.34423828125\n", + "global step=40095744, episodic return=2081.689697265625\n", + "global step=40099840, episodic return=2072.480712890625\n", + "global step=40099840, episodic return=2077.741943359375\n", + "global step=40099840, episodic return=2050.216552734375\n", + "global step=40101888, episodic return=1965.6131591796875\n", + "global step=40101888, episodic return=1704.2381591796875\n", + "global step=40101888, episodic return=2071.143310546875\n", + "global step=40101888, episodic return=1500.9415283203125\n", + "global step=40101888, episodic return=2054.425537109375\n", + "global step=40103936, episodic return=2083.7294921875\n", + "global step=40103936, episodic return=2073.111083984375\n", + "global step=40105984, episodic return=2057.571533203125\n", + "global step=40105984, episodic return=2087.527099609375\n", + "global step=40105984, episodic return=2049.874755859375\n", + "global step=40105984, episodic return=2033.2330322265625\n", + "global step=40108032, episodic return=2077.334228515625\n", + "global step=40108032, episodic return=2012.0709228515625\n", + "global step=40108032, episodic return=2162.439453125\n", + "global step=40108032, episodic return=2066.510498046875\n", + "global step=40108032, episodic return=2083.65478515625\n", + "global step=40110080, episodic return=2087.136474609375\n", + "global step=40110080, episodic return=2027.92236328125\n", + "global step=40110080, episodic return=2052.484130859375\n", + "global step=40110080, episodic return=2078.77001953125\n", + "global step=40112128, episodic return=2046.2633056640625\n", + "global step=40112128, episodic return=2059.770263671875\n", + "global step=40112128, episodic return=2162.525634765625\n", + "global step=40112128, episodic return=2031.8560791015625\n", + "global step=40112128, episodic return=2097.52880859375\n", + "global step=40114176, episodic return=1094.955810546875\n", + "global step=40114176, episodic return=2086.689697265625\n", + "global step=40114176, episodic return=2036.5428466796875\n", + "global step=40114176, episodic return=2108.360107421875\n", + "global step=40114176, episodic return=2098.157958984375\n", + "global step=40116224, episodic return=2105.392333984375\n", + "global step=40116224, episodic return=1577.8426513671875\n", + "global step=40116224, episodic return=2089.16064453125\n", + "global step=40118272, episodic return=2082.802978515625\n", + "global step=40118272, episodic return=2118.729736328125\n", + "global step=40118272, episodic return=2060.98291015625\n", + "global step=40120320, episodic return=2092.6572265625\n", + "global step=40120320, episodic return=1944.709716796875\n", + "global step=40120320, episodic return=2035.7037353515625\n", + "global step=40120320, episodic return=2109.611328125\n", + "global step=40120320, episodic return=2033.4576416015625\n", + "global step=40120320, episodic return=2083.274658203125\n", + "global step=40122368, episodic return=2089.57470703125\n", + "global step=40122368, episodic return=1917.7657470703125\n", + "global step=40122368, episodic return=2141.572509765625\n", + "global step=40124416, episodic return=2053.361572265625\n", + "global step=40124416, episodic return=2064.44580078125\n", + "global step=40124416, episodic return=1804.7113037109375\n", + "global step=40124416, episodic return=2132.7119140625\n", + "global step=40126464, episodic return=2138.431884765625\n", + "global step=40126464, episodic return=2003.0118408203125\n", + "global step=40126464, episodic return=2061.7001953125\n", + "global step=40126464, episodic return=2107.289794921875\n", + "global step=40126464, episodic return=2124.697265625\n", + "global step=40126464, episodic return=881.3017578125\n", + "global step=40128512, episodic return=1803.9256591796875\n", + "global step=40128512, episodic return=1200.262939453125\n", + "global step=40128512, episodic return=1926.0067138671875\n", + "global step=40128512, episodic return=2098.635009765625\n", + "global step=40128512, episodic return=1700.2142333984375\n", + "global step=40130560, episodic return=2018.1224365234375\n", + "global step=40130560, episodic return=2042.13330078125\n", + "global step=40134656, episodic return=1924.9912109375\n", + "global step=40134656, episodic return=2034.88134765625\n", + "global step=40134656, episodic return=2079.1494140625\n", + "global step=40136704, episodic return=1997.2132568359375\n", + "global step=40136704, episodic return=1584.868408203125\n", + "global step=40136704, episodic return=2111.465087890625\n", + "global step=40138752, episodic return=2108.408935546875\n", + "global step=40138752, episodic return=2081.50830078125\n", + "global step=40138752, episodic return=1825.3155517578125\n", + "global step=40140800, episodic return=2055.934814453125\n", + "global step=40140800, episodic return=2012.7100830078125\n", + "global step=40140800, episodic return=1898.4346923828125\n", + "global step=40142848, episodic return=2106.709716796875\n", + "global step=40142848, episodic return=1654.4075927734375\n", + "global step=40142848, episodic return=2028.1300048828125\n", + "global step=40142848, episodic return=2123.839599609375\n", + "global step=40146944, episodic return=2078.404052734375\n", + "global step=40146944, episodic return=2150.0830078125\n", + "global step=40146944, episodic return=2127.684326171875\n", + "global step=40146944, episodic return=201.45094299316406\n", + "global step=40148992, episodic return=2081.993896484375\n", + "global step=40148992, episodic return=2096.854736328125\n", + "global step=40148992, episodic return=2081.235107421875\n", + "global step=40148992, episodic return=2091.660888671875\n", + "global step=40151040, episodic return=2056.023193359375\n", + "global step=40151040, episodic return=1625.07763671875\n", + "global step=40151040, episodic return=2130.85009765625\n", + "global step=40151040, episodic return=2019.0372314453125\n", + "global step=40153088, episodic return=2115.4462890625\n", + "global step=40153088, episodic return=2050.227294921875\n", + "global step=40153088, episodic return=1187.8818359375\n", + "global step=40153088, episodic return=2117.09228515625\n", + "global step=40153088, episodic return=2076.984375\n", + "global step=40155136, episodic return=2113.7578125\n", + "global step=40157184, episodic return=2073.53857421875\n", + "global step=40157184, episodic return=2024.6947021484375\n", + "global step=40157184, episodic return=2104.242919921875\n", + "global step=40157184, episodic return=2067.8779296875\n", + "global step=40157184, episodic return=2061.646484375\n", + "global step=40159232, episodic return=1955.7459716796875\n", + "global step=40159232, episodic return=753.2797241210938\n", + "global step=40159232, episodic return=2105.307861328125\n", + "global step=40159232, episodic return=2026.7030029296875\n", + "global step=40159232, episodic return=2032.7025146484375\n", + "global step=40161280, episodic return=2085.36767578125\n", + "global step=40161280, episodic return=2058.197998046875\n", + "global step=40161280, episodic return=2045.3878173828125\n", + "global step=40163328, episodic return=2097.749755859375\n", + "global step=40163328, episodic return=2068.282958984375\n", + "global step=40165376, episodic return=1038.95556640625\n", + "global step=40165376, episodic return=234.28855895996094\n", + "global step=40167424, episodic return=1780.5987548828125\n", + "global step=40167424, episodic return=2041.8515625\n", + "global step=40167424, episodic return=2082.92041015625\n", + "global step=40167424, episodic return=2042.13623046875\n", + "global step=40169472, episodic return=2110.581787109375\n", + "global step=40169472, episodic return=2083.741455078125\n", + "global step=40169472, episodic return=2059.78076171875\n", + "global step=40169472, episodic return=2001.7342529296875\n", + "global step=40169472, episodic return=2113.619384765625\n", + "global step=40169472, episodic return=2068.728759765625\n", + "global step=40171520, episodic return=2020.9481201171875\n", + "global step=40171520, episodic return=2049.623046875\n", + "global step=40173568, episodic return=2078.909912109375\n", + "global step=40173568, episodic return=1999.7020263671875\n", + "global step=40173568, episodic return=198.6253662109375\n", + "global step=40173568, episodic return=2071.9140625\n", + "global step=40173568, episodic return=2010.990966796875\n", + "global step=40173568, episodic return=2064.1328125\n", + "global step=40173568, episodic return=2064.077880859375\n", + "global step=40173568, episodic return=2087.965576171875\n", + "global step=40175616, episodic return=2102.91552734375\n", + "global step=40175616, episodic return=2079.3349609375\n", + "global step=40179712, episodic return=1995.77197265625\n", + "global step=40179712, episodic return=2043.4344482421875\n", + "global step=40179712, episodic return=2077.273681640625\n", + "global step=40179712, episodic return=2110.869873046875\n", + "global step=40179712, episodic return=2011.1912841796875\n", + "global step=40181760, episodic return=2106.27734375\n", + "global step=40181760, episodic return=2070.464111328125\n", + "global step=40181760, episodic return=1522.9197998046875\n", + "global step=40183808, episodic return=2096.178955078125\n", + "global step=40183808, episodic return=2105.86474609375\n", + "global step=40183808, episodic return=2050.171142578125\n", + "global step=40185856, episodic return=2096.53662109375\n", + "global step=40185856, episodic return=1740.0382080078125\n", + "global step=40185856, episodic return=2110.2216796875\n", + "global step=40185856, episodic return=2056.622802734375\n", + "global step=40185856, episodic return=1704.595947265625\n", + "global step=40187904, episodic return=2080.6474609375\n", + "global step=40187904, episodic return=2032.0416259765625\n", + "global step=40187904, episodic return=2108.393310546875\n", + "global step=40189952, episodic return=2104.783935546875\n", + "global step=40189952, episodic return=2078.30224609375\n", + "global step=40189952, episodic return=2081.150634765625\n", + "global step=40189952, episodic return=2056.6904296875\n", + "global step=40189952, episodic return=1908.484130859375\n", + "global step=40192000, episodic return=2088.4189453125\n", + "global step=40194048, episodic return=2095.26953125\n", + "global step=40194048, episodic return=2076.271728515625\n", + "global step=40194048, episodic return=2049.336669921875\n", + "global step=40196096, episodic return=2125.581787109375\n", + "global step=40198144, episodic return=2068.411376953125\n", + "global step=40198144, episodic return=2010.3443603515625\n", + "global step=40198144, episodic return=2077.037109375\n", + "global step=40198144, episodic return=2103.7275390625\n", + "global step=40198144, episodic return=2103.455078125\n", + "global step=40198144, episodic return=2125.035400390625\n", + "global step=40200192, episodic return=2076.901123046875\n", + "global step=40200192, episodic return=2091.696533203125\n", + "global step=40200192, episodic return=2082.765380859375\n", + "global step=40200192, episodic return=2115.568359375\n", + "global step=40200192, episodic return=2078.707763671875\n", + "global step=40200192, episodic return=2014.5050048828125\n", + "global step=40200192, episodic return=2020.7740478515625\n", + "global step=40200192, episodic return=2063.52978515625\n", + "global step=40200192, episodic return=2153.702880859375\n", + "global step=40202240, episodic return=2016.1033935546875\n", + "global step=40202240, episodic return=2044.9974365234375\n", + "global step=40202240, episodic return=2147.165283203125\n", + "global step=40202240, episodic return=2074.96142578125\n", + "global step=40202240, episodic return=2025.4691162109375\n", + "global step=40202240, episodic return=2046.9345703125\n", + "global step=40204288, episodic return=2045.424072265625\n", + "global step=40204288, episodic return=2054.77197265625\n", + "global step=40206336, episodic return=2136.93603515625\n", + "global step=40206336, episodic return=2094.605712890625\n", + "global step=40206336, episodic return=2088.090087890625\n", + "global step=40208384, episodic return=2135.952880859375\n", + "global step=40208384, episodic return=1860.14013671875\n", + "global step=40208384, episodic return=2142.30126953125\n", + "global step=40208384, episodic return=2066.598876953125\n", + "global step=40208384, episodic return=1998.75537109375\n", + "global step=40208384, episodic return=2128.39404296875\n", + "global step=40210432, episodic return=2000.0003662109375\n", + "global step=40210432, episodic return=1180.11279296875\n", + "global step=40210432, episodic return=2093.778076171875\n", + "global step=40210432, episodic return=2144.53271484375\n", + "global step=40212480, episodic return=2115.412841796875\n", + "global step=40212480, episodic return=2031.5347900390625\n", + "global step=40212480, episodic return=1296.3126220703125\n", + "global step=40212480, episodic return=1678.495849609375\n", + "global step=40212480, episodic return=2103.902587890625\n", + "global step=40214528, episodic return=2156.8623046875\n", + "global step=40214528, episodic return=2013.2930908203125\n", + "global step=40214528, episodic return=2095.303955078125\n", + "global step=40214528, episodic return=2077.464111328125\n", + "global step=40214528, episodic return=1563.593505859375\n", + "global step=40216576, episodic return=318.4842224121094\n", + "global step=40216576, episodic return=2093.948486328125\n", + "global step=40216576, episodic return=2097.552001953125\n", + "global step=40216576, episodic return=2090.205322265625\n", + "global step=40218624, episodic return=2076.41943359375\n", + "global step=40218624, episodic return=2127.072021484375\n", + "global step=40218624, episodic return=2058.544677734375\n", + "global step=40218624, episodic return=2054.678955078125\n", + "global step=40220672, episodic return=2082.300048828125\n", + "global step=40220672, episodic return=2083.290771484375\n", + "global step=40220672, episodic return=2036.59619140625\n", + "global step=40222720, episodic return=2080.6201171875\n", + "global step=40222720, episodic return=2042.9412841796875\n", + "global step=40224768, episodic return=2027.6986083984375\n", + "global step=40224768, episodic return=2056.6064453125\n", + "global step=40226816, episodic return=2004.7554931640625\n", + "global step=40226816, episodic return=2063.150146484375\n", + "global step=40228864, episodic return=2066.70849609375\n", + "global step=40228864, episodic return=2134.58837890625\n", + "global step=40230912, episodic return=1844.898193359375\n", + "global step=40230912, episodic return=595.14599609375\n", + "global step=40230912, episodic return=2076.62548828125\n", + "global step=40232960, episodic return=562.4451293945312\n", + "global step=40232960, episodic return=2059.524658203125\n", + "global step=40232960, episodic return=1264.350830078125\n", + "global step=40232960, episodic return=1968.0987548828125\n", + "global step=40232960, episodic return=2048.486572265625\n", + "global step=40232960, episodic return=2152.97216796875\n", + "global step=40235008, episodic return=2085.689208984375\n", + "global step=40235008, episodic return=2138.806884765625\n", + "global step=40235008, episodic return=1294.4296875\n", + "global step=40237056, episodic return=2111.989990234375\n", + "global step=40237056, episodic return=140.26681518554688\n", + "global step=40239104, episodic return=2086.146728515625\n", + "global step=40241152, episodic return=2036.6651611328125\n", + "global step=40241152, episodic return=2090.03662109375\n", + "global step=40241152, episodic return=1989.7132568359375\n", + "global step=40243200, episodic return=2125.269287109375\n", + "global step=40243200, episodic return=2072.8505859375\n", + "global step=40243200, episodic return=2015.759033203125\n", + "global step=40245248, episodic return=2017.2325439453125\n", + "global step=40245248, episodic return=2046.484375\n", + "global step=40245248, episodic return=2074.64892578125\n", + "global step=40245248, episodic return=2122.80322265625\n", + "global step=40245248, episodic return=2054.11083984375\n", + "global step=40245248, episodic return=2134.53857421875\n", + "global step=40245248, episodic return=2112.05322265625\n", + "global step=40249344, episodic return=2102.646240234375\n", + "global step=40249344, episodic return=2139.208984375\n", + "global step=40251392, episodic return=2014.2701416015625\n", + "global step=40251392, episodic return=2094.81494140625\n", + "global step=40251392, episodic return=2080.526123046875\n", + "global step=40251392, episodic return=2045.065185546875\n", + "global step=40251392, episodic return=1576.5654296875\n", + "global step=40251392, episodic return=2094.689697265625\n", + "global step=40251392, episodic return=2100.830078125\n", + "global step=40251392, episodic return=2042.883544921875\n", + "global step=40253440, episodic return=1801.5040283203125\n", + "global step=40253440, episodic return=2047.173828125\n", + "global step=40253440, episodic return=2114.790771484375\n", + "global step=40253440, episodic return=2011.166015625\n", + "global step=40253440, episodic return=2152.870849609375\n", + "global step=40253440, episodic return=1875.3656005859375\n", + "global step=40253440, episodic return=2064.912109375\n", + "global step=40253440, episodic return=2119.160400390625\n", + "global step=40255488, episodic return=2108.01416015625\n", + "global step=40255488, episodic return=1749.646728515625\n", + "global step=40255488, episodic return=956.5474853515625\n", + "global step=40257536, episodic return=2015.15576171875\n", + "global step=40257536, episodic return=2084.126708984375\n", + "global step=40257536, episodic return=2077.801513671875\n", + "global step=40257536, episodic return=2098.01953125\n", + "global step=40257536, episodic return=2041.2818603515625\n", + "global step=40259584, episodic return=2094.444091796875\n", + "global step=40259584, episodic return=2143.305908203125\n", + "global step=40259584, episodic return=2083.944580078125\n", + "global step=40259584, episodic return=2133.365234375\n", + "global step=40259584, episodic return=1603.7476806640625\n", + "global step=40259584, episodic return=1798.848388671875\n", + "global step=40261632, episodic return=2130.43701171875\n", + "global step=40261632, episodic return=1969.6468505859375\n", + "global step=40261632, episodic return=2045.4464111328125\n", + "global step=40263680, episodic return=2041.437744140625\n", + "global step=40263680, episodic return=2060.645751953125\n", + "global step=40265728, episodic return=1855.9515380859375\n", + "global step=40265728, episodic return=2102.086669921875\n", + "global step=40265728, episodic return=2114.46630859375\n", + "global step=40265728, episodic return=2059.32861328125\n", + "global step=40267776, episodic return=2035.1842041015625\n", + "global step=40267776, episodic return=2093.8896484375\n", + "global step=40267776, episodic return=2110.91259765625\n", + "global step=40267776, episodic return=2109.646728515625\n", + "global step=40269824, episodic return=2101.40771484375\n", + "global step=40269824, episodic return=2052.04052734375\n", + "global step=40269824, episodic return=2084.325439453125\n", + "global step=40269824, episodic return=2105.020263671875\n", + "global step=40269824, episodic return=2099.359130859375\n", + "global step=40271872, episodic return=2059.74072265625\n", + "global step=40271872, episodic return=2078.3076171875\n", + "global step=40271872, episodic return=2100.476806640625\n", + "global step=40271872, episodic return=2110.90185546875\n", + "global step=40271872, episodic return=2116.94384765625\n", + "global step=40271872, episodic return=2114.585205078125\n", + "global step=40271872, episodic return=2099.430419921875\n", + "global step=40273920, episodic return=2167.944091796875\n", + "global step=40273920, episodic return=2112.179443359375\n", + "global step=40273920, episodic return=2087.9453125\n", + "global step=40273920, episodic return=1713.891357421875\n", + "global step=40273920, episodic return=2075.6982421875\n", + "global step=40275968, episodic return=2112.92578125\n", + "global step=40275968, episodic return=2061.415283203125\n", + "global step=40275968, episodic return=2085.771728515625\n", + "global step=40275968, episodic return=2140.80859375\n", + "global step=40275968, episodic return=2067.30078125\n", + "global step=40278016, episodic return=191.0930633544922\n", + "global step=40278016, episodic return=491.9551086425781\n", + "global step=40278016, episodic return=1894.54052734375\n", + "global step=40280064, episodic return=2098.173583984375\n", + "global step=40280064, episodic return=2131.130615234375\n", + "global step=40280064, episodic return=2056.114013671875\n", + "global step=40282112, episodic return=2107.25341796875\n", + "global step=40282112, episodic return=2146.605712890625\n", + "global step=40282112, episodic return=2136.236083984375\n", + "global step=40282112, episodic return=2078.187744140625\n", + "global step=40282112, episodic return=2072.81005859375\n", + "global step=40284160, episodic return=1953.6959228515625\n", + "global step=40284160, episodic return=2097.58544921875\n", + "global step=40286208, episodic return=2112.13818359375\n", + "global step=40286208, episodic return=2036.94189453125\n", + "global step=40286208, episodic return=2113.327392578125\n", + "global step=40288256, episodic return=2085.912841796875\n", + "global step=40288256, episodic return=2045.59521484375\n", + "global step=40290304, episodic return=2108.10107421875\n", + "global step=40290304, episodic return=2016.82568359375\n", + "global step=40290304, episodic return=1768.6217041015625\n", + "global step=40290304, episodic return=2097.017822265625\n", + "global step=40290304, episodic return=2024.208984375\n", + "global step=40292352, episodic return=2067.186279296875\n", + "global step=40292352, episodic return=2086.52197265625\n", + "global step=40292352, episodic return=2129.35986328125\n", + "global step=40294400, episodic return=2027.9891357421875\n", + "global step=40294400, episodic return=2108.769287109375\n", + "global step=40294400, episodic return=2102.701416015625\n", + "global step=40294400, episodic return=2047.644775390625\n", + "global step=40294400, episodic return=1670.6043701171875\n", + "global step=40296448, episodic return=2026.5814208984375\n", + "global step=40296448, episodic return=2107.610595703125\n", + "global step=40296448, episodic return=2130.812744140625\n", + "global step=40298496, episodic return=2135.154541015625\n", + "global step=40298496, episodic return=1837.0770263671875\n", + "global step=40298496, episodic return=2119.1201171875\n", + "global step=40298496, episodic return=2106.8466796875\n", + "global step=40300544, episodic return=2119.677490234375\n", + "global step=40300544, episodic return=2108.944580078125\n", + "global step=40300544, episodic return=1220.5677490234375\n", + "global step=40300544, episodic return=2100.0888671875\n", + "global step=40302592, episodic return=2049.12939453125\n", + "global step=40302592, episodic return=2072.13720703125\n", + "global step=40302592, episodic return=2116.011962890625\n", + "global step=40302592, episodic return=2074.785400390625\n", + "global step=40302592, episodic return=2120.35693359375\n", + "global step=40302592, episodic return=2114.207763671875\n", + "global step=40304640, episodic return=1673.685791015625\n", + "global step=40304640, episodic return=1900.0679931640625\n", + "global step=40304640, episodic return=2089.62109375\n", + "global step=40306688, episodic return=2110.030517578125\n", + "global step=40306688, episodic return=2118.510009765625\n", + "global step=40308736, episodic return=2123.618896484375\n", + "global step=40308736, episodic return=2105.425048828125\n", + "global step=40308736, episodic return=2052.493896484375\n", + "global step=40310784, episodic return=2111.528564453125\n", + "global step=40310784, episodic return=2078.4892578125\n", + "global step=40310784, episodic return=2067.513916015625\n", + "global step=40312832, episodic return=2047.367919921875\n", + "global step=40312832, episodic return=2146.637451171875\n", + "global step=40312832, episodic return=1970.4075927734375\n", + "global step=40314880, episodic return=2059.88818359375\n", + "global step=40314880, episodic return=2067.9130859375\n", + "global step=40314880, episodic return=2130.437744140625\n", + "global step=40318976, episodic return=2023.2373046875\n", + "global step=40318976, episodic return=1914.67431640625\n", + "global step=40318976, episodic return=2133.796142578125\n", + "global step=40318976, episodic return=2062.606201171875\n", + "global step=40321024, episodic return=1480.7308349609375\n", + "global step=40323072, episodic return=2077.20703125\n", + "global step=40323072, episodic return=2092.82958984375\n", + "global step=40323072, episodic return=2118.662353515625\n", + "global step=40323072, episodic return=2140.82568359375\n", + "global step=40325120, episodic return=2076.86279296875\n", + "global step=40325120, episodic return=1854.7945556640625\n", + "global step=40325120, episodic return=2119.401611328125\n", + "global step=40325120, episodic return=2021.2818603515625\n", + "global step=40325120, episodic return=1625.958984375\n", + "global step=40325120, episodic return=1719.4208984375\n", + "global step=40327168, episodic return=1810.073486328125\n", + "global step=40327168, episodic return=2116.87744140625\n", + "global step=40329216, episodic return=2035.732421875\n", + "global step=40329216, episodic return=2088.221435546875\n", + "global step=40329216, episodic return=2122.229248046875\n", + "global step=40329216, episodic return=2151.126953125\n", + "global step=40331264, episodic return=2155.879638671875\n", + "global step=40331264, episodic return=1798.6429443359375\n", + "global step=40331264, episodic return=2074.601318359375\n", + "global step=40331264, episodic return=2077.06689453125\n", + "global step=40331264, episodic return=1886.3095703125\n", + "global step=40333312, episodic return=2110.4169921875\n", + "global step=40335360, episodic return=2092.66259765625\n", + "global step=40335360, episodic return=2095.571044921875\n", + "global step=40335360, episodic return=2048.841796875\n", + "global step=40337408, episodic return=2124.161376953125\n", + "global step=40337408, episodic return=2078.279541015625\n", + "global step=40337408, episodic return=2102.29345703125\n", + "global step=40337408, episodic return=2058.161376953125\n", + "global step=40337408, episodic return=1890.6505126953125\n", + "global step=40339456, episodic return=2093.568359375\n", + "global step=40339456, episodic return=2116.029052734375\n", + "global step=40341504, episodic return=1772.660888671875\n", + "global step=40341504, episodic return=1563.1510009765625\n", + "global step=40343552, episodic return=2043.457275390625\n", + "global step=40343552, episodic return=498.50732421875\n", + "global step=40343552, episodic return=2173.668701171875\n", + "global step=40345600, episodic return=2128.35302734375\n", + "global step=40349696, episodic return=2136.19189453125\n", + "global step=40349696, episodic return=2128.028564453125\n", + "global step=40349696, episodic return=2120.937255859375\n", + "global step=40349696, episodic return=2085.091552734375\n", + "global step=40349696, episodic return=2139.01171875\n", + "global step=40351744, episodic return=2082.885009765625\n", + "global step=40351744, episodic return=2140.6015625\n", + "global step=40351744, episodic return=2122.080078125\n", + "global step=40353792, episodic return=2171.30810546875\n", + "global step=40353792, episodic return=2147.8515625\n", + "global step=40355840, episodic return=2136.488525390625\n", + "global step=40355840, episodic return=1761.404296875\n", + "global step=40355840, episodic return=2050.992919921875\n", + "global step=40357888, episodic return=2069.970458984375\n", + "global step=40357888, episodic return=2126.43212890625\n", + "global step=40359936, episodic return=2072.39306640625\n", + "global step=40359936, episodic return=2130.846923828125\n", + "global step=40359936, episodic return=2056.406982421875\n", + "global step=40361984, episodic return=2120.594482421875\n", + "global step=40361984, episodic return=2107.3759765625\n", + "global step=40364032, episodic return=1591.8739013671875\n", + "global step=40368128, episodic return=2114.128173828125\n", + "global step=40368128, episodic return=1914.4334716796875\n", + "global step=40370176, episodic return=2092.01806640625\n", + "global step=40370176, episodic return=2126.8798828125\n", + "global step=40370176, episodic return=2106.185302734375\n", + "global step=40372224, episodic return=2057.176513671875\n", + "global step=40372224, episodic return=2051.185791015625\n", + "global step=40372224, episodic return=2179.086669921875\n", + "global step=40372224, episodic return=2139.605712890625\n", + "global step=40372224, episodic return=2049.61865234375\n", + "global step=40374272, episodic return=2033.5908203125\n", + "global step=40374272, episodic return=1065.586181640625\n", + "global step=40376320, episodic return=2067.0458984375\n", + "global step=40376320, episodic return=2075.99267578125\n", + "global step=40378368, episodic return=2099.322021484375\n", + "global step=40378368, episodic return=2098.822265625\n", + "global step=40378368, episodic return=1491.658203125\n", + "global step=40378368, episodic return=2102.65380859375\n", + "global step=40378368, episodic return=1997.946044921875\n", + "global step=40378368, episodic return=2081.45166015625\n", + "global step=40380416, episodic return=2000.10888671875\n", + "global step=40380416, episodic return=2031.9378662109375\n", + "global step=40382464, episodic return=1070.2733154296875\n", + "global step=40382464, episodic return=2151.7138671875\n", + "global step=40382464, episodic return=2073.482421875\n", + "global step=40382464, episodic return=2045.1192626953125\n", + "global step=40384512, episodic return=1920.2772216796875\n", + "global step=40384512, episodic return=2117.7294921875\n", + "global step=40386560, episodic return=2140.104736328125\n", + "global step=40386560, episodic return=2065.525634765625\n", + "global step=40386560, episodic return=2105.6220703125\n", + "global step=40388608, episodic return=2103.28564453125\n", + "global step=40388608, episodic return=1459.0667724609375\n", + "global step=40388608, episodic return=1866.185302734375\n", + "global step=40388608, episodic return=2134.8095703125\n", + "global step=40390656, episodic return=1828.8553466796875\n", + "global step=40390656, episodic return=2097.544921875\n", + "global step=40392704, episodic return=2054.55322265625\n", + "global step=40392704, episodic return=1973.1156005859375\n", + "global step=40392704, episodic return=2060.88623046875\n", + "global step=40392704, episodic return=1918.69921875\n", + "global step=40392704, episodic return=2122.060546875\n", + "global step=40392704, episodic return=2122.4658203125\n", + "global step=40392704, episodic return=2096.365234375\n", + "global step=40392704, episodic return=2035.837890625\n", + "global step=40394752, episodic return=2162.34033203125\n", + "global step=40394752, episodic return=2075.952880859375\n", + "global step=40396800, episodic return=2126.57861328125\n", + "global step=40396800, episodic return=1822.7774658203125\n", + "global step=40398848, episodic return=1624.8033447265625\n", + "global step=40398848, episodic return=2025.7230224609375\n", + "global step=40398848, episodic return=2124.78271484375\n", + "global step=40398848, episodic return=1990.4161376953125\n", + "global step=40400896, episodic return=2083.617919921875\n", + "global step=40400896, episodic return=2113.6171875\n", + "global step=40400896, episodic return=2093.039794921875\n", + "global step=40402944, episodic return=2114.056396484375\n", + "global step=40402944, episodic return=2012.760498046875\n", + "global step=40402944, episodic return=2147.158447265625\n", + "global step=40402944, episodic return=2125.844970703125\n", + "global step=40402944, episodic return=1068.4261474609375\n", + "global step=40404992, episodic return=2099.96484375\n", + "global step=40407040, episodic return=2131.16064453125\n", + "global step=40407040, episodic return=2049.943359375\n", + "global step=40409088, episodic return=2162.00390625\n", + "global step=40411136, episodic return=2121.50830078125\n", + "global step=40411136, episodic return=2056.24072265625\n", + "global step=40411136, episodic return=2106.831298828125\n", + "global step=40413184, episodic return=2036.268798828125\n", + "global step=40413184, episodic return=2150.2626953125\n", + "global step=40415232, episodic return=2139.1162109375\n", + "global step=40415232, episodic return=2030.4500732421875\n", + "global step=40415232, episodic return=2140.125244140625\n", + "global step=40415232, episodic return=2118.914306640625\n", + "global step=40417280, episodic return=2147.64453125\n", + "global step=40417280, episodic return=2080.6005859375\n", + "global step=40417280, episodic return=2112.04296875\n", + "global step=40419328, episodic return=2059.86181640625\n", + "global step=40421376, episodic return=2135.78173828125\n", + "global step=40421376, episodic return=2141.2138671875\n", + "global step=40423424, episodic return=2114.581298828125\n", + "global step=40423424, episodic return=2130.897216796875\n", + "global step=40423424, episodic return=2094.222412109375\n", + "global step=40425472, episodic return=2056.818359375\n", + "global step=40425472, episodic return=1888.72705078125\n", + "global step=40425472, episodic return=2026.89306640625\n", + "global step=40427520, episodic return=642.6007690429688\n", + "global step=40427520, episodic return=1951.6260986328125\n", + "global step=40429568, episodic return=2072.18408203125\n", + "global step=40431616, episodic return=2072.397216796875\n", + "global step=40431616, episodic return=2095.82470703125\n", + "global step=40433664, episodic return=2038.352294921875\n", + "global step=40433664, episodic return=2071.8125\n", + "global step=40433664, episodic return=2101.26171875\n", + "global step=40433664, episodic return=2106.757568359375\n", + "global step=40433664, episodic return=2080.787841796875\n", + "global step=40433664, episodic return=2092.153564453125\n", + "global step=40433664, episodic return=2111.79150390625\n", + "global step=40435712, episodic return=2093.8330078125\n", + "global step=40435712, episodic return=1715.7598876953125\n", + "global step=40435712, episodic return=1838.6746826171875\n", + "global step=40437760, episodic return=2128.349609375\n", + "global step=40437760, episodic return=2036.4385986328125\n", + "global step=40439808, episodic return=2139.071044921875\n", + "global step=40441856, episodic return=2117.26171875\n", + "global step=40441856, episodic return=2067.291259765625\n", + "global step=40441856, episodic return=2122.669921875\n", + "global step=40443904, episodic return=2077.74169921875\n", + "global step=40443904, episodic return=2009.559326171875\n", + "global step=40443904, episodic return=691.1981201171875\n", + "global step=40443904, episodic return=2149.7421875\n", + "global step=40445952, episodic return=2132.414306640625\n", + "global step=40445952, episodic return=1871.10595703125\n", + "global step=40445952, episodic return=2064.27294921875\n", + "global step=40450048, episodic return=2151.4931640625\n", + "global step=40450048, episodic return=2156.518310546875\n", + "global step=40450048, episodic return=2180.369873046875\n", + "global step=40450048, episodic return=2141.388427734375\n", + "global step=40452096, episodic return=2140.8173828125\n", + "global step=40452096, episodic return=1327.0157470703125\n", + "global step=40452096, episodic return=1847.9134521484375\n", + "global step=40452096, episodic return=2103.048828125\n", + "global step=40454144, episodic return=1886.336181640625\n", + "global step=40454144, episodic return=1237.8206787109375\n", + "global step=40454144, episodic return=2078.205810546875\n", + "global step=40456192, episodic return=2145.77392578125\n", + "global step=40456192, episodic return=2037.290771484375\n", + "global step=40456192, episodic return=2083.8427734375\n", + "global step=40458240, episodic return=2147.49609375\n", + "global step=40458240, episodic return=1727.6053466796875\n", + "global step=40458240, episodic return=2136.68994140625\n", + "global step=40460288, episodic return=2081.783935546875\n", + "global step=40460288, episodic return=2113.9365234375\n", + "global step=40460288, episodic return=2087.580078125\n", + "global step=40462336, episodic return=2132.112548828125\n", + "global step=40464384, episodic return=2039.419189453125\n", + "global step=40466432, episodic return=2139.87158203125\n", + "global step=40468480, episodic return=2018.8599853515625\n", + "global step=40472576, episodic return=2022.7781982421875\n", + "global step=40472576, episodic return=2000.8502197265625\n", + "global step=40472576, episodic return=2132.9150390625\n", + "global step=40472576, episodic return=1485.5345458984375\n", + "global step=40472576, episodic return=1729.8265380859375\n", + "global step=40476672, episodic return=2144.46337890625\n", + "global step=40476672, episodic return=2143.93798828125\n", + "global step=40476672, episodic return=135.69314575195312\n", + "global step=40476672, episodic return=2010.1700439453125\n", + "global step=40476672, episodic return=2050.11279296875\n", + "global step=40476672, episodic return=1927.4681396484375\n", + "global step=40476672, episodic return=2182.274658203125\n", + "global step=40476672, episodic return=2060.536865234375\n", + "global step=40478720, episodic return=1566.955322265625\n", + "global step=40482816, episodic return=2082.7626953125\n", + "global step=40482816, episodic return=1184.960693359375\n", + "global step=40482816, episodic return=2135.310791015625\n", + "global step=40482816, episodic return=2143.07470703125\n", + "global step=40484864, episodic return=2129.630615234375\n", + "global step=40486912, episodic return=2090.979248046875\n", + "global step=40488960, episodic return=2135.4052734375\n", + "global step=40493056, episodic return=2096.900634765625\n", + "global step=40493056, episodic return=2176.4345703125\n", + "global step=40493056, episodic return=2094.23291015625\n", + "global step=40493056, episodic return=1822.029541015625\n", + "global step=40495104, episodic return=2064.700439453125\n", + "global step=40495104, episodic return=2141.708984375\n", + "global step=40495104, episodic return=2140.36572265625\n", + "global step=40497152, episodic return=2071.9541015625\n", + "global step=40497152, episodic return=1800.249267578125\n", + "global step=40497152, episodic return=2043.2734375\n", + "global step=40499200, episodic return=2151.255859375\n", + "global step=40499200, episodic return=2078.2763671875\n", + "global step=40501248, episodic return=426.5699768066406\n", + "global step=40501248, episodic return=1876.3232421875\n", + "global step=40501248, episodic return=2121.365234375\n", + "global step=40503296, episodic return=2130.15185546875\n", + "global step=40503296, episodic return=2136.1474609375\n", + "global step=40505344, episodic return=1817.0955810546875\n", + "global step=40505344, episodic return=2144.06298828125\n", + "global step=40509440, episodic return=2138.57470703125\n", + "global step=40511488, episodic return=2174.358642578125\n", + "global step=40511488, episodic return=2074.71533203125\n", + "global step=40511488, episodic return=2124.70263671875\n", + "global step=40513536, episodic return=2097.432861328125\n", + "global step=40513536, episodic return=2127.240234375\n", + "global step=40513536, episodic return=2034.72509765625\n", + "global step=40513536, episodic return=2138.25732421875\n", + "global step=40513536, episodic return=1899.4005126953125\n", + "global step=40515584, episodic return=2114.226318359375\n", + "global step=40515584, episodic return=732.9630737304688\n", + "global step=40517632, episodic return=2126.494384765625\n", + "global step=40517632, episodic return=2128.627197265625\n", + "global step=40519680, episodic return=2123.87939453125\n", + "global step=40519680, episodic return=2093.734130859375\n", + "global step=40519680, episodic return=1802.4027099609375\n", + "global step=40519680, episodic return=2109.274169921875\n", + "global step=40519680, episodic return=1956.7344970703125\n", + "global step=40521728, episodic return=2197.6044921875\n", + "global step=40521728, episodic return=2116.554443359375\n", + "global step=40523776, episodic return=2079.307373046875\n", + "global step=40523776, episodic return=2136.09375\n", + "global step=40523776, episodic return=2096.264404296875\n", + "global step=40525824, episodic return=2122.57568359375\n", + "global step=40525824, episodic return=2102.492919921875\n", + "global step=40525824, episodic return=2150.45166015625\n", + "global step=40525824, episodic return=2107.949951171875\n", + "global step=40527872, episodic return=2146.93408203125\n", + "global step=40527872, episodic return=2164.591796875\n", + "global step=40529920, episodic return=2124.710205078125\n", + "global step=40529920, episodic return=2005.650146484375\n", + "global step=40529920, episodic return=2094.760986328125\n", + "global step=40531968, episodic return=2116.976318359375\n", + "global step=40531968, episodic return=2159.179443359375\n", + "global step=40531968, episodic return=1479.131103515625\n", + "global step=40531968, episodic return=1897.057373046875\n", + "global step=40531968, episodic return=2113.536865234375\n", + "global step=40534016, episodic return=2170.599853515625\n", + "global step=40534016, episodic return=2134.65087890625\n", + "global step=40536064, episodic return=2152.537841796875\n", + "global step=40538112, episodic return=2068.01123046875\n", + "global step=40538112, episodic return=2113.4697265625\n", + "global step=40540160, episodic return=2141.3955078125\n", + "global step=40542208, episodic return=2157.61083984375\n", + "global step=40542208, episodic return=2112.6123046875\n", + "global step=40546304, episodic return=2149.225341796875\n", + "global step=40546304, episodic return=2135.882568359375\n", + "global step=40546304, episodic return=2181.225830078125\n", + "global step=40546304, episodic return=2113.626220703125\n", + "global step=40546304, episodic return=2163.488525390625\n", + "global step=40548352, episodic return=2113.776611328125\n", + "global step=40548352, episodic return=2169.34765625\n", + "global step=40548352, episodic return=2100.37890625\n", + "global step=40548352, episodic return=2127.296630859375\n", + "global step=40550400, episodic return=1670.72021484375\n", + "global step=40550400, episodic return=861.4393920898438\n", + "global step=40552448, episodic return=2151.97998046875\n", + "global step=40552448, episodic return=2128.01171875\n", + "global step=40552448, episodic return=2156.772216796875\n", + "global step=40554496, episodic return=2076.91748046875\n", + "global step=40554496, episodic return=2141.64013671875\n", + "global step=40554496, episodic return=2085.49755859375\n", + "global step=40554496, episodic return=2153.765625\n", + "global step=40554496, episodic return=2146.88720703125\n", + "global step=40558592, episodic return=2103.319091796875\n", + "global step=40558592, episodic return=2122.088134765625\n", + "global step=40558592, episodic return=2163.92578125\n", + "global step=40560640, episodic return=2129.75634765625\n", + "global step=40560640, episodic return=1951.781494140625\n", + "global step=40560640, episodic return=2125.314697265625\n", + "global step=40562688, episodic return=1809.6514892578125\n", + "global step=40562688, episodic return=2096.815673828125\n", + "global step=40562688, episodic return=624.566650390625\n", + "global step=40562688, episodic return=2152.916015625\n", + "global step=40562688, episodic return=1955.838623046875\n", + "global step=40564736, episodic return=1922.1705322265625\n", + "global step=40564736, episodic return=2116.093994140625\n", + "global step=40566784, episodic return=2103.79345703125\n", + "global step=40566784, episodic return=2046.32421875\n", + "global step=40568832, episodic return=2146.049560546875\n", + "global step=40568832, episodic return=2175.087890625\n", + "global step=40568832, episodic return=2149.45849609375\n", + "global step=40570880, episodic return=2135.573486328125\n", + "global step=40570880, episodic return=2086.959228515625\n", + "global step=40570880, episodic return=1929.2061767578125\n", + "global step=40570880, episodic return=2137.963134765625\n", + "global step=40572928, episodic return=2165.7421875\n", + "global step=40572928, episodic return=2140.3056640625\n", + "global step=40574976, episodic return=1105.415771484375\n", + "global step=40574976, episodic return=2139.057861328125\n", + "global step=40577024, episodic return=1852.0855712890625\n", + "global step=40577024, episodic return=2102.8564453125\n", + "global step=40577024, episodic return=2171.056884765625\n", + "global step=40579072, episodic return=2180.114013671875\n", + "global step=40579072, episodic return=1432.5966796875\n", + "global step=40579072, episodic return=2162.600830078125\n", + "global step=40579072, episodic return=2137.567138671875\n", + "global step=40581120, episodic return=2136.179931640625\n", + "global step=40581120, episodic return=1648.4580078125\n", + "global step=40581120, episodic return=2120.881103515625\n", + "global step=40581120, episodic return=2126.807861328125\n", + "global step=40583168, episodic return=2143.306640625\n", + "global step=40583168, episodic return=2107.159423828125\n", + "global step=40583168, episodic return=1011.720703125\n", + "global step=40583168, episodic return=2155.52099609375\n", + "global step=40585216, episodic return=2141.33544921875\n", + "global step=40585216, episodic return=2176.266845703125\n", + "global step=40585216, episodic return=2167.927001953125\n", + "global step=40585216, episodic return=2112.9833984375\n", + "global step=40589312, episodic return=2138.633056640625\n", + "global step=40589312, episodic return=1515.0523681640625\n", + "global step=40591360, episodic return=2136.667724609375\n", + "global step=40591360, episodic return=2130.26513671875\n", + "global step=40593408, episodic return=2120.864990234375\n", + "global step=40595456, episodic return=2165.232666015625\n", + "global step=40595456, episodic return=2149.832763671875\n", + "global step=40597504, episodic return=2125.081787109375\n", + "global step=40597504, episodic return=2120.13232421875\n", + "global step=40599552, episodic return=1992.1619873046875\n", + "global step=40601600, episodic return=2171.558837890625\n", + "global step=40601600, episodic return=2160.91162109375\n", + "global step=40601600, episodic return=2115.67431640625\n", + "global step=40601600, episodic return=2129.618408203125\n", + "global step=40601600, episodic return=2132.085205078125\n", + "global step=40603648, episodic return=2150.396240234375\n", + "global step=40603648, episodic return=2143.109375\n", + "global step=40603648, episodic return=2147.014892578125\n", + "global step=40603648, episodic return=2135.139404296875\n", + "global step=40605696, episodic return=2102.8310546875\n", + "global step=40605696, episodic return=2109.942138671875\n", + "global step=40605696, episodic return=2133.8984375\n", + "global step=40607744, episodic return=2094.07470703125\n", + "global step=40607744, episodic return=2059.662841796875\n", + "global step=40607744, episodic return=2135.4560546875\n", + "global step=40609792, episodic return=2162.854736328125\n", + "global step=40609792, episodic return=2105.4296875\n", + "global step=40609792, episodic return=2084.53857421875\n", + "global step=40609792, episodic return=1709.9669189453125\n", + "global step=40609792, episodic return=2146.126220703125\n", + "global step=40615936, episodic return=2180.94482421875\n", + "global step=40615936, episodic return=2113.732177734375\n", + "global step=40617984, episodic return=2121.3388671875\n", + "global step=40617984, episodic return=2138.17041015625\n", + "global step=40617984, episodic return=2090.690673828125\n", + "global step=40617984, episodic return=1793.7496337890625\n", + "global step=40617984, episodic return=2176.37060546875\n", + "global step=40620032, episodic return=2157.964599609375\n", + "global step=40620032, episodic return=2115.287109375\n", + "global step=40622080, episodic return=1386.7027587890625\n", + "global step=40622080, episodic return=725.9384765625\n", + "global step=40624128, episodic return=2157.60986328125\n", + "global step=40624128, episodic return=2102.817138671875\n", + "global step=40626176, episodic return=2076.824462890625\n", + "global step=40628224, episodic return=1996.681884765625\n", + "global step=40628224, episodic return=2167.304443359375\n", + "global step=40628224, episodic return=1973.44091796875\n", + "global step=40630272, episodic return=2131.409423828125\n", + "global step=40630272, episodic return=2059.32861328125\n", + "global step=40632320, episodic return=2153.993896484375\n", + "global step=40632320, episodic return=2083.807373046875\n", + "global step=40634368, episodic return=2192.095703125\n", + "global step=40636416, episodic return=2132.085205078125\n", + "global step=40638464, episodic return=2116.29345703125\n", + "global step=40638464, episodic return=1996.1064453125\n", + "global step=40638464, episodic return=1801.4671630859375\n", + "global step=40640512, episodic return=2157.33251953125\n", + "global step=40642560, episodic return=2150.14404296875\n", + "global step=40642560, episodic return=2174.51416015625\n", + "global step=40642560, episodic return=1623.572265625\n", + "global step=40642560, episodic return=2181.62939453125\n", + "global step=40644608, episodic return=2109.663818359375\n", + "global step=40644608, episodic return=2161.22705078125\n", + "global step=40644608, episodic return=2146.17236328125\n", + "global step=40646656, episodic return=2089.861083984375\n", + "global step=40646656, episodic return=2124.17236328125\n", + "global step=40646656, episodic return=2183.790771484375\n", + "global step=40646656, episodic return=2144.72021484375\n", + "global step=40650752, episodic return=2168.5859375\n", + "global step=40652800, episodic return=2161.78515625\n", + "global step=40652800, episodic return=2140.560546875\n", + "global step=40654848, episodic return=1889.4315185546875\n", + "global step=40654848, episodic return=2171.34423828125\n", + "global step=40654848, episodic return=2175.376708984375\n", + "global step=40654848, episodic return=2185.44482421875\n", + "global step=40654848, episodic return=1985.2857666015625\n", + "global step=40656896, episodic return=2188.5498046875\n", + "global step=40658944, episodic return=2176.644287109375\n", + "global step=40658944, episodic return=2156.428466796875\n", + "global step=40658944, episodic return=137.38177490234375\n", + "global step=40658944, episodic return=2062.053955078125\n", + "global step=40658944, episodic return=2140.27099609375\n", + "global step=40658944, episodic return=1940.791015625\n", + "global step=40660992, episodic return=2155.89501953125\n", + "global step=40660992, episodic return=630.5097045898438\n", + "global step=40663040, episodic return=2103.349853515625\n", + "global step=40663040, episodic return=2169.19873046875\n", + "global step=40663040, episodic return=872.552490234375\n", + "global step=40663040, episodic return=2159.8466796875\n", + "global step=40663040, episodic return=1573.3868408203125\n", + "global step=40663040, episodic return=1776.3402099609375\n", + "global step=40667136, episodic return=2133.858154296875\n", + "global step=40669184, episodic return=2084.5859375\n", + "global step=40671232, episodic return=2089.672607421875\n", + "global step=40671232, episodic return=2108.337890625\n", + "global step=40671232, episodic return=2177.392822265625\n", + "global step=40675328, episodic return=2048.789794921875\n", + "global step=40675328, episodic return=878.7409057617188\n", + "global step=40677376, episodic return=2130.21728515625\n", + "global step=40677376, episodic return=2179.62158203125\n", + "global step=40679424, episodic return=2102.061279296875\n", + "global step=40681472, episodic return=2169.462158203125\n", + "global step=40681472, episodic return=958.1447143554688\n", + "global step=40681472, episodic return=2037.081298828125\n", + "global step=40681472, episodic return=1890.604248046875\n", + "global step=40681472, episodic return=2141.00048828125\n", + "global step=40681472, episodic return=203.27053833007812\n", + "global step=40685568, episodic return=2213.90673828125\n", + "global step=40685568, episodic return=2182.18359375\n", + "global step=40687616, episodic return=2111.46484375\n", + "global step=40687616, episodic return=590.7896728515625\n", + "global step=40689664, episodic return=2178.48291015625\n", + "global step=40689664, episodic return=2176.307861328125\n", + "global step=40689664, episodic return=2172.344482421875\n", + "global step=40689664, episodic return=1980.3431396484375\n", + "global step=40691712, episodic return=2179.56689453125\n", + "global step=40693760, episodic return=2158.95458984375\n", + "global step=40693760, episodic return=2189.590576171875\n", + "global step=40693760, episodic return=2133.38134765625\n", + "global step=40693760, episodic return=1676.9053955078125\n", + "global step=40695808, episodic return=1942.5040283203125\n", + "global step=40695808, episodic return=2120.251220703125\n", + "global step=40697856, episodic return=1720.7586669921875\n", + "global step=40699904, episodic return=2166.186279296875\n", + "global step=40699904, episodic return=2066.24560546875\n", + "global step=40699904, episodic return=2074.57861328125\n", + "global step=40706048, episodic return=2168.52880859375\n", + "global step=40706048, episodic return=2213.32470703125\n", + "global step=40708096, episodic return=2130.087158203125\n", + "global step=40708096, episodic return=2132.75\n", + "global step=40708096, episodic return=2156.8134765625\n", + "global step=40710144, episodic return=2119.608642578125\n", + "global step=40714240, episodic return=998.8717651367188\n", + "global step=40714240, episodic return=2198.74267578125\n", + "global step=40716288, episodic return=2134.964111328125\n", + "global step=40716288, episodic return=2152.2958984375\n", + "global step=40716288, episodic return=2175.556640625\n", + "global step=40716288, episodic return=2173.846923828125\n", + "global step=40716288, episodic return=1941.1463623046875\n", + "global step=40718336, episodic return=2157.9169921875\n", + "global step=40718336, episodic return=2126.132568359375\n", + "global step=40718336, episodic return=2102.928955078125\n", + "global step=40720384, episodic return=2135.97998046875\n", + "global step=40720384, episodic return=2159.13818359375\n", + "global step=40720384, episodic return=2165.26904296875\n", + "global step=40722432, episodic return=541.8106689453125\n", + "global step=40722432, episodic return=1898.6854248046875\n", + "global step=40722432, episodic return=2163.233642578125\n", + "global step=40724480, episodic return=2198.628662109375\n", + "global step=40724480, episodic return=2148.64794921875\n", + "global step=40724480, episodic return=2182.86181640625\n", + "global step=40724480, episodic return=2090.07666015625\n", + "global step=40726528, episodic return=2124.708740234375\n", + "global step=40726528, episodic return=1822.3736572265625\n", + "global step=40726528, episodic return=2136.932861328125\n", + "global step=40726528, episodic return=2125.289794921875\n", + "global step=40726528, episodic return=2136.500732421875\n", + "global step=40726528, episodic return=2158.275634765625\n", + "global step=40728576, episodic return=2124.921142578125\n", + "global step=40730624, episodic return=2120.5380859375\n", + "global step=40732672, episodic return=2079.774658203125\n", + "global step=40732672, episodic return=2093.46923828125\n", + "global step=40732672, episodic return=2101.416015625\n", + "global step=40736768, episodic return=2180.620849609375\n", + "global step=40736768, episodic return=2112.20849609375\n", + "global step=40736768, episodic return=2081.45068359375\n", + "global step=40738816, episodic return=2087.557373046875\n", + "global step=40738816, episodic return=2177.263427734375\n", + "global step=40744960, episodic return=2001.3338623046875\n", + "global step=40744960, episodic return=2188.443115234375\n", + "global step=40747008, episodic return=2005.6861572265625\n", + "global step=40747008, episodic return=2088.9599609375\n", + "global step=40749056, episodic return=2118.78564453125\n", + "global step=40749056, episodic return=2154.810302734375\n", + "global step=40751104, episodic return=2192.957763671875\n", + "global step=40753152, episodic return=2123.22412109375\n", + "global step=40753152, episodic return=2104.99365234375\n", + "global step=40755200, episodic return=2154.371337890625\n", + "global step=40755200, episodic return=2193.8525390625\n", + "global step=40757248, episodic return=2179.61083984375\n", + "global step=40757248, episodic return=2136.2958984375\n", + "global step=40757248, episodic return=2116.8857421875\n", + "global step=40759296, episodic return=2150.8857421875\n", + "global step=40759296, episodic return=2109.193359375\n", + "global step=40759296, episodic return=2139.62646484375\n", + "global step=40763392, episodic return=2157.421142578125\n", + "global step=40763392, episodic return=2203.87109375\n", + "global step=40765440, episodic return=2094.1298828125\n", + "global step=40767488, episodic return=2153.919921875\n", + "global step=40767488, episodic return=2114.9990234375\n", + "global step=40769536, episodic return=2160.504638671875\n", + "global step=40771584, episodic return=2163.304443359375\n", + "global step=40773632, episodic return=2115.74658203125\n", + "global step=40773632, episodic return=2109.15283203125\n", + "global step=40773632, episodic return=2121.38623046875\n", + "global step=40775680, episodic return=2207.134765625\n", + "global step=40779776, episodic return=2141.756103515625\n", + "global step=40783872, episodic return=2149.961669921875\n", + "global step=40783872, episodic return=2173.32177734375\n", + "global step=40785920, episodic return=2067.1064453125\n", + "global step=40787968, episodic return=2155.071533203125\n", + "global step=40787968, episodic return=151.8022918701172\n", + "global step=40792064, episodic return=2056.608154296875\n", + "global step=40796160, episodic return=2112.0029296875\n", + "global step=40796160, episodic return=2148.08349609375\n", + "global step=40798208, episodic return=2146.3310546875\n", + "global step=40798208, episodic return=2198.843505859375\n", + "global step=40800256, episodic return=2150.799560546875\n", + "global step=40800256, episodic return=2019.7127685546875\n", + "global step=40800256, episodic return=2139.94482421875\n", + "global step=40800256, episodic return=199.33140563964844\n", + "global step=40802304, episodic return=2103.679443359375\n", + "global step=40802304, episodic return=2117.417236328125\n", + "global step=40802304, episodic return=1952.88427734375\n", + "global step=40804352, episodic return=2104.359130859375\n", + "global step=40804352, episodic return=2215.69677734375\n", + "global step=40806400, episodic return=2148.109619140625\n", + "global step=40806400, episodic return=2057.307373046875\n", + "global step=40806400, episodic return=2134.292724609375\n", + "global step=40808448, episodic return=2137.930908203125\n", + "global step=40810496, episodic return=2152.57861328125\n", + "global step=40810496, episodic return=2167.47998046875\n", + "global step=40810496, episodic return=2160.202392578125\n", + "global step=40810496, episodic return=2031.14013671875\n", + "global step=40812544, episodic return=552.0723876953125\n", + "global step=40812544, episodic return=2165.165283203125\n", + "global step=40812544, episodic return=2090.353271484375\n", + "global step=40814592, episodic return=2182.94482421875\n", + "global step=40816640, episodic return=2106.718505859375\n", + "global step=40816640, episodic return=2079.568359375\n", + "global step=40818688, episodic return=1237.892578125\n", + "global step=40818688, episodic return=2111.8564453125\n", + "global step=40818688, episodic return=2160.540283203125\n", + "global step=40820736, episodic return=2178.375\n", + "global step=40820736, episodic return=2126.303955078125\n", + "global step=40820736, episodic return=2127.417724609375\n", + "global step=40822784, episodic return=2172.033203125\n", + "global step=40824832, episodic return=2080.537841796875\n", + "global step=40826880, episodic return=2121.84765625\n", + "global step=40826880, episodic return=2093.17236328125\n", + "global step=40826880, episodic return=2177.912841796875\n", + "global step=40826880, episodic return=1826.947021484375\n", + "global step=40828928, episodic return=1561.5523681640625\n", + "global step=40830976, episodic return=1963.2093505859375\n", + "global step=40830976, episodic return=2069.23583984375\n", + "global step=40830976, episodic return=2008.2757568359375\n", + "global step=40833024, episodic return=2106.3515625\n", + "global step=40833024, episodic return=2039.780029296875\n", + "global step=40833024, episodic return=2137.61376953125\n", + "global step=40835072, episodic return=2157.56689453125\n", + "global step=40837120, episodic return=2089.419921875\n", + "global step=40837120, episodic return=2065.9296875\n", + "global step=40837120, episodic return=2128.699951171875\n", + "global step=40839168, episodic return=2108.544677734375\n", + "global step=40841216, episodic return=2120.113525390625\n", + "global step=40843264, episodic return=2170.67236328125\n", + "global step=40843264, episodic return=2181.495361328125\n", + "global step=40845312, episodic return=2161.741455078125\n", + "global step=40847360, episodic return=2120.6201171875\n", + "global step=40849408, episodic return=2127.615966796875\n", + "global step=40849408, episodic return=2168.616455078125\n", + "global step=40849408, episodic return=2132.22021484375\n", + "global step=40851456, episodic return=2116.546875\n", + "global step=40851456, episodic return=2051.5205078125\n", + "global step=40851456, episodic return=2103.60400390625\n", + "global step=40853504, episodic return=2160.830810546875\n", + "global step=40853504, episodic return=1976.109130859375\n", + "global step=40855552, episodic return=2187.074951171875\n", + "global step=40859648, episodic return=2124.365234375\n", + "global step=40859648, episodic return=1191.3607177734375\n", + "global step=40863744, episodic return=2155.481201171875\n", + "global step=40863744, episodic return=2089.73046875\n", + "global step=40863744, episodic return=2068.943603515625\n", + "global step=40867840, episodic return=2134.655517578125\n", + "global step=40867840, episodic return=2174.592041015625\n", + "global step=40873984, episodic return=2115.763916015625\n", + "global step=40873984, episodic return=1903.16162109375\n", + "global step=40876032, episodic return=2110.206298828125\n", + "global step=40876032, episodic return=2091.0322265625\n", + "global step=40878080, episodic return=1343.729248046875\n", + "global step=40880128, episodic return=2125.794189453125\n", + "global step=40880128, episodic return=2182.10693359375\n", + "global step=40880128, episodic return=1914.197509765625\n", + "global step=40884224, episodic return=2120.8125\n", + "global step=40888320, episodic return=2096.286865234375\n", + "global step=40890368, episodic return=2024.9124755859375\n", + "global step=40890368, episodic return=2094.200439453125\n", + "global step=40892416, episodic return=2193.739501953125\n", + "global step=40892416, episodic return=2101.013916015625\n", + "global step=40892416, episodic return=1953.395263671875\n", + "global step=40892416, episodic return=1941.1558837890625\n", + "global step=40896512, episodic return=2159.787109375\n", + "global step=40896512, episodic return=2099.683349609375\n", + "global step=40896512, episodic return=2166.222412109375\n", + "global step=40898560, episodic return=2120.985107421875\n", + "global step=40898560, episodic return=2102.424560546875\n", + "global step=40898560, episodic return=2163.81494140625\n", + "global step=40900608, episodic return=2179.674072265625\n", + "global step=40902656, episodic return=2013.2181396484375\n", + "global step=40902656, episodic return=2153.547119140625\n", + "global step=40904704, episodic return=2182.726806640625\n", + "global step=40904704, episodic return=2133.389892578125\n", + "global step=40904704, episodic return=2031.3558349609375\n", + "global step=40906752, episodic return=2173.852294921875\n", + "global step=40906752, episodic return=2159.160400390625\n", + "global step=40906752, episodic return=2053.3154296875\n", + "global step=40906752, episodic return=2143.430419921875\n", + "global step=40908800, episodic return=2152.851318359375\n", + "global step=40908800, episodic return=2071.825439453125\n", + "global step=40908800, episodic return=2186.27197265625\n", + "global step=40908800, episodic return=2140.740478515625\n", + "global step=40910848, episodic return=2138.968017578125\n", + "global step=40910848, episodic return=2097.90625\n", + "global step=40910848, episodic return=2178.96875\n", + "global step=40910848, episodic return=2137.461669921875\n", + "global step=40910848, episodic return=2194.48828125\n", + "global step=40910848, episodic return=2153.788330078125\n", + "global step=40912896, episodic return=2155.83935546875\n", + "global step=40912896, episodic return=2109.2333984375\n", + "global step=40912896, episodic return=2144.83203125\n", + "global step=40914944, episodic return=2075.9248046875\n", + "global step=40916992, episodic return=2092.20654296875\n", + "global step=40916992, episodic return=2156.912353515625\n", + "global step=40916992, episodic return=2156.212646484375\n", + "global step=40919040, episodic return=2180.52490234375\n", + "global step=40919040, episodic return=1931.2232666015625\n", + "global step=40921088, episodic return=2185.274169921875\n", + "global step=40923136, episodic return=2084.33203125\n", + "global step=40923136, episodic return=2190.242431640625\n", + "global step=40923136, episodic return=2127.168701171875\n", + "global step=40923136, episodic return=2165.69287109375\n", + "global step=40925184, episodic return=2049.382568359375\n", + "global step=40927232, episodic return=2061.5244140625\n", + "global step=40929280, episodic return=2128.3681640625\n", + "global step=40929280, episodic return=1886.357666015625\n", + "global step=40931328, episodic return=1949.6541748046875\n", + "global step=40933376, episodic return=39.39128875732422\n", + "global step=40935424, episodic return=2124.547119140625\n", + "global step=40935424, episodic return=2127.795654296875\n", + "global step=40937472, episodic return=2151.570556640625\n", + "global step=40937472, episodic return=2187.288818359375\n", + "global step=40941568, episodic return=2088.54296875\n", + "global step=40941568, episodic return=1969.4287109375\n", + "global step=40941568, episodic return=1436.7606201171875\n", + "global step=40943616, episodic return=2119.701904296875\n", + "global step=40943616, episodic return=382.4813232421875\n", + "global step=40949760, episodic return=2095.585205078125\n", + "global step=40951808, episodic return=2103.206787109375\n", + "global step=40951808, episodic return=2129.31640625\n", + "global step=40953856, episodic return=2103.106689453125\n", + "global step=40953856, episodic return=2148.674072265625\n", + "global step=40955904, episodic return=2049.037841796875\n", + "global step=40955904, episodic return=2141.652099609375\n", + "global step=40955904, episodic return=2093.99853515625\n", + "global step=40957952, episodic return=2178.6953125\n", + "global step=40957952, episodic return=2086.402099609375\n", + "global step=40960000, episodic return=2060.59716796875\n", + "global step=40960000, episodic return=2133.884033203125\n", + "global step=40962048, episodic return=2089.59228515625\n", + "global step=40962048, episodic return=2108.68310546875\n", + "global step=40962048, episodic return=2044.719482421875\n", + "global step=40966144, episodic return=2030.8193359375\n", + "global step=40966144, episodic return=2067.49609375\n", + "global step=40966144, episodic return=2129.406494140625\n", + "global step=40966144, episodic return=2141.740478515625\n", + "global step=40970240, episodic return=2110.912841796875\n", + "global step=40972288, episodic return=2152.928955078125\n", + "global step=40976384, episodic return=2130.508544921875\n", + "global step=40980480, episodic return=1175.8780517578125\n", + "global step=40982528, episodic return=2118.95654296875\n", + "global step=40984576, episodic return=2067.4111328125\n", + "global step=40986624, episodic return=2175.04150390625\n", + "global step=40986624, episodic return=2150.943359375\n", + "global step=40988672, episodic return=2173.536376953125\n", + "global step=40988672, episodic return=1999.9920654296875\n", + "global step=40994816, episodic return=2117.50439453125\n", + "global step=40996864, episodic return=2111.83349609375\n", + "global step=40996864, episodic return=2095.2705078125\n", + "global step=41000960, episodic return=2064.218994140625\n", + "global step=41003008, episodic return=2134.25390625\n", + "global step=41003008, episodic return=2109.916015625\n", + "global step=41003008, episodic return=2118.71044921875\n", + "global step=41003008, episodic return=2118.64013671875\n", + "global step=41007104, episodic return=2090.523193359375\n", + "global step=41007104, episodic return=2150.740966796875\n", + "global step=41009152, episodic return=2031.99609375\n", + "global step=41009152, episodic return=2085.9716796875\n", + "global step=41009152, episodic return=2151.23291015625\n", + "global step=41011200, episodic return=2117.167236328125\n", + "global step=41013248, episodic return=2063.002197265625\n", + "global step=41013248, episodic return=2137.11083984375\n", + "global step=41015296, episodic return=2034.21044921875\n", + "global step=41017344, episodic return=175.05709838867188\n", + "global step=41025536, episodic return=2175.21630859375\n", + "global step=41025536, episodic return=2044.326171875\n", + "global step=41027584, episodic return=2120.65771484375\n", + "global step=41029632, episodic return=2165.392578125\n", + "global step=41031680, episodic return=2091.671630859375\n", + "global step=41031680, episodic return=2114.41455078125\n", + "global step=41031680, episodic return=2148.79296875\n", + "global step=41031680, episodic return=2076.343017578125\n", + "global step=41033728, episodic return=2090.609130859375\n", + "global step=41037824, episodic return=2004.4844970703125\n", + "global step=41037824, episodic return=2044.781005859375\n", + "global step=41037824, episodic return=2095.21923828125\n", + "global step=41041920, episodic return=2083.13623046875\n", + "global step=41046016, episodic return=2165.904541015625\n", + "global step=41048064, episodic return=2154.10986328125\n", + "global step=41050112, episodic return=2137.107177734375\n", + "global step=41052160, episodic return=2146.353515625\n", + "global step=41054208, episodic return=2156.65966796875\n", + "global step=41054208, episodic return=2140.672607421875\n", + "global step=41056256, episodic return=2144.834716796875\n", + "global step=41060352, episodic return=2174.216552734375\n", + "global step=41064448, episodic return=2190.787353515625\n", + "global step=41064448, episodic return=2044.1669921875\n", + "global step=41066496, episodic return=2095.291259765625\n", + "global step=41068544, episodic return=334.9767761230469\n", + "global step=41070592, episodic return=1572.8094482421875\n", + "global step=41072640, episodic return=1884.086181640625\n", + "global step=41074688, episodic return=2161.1044921875\n", + "global step=41074688, episodic return=2115.666259765625\n", + "global step=41074688, episodic return=2015.2784423828125\n", + "global step=41076736, episodic return=2137.833251953125\n", + "global step=41076736, episodic return=2133.595947265625\n", + "global step=41078784, episodic return=2178.5830078125\n", + "global step=41078784, episodic return=2158.683349609375\n", + "global step=41078784, episodic return=2127.492919921875\n", + "global step=41080832, episodic return=2112.190673828125\n", + "global step=41082880, episodic return=2156.891357421875\n", + "global step=41082880, episodic return=2088.765380859375\n", + "global step=41082880, episodic return=2127.04736328125\n", + "global step=41086976, episodic return=2150.062255859375\n", + "global step=41089024, episodic return=2075.474365234375\n", + "global step=41089024, episodic return=768.9080200195312\n", + "global step=41089024, episodic return=2140.2138671875\n", + "global step=41093120, episodic return=1759.3428955078125\n", + "global step=41093120, episodic return=2085.240966796875\n", + "global step=41093120, episodic return=2188.555908203125\n", + "global step=41095168, episodic return=2118.456298828125\n", + "global step=41095168, episodic return=2081.61767578125\n", + "global step=41097216, episodic return=2099.084228515625\n", + "global step=41097216, episodic return=2145.436279296875\n", + "global step=41101312, episodic return=2099.49365234375\n", + "global step=41103360, episodic return=2159.009033203125\n", + "global step=41103360, episodic return=2020.10205078125\n", + "global step=41105408, episodic return=2119.772216796875\n", + "global step=41105408, episodic return=2142.8994140625\n", + "global step=41105408, episodic return=2095.051025390625\n", + "global step=41107456, episodic return=2145.915283203125\n", + "global step=41107456, episodic return=2122.01123046875\n", + "global step=41109504, episodic return=351.40753173828125\n", + "global step=41109504, episodic return=2083.05126953125\n", + "global step=41111552, episodic return=1144.3211669921875\n", + "global step=41113600, episodic return=2173.266845703125\n", + "global step=41115648, episodic return=2181.382080078125\n", + "global step=41117696, episodic return=2106.019775390625\n", + "global step=41119744, episodic return=2098.914794921875\n", + "global step=41123840, episodic return=130.48529052734375\n", + "global step=41125888, episodic return=137.2255401611328\n", + "global step=41125888, episodic return=2104.809326171875\n", + "global step=41125888, episodic return=2068.621826171875\n", + "global step=41125888, episodic return=2165.518798828125\n", + "global step=41127936, episodic return=1925.8350830078125\n", + "global step=41127936, episodic return=2133.955078125\n", + "global step=41129984, episodic return=2109.454345703125\n", + "global step=41129984, episodic return=147.58119201660156\n", + "global step=41129984, episodic return=2017.3685302734375\n", + "global step=41129984, episodic return=2064.571044921875\n", + "global step=41132032, episodic return=2041.235595703125\n", + "global step=41138176, episodic return=722.5609130859375\n", + "global step=41138176, episodic return=2113.34619140625\n", + "global step=41140224, episodic return=2057.460205078125\n", + "global step=41142272, episodic return=2043.4510498046875\n", + "global step=41142272, episodic return=2072.085693359375\n", + "global step=41144320, episodic return=2180.985595703125\n", + "global step=41146368, episodic return=2099.962158203125\n", + "global step=41148416, episodic return=2078.54736328125\n", + "global step=41150464, episodic return=2041.170166015625\n", + "global step=41150464, episodic return=2094.18212890625\n", + "global step=41152512, episodic return=2115.578369140625\n", + "global step=41154560, episodic return=2120.72802734375\n", + "global step=41158656, episodic return=402.9364929199219\n", + "global step=41160704, episodic return=200.44664001464844\n", + "global step=41164800, episodic return=2108.438232421875\n", + "global step=41166848, episodic return=2127.407470703125\n", + "global step=41166848, episodic return=2124.2197265625\n", + "global step=41168896, episodic return=2049.630615234375\n", + "global step=41168896, episodic return=2138.06982421875\n", + "global step=41168896, episodic return=1879.376708984375\n", + "global step=41175040, episodic return=2124.7109375\n", + "global step=41179136, episodic return=2154.42822265625\n", + "global step=41179136, episodic return=2160.868896484375\n", + "global step=41179136, episodic return=2141.49951171875\n", + "global step=41179136, episodic return=2076.5224609375\n", + "global step=41179136, episodic return=2142.37158203125\n", + "global step=41181184, episodic return=2010.370361328125\n", + "global step=41181184, episodic return=2148.1787109375\n", + "global step=41183232, episodic return=2091.833740234375\n", + "global step=41183232, episodic return=2068.558349609375\n", + "global step=41183232, episodic return=2032.183837890625\n", + "global step=41185280, episodic return=2115.3671875\n", + "global step=41187328, episodic return=2144.676513671875\n", + "global step=41187328, episodic return=2116.484619140625\n", + "global step=41187328, episodic return=2121.717041015625\n", + "global step=41189376, episodic return=2140.45166015625\n", + "global step=41191424, episodic return=2135.9013671875\n", + "global step=41191424, episodic return=2119.197998046875\n", + "global step=41193472, episodic return=2103.282958984375\n", + "global step=41195520, episodic return=2099.698974609375\n", + "global step=41199616, episodic return=2126.152587890625\n", + "global step=41213952, episodic return=2145.6474609375\n", + "global step=41213952, episodic return=2146.650390625\n", + "global step=41216000, episodic return=2135.9462890625\n", + "global step=41216000, episodic return=2145.063720703125\n", + "global step=41216000, episodic return=2092.737548828125\n", + "global step=41218048, episodic return=2150.66796875\n", + "global step=41218048, episodic return=2098.366943359375\n", + "global step=41220096, episodic return=2144.84423828125\n", + "global step=41220096, episodic return=2203.347900390625\n", + "global step=41222144, episodic return=2087.48486328125\n", + "global step=41224192, episodic return=2109.786376953125\n", + "global step=41232384, episodic return=2101.681884765625\n", + "global step=41234432, episodic return=2105.875732421875\n", + "global step=41236480, episodic return=2144.836181640625\n", + "global step=41236480, episodic return=2068.015869140625\n", + "global step=41238528, episodic return=2127.366943359375\n", + "global step=41242624, episodic return=2123.277099609375\n", + "global step=41244672, episodic return=2104.84423828125\n", + "global step=41244672, episodic return=2115.01708984375\n", + "global step=41246720, episodic return=2084.143798828125\n", + "global step=41248768, episodic return=2100.155029296875\n", + "global step=41248768, episodic return=2173.704345703125\n", + "global step=41248768, episodic return=2115.529052734375\n", + "global step=41252864, episodic return=1849.530029296875\n", + "global step=41252864, episodic return=2102.100830078125\n", + "global step=41256960, episodic return=2155.423583984375\n", + "global step=41263104, episodic return=2088.801025390625\n", + "global step=41263104, episodic return=2156.06494140625\n", + "global step=41263104, episodic return=2149.00244140625\n", + "global step=41265152, episodic return=2118.3056640625\n", + "global step=41271296, episodic return=1373.9937744140625\n", + "global step=41273344, episodic return=2074.70947265625\n", + "global step=41273344, episodic return=2124.832275390625\n", + "global step=41275392, episodic return=2142.40234375\n", + "global step=41279488, episodic return=2135.38525390625\n", + "global step=41281536, episodic return=2125.444091796875\n", + "global step=41281536, episodic return=2017.8177490234375\n", + "global step=41281536, episodic return=2140.804443359375\n", + "global step=41285632, episodic return=2126.2412109375\n", + "global step=41287680, episodic return=2131.2587890625\n", + "global step=41289728, episodic return=2057.417724609375\n", + "global step=41291776, episodic return=2124.66943359375\n", + "global step=41295872, episodic return=2060.052490234375\n", + "global step=41295872, episodic return=2139.392822265625\n", + "global step=41295872, episodic return=2099.553466796875\n", + "global step=41297920, episodic return=2113.85888671875\n", + "global step=41297920, episodic return=2174.40625\n", + "global step=41304064, episodic return=2152.452392578125\n", + "global step=41306112, episodic return=2091.578369140625\n", + "global step=41306112, episodic return=2061.16943359375\n", + "global step=41308160, episodic return=2126.936767578125\n", + "global step=41308160, episodic return=2088.499267578125\n", + "global step=41310208, episodic return=2091.90625\n", + "global step=41310208, episodic return=2139.243408203125\n", + "global step=41310208, episodic return=348.82861328125\n", + "global step=41310208, episodic return=2095.289306640625\n", + "global step=41312256, episodic return=2059.533935546875\n", + "global step=41314304, episodic return=2093.284423828125\n", + "global step=41314304, episodic return=2071.859130859375\n", + "global step=41316352, episodic return=2112.9228515625\n", + "global step=41316352, episodic return=2142.018310546875\n", + "global step=41316352, episodic return=205.8895721435547\n", + "global step=41316352, episodic return=2119.848876953125\n", + "global step=41326592, episodic return=2129.594482421875\n", + "global step=41328640, episodic return=2134.63232421875\n", + "global step=41332736, episodic return=2145.471923828125\n", + "global step=41332736, episodic return=2122.552490234375\n", + "global step=41334784, episodic return=1080.563720703125\n", + "global step=41334784, episodic return=2161.920166015625\n", + "global step=41334784, episodic return=2111.248291015625\n", + "global step=41336832, episodic return=2145.3271484375\n", + "global step=41336832, episodic return=2137.10302734375\n", + "global step=41338880, episodic return=2121.177490234375\n", + "global step=41340928, episodic return=2088.6611328125\n", + "global step=41345024, episodic return=997.0284423828125\n", + "global step=41347072, episodic return=2162.12939453125\n", + "global step=41349120, episodic return=2114.14453125\n", + "global step=41351168, episodic return=2161.548095703125\n", + "global step=41351168, episodic return=2119.639892578125\n", + "global step=41355264, episodic return=2127.028564453125\n", + "global step=41355264, episodic return=1904.234130859375\n", + "global step=41357312, episodic return=2107.55419921875\n", + "global step=41359360, episodic return=2131.8681640625\n", + "global step=41363456, episodic return=2116.206298828125\n", + "global step=41365504, episodic return=1064.2421875\n", + "global step=41365504, episodic return=2111.247802734375\n", + "global step=41365504, episodic return=2126.80859375\n", + "global step=41367552, episodic return=2139.443115234375\n", + "global step=41367552, episodic return=2136.2998046875\n", + "global step=41373696, episodic return=2179.644775390625\n", + "global step=41373696, episodic return=2160.561767578125\n", + "global step=41377792, episodic return=545.627685546875\n", + "global step=41377792, episodic return=2128.728271484375\n", + "global step=41379840, episodic return=655.63232421875\n", + "global step=41381888, episodic return=2132.927490234375\n", + "global step=41385984, episodic return=2087.466552734375\n", + "global step=41385984, episodic return=2023.275390625\n", + "global step=41390080, episodic return=2129.24609375\n", + "global step=41392128, episodic return=203.9988250732422\n", + "global step=41392128, episodic return=2142.65869140625\n", + "global step=41392128, episodic return=2081.5478515625\n", + "global step=41394176, episodic return=2093.109375\n", + "global step=41398272, episodic return=2059.81640625\n", + "global step=41402368, episodic return=2058.71240234375\n", + "global step=41402368, episodic return=2126.00244140625\n", + "global step=41402368, episodic return=2096.167724609375\n", + "global step=41406464, episodic return=2052.322998046875\n", + "global step=41406464, episodic return=2084.79296875\n", + "global step=41406464, episodic return=2128.651611328125\n", + "global step=41406464, episodic return=2088.0380859375\n", + "global step=41408512, episodic return=2154.2763671875\n", + "global step=41408512, episodic return=2046.8028564453125\n", + "global step=41408512, episodic return=2030.03271484375\n", + "global step=41410560, episodic return=2119.2919921875\n", + "global step=41412608, episodic return=2131.824462890625\n", + "global step=41412608, episodic return=2053.578857421875\n", + "global step=41414656, episodic return=2106.67724609375\n", + "global step=41414656, episodic return=2150.218994140625\n", + "global step=41416704, episodic return=2096.779541015625\n", + "global step=41416704, episodic return=2090.206787109375\n", + "global step=41418752, episodic return=2049.138916015625\n", + "global step=41418752, episodic return=2100.27685546875\n", + "global step=41420800, episodic return=2117.568115234375\n", + "global step=41420800, episodic return=2069.147216796875\n", + "global step=41422848, episodic return=2125.747314453125\n", + "global step=41422848, episodic return=2112.61328125\n", + "global step=41424896, episodic return=2116.22265625\n", + "global step=41426944, episodic return=2141.9521484375\n", + "global step=41428992, episodic return=2052.49609375\n", + "global step=41428992, episodic return=2160.240966796875\n", + "global step=41431040, episodic return=2094.2158203125\n", + "global step=41433088, episodic return=2143.56982421875\n", + "global step=41435136, episodic return=2166.47900390625\n", + "global step=41437184, episodic return=372.98687744140625\n", + "global step=41437184, episodic return=2080.033203125\n", + "global step=41437184, episodic return=2120.1748046875\n", + "global step=41437184, episodic return=2118.071044921875\n", + "global step=41439232, episodic return=2170.236328125\n", + "global step=41439232, episodic return=2115.09716796875\n", + "global step=41445376, episodic return=2166.741943359375\n", + "global step=41447424, episodic return=2126.993408203125\n", + "global step=41447424, episodic return=2112.82177734375\n", + "global step=41449472, episodic return=2127.3603515625\n", + "global step=41455616, episodic return=2106.62646484375\n", + "global step=41455616, episodic return=2157.649658203125\n", + "global step=41455616, episodic return=2112.14013671875\n", + "global step=41461760, episodic return=2153.225341796875\n", + "global step=41463808, episodic return=2118.071044921875\n", + "global step=41463808, episodic return=2103.1845703125\n", + "global step=41463808, episodic return=2065.850830078125\n", + "global step=41465856, episodic return=2105.895263671875\n", + "global step=41467904, episodic return=2121.2998046875\n", + "global step=41467904, episodic return=2159.593505859375\n", + "global step=41467904, episodic return=2115.486328125\n", + "global step=41467904, episodic return=2139.943115234375\n", + "global step=41467904, episodic return=2123.05859375\n", + "global step=41467904, episodic return=2054.95556640625\n", + "global step=41469952, episodic return=2107.092529296875\n", + "global step=41472000, episodic return=2067.15185546875\n", + "global step=41472000, episodic return=2088.010986328125\n", + "global step=41472000, episodic return=2081.45458984375\n", + "global step=41476096, episodic return=2118.100341796875\n", + "global step=41476096, episodic return=433.0509948730469\n", + "global step=41478144, episodic return=2130.6357421875\n", + "global step=41480192, episodic return=2094.99072265625\n", + "global step=41482240, episodic return=2129.3466796875\n", + "global step=41484288, episodic return=2057.3251953125\n", + "global step=41488384, episodic return=584.2651977539062\n", + "global step=41488384, episodic return=2133.77978515625\n", + "global step=41488384, episodic return=2108.321044921875\n", + "global step=41490432, episodic return=2071.2509765625\n", + "global step=41490432, episodic return=2154.026123046875\n", + "global step=41492480, episodic return=2152.648681640625\n", + "global step=41492480, episodic return=1309.3497314453125\n", + "global step=41496576, episodic return=2109.905517578125\n", + "global step=41496576, episodic return=2089.485107421875\n", + "global step=41498624, episodic return=2110.55322265625\n", + "global step=41500672, episodic return=805.59521484375\n", + "global step=41502720, episodic return=2154.297119140625\n", + "global step=41502720, episodic return=2112.82373046875\n", + "global step=41504768, episodic return=2153.07958984375\n", + "global step=41504768, episodic return=1601.2515869140625\n", + "global step=41510912, episodic return=2124.168701171875\n", + "global step=41510912, episodic return=2045.8333740234375\n", + "global step=41512960, episodic return=2108.372802734375\n", + "global step=41512960, episodic return=2079.765380859375\n", + "global step=41512960, episodic return=2144.13623046875\n", + "global step=41519104, episodic return=2127.92626953125\n", + "global step=41519104, episodic return=2123.78955078125\n", + "global step=41519104, episodic return=2144.564697265625\n", + "global step=41519104, episodic return=2092.51171875\n", + "global step=41521152, episodic return=2043.833740234375\n", + "global step=41523200, episodic return=2064.650634765625\n", + "global step=41523200, episodic return=2166.285888671875\n", + "global step=41527296, episodic return=2107.91845703125\n", + "global step=41527296, episodic return=2144.729248046875\n", + "global step=41529344, episodic return=2116.7333984375\n", + "global step=41531392, episodic return=2096.853271484375\n", + "global step=41531392, episodic return=2161.8583984375\n", + "global step=41531392, episodic return=2125.3525390625\n", + "global step=41533440, episodic return=2105.32958984375\n", + "global step=41533440, episodic return=2146.369384765625\n", + "global step=41535488, episodic return=2149.587646484375\n", + "global step=41537536, episodic return=2124.964599609375\n", + "global step=41537536, episodic return=2123.6708984375\n", + "global step=41539584, episodic return=225.49008178710938\n", + "global step=41539584, episodic return=2121.235595703125\n", + "global step=41541632, episodic return=637.73876953125\n", + "global step=41541632, episodic return=1223.4803466796875\n", + "global step=41541632, episodic return=2162.56103515625\n", + "global step=41547776, episodic return=2159.361328125\n", + "global step=41549824, episodic return=2157.540283203125\n", + "global step=41549824, episodic return=2093.7919921875\n", + "global step=41549824, episodic return=2104.14697265625\n", + "global step=41551872, episodic return=2153.966064453125\n", + "global step=41551872, episodic return=2126.487060546875\n", + "global step=41553920, episodic return=2111.39892578125\n", + "global step=41555968, episodic return=2152.370849609375\n", + "global step=41558016, episodic return=2163.24951171875\n", + "global step=41558016, episodic return=2082.055419921875\n", + "global step=41558016, episodic return=2127.410400390625\n", + "global step=41558016, episodic return=2101.9326171875\n", + "global step=41558016, episodic return=2111.790771484375\n", + "global step=41560064, episodic return=2130.27685546875\n", + "global step=41560064, episodic return=2131.66162109375\n", + "global step=41562112, episodic return=2109.151611328125\n", + "global step=41564160, episodic return=2169.407470703125\n", + "global step=41570304, episodic return=537.5120849609375\n", + "global step=41570304, episodic return=2091.30615234375\n", + "global step=41572352, episodic return=1918.181884765625\n", + "global step=41572352, episodic return=2060.709716796875\n", + "global step=41576448, episodic return=2155.9697265625\n", + "global step=41576448, episodic return=2143.6591796875\n", + "global step=41576448, episodic return=2157.0263671875\n", + "global step=41578496, episodic return=2113.03271484375\n", + "global step=41578496, episodic return=2188.96826171875\n", + "global step=41578496, episodic return=2098.62060546875\n", + "global step=41580544, episodic return=2111.05517578125\n", + "global step=41582592, episodic return=2127.043212890625\n", + "global step=41584640, episodic return=1500.0438232421875\n", + "global step=41586688, episodic return=2069.957763671875\n", + "global step=41588736, episodic return=2036.6201171875\n", + "global step=41588736, episodic return=2131.86376953125\n", + "global step=41590784, episodic return=2137.219970703125\n", + "global step=41590784, episodic return=2084.09423828125\n", + "global step=41590784, episodic return=2136.694091796875\n", + "global step=41590784, episodic return=2101.96533203125\n", + "global step=41594880, episodic return=2157.92138671875\n", + "global step=41598976, episodic return=2095.76416015625\n", + "global step=41601024, episodic return=2137.324951171875\n", + "global step=41603072, episodic return=2123.185302734375\n", + "global step=41605120, episodic return=2123.80615234375\n", + "global step=41607168, episodic return=1946.2301025390625\n", + "global step=41607168, episodic return=2118.36865234375\n", + "global step=41609216, episodic return=2166.04345703125\n", + "global step=41609216, episodic return=2106.28564453125\n", + "global step=41609216, episodic return=2133.43359375\n", + "global step=41613312, episodic return=2106.66015625\n", + "global step=41613312, episodic return=2144.754638671875\n", + "global step=41613312, episodic return=2129.34228515625\n", + "global step=41613312, episodic return=2098.329345703125\n", + "global step=41613312, episodic return=2142.8544921875\n", + "global step=41615360, episodic return=2116.94384765625\n", + "global step=41617408, episodic return=2162.96875\n", + "global step=41619456, episodic return=2131.079833984375\n", + "global step=41619456, episodic return=2157.3134765625\n", + "global step=41619456, episodic return=2100.219970703125\n", + "global step=41621504, episodic return=2110.24560546875\n", + "global step=41623552, episodic return=2071.664306640625\n", + "global step=41625600, episodic return=2049.080322265625\n", + "global step=41625600, episodic return=2081.22119140625\n", + "global step=41625600, episodic return=2102.345458984375\n", + "global step=41625600, episodic return=2162.480224609375\n", + "global step=41627648, episodic return=2153.944091796875\n", + "global step=41629696, episodic return=2072.177978515625\n", + "global step=41629696, episodic return=2138.82861328125\n", + "global step=41631744, episodic return=2119.6923828125\n", + "global step=41631744, episodic return=2120.735595703125\n", + "global step=41631744, episodic return=1931.82373046875\n", + "global step=41633792, episodic return=2098.18310546875\n", + "global step=41633792, episodic return=2064.586181640625\n", + "global step=41633792, episodic return=2012.7532958984375\n", + "global step=41633792, episodic return=2130.401611328125\n", + "global step=41633792, episodic return=2148.146484375\n", + "global step=41635840, episodic return=2108.10107421875\n", + "global step=41637888, episodic return=2088.2919921875\n", + "global step=41637888, episodic return=2085.490234375\n", + "global step=41637888, episodic return=2126.95849609375\n", + "global step=41637888, episodic return=2130.590576171875\n", + "global step=41639936, episodic return=2088.91455078125\n", + "global step=41639936, episodic return=2047.72802734375\n", + "global step=41641984, episodic return=2153.501708984375\n", + "global step=41641984, episodic return=2054.630126953125\n", + "global step=41646080, episodic return=2164.3154296875\n", + "global step=41646080, episodic return=2110.456787109375\n", + "global step=41648128, episodic return=2088.148681640625\n", + "global step=41650176, episodic return=2041.7640380859375\n", + "global step=41652224, episodic return=2045.8936767578125\n", + "global step=41654272, episodic return=2156.762939453125\n", + "global step=41656320, episodic return=2123.644775390625\n", + "global step=41656320, episodic return=2153.539306640625\n", + "global step=41656320, episodic return=2045.070556640625\n", + "global step=41658368, episodic return=2138.419189453125\n", + "global step=41658368, episodic return=13.461854934692383\n", + "global step=41658368, episodic return=2129.390625\n", + "global step=41660416, episodic return=2102.455322265625\n", + "global step=41662464, episodic return=2134.34521484375\n", + "global step=41662464, episodic return=2123.146728515625\n", + "global step=41664512, episodic return=2004.0439453125\n", + "global step=41664512, episodic return=2067.149169921875\n", + "global step=41664512, episodic return=2054.635498046875\n", + "global step=41668608, episodic return=2117.533447265625\n", + "global step=41668608, episodic return=2140.0791015625\n", + "global step=41670656, episodic return=2109.350830078125\n", + "global step=41672704, episodic return=2126.489501953125\n", + "global step=41672704, episodic return=2108.169921875\n", + "global step=41672704, episodic return=2118.204345703125\n", + "global step=41674752, episodic return=2145.25048828125\n", + "global step=41674752, episodic return=2107.606201171875\n", + "global step=41674752, episodic return=2116.22314453125\n", + "global step=41680896, episodic return=2110.124755859375\n", + "global step=41680896, episodic return=2112.978759765625\n", + "global step=41680896, episodic return=2165.90478515625\n", + "global step=41684992, episodic return=2104.42578125\n", + "global step=41684992, episodic return=2112.78076171875\n", + "global step=41684992, episodic return=2145.49658203125\n", + "global step=41687040, episodic return=2069.235107421875\n", + "global step=41689088, episodic return=2153.82763671875\n", + "global step=41689088, episodic return=2127.115478515625\n", + "global step=41691136, episodic return=2131.08837890625\n", + "global step=41691136, episodic return=2047.880126953125\n", + "global step=41693184, episodic return=1950.2806396484375\n", + "global step=41695232, episodic return=2138.67333984375\n", + "global step=41695232, episodic return=2038.0406494140625\n", + "global step=41695232, episodic return=2067.4716796875\n", + "global step=41697280, episodic return=2104.086181640625\n", + "global step=41697280, episodic return=2143.73828125\n", + "global step=41699328, episodic return=2135.4853515625\n", + "global step=41699328, episodic return=2103.249267578125\n", + "global step=41701376, episodic return=2141.084716796875\n", + "global step=41703424, episodic return=2058.20751953125\n", + "global step=41705472, episodic return=2119.872314453125\n", + "global step=41711616, episodic return=2113.15283203125\n", + "global step=41711616, episodic return=2123.780517578125\n", + "global step=41711616, episodic return=2085.00439453125\n", + "global step=41711616, episodic return=2123.939208984375\n", + "global step=41713664, episodic return=2108.945068359375\n", + "global step=41713664, episodic return=2125.060791015625\n", + "global step=41717760, episodic return=2126.428955078125\n", + "global step=41717760, episodic return=2112.7568359375\n", + "global step=41717760, episodic return=2108.04296875\n", + "global step=41719808, episodic return=2133.427978515625\n", + "global step=41719808, episodic return=2047.2669677734375\n", + "global step=41721856, episodic return=2122.535888671875\n", + "global step=41721856, episodic return=2072.8466796875\n", + "global step=41723904, episodic return=2136.324951171875\n", + "global step=41723904, episodic return=2144.374755859375\n", + "global step=41723904, episodic return=1200.697509765625\n", + "global step=41723904, episodic return=577.730712890625\n", + "global step=41725952, episodic return=2099.509033203125\n", + "global step=41725952, episodic return=2033.7833251953125\n", + "global step=41725952, episodic return=2126.00048828125\n", + "global step=41730048, episodic return=1994.2322998046875\n", + "global step=41732096, episodic return=2108.661865234375\n", + "global step=41732096, episodic return=2106.575439453125\n", + "global step=41734144, episodic return=2078.9921875\n", + "global step=41734144, episodic return=2150.768310546875\n", + "global step=41736192, episodic return=2031.024658203125\n", + "global step=41738240, episodic return=2121.808349609375\n", + "global step=41738240, episodic return=2120.674072265625\n", + "global step=41738240, episodic return=2088.531005859375\n", + "global step=41740288, episodic return=2093.495361328125\n", + "global step=41740288, episodic return=2050.71142578125\n", + "global step=41742336, episodic return=2130.234619140625\n", + "global step=41744384, episodic return=2109.934326171875\n", + "global step=41746432, episodic return=1979.3868408203125\n", + "global step=41746432, episodic return=2063.413818359375\n", + "global step=41748480, episodic return=2119.3671875\n", + "global step=41750528, episodic return=2074.958251953125\n", + "global step=41754624, episodic return=2171.278564453125\n", + "global step=41756672, episodic return=2150.2109375\n", + "global step=41758720, episodic return=2121.283447265625\n", + "global step=41758720, episodic return=2104.291259765625\n", + "global step=41760768, episodic return=2139.337890625\n", + "global step=41762816, episodic return=2084.804443359375\n", + "global step=41762816, episodic return=2137.597412109375\n", + "global step=41764864, episodic return=2085.550048828125\n", + "global step=41766912, episodic return=2095.916015625\n", + "global step=41766912, episodic return=205.5259552001953\n", + "global step=41771008, episodic return=2091.146728515625\n", + "global step=41771008, episodic return=2119.287109375\n", + "global step=41771008, episodic return=2157.157958984375\n", + "global step=41771008, episodic return=2159.154052734375\n", + "global step=41773056, episodic return=2178.8134765625\n", + "global step=41773056, episodic return=2162.5576171875\n", + "global step=41775104, episodic return=39.86865234375\n", + "global step=41775104, episodic return=2123.540771484375\n", + "global step=41775104, episodic return=2129.02197265625\n", + "global step=41777152, episodic return=2042.8463134765625\n", + "global step=41777152, episodic return=2107.088134765625\n", + "global step=41779200, episodic return=2097.0654296875\n", + "global step=41779200, episodic return=2144.048828125\n", + "global step=41781248, episodic return=2141.02685546875\n", + "global step=41781248, episodic return=2082.85302734375\n", + "global step=41781248, episodic return=2126.849609375\n", + "global step=41781248, episodic return=209.03587341308594\n", + "global step=41781248, episodic return=412.41497802734375\n", + "global step=41783296, episodic return=2012.61962890625\n", + "global step=41783296, episodic return=2119.30859375\n", + "global step=41785344, episodic return=2102.948974609375\n", + "global step=41785344, episodic return=2119.390380859375\n", + "global step=41785344, episodic return=2079.1748046875\n", + "global step=41793536, episodic return=2107.06884765625\n", + "global step=41793536, episodic return=2125.967529296875\n", + "global step=41793536, episodic return=2093.00244140625\n", + "global step=41795584, episodic return=2136.415283203125\n", + "global step=41799680, episodic return=2112.29931640625\n", + "global step=41799680, episodic return=2031.54833984375\n", + "global step=41801728, episodic return=2012.5791015625\n", + "global step=41801728, episodic return=2176.239501953125\n", + "global step=41803776, episodic return=2091.43408203125\n", + "global step=41803776, episodic return=2033.271484375\n", + "global step=41805824, episodic return=2116.509765625\n", + "global step=41805824, episodic return=2130.0830078125\n", + "global step=41809920, episodic return=2015.863525390625\n", + "global step=41811968, episodic return=2140.431640625\n", + "global step=41818112, episodic return=2126.793212890625\n", + "global step=41822208, episodic return=1989.875\n", + "global step=41824256, episodic return=2075.0927734375\n", + "global step=41824256, episodic return=2128.332763671875\n", + "global step=41826304, episodic return=2115.64306640625\n", + "global step=41826304, episodic return=2108.411376953125\n", + "global step=41828352, episodic return=2159.01123046875\n", + "global step=41828352, episodic return=2086.731689453125\n", + "global step=41828352, episodic return=2123.54931640625\n", + "global step=41828352, episodic return=2138.093017578125\n", + "global step=41828352, episodic return=2034.87548828125\n", + "global step=41828352, episodic return=2099.678466796875\n", + "global step=41830400, episodic return=206.09530639648438\n", + "global step=41830400, episodic return=2014.975341796875\n", + "global step=41830400, episodic return=2057.41064453125\n", + "global step=41834496, episodic return=2140.78173828125\n", + "global step=41836544, episodic return=2075.97314453125\n", + "global step=41838592, episodic return=2084.540771484375\n", + "global step=41838592, episodic return=2131.96435546875\n", + "global step=41840640, episodic return=2138.967529296875\n", + "global step=41842688, episodic return=2185.9345703125\n", + "global step=41842688, episodic return=2105.29443359375\n", + "global step=41842688, episodic return=2101.91064453125\n", + "global step=41844736, episodic return=2074.2744140625\n", + "global step=41844736, episodic return=1142.1893310546875\n", + "global step=41844736, episodic return=2135.08203125\n", + "global step=41846784, episodic return=2124.22802734375\n", + "global step=41846784, episodic return=2056.318115234375\n", + "global step=41846784, episodic return=1947.176025390625\n", + "global step=41846784, episodic return=2134.947998046875\n", + "global step=41848832, episodic return=2006.0107421875\n", + "global step=41850880, episodic return=1980.8885498046875\n", + "global step=41850880, episodic return=2119.25244140625\n", + "global step=41850880, episodic return=2093.0791015625\n", + "global step=41850880, episodic return=2165.4169921875\n", + "global step=41852928, episodic return=2163.660888671875\n", + "global step=41854976, episodic return=2009.65771484375\n", + "global step=41854976, episodic return=2009.377197265625\n", + "global step=41854976, episodic return=2075.27734375\n", + "global step=41854976, episodic return=2139.0947265625\n", + "global step=41857024, episodic return=2072.300537109375\n", + "global step=41857024, episodic return=2074.4091796875\n", + "global step=41859072, episodic return=2059.736328125\n", + "global step=41859072, episodic return=2143.836181640625\n", + "global step=41859072, episodic return=2134.956298828125\n", + "global step=41859072, episodic return=2138.668212890625\n", + "global step=41861120, episodic return=924.6513671875\n", + "global step=41863168, episodic return=2135.8671875\n", + "global step=41863168, episodic return=2177.87158203125\n", + "global step=41865216, episodic return=2070.978515625\n", + "global step=41865216, episodic return=2142.558837890625\n", + "global step=41865216, episodic return=2141.697021484375\n", + "global step=41871360, episodic return=2105.466064453125\n", + "global step=41871360, episodic return=2093.08935546875\n", + "global step=41873408, episodic return=2137.635986328125\n", + "global step=41873408, episodic return=2080.572509765625\n", + "global step=41875456, episodic return=2118.6630859375\n", + "global step=41875456, episodic return=2121.863525390625\n", + "global step=41877504, episodic return=2149.042236328125\n", + "global step=41877504, episodic return=2055.93896484375\n", + "global step=41877504, episodic return=2173.030517578125\n", + "global step=41879552, episodic return=2095.51806640625\n", + "global step=41879552, episodic return=2155.43603515625\n", + "global step=41881600, episodic return=2113.405517578125\n", + "global step=41881600, episodic return=2112.300537109375\n", + "global step=41881600, episodic return=634.42041015625\n", + "global step=41881600, episodic return=2038.08203125\n", + "global step=41883648, episodic return=40.87306213378906\n", + "global step=41883648, episodic return=1985.162841796875\n", + "global step=41889792, episodic return=2030.184326171875\n", + "global step=41889792, episodic return=698.5570068359375\n", + "global step=41889792, episodic return=2090.677490234375\n", + "global step=41889792, episodic return=2084.197509765625\n", + "global step=41891840, episodic return=2109.51708984375\n", + "global step=41891840, episodic return=2181.410400390625\n", + "global step=41893888, episodic return=2086.346435546875\n", + "global step=41893888, episodic return=2130.95751953125\n", + "global step=41893888, episodic return=2110.038330078125\n", + "global step=41893888, episodic return=2036.08447265625\n", + "global step=41895936, episodic return=1913.0712890625\n", + "global step=41895936, episodic return=2078.916259765625\n", + "global step=41897984, episodic return=1992.2994384765625\n", + "global step=41897984, episodic return=2079.601806640625\n", + "global step=41902080, episodic return=2081.4267578125\n", + "global step=41902080, episodic return=2100.168701171875\n", + "global step=41902080, episodic return=2063.563232421875\n", + "global step=41902080, episodic return=2078.959228515625\n", + "global step=41902080, episodic return=2161.848876953125\n", + "global step=41902080, episodic return=1974.3653564453125\n", + "global step=41904128, episodic return=2020.48193359375\n", + "global step=41904128, episodic return=2138.473876953125\n", + "global step=41904128, episodic return=2060.725341796875\n", + "global step=41904128, episodic return=2068.570068359375\n", + "global step=41906176, episodic return=2151.020263671875\n", + "global step=41910272, episodic return=2160.166259765625\n", + "global step=41910272, episodic return=2082.87158203125\n", + "global step=41910272, episodic return=2024.935791015625\n", + "global step=41912320, episodic return=2099.346923828125\n", + "global step=41912320, episodic return=2120.723876953125\n", + "global step=41912320, episodic return=2021.0999755859375\n", + "global step=41912320, episodic return=2089.530517578125\n", + "global step=41912320, episodic return=1262.7559814453125\n", + "global step=41912320, episodic return=2115.560791015625\n", + "global step=41914368, episodic return=2164.2197265625\n", + "global step=41916416, episodic return=2061.38818359375\n", + "global step=41916416, episodic return=2134.710693359375\n", + "global step=41916416, episodic return=2087.649169921875\n", + "global step=41918464, episodic return=2022.4398193359375\n", + "global step=41920512, episodic return=2058.812744140625\n", + "global step=41920512, episodic return=2062.088623046875\n", + "global step=41920512, episodic return=1998.0428466796875\n", + "global step=41920512, episodic return=399.0954284667969\n", + "global step=41920512, episodic return=2122.040771484375\n", + "global step=41922560, episodic return=1969.4498291015625\n", + "global step=41922560, episodic return=2141.13720703125\n", + "global step=41922560, episodic return=2092.48681640625\n", + "global step=41922560, episodic return=557.1151733398438\n", + "global step=41922560, episodic return=2112.269775390625\n", + "global step=41924608, episodic return=2122.6748046875\n", + "global step=41924608, episodic return=2161.41015625\n", + "global step=41926656, episodic return=2052.25634765625\n", + "global step=41926656, episodic return=2005.604248046875\n", + "global step=41926656, episodic return=2135.246337890625\n", + "global step=41926656, episodic return=2120.170166015625\n", + "global step=41928704, episodic return=2079.15380859375\n", + "global step=41930752, episodic return=2133.873046875\n", + "global step=41930752, episodic return=1985.2452392578125\n", + "global step=41930752, episodic return=2135.347900390625\n", + "global step=41932800, episodic return=2112.646484375\n", + "global step=41932800, episodic return=2110.069580078125\n", + "global step=41934848, episodic return=2098.635986328125\n", + "global step=41936896, episodic return=2120.69189453125\n", + "global step=41936896, episodic return=2104.231689453125\n", + "global step=41936896, episodic return=2071.715576171875\n", + "global step=41936896, episodic return=2062.55810546875\n", + "global step=41936896, episodic return=2121.06640625\n", + "global step=41938944, episodic return=380.79254150390625\n", + "global step=41938944, episodic return=2113.281982421875\n", + "global step=41940992, episodic return=2048.74365234375\n", + "global step=41940992, episodic return=2156.30810546875\n", + "global step=41940992, episodic return=2112.839111328125\n", + "global step=41943040, episodic return=2108.065673828125\n", + "global step=41943040, episodic return=2130.6611328125\n", + "global step=41943040, episodic return=2152.157958984375\n", + "global step=41945088, episodic return=2118.52978515625\n", + "global step=41945088, episodic return=2077.49462890625\n", + "global step=41945088, episodic return=2092.70947265625\n", + "global step=41947136, episodic return=2093.08544921875\n", + "global step=41949184, episodic return=2177.963134765625\n", + "global step=41949184, episodic return=2061.329833984375\n", + "global step=41951232, episodic return=2140.77001953125\n", + "global step=41951232, episodic return=2104.815185546875\n", + "global step=41951232, episodic return=1987.5203857421875\n", + "global step=41953280, episodic return=2119.212158203125\n", + "global step=41953280, episodic return=2153.2431640625\n", + "global step=41955328, episodic return=2068.820556640625\n", + "global step=41957376, episodic return=2124.4306640625\n", + "global step=41959424, episodic return=2088.7275390625\n", + "global step=41959424, episodic return=2052.55615234375\n", + "global step=41959424, episodic return=2146.8916015625\n", + "global step=41959424, episodic return=2155.619873046875\n", + "global step=41959424, episodic return=2119.6513671875\n", + "global step=41959424, episodic return=2058.3505859375\n", + "global step=41961472, episodic return=2124.18701171875\n", + "global step=41961472, episodic return=2053.855712890625\n", + "global step=41963520, episodic return=2140.426513671875\n", + "global step=41963520, episodic return=2080.65478515625\n", + "global step=41963520, episodic return=1927.081787109375\n", + "global step=41965568, episodic return=2153.7255859375\n", + "global step=41965568, episodic return=2033.2911376953125\n", + "global step=41965568, episodic return=2043.048828125\n", + "global step=41965568, episodic return=2146.825927734375\n", + "global step=41965568, episodic return=1967.5577392578125\n", + "global step=41965568, episodic return=2003.83740234375\n", + "global step=41967616, episodic return=2088.5595703125\n", + "global step=41969664, episodic return=2004.828857421875\n", + "global step=41969664, episodic return=2152.7509765625\n", + "global step=41971712, episodic return=2036.65966796875\n", + "global step=41971712, episodic return=2106.15185546875\n", + "global step=41971712, episodic return=2148.595458984375\n", + "global step=41973760, episodic return=2082.775390625\n", + "global step=41973760, episodic return=2105.525146484375\n", + "global step=41975808, episodic return=2048.50927734375\n", + "global step=41975808, episodic return=2155.649658203125\n", + "global step=41975808, episodic return=2135.56787109375\n", + "global step=41977856, episodic return=2031.64892578125\n", + "global step=41977856, episodic return=2009.5875244140625\n", + "global step=41977856, episodic return=2084.98388671875\n", + "global step=41979904, episodic return=2131.677978515625\n", + "global step=41979904, episodic return=1988.6827392578125\n", + "global step=41979904, episodic return=2093.08642578125\n", + "global step=41979904, episodic return=2042.50244140625\n", + "global step=41979904, episodic return=2136.957275390625\n", + "global step=41981952, episodic return=2125.220703125\n", + "global step=41981952, episodic return=2160.072998046875\n", + "global step=41981952, episodic return=2101.228759765625\n", + "global step=41981952, episodic return=2071.86328125\n", + "global step=41981952, episodic return=2036.455810546875\n", + "global step=41984000, episodic return=2041.3909912109375\n", + "global step=41984000, episodic return=2127.972412109375\n", + "global step=41986048, episodic return=2100.845947265625\n", + "global step=41986048, episodic return=2057.325927734375\n", + "global step=41986048, episodic return=2074.61962890625\n", + "global step=41986048, episodic return=2097.501220703125\n", + "global step=41986048, episodic return=993.76904296875\n", + "global step=41988096, episodic return=2116.847900390625\n", + "global step=41988096, episodic return=2059.37451171875\n", + "global step=41992192, episodic return=2071.638916015625\n", + "global step=41996288, episodic return=2097.20751953125\n", + "global step=41998336, episodic return=2037.8963623046875\n", + "global step=41998336, episodic return=2016.368896484375\n", + "global step=42000384, episodic return=2151.435791015625\n", + "global step=42000384, episodic return=2075.695556640625\n", + "global step=42000384, episodic return=2041.589111328125\n", + "global step=42002432, episodic return=2103.98291015625\n", + "global step=42004480, episodic return=2121.39990234375\n", + "global step=42004480, episodic return=2094.976318359375\n", + "global step=42004480, episodic return=2045.7081298828125\n", + "global step=42004480, episodic return=2122.793701171875\n", + "global step=42004480, episodic return=2052.2197265625\n", + "global step=42004480, episodic return=2079.000732421875\n", + "global step=42004480, episodic return=2075.967529296875\n", + "global step=42006528, episodic return=2063.658447265625\n", + "global step=42006528, episodic return=2050.279052734375\n", + "global step=42006528, episodic return=2129.495849609375\n", + "global step=42008576, episodic return=2085.17919921875\n", + "global step=42010624, episodic return=2074.597412109375\n", + "global step=42010624, episodic return=2046.1990966796875\n", + "global step=42010624, episodic return=2135.253662109375\n", + "global step=42012672, episodic return=1995.9637451171875\n", + "global step=42014720, episodic return=2091.57080078125\n", + "global step=42014720, episodic return=239.2561492919922\n", + "global step=42016768, episodic return=2091.6962890625\n", + "global step=42016768, episodic return=2094.430419921875\n", + "global step=42016768, episodic return=2113.853515625\n", + "global step=42016768, episodic return=2171.4970703125\n", + "global step=42018816, episodic return=2144.2275390625\n", + "global step=42018816, episodic return=2108.26171875\n", + "global step=42020864, episodic return=2108.697509765625\n", + "global step=42022912, episodic return=2126.8349609375\n", + "global step=42022912, episodic return=1956.69287109375\n", + "global step=42022912, episodic return=1523.989501953125\n", + "global step=42024960, episodic return=2039.66552734375\n", + "global step=42024960, episodic return=1977.5780029296875\n", + "global step=42024960, episodic return=1994.372314453125\n", + "global step=42024960, episodic return=2079.809814453125\n", + "global step=42027008, episodic return=2019.4569091796875\n", + "global step=42027008, episodic return=2060.039794921875\n", + "global step=42027008, episodic return=2083.99755859375\n", + "global step=42027008, episodic return=2017.6070556640625\n", + "global step=42029056, episodic return=2026.9501953125\n", + "global step=42029056, episodic return=2165.5390625\n", + "global step=42029056, episodic return=2106.54638671875\n", + "global step=42029056, episodic return=2011.5350341796875\n", + "global step=42029056, episodic return=2102.60107421875\n", + "global step=42031104, episodic return=2091.611083984375\n", + "global step=42031104, episodic return=2158.072021484375\n", + "global step=42033152, episodic return=2076.1865234375\n", + "global step=42033152, episodic return=2116.48876953125\n", + "global step=42033152, episodic return=2059.720458984375\n", + "global step=42035200, episodic return=2087.16943359375\n", + "global step=42035200, episodic return=1479.6817626953125\n", + "global step=42037248, episodic return=2104.23583984375\n", + "global step=42039296, episodic return=2092.33447265625\n", + "global step=42039296, episodic return=1860.914306640625\n", + "global step=42041344, episodic return=2046.7994384765625\n", + "global step=42041344, episodic return=2123.8388671875\n", + "global step=42043392, episodic return=2063.896484375\n", + "global step=42043392, episodic return=1993.5438232421875\n", + "global step=42045440, episodic return=2083.937744140625\n", + "global step=42045440, episodic return=2103.864990234375\n", + "global step=42047488, episodic return=2141.51611328125\n", + "global step=42049536, episodic return=2094.0732421875\n", + "global step=42049536, episodic return=2147.15625\n", + "global step=42049536, episodic return=2057.9267578125\n", + "global step=42049536, episodic return=2065.8798828125\n", + "global step=42049536, episodic return=1619.5439453125\n", + "global step=42051584, episodic return=2077.552734375\n", + "global step=42051584, episodic return=2097.5439453125\n", + "global step=42053632, episodic return=2108.07080078125\n", + "global step=42055680, episodic return=2110.526611328125\n", + "global step=42055680, episodic return=2153.706298828125\n", + "global step=42055680, episodic return=2063.384033203125\n", + "global step=42055680, episodic return=2046.0003662109375\n", + "global step=42055680, episodic return=2112.646728515625\n", + "global step=42055680, episodic return=2054.7216796875\n", + "global step=42055680, episodic return=2046.7677001953125\n", + "global step=42055680, episodic return=2079.378173828125\n", + "global step=42057728, episodic return=2025.375732421875\n", + "global step=42057728, episodic return=2013.146484375\n", + "global step=42057728, episodic return=2078.708984375\n", + "global step=42059776, episodic return=1987.2314453125\n", + "global step=42061824, episodic return=2088.4931640625\n", + "global step=42063872, episodic return=2004.2152099609375\n", + "global step=42063872, episodic return=2138.7890625\n", + "global step=42063872, episodic return=2070.709228515625\n", + "global step=42065920, episodic return=2056.734619140625\n", + "global step=42065920, episodic return=2102.149658203125\n", + "global step=42065920, episodic return=2123.34814453125\n", + "global step=42065920, episodic return=2090.244384765625\n", + "global step=42065920, episodic return=2093.3974609375\n", + "global step=42067968, episodic return=1939.1260986328125\n", + "global step=42067968, episodic return=2109.5927734375\n", + "global step=42067968, episodic return=2102.3466796875\n", + "global step=42067968, episodic return=2136.386474609375\n", + "global step=42070016, episodic return=2046.8175048828125\n", + "global step=42070016, episodic return=2089.309814453125\n", + "global step=42070016, episodic return=2036.667724609375\n", + "global step=42070016, episodic return=2003.917724609375\n", + "global step=42072064, episodic return=2042.1053466796875\n", + "global step=42072064, episodic return=2070.5576171875\n", + "global step=42072064, episodic return=2126.70166015625\n", + "global step=42072064, episodic return=2141.116943359375\n", + "global step=42074112, episodic return=2097.4111328125\n", + "global step=42074112, episodic return=2146.15283203125\n", + "global step=42074112, episodic return=2089.375\n", + "global step=42076160, episodic return=2106.332763671875\n", + "global step=42078208, episodic return=2087.1494140625\n", + "global step=42078208, episodic return=2090.386474609375\n", + "global step=42078208, episodic return=2050.462158203125\n", + "global step=42078208, episodic return=2050.410888671875\n", + "global step=42078208, episodic return=2102.704833984375\n", + "global step=42078208, episodic return=2088.7353515625\n", + "global step=42080256, episodic return=2073.354736328125\n", + "global step=42080256, episodic return=2157.914306640625\n", + "global step=42080256, episodic return=2090.10302734375\n", + "global step=42080256, episodic return=2008.73974609375\n", + "global step=42082304, episodic return=2104.935546875\n", + "global step=42082304, episodic return=2068.625244140625\n", + "global step=42082304, episodic return=2055.84765625\n", + "global step=42084352, episodic return=1965.9560546875\n", + "global step=42084352, episodic return=2158.36083984375\n", + "global step=42084352, episodic return=2062.247802734375\n", + "global step=42086400, episodic return=2042.5440673828125\n", + "global step=42086400, episodic return=2028.6617431640625\n", + "global step=42086400, episodic return=2088.060791015625\n", + "global step=42088448, episodic return=2061.4111328125\n", + "global step=42088448, episodic return=2091.78515625\n", + "global step=42088448, episodic return=2052.614990234375\n", + "global step=42088448, episodic return=2094.527099609375\n", + "global step=42088448, episodic return=2054.211181640625\n", + "global step=42088448, episodic return=2094.23291015625\n", + "global step=42088448, episodic return=2089.813720703125\n", + "global step=42090496, episodic return=2059.914306640625\n", + "global step=42090496, episodic return=2123.5654296875\n", + "global step=42090496, episodic return=2122.838623046875\n", + "global step=42092544, episodic return=2053.606689453125\n", + "global step=42094592, episodic return=2062.63134765625\n", + "global step=42094592, episodic return=2139.49169921875\n", + "global step=42096640, episodic return=2059.276611328125\n", + "global step=42096640, episodic return=2099.361572265625\n", + "global step=42096640, episodic return=2105.5439453125\n", + "global step=42096640, episodic return=2093.693359375\n", + "global step=42096640, episodic return=2028.4295654296875\n", + "global step=42096640, episodic return=2112.126220703125\n", + "global step=42096640, episodic return=2091.76171875\n", + "global step=42096640, episodic return=2108.802734375\n", + "global step=42100736, episodic return=2160.75244140625\n", + "global step=42100736, episodic return=2101.945068359375\n", + "global step=42102784, episodic return=2032.4444580078125\n", + "global step=42102784, episodic return=2029.8310546875\n", + "global step=42102784, episodic return=2109.962890625\n", + "global step=42102784, episodic return=2064.21826171875\n", + "global step=42104832, episodic return=2092.74853515625\n", + "global step=42104832, episodic return=2043.6851806640625\n", + "global step=42104832, episodic return=2127.690185546875\n", + "global step=42106880, episodic return=2094.1806640625\n", + "global step=42106880, episodic return=2097.01025390625\n", + "global step=42106880, episodic return=2078.97705078125\n", + "global step=42106880, episodic return=2115.506103515625\n", + "global step=42106880, episodic return=2072.358642578125\n", + "global step=42106880, episodic return=2070.515380859375\n", + "global step=42108928, episodic return=2042.0498046875\n", + "global step=42108928, episodic return=2031.713134765625\n", + "global step=42108928, episodic return=2029.966796875\n", + "global step=42110976, episodic return=2069.994384765625\n", + "global step=42113024, episodic return=1986.45458984375\n", + "global step=42113024, episodic return=2125.80078125\n", + "global step=42113024, episodic return=2022.8875732421875\n", + "global step=42115072, episodic return=2046.805908203125\n", + "global step=42117120, episodic return=2098.181396484375\n", + "global step=42117120, episodic return=2032.653564453125\n", + "global step=42117120, episodic return=2141.586669921875\n", + "global step=42117120, episodic return=2015.959228515625\n", + "global step=42117120, episodic return=2106.43701171875\n", + "global step=42117120, episodic return=2164.097412109375\n", + "global step=42119168, episodic return=2121.385009765625\n", + "global step=42121216, episodic return=2103.509521484375\n", + "global step=42121216, episodic return=2090.703125\n", + "global step=42123264, episodic return=2082.646484375\n", + "global step=42125312, episodic return=2003.7862548828125\n", + "global step=42127360, episodic return=2038.018310546875\n", + "global step=42127360, episodic return=2150.968505859375\n", + "global step=42127360, episodic return=1999.801513671875\n", + "global step=42127360, episodic return=2018.359130859375\n", + "global step=42129408, episodic return=2065.741455078125\n", + "global step=42129408, episodic return=2064.94873046875\n", + "global step=42129408, episodic return=2061.590576171875\n", + "global step=42131456, episodic return=2075.734375\n", + "global step=42131456, episodic return=2098.9736328125\n", + "global step=42131456, episodic return=2132.09716796875\n", + "global step=42131456, episodic return=2101.913818359375\n", + "global step=42133504, episodic return=2142.41552734375\n", + "global step=42135552, episodic return=2047.1373291015625\n", + "global step=42135552, episodic return=2046.2491455078125\n", + "global step=42135552, episodic return=2135.042236328125\n", + "global step=42137600, episodic return=2004.96044921875\n", + "global step=42137600, episodic return=2074.450439453125\n", + "global step=42137600, episodic return=2056.075439453125\n", + "global step=42137600, episodic return=2120.19775390625\n", + "global step=42137600, episodic return=2160.350341796875\n", + "global step=42137600, episodic return=2048.11572265625\n", + "global step=42139648, episodic return=2124.539794921875\n", + "global step=42139648, episodic return=2096.227294921875\n", + "global step=42139648, episodic return=2151.16455078125\n", + "global step=42141696, episodic return=2047.4453125\n", + "global step=42141696, episodic return=2057.19775390625\n", + "global step=42141696, episodic return=2050.707763671875\n", + "global step=42141696, episodic return=2102.789794921875\n", + "global step=42141696, episodic return=2059.493896484375\n", + "global step=42141696, episodic return=2023.2442626953125\n", + "global step=42143744, episodic return=2051.139404296875\n", + "global step=42143744, episodic return=2055.037109375\n", + "global step=42143744, episodic return=2067.4140625\n", + "global step=42147840, episodic return=2089.87646484375\n", + "global step=42147840, episodic return=2103.213134765625\n", + "global step=42147840, episodic return=1960.070556640625\n", + "global step=42149888, episodic return=2025.655517578125\n", + "global step=42149888, episodic return=1969.62841796875\n", + "global step=42149888, episodic return=2110.682861328125\n", + "global step=42149888, episodic return=397.6369323730469\n", + "global step=42149888, episodic return=2086.626953125\n", + "global step=42149888, episodic return=2112.532470703125\n", + "global step=42151936, episodic return=2077.576904296875\n", + "global step=42151936, episodic return=2105.178955078125\n", + "global step=42153984, episodic return=2051.94677734375\n", + "global step=42153984, episodic return=2018.581787109375\n", + "global step=42153984, episodic return=2125.87744140625\n", + "global step=42153984, episodic return=2073.439208984375\n", + "global step=42156032, episodic return=2090.509033203125\n", + "global step=42156032, episodic return=2072.890625\n", + "global step=42156032, episodic return=2075.20703125\n", + "global step=42156032, episodic return=2076.83740234375\n", + "global step=42156032, episodic return=2038.9886474609375\n", + "global step=42158080, episodic return=2048.30078125\n", + "global step=42158080, episodic return=2098.928466796875\n", + "global step=42158080, episodic return=2084.8251953125\n", + "global step=42158080, episodic return=2078.437744140625\n", + "global step=42160128, episodic return=2101.781494140625\n", + "global step=42160128, episodic return=2175.3134765625\n", + "global step=42160128, episodic return=2124.82421875\n", + "global step=42160128, episodic return=1964.759765625\n", + "global step=42160128, episodic return=2040.7105712890625\n", + "global step=42162176, episodic return=2110.1416015625\n", + "global step=42162176, episodic return=2114.5625\n", + "global step=42162176, episodic return=2042.7005615234375\n", + "global step=42162176, episodic return=2078.437255859375\n", + "global step=42162176, episodic return=2100.7685546875\n", + "global step=42164224, episodic return=2105.998046875\n", + "global step=42164224, episodic return=2117.931884765625\n", + "global step=42164224, episodic return=2025.51220703125\n", + "global step=42166272, episodic return=2104.615234375\n", + "global step=42166272, episodic return=2115.789794921875\n", + "global step=42166272, episodic return=2032.8426513671875\n", + "global step=42168320, episodic return=2143.544677734375\n", + "global step=42168320, episodic return=2137.1953125\n", + "global step=42168320, episodic return=2107.6904296875\n", + "global step=42168320, episodic return=2136.24609375\n", + "global step=42168320, episodic return=2087.194091796875\n", + "global step=42168320, episodic return=2026.9296875\n", + "global step=42170368, episodic return=2050.803955078125\n", + "global step=42170368, episodic return=2104.460693359375\n", + "global step=42170368, episodic return=2077.0751953125\n", + "global step=42172416, episodic return=2165.461181640625\n", + "global step=42172416, episodic return=2087.830810546875\n", + "global step=42172416, episodic return=2129.285888671875\n", + "global step=42172416, episodic return=2118.18896484375\n", + "global step=42174464, episodic return=2138.087890625\n", + "global step=42174464, episodic return=2133.68017578125\n", + "global step=42174464, episodic return=2166.3984375\n", + "global step=42174464, episodic return=2088.24853515625\n", + "global step=42174464, episodic return=2139.861083984375\n", + "global step=42174464, episodic return=2080.6884765625\n", + "global step=42176512, episodic return=2094.00830078125\n", + "global step=42176512, episodic return=2097.7705078125\n", + "global step=42176512, episodic return=2061.84375\n", + "global step=42176512, episodic return=2079.16748046875\n", + "global step=42176512, episodic return=2029.8934326171875\n", + "global step=42178560, episodic return=2088.59033203125\n", + "global step=42178560, episodic return=2106.25830078125\n", + "global step=42182656, episodic return=2084.117431640625\n", + "global step=42182656, episodic return=1997.45654296875\n", + "global step=42182656, episodic return=2113.53466796875\n", + "global step=42184704, episodic return=2054.122802734375\n", + "global step=42184704, episodic return=1349.5657958984375\n", + "global step=42184704, episodic return=2111.201904296875\n", + "global step=42184704, episodic return=2106.299072265625\n", + "global step=42186752, episodic return=2098.618896484375\n", + "global step=42186752, episodic return=2128.932861328125\n", + "global step=42186752, episodic return=2062.720458984375\n", + "global step=42188800, episodic return=2116.65185546875\n", + "global step=42188800, episodic return=2007.0244140625\n", + "global step=42188800, episodic return=2038.4210205078125\n", + "global step=42190848, episodic return=2066.12255859375\n", + "global step=42190848, episodic return=2042.0328369140625\n", + "global step=42190848, episodic return=2027.5576171875\n", + "global step=42190848, episodic return=2117.414794921875\n", + "global step=42194944, episodic return=2134.98046875\n", + "global step=42194944, episodic return=2100.623046875\n", + "global step=42194944, episodic return=2133.6787109375\n", + "global step=42194944, episodic return=2097.49951171875\n", + "global step=42196992, episodic return=2016.488037109375\n", + "global step=42196992, episodic return=2095.09619140625\n", + "global step=42196992, episodic return=2110.375244140625\n", + "global step=42199040, episodic return=2119.53173828125\n", + "global step=42199040, episodic return=1998.2227783203125\n", + "global step=42199040, episodic return=2012.2587890625\n", + "global step=42199040, episodic return=2124.724365234375\n", + "global step=42201088, episodic return=2080.457275390625\n", + "global step=42201088, episodic return=2050.28955078125\n", + "global step=42201088, episodic return=2069.0703125\n", + "global step=42201088, episodic return=2087.575927734375\n", + "global step=42201088, episodic return=2053.094970703125\n", + "global step=42203136, episodic return=2085.87939453125\n", + "global step=42205184, episodic return=2052.298583984375\n", + "global step=42205184, episodic return=2098.851806640625\n", + "global step=42205184, episodic return=2102.787353515625\n", + "global step=42205184, episodic return=2076.90478515625\n", + "global step=42207232, episodic return=2048.033203125\n", + "global step=42207232, episodic return=2118.82275390625\n", + "global step=42207232, episodic return=2021.597412109375\n", + "global step=42207232, episodic return=2086.833740234375\n", + "global step=42207232, episodic return=2088.3671875\n", + "global step=42209280, episodic return=2057.50537109375\n", + "global step=42209280, episodic return=2061.787841796875\n", + "global step=42209280, episodic return=2118.421142578125\n", + "global step=42211328, episodic return=2048.5498046875\n", + "global step=42211328, episodic return=2023.985595703125\n", + "global step=42213376, episodic return=2031.8167724609375\n", + "global step=42213376, episodic return=2138.501708984375\n", + "global step=42215424, episodic return=2087.2158203125\n", + "global step=42215424, episodic return=2114.4521484375\n", + "global step=42215424, episodic return=2101.81298828125\n", + "global step=42215424, episodic return=2092.53369140625\n", + "global step=42217472, episodic return=2167.53564453125\n", + "global step=42217472, episodic return=2046.326904296875\n", + "global step=42217472, episodic return=2033.34912109375\n", + "global step=42217472, episodic return=2081.98095703125\n", + "global step=42217472, episodic return=2119.329345703125\n", + "global step=42217472, episodic return=2088.402587890625\n", + "global step=42219520, episodic return=2129.5908203125\n", + "global step=42219520, episodic return=2130.85986328125\n", + "global step=42221568, episodic return=2049.68115234375\n", + "global step=42221568, episodic return=2119.29931640625\n", + "global step=42221568, episodic return=2080.322509765625\n", + "global step=42221568, episodic return=2066.453125\n", + "global step=42221568, episodic return=2108.828369140625\n", + "global step=42221568, episodic return=2097.908447265625\n", + "global step=42221568, episodic return=2046.2626953125\n", + "global step=42221568, episodic return=2079.8671875\n", + "global step=42223616, episodic return=2150.20166015625\n", + "global step=42223616, episodic return=2050.9912109375\n", + "global step=42227712, episodic return=2111.1083984375\n", + "global step=42227712, episodic return=1851.4822998046875\n", + "global step=42227712, episodic return=2000.51904296875\n", + "global step=42227712, episodic return=2099.684814453125\n", + "global step=42227712, episodic return=2103.6689453125\n", + "global step=42227712, episodic return=2095.41845703125\n", + "global step=42229760, episodic return=2116.1064453125\n", + "global step=42229760, episodic return=2140.602783203125\n", + "global step=42229760, episodic return=2128.849365234375\n", + "global step=42231808, episodic return=2088.6513671875\n", + "global step=42231808, episodic return=2122.27880859375\n", + "global step=42233856, episodic return=2120.06005859375\n", + "global step=42233856, episodic return=2097.70751953125\n", + "global step=42233856, episodic return=2060.5732421875\n", + "global step=42233856, episodic return=2092.388916015625\n", + "global step=42233856, episodic return=2082.55078125\n", + "global step=42235904, episodic return=2046.8265380859375\n", + "global step=42235904, episodic return=2079.18310546875\n", + "global step=42235904, episodic return=2133.74853515625\n", + "global step=42237952, episodic return=2147.396728515625\n", + "global step=42237952, episodic return=2060.6494140625\n", + "global step=42237952, episodic return=2088.65380859375\n", + "global step=42237952, episodic return=2084.156982421875\n", + "global step=42237952, episodic return=2097.122314453125\n", + "global step=42240000, episodic return=1953.658935546875\n", + "global step=42242048, episodic return=2090.5419921875\n", + "global step=42242048, episodic return=2124.111572265625\n", + "global step=42242048, episodic return=2146.42919921875\n", + "global step=42244096, episodic return=2133.7421875\n", + "global step=42246144, episodic return=2086.632080078125\n", + "global step=42246144, episodic return=2135.64599609375\n", + "global step=42246144, episodic return=2058.3427734375\n", + "global step=42246144, episodic return=2078.65625\n", + "global step=42246144, episodic return=2015.3804931640625\n", + "global step=42246144, episodic return=2138.497802734375\n", + "global step=42248192, episodic return=2085.52734375\n", + "global step=42248192, episodic return=2083.132568359375\n", + "global step=42248192, episodic return=2103.873046875\n", + "global step=42248192, episodic return=2044.0802001953125\n", + "global step=42248192, episodic return=2102.54443359375\n", + "global step=42248192, episodic return=2054.548095703125\n", + "global step=42248192, episodic return=2096.18310546875\n", + "global step=42248192, episodic return=2147.072998046875\n", + "global step=42250240, episodic return=2049.695068359375\n", + "global step=42250240, episodic return=2074.689453125\n", + "global step=42250240, episodic return=2073.19775390625\n", + "global step=42250240, episodic return=2028.9617919921875\n", + "global step=42250240, episodic return=2111.414794921875\n", + "global step=42252288, episodic return=2081.733642578125\n", + "global step=42252288, episodic return=119.98711395263672\n", + "global step=42252288, episodic return=1985.08447265625\n", + "global step=42254336, episodic return=2080.031982421875\n", + "global step=42254336, episodic return=2114.135498046875\n", + "global step=42254336, episodic return=2103.619384765625\n", + "global step=42256384, episodic return=2044.4705810546875\n", + "global step=42256384, episodic return=2116.267333984375\n", + "global step=42256384, episodic return=2102.07666015625\n", + "global step=42256384, episodic return=2024.723876953125\n", + "global step=42256384, episodic return=2064.747314453125\n", + "global step=42256384, episodic return=2092.453125\n", + "global step=42258432, episodic return=2101.51025390625\n", + "global step=42258432, episodic return=2107.25341796875\n", + "global step=42258432, episodic return=2098.3828125\n", + "global step=42258432, episodic return=2100.155517578125\n", + "global step=42260480, episodic return=2107.38671875\n", + "global step=42260480, episodic return=2140.67822265625\n", + "global step=42260480, episodic return=2102.71533203125\n", + "global step=42260480, episodic return=2107.511474609375\n", + "global step=42260480, episodic return=2094.689208984375\n", + "global step=42262528, episodic return=2029.0794677734375\n", + "global step=42262528, episodic return=2085.016845703125\n", + "global step=42262528, episodic return=2111.130859375\n", + "global step=42262528, episodic return=2015.1480712890625\n", + "global step=42262528, episodic return=2117.56298828125\n", + "global step=42264576, episodic return=2129.857177734375\n", + "global step=42264576, episodic return=2020.21337890625\n", + "global step=42264576, episodic return=2055.68896484375\n", + "global step=42264576, episodic return=2059.2724609375\n", + "global step=42266624, episodic return=2079.333984375\n", + "global step=42266624, episodic return=2121.69775390625\n", + "global step=42266624, episodic return=2164.04248046875\n", + "global step=42268672, episodic return=2024.62744140625\n", + "global step=42268672, episodic return=2106.437744140625\n", + "global step=42268672, episodic return=2089.403076171875\n", + "global step=42270720, episodic return=2071.60205078125\n", + "global step=42270720, episodic return=2150.324951171875\n", + "global step=42272768, episodic return=2088.7763671875\n", + "global step=42272768, episodic return=2083.478515625\n", + "global step=42272768, episodic return=723.2470092773438\n", + "global step=42274816, episodic return=221.51063537597656\n", + "global step=42274816, episodic return=2071.67138671875\n", + "global step=42274816, episodic return=2114.933349609375\n", + "global step=42276864, episodic return=2148.177490234375\n", + "global step=42276864, episodic return=2047.26513671875\n", + "global step=42278912, episodic return=2087.689697265625\n", + "global step=42278912, episodic return=2060.535888671875\n", + "global step=42278912, episodic return=2027.981689453125\n", + "global step=42280960, episodic return=2097.73779296875\n", + "global step=42280960, episodic return=2113.5498046875\n", + "global step=42280960, episodic return=2101.80224609375\n", + "global step=42280960, episodic return=2075.016357421875\n", + "global step=42280960, episodic return=1998.8858642578125\n", + "global step=42280960, episodic return=2084.9462890625\n", + "global step=42283008, episodic return=2150.333251953125\n", + "global step=42283008, episodic return=2096.513427734375\n", + "global step=42283008, episodic return=2084.88916015625\n", + "global step=42285056, episodic return=2106.599365234375\n", + "global step=42285056, episodic return=2133.330078125\n", + "global step=42287104, episodic return=2090.59375\n", + "global step=42289152, episodic return=2097.22705078125\n", + "global step=42289152, episodic return=2032.1632080078125\n", + "global step=42289152, episodic return=2103.435302734375\n", + "global step=42291200, episodic return=2054.322021484375\n", + "global step=42291200, episodic return=2077.653076171875\n", + "global step=42291200, episodic return=2091.2236328125\n", + "global step=42293248, episodic return=2057.634765625\n", + "global step=42293248, episodic return=2055.78466796875\n", + "global step=42293248, episodic return=2087.757568359375\n", + "global step=42293248, episodic return=2137.689208984375\n", + "global step=42293248, episodic return=2124.971435546875\n", + "global step=42293248, episodic return=1965.0140380859375\n", + "global step=42293248, episodic return=2033.3348388671875\n", + "global step=42297344, episodic return=2150.850341796875\n", + "global step=42297344, episodic return=2099.345947265625\n", + "global step=42297344, episodic return=123.93817138671875\n", + "global step=42299392, episodic return=2050.527099609375\n", + "global step=42299392, episodic return=2108.9150390625\n", + "global step=42299392, episodic return=2123.45068359375\n", + "global step=42299392, episodic return=2115.78271484375\n", + "global step=42299392, episodic return=2112.906005859375\n", + "global step=42299392, episodic return=2005.1812744140625\n", + "global step=42299392, episodic return=2050.7119140625\n", + "global step=42299392, episodic return=2154.701416015625\n", + "global step=42301440, episodic return=2158.922119140625\n", + "global step=42301440, episodic return=2120.875\n", + "global step=42301440, episodic return=2020.1536865234375\n", + "global step=42301440, episodic return=2105.255126953125\n", + "global step=42301440, episodic return=2015.3382568359375\n", + "global step=42301440, episodic return=2136.83837890625\n", + "global step=42301440, episodic return=2096.3740234375\n", + "global step=42301440, episodic return=2097.155517578125\n", + "global step=42303488, episodic return=2064.67626953125\n", + "global step=42303488, episodic return=2026.3414306640625\n", + "global step=42303488, episodic return=2139.81494140625\n", + "global step=42305536, episodic return=2180.429443359375\n", + "global step=42305536, episodic return=2049.10107421875\n", + "global step=42305536, episodic return=2122.509033203125\n", + "global step=42305536, episodic return=2138.3388671875\n", + "global step=42305536, episodic return=2102.77490234375\n", + "global step=42307584, episodic return=2161.2177734375\n", + "global step=42307584, episodic return=2073.83056640625\n", + "global step=42307584, episodic return=2093.834228515625\n", + "global step=42307584, episodic return=2098.232421875\n", + "global step=42307584, episodic return=127.55271911621094\n", + "global step=42307584, episodic return=2134.21337890625\n", + "global step=42307584, episodic return=2130.217529296875\n", + "global step=42309632, episodic return=2120.52099609375\n", + "global step=42309632, episodic return=2146.58544921875\n", + "global step=42309632, episodic return=2135.802978515625\n", + "global step=42311680, episodic return=2106.482421875\n", + "global step=42311680, episodic return=2144.138671875\n", + "global step=42313728, episodic return=2154.4658203125\n", + "global step=42313728, episodic return=2135.554931640625\n", + "global step=42313728, episodic return=2086.16015625\n", + "global step=42313728, episodic return=2076.000244140625\n", + "global step=42315776, episodic return=2118.942626953125\n", + "global step=42315776, episodic return=2119.4619140625\n", + "global step=42315776, episodic return=2086.16064453125\n", + "global step=42315776, episodic return=2078.57861328125\n", + "global step=42317824, episodic return=2132.269287109375\n", + "global step=42317824, episodic return=2106.391357421875\n", + "global step=42317824, episodic return=2095.260009765625\n", + "global step=42317824, episodic return=2071.393798828125\n", + "global step=42317824, episodic return=2078.13232421875\n", + "global step=42319872, episodic return=2142.92138671875\n", + "global step=42319872, episodic return=2108.0478515625\n", + "global step=42319872, episodic return=2120.0771484375\n", + "global step=42319872, episodic return=2091.997802734375\n", + "global step=42319872, episodic return=2083.584716796875\n", + "global step=42319872, episodic return=2067.641357421875\n", + "global step=42319872, episodic return=2118.269775390625\n", + "global step=42321920, episodic return=2070.460693359375\n", + "global step=42321920, episodic return=2117.259765625\n", + "global step=42321920, episodic return=2135.109375\n", + "global step=42321920, episodic return=2115.462646484375\n", + "global step=42321920, episodic return=2153.133544921875\n", + "global step=42323968, episodic return=2102.66357421875\n", + "global step=42323968, episodic return=2087.970458984375\n", + "global step=42323968, episodic return=2132.47705078125\n", + "global step=42323968, episodic return=2113.019775390625\n", + "global step=42323968, episodic return=2125.427001953125\n", + "global step=42326016, episodic return=2029.1131591796875\n", + "global step=42326016, episodic return=2113.361328125\n", + "global step=42326016, episodic return=2053.765625\n", + "global step=42328064, episodic return=2132.5966796875\n", + "global step=42328064, episodic return=2117.398193359375\n", + "global step=42328064, episodic return=2045.5498046875\n", + "global step=42330112, episodic return=2102.75146484375\n", + "global step=42330112, episodic return=2151.5078125\n", + "global step=42330112, episodic return=2139.9482421875\n", + "global step=42330112, episodic return=2130.937255859375\n", + "global step=42332160, episodic return=2048.5703125\n", + "global step=42332160, episodic return=2138.443603515625\n", + "global step=42334208, episodic return=2092.840576171875\n", + "global step=42334208, episodic return=2088.6923828125\n", + "global step=42334208, episodic return=2130.035400390625\n", + "global step=42336256, episodic return=1999.4268798828125\n", + "global step=42336256, episodic return=2107.450927734375\n", + "global step=42338304, episodic return=2077.248046875\n", + "global step=42338304, episodic return=2087.082275390625\n", + "global step=42338304, episodic return=2125.70458984375\n", + "global step=42338304, episodic return=2071.7861328125\n", + "global step=42338304, episodic return=2100.739501953125\n", + "global step=42340352, episodic return=2093.197021484375\n", + "global step=42340352, episodic return=2102.89794921875\n", + "global step=42340352, episodic return=2161.959716796875\n", + "global step=42342400, episodic return=2081.727294921875\n", + "global step=42342400, episodic return=1063.364013671875\n", + "global step=42342400, episodic return=2127.919189453125\n", + "global step=42342400, episodic return=2107.90478515625\n", + "global step=42342400, episodic return=2101.427001953125\n", + "global step=42342400, episodic return=2118.84521484375\n", + "global step=42344448, episodic return=2098.539794921875\n", + "global step=42344448, episodic return=2144.883056640625\n", + "global step=42344448, episodic return=2134.505615234375\n", + "global step=42346496, episodic return=2080.941650390625\n", + "global step=42346496, episodic return=2047.380126953125\n", + "global step=42346496, episodic return=2145.54443359375\n", + "global step=42346496, episodic return=2114.81201171875\n", + "global step=42348544, episodic return=2073.422119140625\n", + "global step=42348544, episodic return=2084.7568359375\n", + "global step=42348544, episodic return=2123.616455078125\n", + "global step=42348544, episodic return=2121.693359375\n", + "global step=42350592, episodic return=2103.185791015625\n", + "global step=42350592, episodic return=2122.534912109375\n", + "global step=42350592, episodic return=2137.339599609375\n", + "global step=42350592, episodic return=2076.376220703125\n", + "global step=42350592, episodic return=2116.1962890625\n", + "global step=42350592, episodic return=2088.583251953125\n", + "global step=42352640, episodic return=2088.6025390625\n", + "global step=42352640, episodic return=2102.75\n", + "global step=42352640, episodic return=2135.91064453125\n", + "global step=42354688, episodic return=2093.2802734375\n", + "global step=42354688, episodic return=2107.65625\n", + "global step=42356736, episodic return=2074.80615234375\n", + "global step=42356736, episodic return=2119.380126953125\n", + "global step=42356736, episodic return=2033.1552734375\n", + "global step=42358784, episodic return=2111.354736328125\n", + "global step=42358784, episodic return=2042.8216552734375\n", + "global step=42358784, episodic return=2070.099853515625\n", + "global step=42360832, episodic return=2100.128662109375\n", + "global step=42360832, episodic return=2031.17919921875\n", + "global step=42362880, episodic return=2009.8682861328125\n", + "global step=42362880, episodic return=2074.817626953125\n", + "global step=42362880, episodic return=2109.829345703125\n", + "global step=42364928, episodic return=607.243896484375\n", + "global step=42366976, episodic return=2141.17919921875\n", + "global step=42366976, episodic return=2095.617431640625\n", + "global step=42366976, episodic return=2094.509033203125\n", + "global step=42366976, episodic return=2071.029541015625\n", + "global step=42369024, episodic return=2085.813720703125\n", + "global step=42371072, episodic return=2083.89892578125\n", + "global step=42371072, episodic return=2107.581787109375\n", + "global step=42371072, episodic return=2039.6905517578125\n", + "global step=42371072, episodic return=2092.779296875\n", + "global step=42373120, episodic return=2118.37451171875\n", + "global step=42373120, episodic return=2043.951904296875\n", + "global step=42373120, episodic return=2109.01513671875\n", + "global step=42373120, episodic return=1755.28369140625\n", + "global step=42373120, episodic return=2141.736572265625\n", + "global step=42373120, episodic return=2115.548583984375\n", + "global step=42373120, episodic return=2055.382568359375\n", + "global step=42375168, episodic return=2106.0322265625\n", + "global step=42375168, episodic return=2103.798828125\n", + "global step=42377216, episodic return=2098.08984375\n", + "global step=42377216, episodic return=2117.569580078125\n", + "global step=42377216, episodic return=2090.27978515625\n", + "global step=42377216, episodic return=2104.25390625\n", + "global step=42379264, episodic return=2136.57275390625\n", + "global step=42379264, episodic return=2017.8409423828125\n", + "global step=42379264, episodic return=2088.98486328125\n", + "global step=42379264, episodic return=2130.5859375\n", + "global step=42379264, episodic return=1686.2464599609375\n", + "global step=42379264, episodic return=2041.10791015625\n", + "global step=42381312, episodic return=1799.5638427734375\n", + "global step=42381312, episodic return=2032.475341796875\n", + "global step=42383360, episodic return=2111.44921875\n", + "global step=42383360, episodic return=1544.0509033203125\n", + "global step=42383360, episodic return=2099.00732421875\n", + "global step=42383360, episodic return=2115.185546875\n", + "global step=42385408, episodic return=2155.0048828125\n", + "global step=42385408, episodic return=2080.37548828125\n", + "global step=42385408, episodic return=2121.73974609375\n", + "global step=42385408, episodic return=2096.790283203125\n", + "global step=42385408, episodic return=2107.8349609375\n", + "global step=42387456, episodic return=2075.930908203125\n", + "global step=42387456, episodic return=2075.78955078125\n", + "global step=42389504, episodic return=2098.231689453125\n", + "global step=42389504, episodic return=2164.5908203125\n", + "global step=42391552, episodic return=2052.731201171875\n", + "global step=42391552, episodic return=2024.4962158203125\n", + "global step=42391552, episodic return=2116.364013671875\n", + "global step=42393600, episodic return=2142.591552734375\n", + "global step=42397696, episodic return=2089.232177734375\n", + "global step=42397696, episodic return=2135.603271484375\n", + "global step=42397696, episodic return=2095.8271484375\n", + "global step=42397696, episodic return=2105.6572265625\n", + "global step=42397696, episodic return=2036.5732421875\n", + "global step=42399744, episodic return=2085.673828125\n", + "global step=42399744, episodic return=2123.370849609375\n", + "global step=42399744, episodic return=2070.966552734375\n", + "global step=42399744, episodic return=318.7918395996094\n", + "global step=42401792, episodic return=2075.230224609375\n", + "global step=42401792, episodic return=2134.484619140625\n", + "global step=42403840, episodic return=2137.296630859375\n", + "global step=42403840, episodic return=2095.276611328125\n", + "global step=42403840, episodic return=2088.000732421875\n", + "global step=42405888, episodic return=2155.89208984375\n", + "global step=42405888, episodic return=2112.380615234375\n", + "global step=42407936, episodic return=2076.138671875\n", + "global step=42407936, episodic return=2057.4609375\n", + "global step=42407936, episodic return=242.48052978515625\n", + "global step=42407936, episodic return=2093.921142578125\n", + "global step=42409984, episodic return=2050.078125\n", + "global step=42409984, episodic return=2134.244140625\n", + "global step=42412032, episodic return=2120.495849609375\n", + "global step=42416128, episodic return=2076.189453125\n", + "global step=42416128, episodic return=2087.2373046875\n", + "global step=42418176, episodic return=1999.8309326171875\n", + "global step=42418176, episodic return=2104.46484375\n", + "global step=42418176, episodic return=2040.9180908203125\n", + "global step=42420224, episodic return=2105.47900390625\n", + "global step=42420224, episodic return=2046.5928955078125\n", + "global step=42420224, episodic return=2066.6962890625\n", + "global step=42420224, episodic return=63.56797790527344\n", + "global step=42420224, episodic return=2048.19677734375\n", + "global step=42420224, episodic return=2097.34521484375\n", + "global step=42422272, episodic return=2087.323974609375\n", + "global step=42422272, episodic return=2089.369384765625\n", + "global step=42424320, episodic return=2117.100830078125\n", + "global step=42424320, episodic return=2029.9903564453125\n", + "global step=42426368, episodic return=2095.01513671875\n", + "global step=42426368, episodic return=2130.95068359375\n", + "global step=42426368, episodic return=2126.9189453125\n", + "global step=42426368, episodic return=2123.2294921875\n", + "global step=42426368, episodic return=2085.907470703125\n", + "global step=42426368, episodic return=2088.39013671875\n", + "global step=42428416, episodic return=2147.709228515625\n", + "global step=42428416, episodic return=2088.480224609375\n", + "global step=42430464, episodic return=2081.2080078125\n", + "global step=42430464, episodic return=2128.800048828125\n", + "global step=42430464, episodic return=2045.510986328125\n", + "global step=42432512, episodic return=103.85736846923828\n", + "global step=42432512, episodic return=1086.89453125\n", + "global step=42432512, episodic return=2084.9423828125\n", + "global step=42432512, episodic return=1269.422119140625\n", + "global step=42434560, episodic return=1232.6505126953125\n", + "global step=42434560, episodic return=2091.52490234375\n", + "global step=42434560, episodic return=2045.4510498046875\n", + "global step=42434560, episodic return=2060.4794921875\n", + "global step=42434560, episodic return=1067.76513671875\n", + "global step=42436608, episodic return=2096.189208984375\n", + "global step=42436608, episodic return=2096.19970703125\n", + "global step=42436608, episodic return=2109.3603515625\n", + "global step=42436608, episodic return=2121.654541015625\n", + "global step=42438656, episodic return=2156.51220703125\n", + "global step=42438656, episodic return=2032.01806640625\n", + "global step=42440704, episodic return=2024.5570068359375\n", + "global step=42440704, episodic return=2085.91064453125\n", + "global step=42440704, episodic return=2110.710205078125\n", + "global step=42440704, episodic return=2070.6279296875\n", + "global step=42440704, episodic return=2051.601318359375\n", + "global step=42440704, episodic return=2099.556396484375\n", + "global step=42440704, episodic return=2052.39404296875\n", + "global step=42440704, episodic return=385.3356628417969\n", + "global step=42440704, episodic return=2105.248291015625\n", + "global step=42442752, episodic return=2105.160888671875\n", + "global step=42442752, episodic return=1094.892333984375\n", + "global step=42442752, episodic return=2111.677734375\n", + "global step=42444800, episodic return=2131.859619140625\n", + "global step=42444800, episodic return=2134.866455078125\n", + "global step=42446848, episodic return=2088.00830078125\n", + "global step=42446848, episodic return=2134.159423828125\n", + "global step=42446848, episodic return=1206.239990234375\n", + "global step=42446848, episodic return=2091.2421875\n", + "global step=42446848, episodic return=665.7173461914062\n", + "global step=42446848, episodic return=2098.034423828125\n", + "global step=42448896, episodic return=2113.16162109375\n", + "global step=42448896, episodic return=2104.576904296875\n", + "global step=42448896, episodic return=2105.45751953125\n", + "global step=42450944, episodic return=2104.61572265625\n", + "global step=42450944, episodic return=2110.060302734375\n", + "global step=42450944, episodic return=2114.439453125\n", + "global step=42450944, episodic return=2055.606201171875\n", + "global step=42450944, episodic return=2145.216552734375\n", + "global step=42452992, episodic return=2111.8037109375\n", + "global step=42452992, episodic return=1831.073486328125\n", + "global step=42455040, episodic return=2125.90869140625\n", + "global step=42455040, episodic return=2116.2451171875\n", + "global step=42457088, episodic return=2115.766357421875\n", + "global step=42457088, episodic return=789.4951782226562\n", + "global step=42459136, episodic return=1730.650634765625\n", + "global step=42459136, episodic return=1813.294921875\n", + "global step=42459136, episodic return=2130.70703125\n", + "global step=42459136, episodic return=2160.939453125\n", + "global step=42459136, episodic return=2106.29345703125\n", + "global step=42461184, episodic return=2008.060791015625\n", + "global step=42461184, episodic return=2049.730712890625\n", + "global step=42463232, episodic return=2099.878662109375\n", + "global step=42463232, episodic return=1935.53759765625\n", + "global step=42463232, episodic return=2057.5\n", + "global step=42463232, episodic return=2073.08984375\n", + "global step=42463232, episodic return=2133.73291015625\n", + "global step=42465280, episodic return=1999.7568359375\n", + "global step=42465280, episodic return=2098.42919921875\n", + "global step=42465280, episodic return=2098.91259765625\n", + "global step=42467328, episodic return=1623.800048828125\n", + "global step=42467328, episodic return=1094.046142578125\n", + "global step=42467328, episodic return=2110.824951171875\n", + "global step=42469376, episodic return=2115.098388671875\n", + "global step=42469376, episodic return=2042.0062255859375\n", + "global step=42471424, episodic return=2008.7838134765625\n", + "global step=42471424, episodic return=2108.371826171875\n", + "global step=42471424, episodic return=1936.854248046875\n", + "global step=42471424, episodic return=2089.619384765625\n", + "global step=42473472, episodic return=2093.732421875\n", + "global step=42473472, episodic return=2129.30908203125\n", + "global step=42473472, episodic return=2086.72900390625\n", + "global step=42475520, episodic return=2112.855224609375\n", + "global step=42475520, episodic return=133.07534790039062\n", + "global step=42475520, episodic return=2072.072998046875\n", + "global step=42475520, episodic return=968.3289184570312\n", + "global step=42477568, episodic return=1805.3133544921875\n", + "global step=42477568, episodic return=2131.985107421875\n", + "global step=42477568, episodic return=1786.216796875\n", + "global step=42479616, episodic return=2126.693603515625\n", + "global step=42479616, episodic return=2080.44287109375\n", + "global step=42481664, episodic return=2111.058837890625\n", + "global step=42481664, episodic return=2158.6494140625\n", + "global step=42481664, episodic return=2081.72216796875\n", + "global step=42481664, episodic return=2071.410400390625\n", + "global step=42481664, episodic return=2102.211181640625\n", + "global step=42481664, episodic return=2103.53369140625\n", + "global step=42481664, episodic return=2101.984130859375\n", + "global step=42483712, episodic return=1677.42138671875\n", + "global step=42483712, episodic return=2088.6455078125\n", + "global step=42483712, episodic return=1383.7491455078125\n", + "global step=42483712, episodic return=2093.502197265625\n", + "global step=42483712, episodic return=2113.828125\n", + "global step=42485760, episodic return=1600.46630859375\n", + "global step=42485760, episodic return=631.2393798828125\n", + "global step=42485760, episodic return=2109.4013671875\n", + "global step=42485760, episodic return=2118.425048828125\n", + "global step=42487808, episodic return=1362.8651123046875\n", + "global step=42487808, episodic return=2133.920166015625\n", + "global step=42489856, episodic return=2109.128173828125\n", + "global step=42489856, episodic return=1510.858154296875\n", + "global step=42489856, episodic return=1478.53076171875\n", + "global step=42489856, episodic return=2070.57470703125\n", + "global step=42489856, episodic return=2065.93017578125\n", + "global step=42491904, episodic return=2114.72509765625\n", + "global step=42491904, episodic return=2126.955810546875\n", + "global step=42491904, episodic return=2051.41796875\n", + "global step=42493952, episodic return=2130.1640625\n", + "global step=42493952, episodic return=2136.21533203125\n", + "global step=42493952, episodic return=1987.947021484375\n", + "global step=42493952, episodic return=853.4498291015625\n", + "global step=42493952, episodic return=1392.509765625\n", + "global step=42493952, episodic return=2131.12451171875\n", + "global step=42493952, episodic return=1218.8052978515625\n", + "global step=42496000, episodic return=1896.9410400390625\n", + "global step=42496000, episodic return=1984.191162109375\n", + "global step=42496000, episodic return=2102.192138671875\n", + "global step=42496000, episodic return=1443.9176025390625\n", + "global step=42498048, episodic return=2147.665771484375\n", + "global step=42498048, episodic return=2066.27587890625\n", + "global step=42498048, episodic return=1229.106201171875\n", + "global step=42498048, episodic return=1708.8778076171875\n", + "global step=42498048, episodic return=2109.879638671875\n", + "global step=42498048, episodic return=2059.17333984375\n", + "global step=42500096, episodic return=2084.80615234375\n", + "global step=42500096, episodic return=1997.801025390625\n", + "global step=42500096, episodic return=2052.658935546875\n", + "global step=42500096, episodic return=2066.242919921875\n", + "global step=42502144, episodic return=2115.04248046875\n", + "global step=42502144, episodic return=2041.5531005859375\n", + "global step=42502144, episodic return=2129.536376953125\n", + "global step=42504192, episodic return=2130.57763671875\n", + "global step=42504192, episodic return=2147.307373046875\n", + "global step=42504192, episodic return=933.5126953125\n", + "global step=42504192, episodic return=2125.861328125\n", + "global step=42506240, episodic return=1794.66162109375\n", + "global step=42506240, episodic return=2120.69140625\n", + "global step=42508288, episodic return=2121.67724609375\n", + "global step=42508288, episodic return=2076.72314453125\n", + "global step=42508288, episodic return=2154.643798828125\n", + "global step=42508288, episodic return=792.03955078125\n", + "global step=42510336, episodic return=2009.8641357421875\n", + "global step=42510336, episodic return=1086.7392578125\n", + "global step=42510336, episodic return=676.8209228515625\n", + "global step=42510336, episodic return=1284.7589111328125\n", + "global step=42512384, episodic return=2162.358154296875\n", + "global step=42514432, episodic return=2148.176513671875\n", + "global step=42516480, episodic return=1543.2039794921875\n", + "global step=42516480, episodic return=2111.6103515625\n", + "global step=42516480, episodic return=611.5161743164062\n", + "global step=42518528, episodic return=1913.53125\n", + "global step=42518528, episodic return=1926.09912109375\n", + "global step=42520576, episodic return=1095.784912109375\n", + "global step=42520576, episodic return=2137.346923828125\n", + "global step=42520576, episodic return=2097.198974609375\n", + "global step=42520576, episodic return=2137.710205078125\n", + "global step=42520576, episodic return=2067.430419921875\n", + "global step=42520576, episodic return=2081.47705078125\n", + "global step=42524672, episodic return=2110.201171875\n", + "global step=42524672, episodic return=2072.705078125\n", + "global step=42524672, episodic return=2121.878662109375\n", + "global step=42524672, episodic return=2144.18603515625\n", + "global step=42524672, episodic return=2056.1494140625\n", + "global step=42524672, episodic return=2128.799560546875\n", + "global step=42524672, episodic return=2075.72412109375\n", + "global step=42524672, episodic return=2100.3125\n", + "global step=42526720, episodic return=602.5113525390625\n", + "global step=42526720, episodic return=1658.559326171875\n", + "global step=42526720, episodic return=2146.238525390625\n", + "global step=42530816, episodic return=1239.76171875\n", + "global step=42530816, episodic return=1922.171630859375\n", + "global step=42530816, episodic return=2147.486083984375\n", + "global step=42530816, episodic return=1972.3017578125\n", + "global step=42530816, episodic return=2130.93212890625\n", + "global step=42530816, episodic return=2071.944091796875\n", + "global step=42532864, episodic return=1346.246337890625\n", + "global step=42532864, episodic return=1840.8785400390625\n", + "global step=42532864, episodic return=2086.196533203125\n", + "global step=42532864, episodic return=1762.896240234375\n", + "global step=42534912, episodic return=2162.095947265625\n", + "global step=42534912, episodic return=1083.684814453125\n", + "global step=42534912, episodic return=1567.6209716796875\n", + "global step=42536960, episodic return=2130.517578125\n", + "global step=42539008, episodic return=1106.9656982421875\n", + "global step=42539008, episodic return=1832.9788818359375\n", + "global step=42541056, episodic return=2075.165283203125\n", + "global step=42541056, episodic return=2116.781494140625\n", + "global step=42541056, episodic return=2118.206298828125\n", + "global step=42543104, episodic return=2104.965087890625\n", + "global step=42543104, episodic return=1087.5125732421875\n", + "global step=42543104, episodic return=2069.195068359375\n", + "global step=42545152, episodic return=2114.361083984375\n", + "global step=42545152, episodic return=2089.8212890625\n", + "global step=42545152, episodic return=2145.5703125\n", + "global step=42545152, episodic return=2113.655029296875\n", + "global step=42545152, episodic return=1718.71240234375\n", + "global step=42545152, episodic return=1674.4095458984375\n", + "global step=42547200, episodic return=1648.0340576171875\n", + "global step=42547200, episodic return=2054.25537109375\n", + "global step=42547200, episodic return=2137.3515625\n", + "global step=42547200, episodic return=2159.18408203125\n", + "global step=42549248, episodic return=2139.129638671875\n", + "global step=42549248, episodic return=2100.521240234375\n", + "global step=42549248, episodic return=2076.781982421875\n", + "global step=42551296, episodic return=2053.3935546875\n", + "global step=42551296, episodic return=1731.957763671875\n", + "global step=42551296, episodic return=2048.32470703125\n", + "global step=42553344, episodic return=2124.37353515625\n", + "global step=42553344, episodic return=2098.48583984375\n", + "global step=42555392, episodic return=1235.5555419921875\n", + "global step=42555392, episodic return=1395.3543701171875\n", + "global step=42555392, episodic return=239.4708709716797\n", + "global step=42557440, episodic return=1768.6385498046875\n", + "global step=42557440, episodic return=2105.43798828125\n", + "global step=42559488, episodic return=2079.3212890625\n", + "global step=42559488, episodic return=2136.59912109375\n", + "global step=42559488, episodic return=2095.382080078125\n", + "global step=42561536, episodic return=2140.060302734375\n", + "global step=42561536, episodic return=2140.559326171875\n", + "global step=42561536, episodic return=2043.5626220703125\n", + "global step=42561536, episodic return=2147.28271484375\n", + "global step=42561536, episodic return=2097.088134765625\n", + "global step=42561536, episodic return=1588.34326171875\n", + "global step=42563584, episodic return=1649.1217041015625\n", + "global step=42563584, episodic return=2048.046630859375\n", + "global step=42565632, episodic return=2130.668212890625\n", + "global step=42565632, episodic return=2086.27294921875\n", + "global step=42567680, episodic return=2101.2734375\n", + "global step=42567680, episodic return=2112.316162109375\n", + "global step=42567680, episodic return=948.1298217773438\n", + "global step=42567680, episodic return=1357.172119140625\n", + "global step=42567680, episodic return=527.524658203125\n", + "global step=42567680, episodic return=2080.28564453125\n", + "global step=42567680, episodic return=2119.554931640625\n", + "global step=42567680, episodic return=2063.8291015625\n", + "global step=42569728, episodic return=2001.937255859375\n", + "global step=42569728, episodic return=1744.0233154296875\n", + "global step=42569728, episodic return=1838.150390625\n", + "global step=42569728, episodic return=2019.233154296875\n", + "global step=42569728, episodic return=2096.910888671875\n", + "global step=42571776, episodic return=2107.395751953125\n", + "global step=42571776, episodic return=2147.96240234375\n", + "global step=42573824, episodic return=2129.3212890625\n", + "global step=42573824, episodic return=2092.453369140625\n", + "global step=42573824, episodic return=1947.1842041015625\n", + "global step=42573824, episodic return=2027.5269775390625\n", + "global step=42573824, episodic return=2127.07666015625\n", + "global step=42575872, episodic return=2118.10205078125\n", + "global step=42575872, episodic return=2054.823974609375\n", + "global step=42577920, episodic return=2082.9462890625\n", + "global step=42577920, episodic return=447.54931640625\n", + "global step=42577920, episodic return=2060.227294921875\n", + "global step=42577920, episodic return=2125.84619140625\n", + "global step=42579968, episodic return=2137.350341796875\n", + "global step=42579968, episodic return=2159.908203125\n", + "global step=42579968, episodic return=2060.563232421875\n", + "global step=42579968, episodic return=2009.880859375\n", + "global step=42579968, episodic return=2126.84716796875\n", + "global step=42579968, episodic return=2096.279052734375\n", + "global step=42582016, episodic return=2114.3759765625\n", + "global step=42582016, episodic return=2170.90625\n", + "global step=42586112, episodic return=2130.379638671875\n", + "global step=42586112, episodic return=2144.818359375\n", + "global step=42586112, episodic return=1010.3721923828125\n", + "global step=42588160, episodic return=2109.025634765625\n", + "global step=42588160, episodic return=1699.1583251953125\n", + "global step=42590208, episodic return=2078.618896484375\n", + "global step=42590208, episodic return=967.2394409179688\n", + "global step=42590208, episodic return=1199.9676513671875\n", + "global step=42590208, episodic return=1681.830810546875\n", + "global step=42594304, episodic return=2165.387451171875\n", + "global step=42594304, episodic return=2170.033935546875\n", + "global step=42594304, episodic return=2059.74658203125\n", + "global step=42594304, episodic return=2095.255615234375\n", + "global step=42596352, episodic return=1154.4100341796875\n", + "global step=42596352, episodic return=2101.58349609375\n", + "global step=42596352, episodic return=2105.091064453125\n", + "global step=42596352, episodic return=2068.178955078125\n", + "global step=42596352, episodic return=2077.374755859375\n", + "global step=42596352, episodic return=2038.184326171875\n", + "global step=42598400, episodic return=2138.071533203125\n", + "global step=42598400, episodic return=2046.5882568359375\n", + "global step=42600448, episodic return=1915.3524169921875\n", + "global step=42600448, episodic return=2171.25537109375\n", + "global step=42600448, episodic return=2145.505859375\n", + "global step=42602496, episodic return=2161.68115234375\n", + "global step=42602496, episodic return=2098.4501953125\n", + "global step=42602496, episodic return=2119.183349609375\n", + "global step=42602496, episodic return=1691.84619140625\n", + "global step=42602496, episodic return=1949.5289306640625\n", + "global step=42606592, episodic return=1010.9010009765625\n", + "global step=42606592, episodic return=2119.871337890625\n", + "global step=42606592, episodic return=2102.822998046875\n", + "global step=42606592, episodic return=712.9702758789062\n", + "global step=42606592, episodic return=2074.406982421875\n", + "global step=42606592, episodic return=1993.0953369140625\n", + "global step=42608640, episodic return=2112.8759765625\n", + "global step=42608640, episodic return=2066.596435546875\n", + "global step=42608640, episodic return=2024.79931640625\n", + "global step=42608640, episodic return=2078.672607421875\n", + "global step=42608640, episodic return=2167.00390625\n", + "global step=42610688, episodic return=2125.69189453125\n", + "global step=42610688, episodic return=2085.209716796875\n", + "global step=42610688, episodic return=2152.553466796875\n", + "global step=42610688, episodic return=2118.55615234375\n", + "global step=42612736, episodic return=2119.446044921875\n", + "global step=42614784, episodic return=2116.230224609375\n", + "global step=42614784, episodic return=1386.919189453125\n", + "global step=42616832, episodic return=2122.80078125\n", + "global step=42616832, episodic return=2063.3828125\n", + "global step=42616832, episodic return=2096.82080078125\n", + "global step=42618880, episodic return=1393.76123046875\n", + "global step=42618880, episodic return=2052.58447265625\n", + "global step=42618880, episodic return=2102.754150390625\n", + "global step=42618880, episodic return=2164.61865234375\n", + "global step=42618880, episodic return=1900.90625\n", + "global step=42620928, episodic return=2021.21044921875\n", + "global step=42620928, episodic return=2111.677734375\n", + "global step=42620928, episodic return=821.4058227539062\n", + "global step=42622976, episodic return=2159.130615234375\n", + "global step=42622976, episodic return=2099.165771484375\n", + "global step=42625024, episodic return=920.1871948242188\n", + "global step=42625024, episodic return=2114.14990234375\n", + "global step=42625024, episodic return=2105.47607421875\n", + "global step=42625024, episodic return=2053.661376953125\n", + "global step=42627072, episodic return=2126.731689453125\n", + "global step=42627072, episodic return=2127.41162109375\n", + "global step=42629120, episodic return=73.92867279052734\n", + "global step=42629120, episodic return=1878.0050048828125\n", + "global step=42629120, episodic return=2115.83056640625\n", + "global step=42629120, episodic return=2189.504150390625\n", + "global step=42629120, episodic return=912.2425537109375\n", + "global step=42631168, episodic return=2048.541748046875\n", + "global step=42631168, episodic return=2127.673828125\n", + "global step=42631168, episodic return=2165.698974609375\n", + "global step=42633216, episodic return=2104.88232421875\n", + "global step=42633216, episodic return=1720.4017333984375\n", + "global step=42633216, episodic return=2096.774658203125\n", + "global step=42633216, episodic return=2126.34765625\n", + "global step=42637312, episodic return=858.2525634765625\n", + "global step=42637312, episodic return=2132.625\n", + "global step=42637312, episodic return=2132.783935546875\n", + "global step=42639360, episodic return=2109.718994140625\n", + "global step=42639360, episodic return=2148.537841796875\n", + "global step=42639360, episodic return=2008.432373046875\n", + "global step=42639360, episodic return=1444.859619140625\n", + "global step=42641408, episodic return=2039.6278076171875\n", + "global step=42643456, episodic return=2109.037109375\n", + "global step=42643456, episodic return=1339.27880859375\n", + "global step=42643456, episodic return=2060.61328125\n", + "global step=42645504, episodic return=2041.978515625\n", + "global step=42645504, episodic return=2149.98583984375\n", + "global step=42645504, episodic return=1860.2554931640625\n", + "global step=42647552, episodic return=2127.245361328125\n", + "global step=42647552, episodic return=1876.696533203125\n", + "global step=42647552, episodic return=994.87060546875\n", + "global step=42649600, episodic return=2139.37646484375\n", + "global step=42649600, episodic return=2137.22900390625\n", + "global step=42649600, episodic return=2106.05029296875\n", + "global step=42651648, episodic return=204.6390838623047\n", + "global step=42651648, episodic return=2126.732421875\n", + "global step=42651648, episodic return=2098.979248046875\n", + "global step=42651648, episodic return=2092.820556640625\n", + "global step=42653696, episodic return=2097.710205078125\n", + "global step=42653696, episodic return=2169.15869140625\n", + "global step=42653696, episodic return=2098.9384765625\n", + "global step=42655744, episodic return=2083.672119140625\n", + "global step=42655744, episodic return=2128.789306640625\n", + "global step=42655744, episodic return=1010.3091430664062\n", + "global step=42657792, episodic return=2137.298828125\n", + "global step=42657792, episodic return=2134.78271484375\n", + "global step=42657792, episodic return=2140.681884765625\n", + "global step=42657792, episodic return=2169.6015625\n", + "global step=42659840, episodic return=1452.5279541015625\n", + "global step=42659840, episodic return=2056.927001953125\n", + "global step=42661888, episodic return=1165.58544921875\n", + "global step=42661888, episodic return=1941.311279296875\n", + "global step=42661888, episodic return=1624.067626953125\n", + "global step=42661888, episodic return=2001.67919921875\n", + "global step=42663936, episodic return=1179.1253662109375\n", + "global step=42663936, episodic return=2151.081298828125\n", + "global step=42663936, episodic return=2109.658935546875\n", + "global step=42663936, episodic return=1462.7486572265625\n", + "global step=42665984, episodic return=2074.26171875\n", + "global step=42665984, episodic return=907.759765625\n", + "global step=42665984, episodic return=2113.6611328125\n", + "global step=42665984, episodic return=2115.6806640625\n", + "global step=42665984, episodic return=2140.739013671875\n", + "global step=42665984, episodic return=2124.762451171875\n", + "global step=42668032, episodic return=2146.3125\n", + "global step=42668032, episodic return=2068.415771484375\n", + "global step=42670080, episodic return=2061.755859375\n", + "global step=42670080, episodic return=2133.579833984375\n", + "global step=42670080, episodic return=1780.6356201171875\n", + "global step=42670080, episodic return=1950.4915771484375\n", + "global step=42672128, episodic return=940.2208862304688\n", + "global step=42672128, episodic return=1922.286376953125\n", + "global step=42672128, episodic return=978.5254516601562\n", + "global step=42672128, episodic return=2070.10107421875\n", + "global step=42674176, episodic return=2135.5654296875\n", + "global step=42676224, episodic return=2140.232421875\n", + "global step=42676224, episodic return=1752.852294921875\n", + "global step=42676224, episodic return=2092.322021484375\n", + "global step=42678272, episodic return=2151.961669921875\n", + "global step=42678272, episodic return=1539.55322265625\n", + "global step=42678272, episodic return=2153.800048828125\n", + "global step=42680320, episodic return=2105.210205078125\n", + "global step=42680320, episodic return=1821.7042236328125\n", + "global step=42680320, episodic return=810.5191040039062\n", + "global step=42682368, episodic return=2165.04052734375\n", + "global step=42684416, episodic return=2151.297119140625\n", + "global step=42686464, episodic return=2110.595947265625\n", + "global step=42686464, episodic return=2137.72265625\n", + "global step=42688512, episodic return=2065.192138671875\n", + "global step=42688512, episodic return=1750.5142822265625\n", + "global step=42690560, episodic return=2120.64306640625\n", + "global step=42690560, episodic return=2135.4296875\n", + "global step=42690560, episodic return=2132.66357421875\n", + "global step=42690560, episodic return=2179.02490234375\n", + "global step=42692608, episodic return=2075.6767578125\n", + "global step=42692608, episodic return=2145.98583984375\n", + "global step=42692608, episodic return=677.7551879882812\n", + "global step=42692608, episodic return=2140.841064453125\n", + "global step=42694656, episodic return=738.8136596679688\n", + "global step=42694656, episodic return=2109.752197265625\n", + "global step=42694656, episodic return=2127.5830078125\n", + "global step=42694656, episodic return=2121.114990234375\n", + "global step=42694656, episodic return=2155.589111328125\n", + "global step=42694656, episodic return=1966.51953125\n", + "global step=42698752, episodic return=2104.844482421875\n", + "global step=42698752, episodic return=2018.55078125\n", + "global step=42698752, episodic return=2085.19287109375\n", + "global step=42700800, episodic return=2085.16357421875\n", + "global step=42700800, episodic return=2171.76220703125\n", + "global step=42700800, episodic return=2128.67431640625\n", + "global step=42700800, episodic return=1896.5841064453125\n", + "global step=42700800, episodic return=1430.3470458984375\n", + "global step=42702848, episodic return=2070.295166015625\n", + "global step=42702848, episodic return=2120.269775390625\n", + "global step=42702848, episodic return=2159.399658203125\n", + "global step=42702848, episodic return=2128.4091796875\n", + "global step=42704896, episodic return=2047.1439208984375\n", + "global step=42706944, episodic return=2117.72021484375\n", + "global step=42706944, episodic return=1124.23876953125\n", + "global step=42706944, episodic return=2163.50634765625\n", + "global step=42706944, episodic return=2136.111328125\n", + "global step=42706944, episodic return=2113.70263671875\n", + "global step=42708992, episodic return=2084.34326171875\n", + "global step=42711040, episodic return=2128.9296875\n", + "global step=42711040, episodic return=1666.7574462890625\n", + "global step=42711040, episodic return=2165.796630859375\n", + "global step=42711040, episodic return=1789.348876953125\n", + "global step=42711040, episodic return=2112.70947265625\n", + "global step=42711040, episodic return=1928.1436767578125\n", + "global step=42711040, episodic return=2150.75\n", + "global step=42711040, episodic return=2086.702880859375\n", + "global step=42717184, episodic return=1768.6885986328125\n", + "global step=42717184, episodic return=2070.083740234375\n", + "global step=42717184, episodic return=1013.6704711914062\n", + "global step=42719232, episodic return=1066.90478515625\n", + "global step=42719232, episodic return=2071.084228515625\n", + "global step=42721280, episodic return=1780.4869384765625\n", + "global step=42723328, episodic return=2143.86181640625\n", + "global step=42723328, episodic return=898.941162109375\n", + "global step=42725376, episodic return=2105.076904296875\n", + "global step=42725376, episodic return=2115.952392578125\n", + "global step=42725376, episodic return=1325.014892578125\n", + "global step=42725376, episodic return=215.80873107910156\n", + "global step=42727424, episodic return=1989.828369140625\n", + "global step=42727424, episodic return=1965.4307861328125\n", + "global step=42727424, episodic return=2091.548583984375\n", + "global step=42727424, episodic return=1122.9833984375\n", + "global step=42727424, episodic return=1531.643310546875\n", + "global step=42729472, episodic return=2121.611083984375\n", + "global step=42729472, episodic return=2169.807861328125\n", + "global step=42729472, episodic return=2145.20361328125\n", + "global step=42729472, episodic return=1300.7479248046875\n", + "global step=42729472, episodic return=2089.1767578125\n", + "global step=42729472, episodic return=2101.763671875\n", + "global step=42731520, episodic return=1487.484375\n", + "global step=42731520, episodic return=1816.194580078125\n", + "global step=42733568, episodic return=2135.995849609375\n", + "global step=42733568, episodic return=2117.16943359375\n", + "global step=42733568, episodic return=2137.451904296875\n", + "global step=42735616, episodic return=2109.599365234375\n", + "global step=42735616, episodic return=1936.671875\n", + "global step=42735616, episodic return=2177.669921875\n", + "global step=42737664, episodic return=1047.386962890625\n", + "global step=42737664, episodic return=1401.9383544921875\n", + "global step=42737664, episodic return=2149.8466796875\n", + "global step=42737664, episodic return=2114.9287109375\n", + "global step=42737664, episodic return=939.7048950195312\n", + "global step=42737664, episodic return=2153.296142578125\n", + "global step=42737664, episodic return=1381.84423828125\n", + "global step=42739712, episodic return=70.9352798461914\n", + "global step=42739712, episodic return=1997.21630859375\n", + "global step=42739712, episodic return=2177.6611328125\n", + "global step=42741760, episodic return=2018.277587890625\n", + "global step=42741760, episodic return=2070.771240234375\n", + "global step=42741760, episodic return=876.8356323242188\n", + "global step=42741760, episodic return=2103.7685546875\n", + "global step=42741760, episodic return=2115.2919921875\n", + "global step=42743808, episodic return=2071.3544921875\n", + "global step=42743808, episodic return=782.2073364257812\n", + "global step=42743808, episodic return=2118.314208984375\n", + "global step=42743808, episodic return=803.0135498046875\n", + "global step=42743808, episodic return=1323.7696533203125\n", + "global step=42745856, episodic return=1253.0167236328125\n", + "global step=42745856, episodic return=186.94776916503906\n", + "global step=42745856, episodic return=2004.41748046875\n", + "global step=42745856, episodic return=940.615966796875\n", + "global step=42745856, episodic return=767.30224609375\n", + "global step=42745856, episodic return=2119.44189453125\n", + "global step=42747904, episodic return=1416.8184814453125\n", + "global step=42747904, episodic return=2144.516845703125\n", + "global step=42747904, episodic return=1134.8145751953125\n", + "global step=42749952, episodic return=1964.732666015625\n", + "global step=42752000, episodic return=1091.1915283203125\n", + "global step=42754048, episodic return=2131.045654296875\n", + "global step=42754048, episodic return=1952.49267578125\n", + "global step=42754048, episodic return=1125.68701171875\n", + "global step=42754048, episodic return=2130.667724609375\n", + "global step=42756096, episodic return=1184.642578125\n", + "global step=42756096, episodic return=2102.52099609375\n", + "global step=42756096, episodic return=1780.5616455078125\n", + "global step=42756096, episodic return=1735.489013671875\n", + "global step=42756096, episodic return=2134.191650390625\n", + "global step=42758144, episodic return=2090.234375\n", + "global step=42760192, episodic return=1684.0770263671875\n", + "global step=42762240, episodic return=2144.420166015625\n", + "global step=42762240, episodic return=1475.8983154296875\n", + "global step=42762240, episodic return=2053.016357421875\n", + "global step=42764288, episodic return=2083.069091796875\n", + "global step=42764288, episodic return=2046.9742431640625\n", + "global step=42764288, episodic return=2117.68994140625\n", + "global step=42764288, episodic return=2111.068115234375\n", + "global step=42766336, episodic return=2031.0745849609375\n", + "global step=42766336, episodic return=767.7263793945312\n", + "global step=42766336, episodic return=960.3117065429688\n", + "global step=42768384, episodic return=2104.74365234375\n", + "global step=42768384, episodic return=1661.172119140625\n", + "global step=42768384, episodic return=2156.24072265625\n", + "global step=42768384, episodic return=2040.204345703125\n", + "global step=42770432, episodic return=2109.493896484375\n", + "global step=42770432, episodic return=1593.083984375\n", + "global step=42770432, episodic return=2088.02294921875\n", + "global step=42772480, episodic return=269.45623779296875\n", + "global step=42772480, episodic return=2142.6220703125\n", + "global step=42772480, episodic return=2101.564453125\n", + "global step=42772480, episodic return=2151.110595703125\n", + "global step=42772480, episodic return=1311.38427734375\n", + "global step=42772480, episodic return=1377.8306884765625\n", + "global step=42774528, episodic return=2124.278076171875\n", + "global step=42774528, episodic return=2090.98681640625\n", + "global step=42774528, episodic return=2081.82470703125\n", + "global step=42774528, episodic return=2162.123291015625\n", + "global step=42776576, episodic return=2109.8740234375\n", + "global step=42778624, episodic return=1390.960205078125\n", + "global step=42778624, episodic return=1924.1005859375\n", + "global step=42778624, episodic return=1328.5107421875\n", + "global step=42778624, episodic return=715.7098388671875\n", + "global step=42780672, episodic return=2114.161376953125\n", + "global step=42780672, episodic return=2099.0498046875\n", + "global step=42780672, episodic return=2148.011474609375\n", + "global step=42782720, episodic return=1221.663818359375\n", + "global step=42782720, episodic return=1826.5635986328125\n", + "global step=42782720, episodic return=1341.4793701171875\n", + "global step=42782720, episodic return=1322.8831787109375\n", + "global step=42784768, episodic return=2132.333251953125\n", + "global step=42784768, episodic return=2152.1142578125\n", + "global step=42784768, episodic return=2033.3294677734375\n", + "global step=42784768, episodic return=1676.4766845703125\n", + "global step=42786816, episodic return=2065.208984375\n", + "global step=42786816, episodic return=850.3733520507812\n", + "global step=42786816, episodic return=1618.0782470703125\n", + "global step=42788864, episodic return=366.34918212890625\n", + "global step=42788864, episodic return=1476.4466552734375\n", + "global step=42788864, episodic return=1377.8485107421875\n", + "global step=42790912, episodic return=1170.9241943359375\n", + "global step=42790912, episodic return=1068.1219482421875\n", + "global step=42790912, episodic return=1476.1845703125\n", + "global step=42792960, episodic return=2142.45556640625\n", + "global step=42792960, episodic return=1287.3834228515625\n", + "global step=42792960, episodic return=2179.158935546875\n", + "global step=42792960, episodic return=1907.681396484375\n", + "global step=42792960, episodic return=368.2373962402344\n", + "global step=42792960, episodic return=2062.41650390625\n", + "global step=42792960, episodic return=905.9646606445312\n", + "global step=42795008, episodic return=732.7844848632812\n", + "global step=42795008, episodic return=1241.043701171875\n", + "global step=42795008, episodic return=2105.331787109375\n", + "global step=42795008, episodic return=2186.697021484375\n", + "global step=42797056, episodic return=2137.629638671875\n", + "global step=42797056, episodic return=1133.9952392578125\n", + "global step=42797056, episodic return=1543.5008544921875\n", + "global step=42797056, episodic return=1792.9051513671875\n", + "global step=42797056, episodic return=2111.196533203125\n", + "global step=42799104, episodic return=1954.8983154296875\n", + "global step=42799104, episodic return=2134.14697265625\n", + "global step=42801152, episodic return=2123.679443359375\n", + "global step=42803200, episodic return=2136.968994140625\n", + "global step=42803200, episodic return=2132.210205078125\n", + "global step=42803200, episodic return=1774.6026611328125\n", + "global step=42803200, episodic return=2090.41259765625\n", + "global step=42803200, episodic return=1311.9708251953125\n", + "global step=42803200, episodic return=1098.7637939453125\n", + "global step=42803200, episodic return=1760.9378662109375\n", + "global step=42805248, episodic return=1897.3607177734375\n", + "global step=42805248, episodic return=2146.489501953125\n", + "global step=42805248, episodic return=2130.670166015625\n", + "global step=42805248, episodic return=1689.123046875\n", + "global step=42805248, episodic return=2089.179443359375\n", + "global step=42807296, episodic return=2010.51123046875\n", + "global step=42807296, episodic return=2039.3702392578125\n", + "global step=42807296, episodic return=2120.82470703125\n", + "global step=42807296, episodic return=2084.139404296875\n", + "global step=42807296, episodic return=1949.2913818359375\n", + "global step=42807296, episodic return=762.9990234375\n", + "global step=42809344, episodic return=1227.9246826171875\n", + "global step=42809344, episodic return=978.1686401367188\n", + "global step=42809344, episodic return=2091.500732421875\n", + "global step=42809344, episodic return=477.2032165527344\n", + "global step=42809344, episodic return=1320.341064453125\n", + "global step=42811392, episodic return=2127.783935546875\n", + "global step=42811392, episodic return=1969.9384765625\n", + "global step=42811392, episodic return=2162.651611328125\n", + "global step=42813440, episodic return=854.8551635742188\n", + "global step=42815488, episodic return=1372.7994384765625\n", + "global step=42815488, episodic return=2113.74951171875\n", + "global step=42815488, episodic return=2140.041015625\n", + "global step=42817536, episodic return=458.59490966796875\n", + "global step=42817536, episodic return=1645.7403564453125\n", + "global step=42821632, episodic return=1300.704345703125\n", + "global step=42821632, episodic return=2136.41259765625\n", + "global step=42821632, episodic return=1478.5928955078125\n", + "global step=42821632, episodic return=1592.3468017578125\n", + "global step=42821632, episodic return=2072.877197265625\n", + "global step=42823680, episodic return=1190.625\n", + "global step=42823680, episodic return=2093.498046875\n", + "global step=42825728, episodic return=1279.9625244140625\n", + "global step=42825728, episodic return=1649.948486328125\n", + "global step=42825728, episodic return=1653.859619140625\n", + "global step=42827776, episodic return=2058.58447265625\n", + "global step=42827776, episodic return=1101.167724609375\n", + "global step=42827776, episodic return=344.00811767578125\n", + "global step=42829824, episodic return=1117.35986328125\n", + "global step=42829824, episodic return=1758.582275390625\n", + "global step=42829824, episodic return=2050.5810546875\n", + "global step=42829824, episodic return=1351.383544921875\n", + "global step=42831872, episodic return=2053.410400390625\n", + "global step=42831872, episodic return=972.0404052734375\n", + "global step=42835968, episodic return=2089.575927734375\n", + "global step=42835968, episodic return=1890.7164306640625\n", + "global step=42835968, episodic return=2130.55908203125\n", + "global step=42842112, episodic return=852.7124633789062\n", + "global step=42842112, episodic return=1820.003173828125\n", + "global step=42842112, episodic return=1632.2027587890625\n", + "global step=42842112, episodic return=1277.6236572265625\n", + "global step=42844160, episodic return=319.1094665527344\n", + "global step=42844160, episodic return=2142.508056640625\n", + "global step=42844160, episodic return=1177.4737548828125\n", + "global step=42846208, episodic return=2070.66650390625\n", + "global step=42848256, episodic return=2098.296630859375\n", + "global step=42848256, episodic return=759.821044921875\n", + "global step=42848256, episodic return=1680.2255859375\n", + "global step=42850304, episodic return=1036.16015625\n", + "global step=42852352, episodic return=2127.36865234375\n", + "global step=42852352, episodic return=315.45892333984375\n", + "global step=42854400, episodic return=2119.87451171875\n", + "global step=42854400, episodic return=1136.0047607421875\n", + "global step=42854400, episodic return=2165.87939453125\n", + "global step=42854400, episodic return=2135.877197265625\n", + "global step=42856448, episodic return=2030.853271484375\n", + "global step=42856448, episodic return=2159.632568359375\n", + "global step=42856448, episodic return=1182.662353515625\n", + "global step=42858496, episodic return=2072.0732421875\n", + "global step=42858496, episodic return=1851.5958251953125\n", + "global step=42858496, episodic return=1745.0677490234375\n", + "global step=42858496, episodic return=2136.5576171875\n", + "global step=42858496, episodic return=1970.43310546875\n", + "global step=42860544, episodic return=1470.771728515625\n", + "global step=42862592, episodic return=1248.1549072265625\n", + "global step=42862592, episodic return=314.2334899902344\n", + "global step=42864640, episodic return=1110.65673828125\n", + "global step=42864640, episodic return=1211.135498046875\n", + "global step=42864640, episodic return=47.877525329589844\n", + "global step=42866688, episodic return=1230.1885986328125\n", + "global step=42866688, episodic return=2125.218017578125\n", + "global step=42866688, episodic return=2089.48876953125\n", + "global step=42866688, episodic return=2176.899169921875\n", + "global step=42868736, episodic return=1917.3167724609375\n", + "global step=42868736, episodic return=2140.09716796875\n", + "global step=42868736, episodic return=2077.74560546875\n", + "global step=42870784, episodic return=1955.7086181640625\n", + "global step=42870784, episodic return=2147.343017578125\n", + "global step=42874880, episodic return=2077.880126953125\n", + "global step=42874880, episodic return=2084.936767578125\n", + "global step=42874880, episodic return=310.83221435546875\n", + "global step=42876928, episodic return=2171.870361328125\n", + "global step=42876928, episodic return=1193.4129638671875\n", + "global step=42878976, episodic return=2154.5322265625\n", + "global step=42878976, episodic return=2072.133544921875\n", + "global step=42881024, episodic return=2120.03662109375\n", + "global step=42881024, episodic return=2025.058837890625\n", + "global step=42881024, episodic return=821.0171508789062\n", + "global step=42881024, episodic return=2167.06298828125\n", + "global step=42881024, episodic return=2092.564453125\n", + "global step=42881024, episodic return=1333.6800537109375\n", + "global step=42883072, episodic return=1318.0992431640625\n", + "global step=42885120, episodic return=1557.781982421875\n", + "global step=42885120, episodic return=2124.352294921875\n", + "global step=42885120, episodic return=2136.934326171875\n", + "global step=42885120, episodic return=878.0372314453125\n", + "global step=42887168, episodic return=1249.5455322265625\n", + "global step=42887168, episodic return=2136.341064453125\n", + "global step=42889216, episodic return=1662.9244384765625\n", + "global step=42891264, episodic return=1183.8499755859375\n", + "global step=42893312, episodic return=2066.12451171875\n", + "global step=42893312, episodic return=830.4793090820312\n", + "global step=42895360, episodic return=1491.15576171875\n", + "global step=42895360, episodic return=1271.2110595703125\n", + "global step=42895360, episodic return=745.596923828125\n", + "global step=42895360, episodic return=2136.003173828125\n", + "global step=42897408, episodic return=2140.789794921875\n", + "global step=42897408, episodic return=2107.48291015625\n", + "global step=42897408, episodic return=2112.454833984375\n", + "global step=42897408, episodic return=460.701904296875\n", + "global step=42899456, episodic return=2152.246337890625\n", + "global step=42899456, episodic return=1385.5372314453125\n", + "global step=42899456, episodic return=1089.647705078125\n", + "global step=42901504, episodic return=2075.648193359375\n", + "global step=42901504, episodic return=2115.2958984375\n", + "global step=42903552, episodic return=2137.099609375\n", + "global step=42903552, episodic return=1948.9901123046875\n", + "global step=42903552, episodic return=2044.70458984375\n", + "global step=42905600, episodic return=1393.305419921875\n", + "global step=42905600, episodic return=1117.36279296875\n", + "global step=42907648, episodic return=2097.622802734375\n", + "global step=42907648, episodic return=1172.9232177734375\n", + "global step=42909696, episodic return=1004.1209716796875\n", + "global step=42909696, episodic return=1538.7874755859375\n", + "global step=42911744, episodic return=2126.328857421875\n", + "global step=42911744, episodic return=2153.727783203125\n", + "global step=42913792, episodic return=1521.2432861328125\n", + "global step=42915840, episodic return=998.71630859375\n", + "global step=42915840, episodic return=2088.812255859375\n", + "global step=42915840, episodic return=1355.6551513671875\n", + "global step=42917888, episodic return=1314.866943359375\n", + "global step=42919936, episodic return=925.7271728515625\n", + "global step=42921984, episodic return=2100.67138671875\n", + "global step=42921984, episodic return=1816.9598388671875\n", + "global step=42921984, episodic return=1741.691162109375\n", + "global step=42921984, episodic return=1649.515869140625\n", + "global step=42924032, episodic return=2167.048828125\n", + "global step=42924032, episodic return=1214.23388671875\n", + "global step=42924032, episodic return=2144.4677734375\n", + "global step=42926080, episodic return=2115.816162109375\n", + "global step=42926080, episodic return=1462.3204345703125\n", + "global step=42928128, episodic return=2151.06005859375\n", + "global step=42928128, episodic return=1756.9857177734375\n", + "global step=42928128, episodic return=1367.1055908203125\n", + "global step=42928128, episodic return=2142.230224609375\n", + "global step=42928128, episodic return=2181.64990234375\n", + "global step=42930176, episodic return=2091.425537109375\n", + "global step=42930176, episodic return=1916.4681396484375\n", + "global step=42930176, episodic return=1892.80712890625\n", + "global step=42932224, episodic return=1530.120361328125\n", + "global step=42932224, episodic return=1012.1290283203125\n", + "global step=42932224, episodic return=2174.420654296875\n", + "global step=42932224, episodic return=634.451416015625\n", + "global step=42934272, episodic return=2093.1748046875\n", + "global step=42934272, episodic return=1173.9451904296875\n", + "global step=42936320, episodic return=2094.239990234375\n", + "global step=42936320, episodic return=1651.6766357421875\n", + "global step=42936320, episodic return=1710.730224609375\n", + "global step=42938368, episodic return=1972.7601318359375\n", + "global step=42938368, episodic return=532.4402465820312\n", + "global step=42938368, episodic return=2144.58447265625\n", + "global step=42938368, episodic return=980.5010986328125\n", + "global step=42940416, episodic return=2108.54345703125\n", + "global step=42940416, episodic return=1246.2794189453125\n", + "global step=42942464, episodic return=1657.7149658203125\n", + "global step=42942464, episodic return=2092.834716796875\n", + "global step=42944512, episodic return=2121.30810546875\n", + "global step=42944512, episodic return=2075.35498046875\n", + "global step=42944512, episodic return=1648.3426513671875\n", + "global step=42946560, episodic return=2099.587646484375\n", + "global step=42946560, episodic return=1478.3487548828125\n", + "global step=42946560, episodic return=2085.956787109375\n", + "global step=42946560, episodic return=946.300048828125\n", + "global step=42948608, episodic return=1915.4208984375\n", + "global step=42948608, episodic return=1843.230712890625\n", + "global step=42948608, episodic return=1168.40771484375\n", + "global step=42950656, episodic return=2137.772705078125\n", + "global step=42950656, episodic return=1850.6346435546875\n", + "global step=42952704, episodic return=2104.119140625\n", + "global step=42952704, episodic return=418.1141662597656\n", + "global step=42952704, episodic return=2172.778564453125\n", + "global step=42954752, episodic return=2103.95458984375\n", + "global step=42954752, episodic return=2122.267822265625\n", + "global step=42954752, episodic return=1869.174072265625\n", + "global step=42954752, episodic return=902.5014038085938\n", + "global step=42954752, episodic return=1287.2581787109375\n", + "global step=42954752, episodic return=2069.417236328125\n", + "global step=42954752, episodic return=610.3432006835938\n", + "global step=42954752, episodic return=2147.684814453125\n", + "global step=42956800, episodic return=2139.209228515625\n", + "global step=42956800, episodic return=354.7461242675781\n", + "global step=42956800, episodic return=2148.152587890625\n", + "global step=42956800, episodic return=2134.576416015625\n", + "global step=42956800, episodic return=1362.1051025390625\n", + "global step=42958848, episodic return=1641.4068603515625\n", + "global step=42958848, episodic return=2101.990478515625\n", + "global step=42958848, episodic return=2136.788818359375\n", + "global step=42958848, episodic return=1750.1744384765625\n", + "global step=42960896, episodic return=2074.16943359375\n", + "global step=42960896, episodic return=1986.2174072265625\n", + "global step=42964992, episodic return=2015.2962646484375\n", + "global step=42964992, episodic return=2102.864990234375\n", + "global step=42964992, episodic return=1599.895263671875\n", + "global step=42964992, episodic return=1328.2703857421875\n", + "global step=42964992, episodic return=1591.0963134765625\n", + "global step=42964992, episodic return=2129.885986328125\n", + "global step=42967040, episodic return=2121.711181640625\n", + "global step=42967040, episodic return=980.5569458007812\n", + "global step=42967040, episodic return=2020.5723876953125\n", + "global step=42967040, episodic return=2110.5576171875\n", + "global step=42967040, episodic return=953.9357299804688\n", + "global step=42969088, episodic return=2076.453857421875\n", + "global step=42969088, episodic return=1481.8270263671875\n", + "global step=42969088, episodic return=1429.875\n", + "global step=42971136, episodic return=2125.548828125\n", + "global step=42971136, episodic return=2069.697265625\n", + "global step=42971136, episodic return=2108.447509765625\n", + "global step=42971136, episodic return=1991.4163818359375\n", + "global step=42973184, episodic return=956.9561157226562\n", + "global step=42975232, episodic return=2161.413330078125\n", + "global step=42977280, episodic return=2099.69873046875\n", + "global step=42979328, episodic return=2088.29931640625\n", + "global step=42981376, episodic return=403.7978515625\n", + "global step=42981376, episodic return=2095.48828125\n", + "global step=42983424, episodic return=1800.8582763671875\n", + "global step=42983424, episodic return=1155.80126953125\n", + "global step=42985472, episodic return=1149.0408935546875\n", + "global step=42985472, episodic return=1381.3472900390625\n", + "global step=42987520, episodic return=2006.8203125\n", + "global step=42989568, episodic return=830.9324340820312\n", + "global step=42989568, episodic return=2149.63916015625\n", + "global step=42991616, episodic return=2126.40771484375\n", + "global step=42991616, episodic return=2143.59716796875\n", + "global step=42991616, episodic return=846.7744750976562\n", + "global step=42993664, episodic return=1552.4798583984375\n", + "global step=42997760, episodic return=1770.5865478515625\n", + "global step=43001856, episodic return=1800.167724609375\n", + "global step=43003904, episodic return=1179.8775634765625\n", + "global step=43003904, episodic return=2115.23583984375\n", + "global step=43003904, episodic return=2041.3983154296875\n", + "global step=43008000, episodic return=1738.4693603515625\n", + "global step=43008000, episodic return=1128.2501220703125\n", + "global step=43008000, episodic return=2180.202880859375\n", + "global step=43008000, episodic return=940.6544799804688\n", + "global step=43010048, episodic return=2157.720458984375\n", + "global step=43010048, episodic return=2181.908203125\n", + "global step=43010048, episodic return=209.32144165039062\n", + "global step=43012096, episodic return=1887.3309326171875\n", + "global step=43014144, episodic return=2149.130615234375\n", + "global step=43018240, episodic return=2114.455078125\n", + "global step=43018240, episodic return=1355.52197265625\n", + "global step=43018240, episodic return=1029.0396728515625\n", + "global step=43020288, episodic return=914.4010009765625\n", + "global step=43020288, episodic return=1531.4029541015625\n", + "global step=43022336, episodic return=1964.062255859375\n", + "global step=43024384, episodic return=2126.904541015625\n", + "global step=43024384, episodic return=2058.869873046875\n", + "global step=43024384, episodic return=1306.4195556640625\n", + "global step=43026432, episodic return=1764.9827880859375\n", + "global step=43026432, episodic return=1420.435791015625\n", + "global step=43028480, episodic return=2022.34912109375\n", + "global step=43028480, episodic return=2118.520263671875\n", + "global step=43028480, episodic return=1877.6392822265625\n", + "global step=43028480, episodic return=772.0838623046875\n", + "global step=43032576, episodic return=2147.731201171875\n", + "global step=43034624, episodic return=2130.71875\n", + "global step=43036672, episodic return=2135.73681640625\n", + "global step=43042816, episodic return=1258.0386962890625\n", + "global step=43044864, episodic return=1908.559326171875\n", + "global step=43044864, episodic return=1643.2103271484375\n", + "global step=43044864, episodic return=2040.59375\n", + "global step=43048960, episodic return=1171.2020263671875\n", + "global step=43048960, episodic return=2147.123291015625\n", + "global step=43051008, episodic return=2060.58447265625\n", + "global step=43051008, episodic return=1894.935546875\n", + "global step=43051008, episodic return=2059.1328125\n", + "global step=43053056, episodic return=1601.7864990234375\n", + "global step=43053056, episodic return=1550.3280029296875\n", + "global step=43055104, episodic return=2158.9404296875\n", + "global step=43055104, episodic return=2138.91357421875\n", + "global step=43057152, episodic return=1521.7669677734375\n", + "global step=43057152, episodic return=1787.477294921875\n", + "global step=43057152, episodic return=2118.4482421875\n", + "global step=43057152, episodic return=2108.65673828125\n", + "global step=43059200, episodic return=1811.4049072265625\n", + "global step=43059200, episodic return=2071.097412109375\n", + "global step=43059200, episodic return=2111.031005859375\n", + "global step=43063296, episodic return=2161.431396484375\n", + "global step=43067392, episodic return=1686.9730224609375\n", + "global step=43069440, episodic return=2046.11767578125\n", + "global step=43069440, episodic return=1279.5037841796875\n", + "global step=43073536, episodic return=1637.06201171875\n", + "global step=43073536, episodic return=2128.810791015625\n", + "global step=43075584, episodic return=137.39231872558594\n", + "global step=43075584, episodic return=2106.437255859375\n", + "global step=43079680, episodic return=1174.8768310546875\n", + "global step=43079680, episodic return=2107.02685546875\n", + "global step=43079680, episodic return=2169.79052734375\n", + "global step=43079680, episodic return=2110.429931640625\n", + "global step=43081728, episodic return=2196.602783203125\n", + "global step=43081728, episodic return=1479.0789794921875\n", + "global step=43085824, episodic return=2107.073974609375\n", + "global step=43085824, episodic return=1013.4352416992188\n", + "global step=43085824, episodic return=1484.771484375\n", + "global step=43087872, episodic return=1486.265380859375\n", + "global step=43087872, episodic return=1698.70751953125\n", + "global step=43098112, episodic return=1245.0684814453125\n", + "global step=43100160, episodic return=1737.519775390625\n", + "global step=43102208, episodic return=2089.881591796875\n", + "global step=43102208, episodic return=1873.9398193359375\n", + "global step=43106304, episodic return=1971.9761962890625\n", + "global step=43110400, episodic return=1854.4345703125\n", + "global step=43112448, episodic return=2131.321533203125\n", + "global step=43112448, episodic return=2164.258544921875\n", + "global step=43114496, episodic return=2105.210205078125\n", + "global step=43118592, episodic return=2144.46826171875\n", + "global step=43120640, episodic return=2074.841064453125\n", + "global step=43120640, episodic return=1624.30029296875\n", + "global step=43122688, episodic return=2080.255126953125\n", + "global step=43122688, episodic return=1019.7901000976562\n", + "global step=43122688, episodic return=2123.2314453125\n", + "global step=43122688, episodic return=1375.9451904296875\n", + "global step=43122688, episodic return=2138.93212890625\n", + "global step=43124736, episodic return=1875.6790771484375\n", + "global step=43126784, episodic return=2136.55859375\n", + "global step=43126784, episodic return=2073.93603515625\n", + "global step=43126784, episodic return=2091.475830078125\n", + "global step=43128832, episodic return=1700.214599609375\n", + "global step=43128832, episodic return=1169.415771484375\n", + "global step=43130880, episodic return=2086.1279296875\n", + "global step=43130880, episodic return=1270.402587890625\n", + "global step=43130880, episodic return=1114.10791015625\n", + "global step=43132928, episodic return=1755.1920166015625\n", + "global step=43132928, episodic return=1719.1436767578125\n", + "global step=43132928, episodic return=2089.444580078125\n", + "global step=43134976, episodic return=1410.1630859375\n", + "global step=43137024, episodic return=2104.784912109375\n", + "global step=43137024, episodic return=1493.87646484375\n", + "global step=43137024, episodic return=1460.846923828125\n", + "global step=43137024, episodic return=2077.417724609375\n", + "global step=43139072, episodic return=1376.9267578125\n", + "global step=43139072, episodic return=1513.78759765625\n", + "global step=43141120, episodic return=2137.427490234375\n", + "global step=43141120, episodic return=1989.6842041015625\n", + "global step=43143168, episodic return=2179.748779296875\n", + "global step=43143168, episodic return=1220.986328125\n", + "global step=43143168, episodic return=2014.5364990234375\n", + "global step=43145216, episodic return=1571.5142822265625\n", + "global step=43145216, episodic return=2120.047119140625\n", + "global step=43145216, episodic return=2133.981201171875\n", + "global step=43149312, episodic return=1215.5240478515625\n", + "global step=43149312, episodic return=2073.68896484375\n", + "global step=43149312, episodic return=929.2177734375\n", + "global step=43151360, episodic return=2135.94580078125\n", + "global step=43153408, episodic return=2144.582763671875\n", + "global step=43155456, episodic return=2066.9912109375\n", + "global step=43159552, episodic return=1801.2158203125\n", + "global step=43159552, episodic return=2123.925048828125\n", + "global step=43161600, episodic return=2153.941650390625\n", + "global step=43163648, episodic return=1834.6260986328125\n", + "global step=43163648, episodic return=1832.6453857421875\n", + "global step=43165696, episodic return=2114.634033203125\n", + "global step=43165696, episodic return=1588.519775390625\n", + "global step=43167744, episodic return=2129.579833984375\n", + "global step=43171840, episodic return=2156.7431640625\n", + "global step=43173888, episodic return=2137.24853515625\n", + "global step=43173888, episodic return=1492.558837890625\n", + "global step=43173888, episodic return=2113.627685546875\n", + "global step=43177984, episodic return=2183.223388671875\n", + "global step=43177984, episodic return=2130.907958984375\n", + "global step=43182080, episodic return=1427.5419921875\n", + "global step=43182080, episodic return=1537.3436279296875\n", + "global step=43186176, episodic return=1696.35205078125\n", + "global step=43186176, episodic return=2154.96435546875\n", + "global step=43188224, episodic return=2110.8974609375\n", + "global step=43190272, episodic return=1721.8804931640625\n", + "global step=43190272, episodic return=2114.040283203125\n", + "global step=43190272, episodic return=2115.508544921875\n", + "global step=43192320, episodic return=2114.95263671875\n", + "global step=43196416, episodic return=1974.1331787109375\n", + "global step=43198464, episodic return=2102.9306640625\n", + "global step=43204608, episodic return=881.0728149414062\n", + "global step=43204608, episodic return=1054.015380859375\n", + "global step=43206656, episodic return=2135.928955078125\n", + "global step=43208704, episodic return=885.2280883789062\n", + "global step=43212800, episodic return=1877.1846923828125\n", + "global step=43214848, episodic return=2091.51025390625\n", + "global step=43214848, episodic return=2127.279052734375\n", + "global step=43216896, episodic return=2140.8623046875\n", + "global step=43227136, episodic return=2079.126708984375\n", + "global step=43233280, episodic return=1891.2099609375\n", + "global step=43233280, episodic return=2155.45849609375\n", + "global step=43237376, episodic return=1156.0018310546875\n", + "global step=43239424, episodic return=1495.94775390625\n", + "global step=43239424, episodic return=2120.900390625\n", + "global step=43239424, episodic return=2099.12744140625\n", + "global step=43245568, episodic return=2122.167724609375\n", + "global step=43247616, episodic return=2157.760498046875\n", + "global step=43255808, episodic return=1442.9921875\n", + "global step=43257856, episodic return=1642.0355224609375\n", + "global step=43259904, episodic return=2097.407958984375\n", + "global step=43264000, episodic return=1620.2215576171875\n", + "global step=43266048, episodic return=2172.48095703125\n", + "global step=43266048, episodic return=1361.1483154296875\n", + "global step=43266048, episodic return=1526.1534423828125\n", + "global step=43268096, episodic return=2159.65771484375\n", + "global step=43272192, episodic return=1645.3399658203125\n", + "global step=43272192, episodic return=2092.7939453125\n", + "global step=43272192, episodic return=1451.228515625\n", + "global step=43280384, episodic return=2173.887451171875\n", + "global step=43282432, episodic return=2167.505126953125\n", + "global step=43284480, episodic return=1845.0445556640625\n", + "global step=43286528, episodic return=1589.1195068359375\n", + "global step=43286528, episodic return=2128.43896484375\n", + "global step=43286528, episodic return=1279.40966796875\n", + "global step=43286528, episodic return=1810.2860107421875\n", + "global step=43286528, episodic return=1818.858154296875\n", + "global step=43288576, episodic return=270.398681640625\n", + "global step=43290624, episodic return=1283.181640625\n", + "global step=43292672, episodic return=1382.151611328125\n", + "global step=43292672, episodic return=1332.845458984375\n", + "global step=43294720, episodic return=2131.4560546875\n", + "global step=43296768, episodic return=2126.17333984375\n", + "global step=43298816, episodic return=1214.983154296875\n", + "global step=43300864, episodic return=1938.275390625\n", + "global step=43307008, episodic return=254.13710021972656\n", + "global step=43307008, episodic return=106.8928451538086\n", + "global step=43309056, episodic return=1551.9207763671875\n", + "global step=43311104, episodic return=2106.13037109375\n", + "global step=43313152, episodic return=1892.5565185546875\n", + "global step=43313152, episodic return=2132.33837890625\n", + "global step=43313152, episodic return=1960.4940185546875\n", + "global step=43317248, episodic return=1609.9615478515625\n", + "global step=43317248, episodic return=1598.9652099609375\n", + "global step=43317248, episodic return=1233.1636962890625\n", + "global step=43321344, episodic return=2127.197265625\n", + "global step=43329536, episodic return=1327.220703125\n", + "global step=43329536, episodic return=1746.7083740234375\n", + "global step=43331584, episodic return=41.26349639892578\n", + "global step=43333632, episodic return=1557.265869140625\n", + "global step=43333632, episodic return=2176.7705078125\n", + "global step=43335680, episodic return=1469.2088623046875\n", + "global step=43337728, episodic return=924.6773071289062\n", + "global step=43337728, episodic return=2043.8431396484375\n", + "global step=43341824, episodic return=2117.002197265625\n", + "global step=43343872, episodic return=2155.992431640625\n", + "global step=43343872, episodic return=2065.199951171875\n", + "global step=43343872, episodic return=1886.1002197265625\n", + "global step=43343872, episodic return=1389.8013916015625\n", + "global step=43343872, episodic return=1864.9566650390625\n", + "global step=43345920, episodic return=2107.087646484375\n", + "global step=43354112, episodic return=1774.388671875\n", + "global step=43354112, episodic return=2045.165283203125\n", + "global step=43354112, episodic return=2097.532958984375\n", + "global step=43356160, episodic return=2186.235595703125\n", + "global step=43358208, episodic return=2176.620849609375\n", + "global step=43362304, episodic return=2140.844970703125\n", + "global step=43364352, episodic return=1781.00048828125\n", + "global step=43368448, episodic return=1189.4962158203125\n", + "global step=43370496, episodic return=1657.3480224609375\n", + "global step=43374592, episodic return=1835.3123779296875\n", + "global step=43380736, episodic return=1653.506591796875\n", + "global step=43380736, episodic return=2089.909912109375\n", + "global step=43380736, episodic return=1570.53076171875\n", + "global step=43382784, episodic return=2114.955322265625\n", + "global step=43382784, episodic return=2152.380126953125\n", + "global step=43384832, episodic return=2065.779296875\n", + "global step=43384832, episodic return=2164.681640625\n", + "global step=43384832, episodic return=2147.7353515625\n", + "global step=43384832, episodic return=1315.416259765625\n", + "global step=43388928, episodic return=2151.529052734375\n", + "global step=43393024, episodic return=2150.59130859375\n", + "global step=43395072, episodic return=1720.3323974609375\n", + "global step=43397120, episodic return=2155.817626953125\n", + "global step=43401216, episodic return=1823.9559326171875\n", + "global step=43401216, episodic return=2120.75390625\n", + "global step=43403264, episodic return=2183.834716796875\n", + "global step=43403264, episodic return=2171.52197265625\n", + "global step=43405312, episodic return=1559.9378662109375\n", + "global step=43409408, episodic return=1567.68603515625\n", + "global step=43411456, episodic return=2047.1260986328125\n", + "global step=43413504, episodic return=2114.985107421875\n", + "global step=43415552, episodic return=2148.763427734375\n", + "global step=43415552, episodic return=1276.105224609375\n", + "global step=43415552, episodic return=2165.756103515625\n", + "global step=43421696, episodic return=2152.509521484375\n", + "global step=43423744, episodic return=1673.278564453125\n", + "global step=43423744, episodic return=1554.576904296875\n", + "global step=43427840, episodic return=2165.24951171875\n", + "global step=43427840, episodic return=2109.416015625\n", + "global step=43429888, episodic return=2180.677978515625\n", + "global step=43429888, episodic return=1422.870361328125\n", + "global step=43436032, episodic return=1967.0997314453125\n", + "global step=43436032, episodic return=1880.861083984375\n", + "global step=43440128, episodic return=2214.101806640625\n", + "global step=43440128, episodic return=1709.439453125\n", + "global step=43440128, episodic return=2161.429931640625\n", + "global step=43440128, episodic return=2146.279296875\n", + "global step=43442176, episodic return=2082.7705078125\n", + "global step=43442176, episodic return=787.77392578125\n", + "global step=43448320, episodic return=1736.7496337890625\n", + "global step=43450368, episodic return=1986.1075439453125\n", + "global step=43454464, episodic return=2186.919189453125\n", + "global step=43454464, episodic return=2164.143798828125\n", + "global step=43454464, episodic return=2167.832763671875\n", + "global step=43456512, episodic return=1441.000732421875\n", + "global step=43456512, episodic return=2141.466796875\n", + "global step=43458560, episodic return=1532.4981689453125\n", + "global step=43470848, episodic return=2188.75537109375\n", + "global step=43470848, episodic return=1668.5106201171875\n", + "global step=43472896, episodic return=1883.1968994140625\n", + "global step=43472896, episodic return=1722.81640625\n", + "global step=43476992, episodic return=2151.47705078125\n", + "global step=43476992, episodic return=2170.579833984375\n", + "global step=43476992, episodic return=2096.53515625\n", + "global step=43479040, episodic return=2163.364501953125\n", + "global step=43509760, episodic return=2009.249267578125\n", + "global step=43511808, episodic return=2150.682861328125\n", + "global step=43513856, episodic return=2164.6591796875\n", + "global step=43513856, episodic return=1878.833251953125\n", + "global step=43515904, episodic return=2154.866455078125\n", + "global step=43515904, episodic return=2190.714111328125\n", + "global step=43517952, episodic return=2178.4169921875\n", + "global step=43517952, episodic return=1898.580078125\n", + "global step=43520000, episodic return=2174.109130859375\n", + "global step=43520000, episodic return=2189.789794921875\n", + "global step=43528192, episodic return=2116.53857421875\n", + "global step=43536384, episodic return=2136.34228515625\n", + "global step=43536384, episodic return=2163.713623046875\n", + "global step=43536384, episodic return=1561.4698486328125\n", + "global step=43538432, episodic return=2166.64208984375\n", + "global step=43538432, episodic return=2119.420654296875\n", + "global step=43544576, episodic return=2162.668701171875\n", + "global step=43550720, episodic return=2168.211669921875\n", + "global step=43550720, episodic return=2204.60009765625\n", + "global step=43552768, episodic return=2185.07470703125\n", + "global step=43567104, episodic return=2214.81640625\n", + "global step=43567104, episodic return=2166.935546875\n", + "global step=43567104, episodic return=2065.031494140625\n", + "global step=43569152, episodic return=2193.89794921875\n", + "global step=43575296, episodic return=2184.40869140625\n", + "global step=43575296, episodic return=2195.779541015625\n", + "global step=43575296, episodic return=1667.780029296875\n", + "global step=43579392, episodic return=2144.495849609375\n", + "global step=43579392, episodic return=2174.541015625\n", + "global step=43583488, episodic return=2199.32421875\n", + "global step=43585536, episodic return=1475.720703125\n", + "global step=43585536, episodic return=2091.888671875\n", + "global step=43587584, episodic return=2140.0966796875\n", + "global step=43595776, episodic return=2139.55078125\n", + "global step=43597824, episodic return=2195.364990234375\n", + "global step=43603968, episodic return=1226.4383544921875\n", + "global step=43606016, episodic return=2136.72705078125\n", + "global step=43606016, episodic return=2183.8779296875\n", + "global step=43608064, episodic return=2162.6708984375\n", + "global step=43618304, episodic return=2201.273193359375\n", + "global step=43620352, episodic return=1602.2645263671875\n", + "global step=43624448, episodic return=2194.0009765625\n", + "global step=43626496, episodic return=2162.927978515625\n", + "global step=43632640, episodic return=968.6267700195312\n", + "global step=43634688, episodic return=215.76852416992188\n", + "global step=43646976, episodic return=2171.496337890625\n", + "global step=43649024, episodic return=1976.935791015625\n", + "global step=43657216, episodic return=2042.361328125\n", + "global step=43657216, episodic return=2167.6171875\n", + "global step=43657216, episodic return=2087.673095703125\n", + "global step=43661312, episodic return=2188.909423828125\n", + "global step=43663360, episodic return=2164.8017578125\n", + "global step=43667456, episodic return=2168.6025390625\n", + "global step=43667456, episodic return=1683.4345703125\n", + "global step=43667456, episodic return=2160.010498046875\n", + "global step=43669504, episodic return=2136.10400390625\n", + "global step=43673600, episodic return=2194.330322265625\n", + "global step=43679744, episodic return=2145.95849609375\n", + "global step=43681792, episodic return=2170.151123046875\n", + "global step=43681792, episodic return=2204.341064453125\n", + "global step=43685888, episodic return=2162.123046875\n", + "global step=43685888, episodic return=1332.178466796875\n", + "global step=43685888, episodic return=2182.266845703125\n", + "global step=43689984, episodic return=2189.025634765625\n", + "global step=43702272, episodic return=2199.517578125\n", + "global step=43704320, episodic return=2154.670654296875\n", + "global step=43704320, episodic return=2189.893798828125\n", + "global step=43704320, episodic return=1003.3738403320312\n", + "global step=43704320, episodic return=2013.8111572265625\n", + "global step=43706368, episodic return=2171.837646484375\n", + "global step=43706368, episodic return=2168.095947265625\n", + "global step=43706368, episodic return=2120.781494140625\n", + "global step=43708416, episodic return=2187.741943359375\n", + "global step=43708416, episodic return=1954.179931640625\n", + "global step=43712512, episodic return=2134.957763671875\n", + "global step=43712512, episodic return=2173.503662109375\n", + "global step=43714560, episodic return=1449.30029296875\n", + "global step=43722752, episodic return=2170.141357421875\n", + "global step=43722752, episodic return=2173.49072265625\n", + "global step=43728896, episodic return=2199.59765625\n", + "global step=43728896, episodic return=2169.10791015625\n", + "global step=43730944, episodic return=1002.9959716796875\n", + "global step=43732992, episodic return=2191.127197265625\n", + "global step=43732992, episodic return=2187.10107421875\n", + "global step=43735040, episodic return=2168.226806640625\n", + "global step=43735040, episodic return=892.5797119140625\n", + "global step=43737088, episodic return=2164.34521484375\n", + "global step=43737088, episodic return=2135.198486328125\n", + "global step=43739136, episodic return=2175.59912109375\n", + "global step=43745280, episodic return=869.0228271484375\n", + "global step=43747328, episodic return=2128.463623046875\n", + "global step=43749376, episodic return=2116.90576171875\n", + "global step=43751424, episodic return=985.8859252929688\n", + "global step=43753472, episodic return=2131.65234375\n", + "global step=43757568, episodic return=1989.3956298828125\n", + "global step=43759616, episodic return=2221.95947265625\n", + "global step=43759616, episodic return=2189.1787109375\n", + "global step=43761664, episodic return=2229.956298828125\n", + "global step=43767808, episodic return=2092.111328125\n", + "global step=43769856, episodic return=2144.885009765625\n", + "global step=43771904, episodic return=2105.2724609375\n", + "global step=43771904, episodic return=2151.293212890625\n", + "global step=43773952, episodic return=2146.872314453125\n", + "global step=43773952, episodic return=2140.619873046875\n", + "global step=43776000, episodic return=1515.05712890625\n", + "global step=43778048, episodic return=2154.400146484375\n", + "global step=43780096, episodic return=2179.871337890625\n", + "global step=43784192, episodic return=2154.12939453125\n", + "global step=43786240, episodic return=1838.930419921875\n", + "global step=43786240, episodic return=2184.903076171875\n", + "global step=43790336, episodic return=2189.155029296875\n", + "global step=43790336, episodic return=614.33251953125\n", + "global step=43792384, episodic return=1769.5087890625\n", + "global step=43794432, episodic return=2171.411865234375\n", + "global step=43794432, episodic return=2099.68212890625\n", + "global step=43796480, episodic return=2160.46484375\n", + "global step=43798528, episodic return=2152.4345703125\n", + "global step=43802624, episodic return=1950.180908203125\n", + "global step=43804672, episodic return=1077.8779296875\n", + "global step=43806720, episodic return=2199.953369140625\n", + "global step=43810816, episodic return=2177.8037109375\n", + "global step=43814912, episodic return=2104.541015625\n", + "global step=43819008, episodic return=2190.433349609375\n", + "global step=43819008, episodic return=2174.553466796875\n", + "global step=43823104, episodic return=2178.40771484375\n", + "global step=43823104, episodic return=2182.839111328125\n", + "global step=43825152, episodic return=2195.146728515625\n", + "global step=43827200, episodic return=2189.570556640625\n", + "global step=43827200, episodic return=2133.676025390625\n", + "global step=43827200, episodic return=1470.4638671875\n", + "global step=43831296, episodic return=2126.192138671875\n", + "global step=43833344, episodic return=2204.0634765625\n", + "global step=43837440, episodic return=205.01475524902344\n", + "global step=43841536, episodic return=2189.576171875\n", + "global step=43841536, episodic return=2194.02685546875\n", + "global step=43841536, episodic return=2157.739013671875\n", + "global step=43851776, episodic return=1893.6409912109375\n", + "global step=43853824, episodic return=2159.851806640625\n", + "global step=43853824, episodic return=2191.738037109375\n", + "global step=43855872, episodic return=285.33258056640625\n", + "global step=43857920, episodic return=2141.329345703125\n", + "global step=43859968, episodic return=2203.3037109375\n", + "global step=43862016, episodic return=711.401611328125\n", + "global step=43864064, episodic return=260.51031494140625\n", + "global step=43866112, episodic return=2177.999267578125\n", + "global step=43874304, episodic return=2200.888427734375\n", + "global step=43874304, episodic return=2157.77734375\n", + "global step=43876352, episodic return=2233.60009765625\n", + "global step=43876352, episodic return=2189.79052734375\n", + "global step=43876352, episodic return=2189.429443359375\n", + "global step=43876352, episodic return=2146.32421875\n", + "global step=43878400, episodic return=2206.435546875\n", + "global step=43878400, episodic return=2070.814697265625\n", + "global step=43882496, episodic return=2126.403564453125\n", + "global step=43886592, episodic return=2181.733642578125\n", + "global step=43886592, episodic return=1910.6116943359375\n", + "global step=43886592, episodic return=2176.58935546875\n", + "global step=43888640, episodic return=2200.2158203125\n", + "global step=43890688, episodic return=2173.810546875\n", + "global step=43890688, episodic return=2167.85107421875\n", + "global step=43892736, episodic return=2183.530517578125\n", + "global step=43892736, episodic return=2192.26318359375\n", + "global step=43894784, episodic return=1678.5030517578125\n", + "global step=43894784, episodic return=2162.507080078125\n", + "global step=43896832, episodic return=2176.907470703125\n", + "global step=43898880, episodic return=2152.601318359375\n", + "global step=43898880, episodic return=2162.994384765625\n", + "global step=43898880, episodic return=2140.632568359375\n", + "global step=43900928, episodic return=2180.91748046875\n", + "global step=43902976, episodic return=2097.18017578125\n", + "global step=43902976, episodic return=2095.35400390625\n", + "global step=43905024, episodic return=2209.098388671875\n", + "global step=43905024, episodic return=2175.136962890625\n", + "global step=43907072, episodic return=2183.54736328125\n", + "global step=43907072, episodic return=2204.468505859375\n", + "global step=43911168, episodic return=2185.69482421875\n", + "global step=43911168, episodic return=2195.74072265625\n", + "global step=43913216, episodic return=2212.515869140625\n", + "global step=43913216, episodic return=2163.576904296875\n", + "global step=43919360, episodic return=2160.22119140625\n", + "global step=43921408, episodic return=2153.69873046875\n", + "global step=43923456, episodic return=2199.620361328125\n", + "global step=43923456, episodic return=2176.70166015625\n", + "global step=43925504, episodic return=2204.36669921875\n", + "global step=43925504, episodic return=2136.209228515625\n", + "global step=43925504, episodic return=2156.189697265625\n", + "global step=43927552, episodic return=2140.532958984375\n", + "global step=43929600, episodic return=2041.3248291015625\n", + "global step=43929600, episodic return=2186.999755859375\n", + "global step=43929600, episodic return=2180.877685546875\n", + "global step=43931648, episodic return=2108.057861328125\n", + "global step=43931648, episodic return=2204.324951171875\n", + "global step=43937792, episodic return=2158.409912109375\n", + "global step=43937792, episodic return=2100.315185546875\n", + "global step=43937792, episodic return=2188.45703125\n", + "global step=43939840, episodic return=2107.692626953125\n", + "global step=43941888, episodic return=2162.014892578125\n", + "global step=43941888, episodic return=2189.31982421875\n", + "global step=43941888, episodic return=1055.284423828125\n", + "global step=43943936, episodic return=2093.927001953125\n", + "global step=43945984, episodic return=2163.1787109375\n", + "global step=43945984, episodic return=2207.600341796875\n", + "global step=43948032, episodic return=2176.803955078125\n", + "global step=43950080, episodic return=2162.821044921875\n", + "global step=43950080, episodic return=2201.549560546875\n", + "global step=43950080, episodic return=2163.985595703125\n", + "global step=43952128, episodic return=2126.454833984375\n", + "global step=43952128, episodic return=2184.159912109375\n", + "global step=43952128, episodic return=1006.0372314453125\n", + "global step=43952128, episodic return=2115.142333984375\n", + "global step=43954176, episodic return=2035.677490234375\n", + "global step=43958272, episodic return=2193.229248046875\n", + "global step=43960320, episodic return=2117.078125\n", + "global step=43960320, episodic return=2169.3212890625\n", + "global step=43960320, episodic return=2179.7529296875\n", + "global step=43960320, episodic return=2204.315673828125\n", + "global step=43960320, episodic return=2204.196044921875\n", + "global step=43962368, episodic return=2180.551025390625\n", + "global step=43964416, episodic return=2106.325927734375\n", + "global step=43964416, episodic return=2216.92431640625\n", + "global step=43968512, episodic return=2130.394287109375\n", + "global step=43968512, episodic return=2184.34521484375\n", + "global step=43968512, episodic return=2171.213623046875\n", + "global step=43968512, episodic return=2182.101806640625\n", + "global step=43968512, episodic return=2153.097900390625\n", + "global step=43970560, episodic return=2135.3232421875\n", + "global step=43970560, episodic return=2169.984130859375\n", + "global step=43970560, episodic return=2192.895751953125\n", + "global step=43972608, episodic return=2187.357666015625\n", + "global step=43974656, episodic return=2207.735107421875\n", + "global step=43974656, episodic return=2170.63330078125\n", + "global step=43978752, episodic return=2179.6015625\n", + "global step=43978752, episodic return=2136.453125\n", + "global step=43978752, episodic return=2132.917236328125\n", + "global step=43980800, episodic return=2215.048828125\n", + "global step=43980800, episodic return=2136.1875\n", + "global step=43984896, episodic return=2165.233154296875\n", + "global step=43984896, episodic return=2180.13720703125\n", + "global step=43984896, episodic return=2168.56494140625\n", + "global step=43984896, episodic return=2215.590576171875\n", + "global step=43986944, episodic return=2188.32861328125\n", + "global step=43986944, episodic return=2195.084228515625\n", + "global step=43988992, episodic return=2163.892578125\n", + "global step=43988992, episodic return=2203.049072265625\n", + "global step=43991040, episodic return=2180.971435546875\n", + "global step=43991040, episodic return=2184.623046875\n", + "global step=43993088, episodic return=839.82568359375\n", + "global step=43993088, episodic return=2072.12060546875\n", + "global step=43993088, episodic return=2187.86865234375\n", + "global step=43995136, episodic return=1064.859130859375\n", + "global step=43995136, episodic return=2177.3134765625\n", + "global step=43997184, episodic return=2125.39453125\n", + "global step=43997184, episodic return=2165.177734375\n", + "global step=43999232, episodic return=2150.66259765625\n", + "global step=43999232, episodic return=2187.44921875\n", + "global step=44001280, episodic return=2176.6552734375\n", + "global step=44003328, episodic return=2079.63916015625\n", + "global step=44005376, episodic return=2082.41943359375\n", + "global step=44007424, episodic return=2197.680419921875\n", + "global step=44007424, episodic return=2194.33203125\n", + "global step=44007424, episodic return=2216.893798828125\n", + "global step=44007424, episodic return=2167.19970703125\n", + "global step=44009472, episodic return=2186.6748046875\n", + "global step=44009472, episodic return=2128.05078125\n", + "global step=44011520, episodic return=2114.186767578125\n", + "global step=44011520, episodic return=2120.53515625\n", + "global step=44013568, episodic return=2180.41796875\n", + "global step=44013568, episodic return=2110.188232421875\n", + "global step=44013568, episodic return=2152.665283203125\n", + "global step=44013568, episodic return=2169.497802734375\n", + "global step=44013568, episodic return=2156.181396484375\n", + "global step=44017664, episodic return=2124.68310546875\n", + "global step=44017664, episodic return=2133.619873046875\n", + "global step=44019712, episodic return=2138.8134765625\n", + "global step=44019712, episodic return=2152.636474609375\n", + "global step=44021760, episodic return=2214.42529296875\n", + "global step=44021760, episodic return=2201.479736328125\n", + "global step=44023808, episodic return=2176.260009765625\n", + "global step=44023808, episodic return=2192.7353515625\n", + "global step=44027904, episodic return=2139.370361328125\n", + "global step=44027904, episodic return=2143.521240234375\n", + "global step=44027904, episodic return=2166.591552734375\n", + "global step=44029952, episodic return=2169.45654296875\n", + "global step=44029952, episodic return=2137.4375\n", + "global step=44029952, episodic return=2122.10107421875\n", + "global step=44029952, episodic return=2180.423583984375\n", + "global step=44032000, episodic return=2153.051025390625\n", + "global step=44032000, episodic return=2173.979736328125\n", + "global step=44034048, episodic return=2217.555908203125\n", + "global step=44034048, episodic return=2169.78369140625\n", + "global step=44034048, episodic return=2087.811279296875\n", + "global step=44034048, episodic return=2201.013671875\n", + "global step=44034048, episodic return=2110.46923828125\n", + "global step=44036096, episodic return=1498.3109130859375\n", + "global step=44036096, episodic return=2189.421630859375\n", + "global step=44036096, episodic return=2202.435546875\n", + "global step=44040192, episodic return=2145.324951171875\n", + "global step=44044288, episodic return=2181.469482421875\n", + "global step=44046336, episodic return=2116.027587890625\n", + "global step=44048384, episodic return=2172.78515625\n", + "global step=44048384, episodic return=2118.599853515625\n", + "global step=44048384, episodic return=2123.18310546875\n", + "global step=44052480, episodic return=2119.2529296875\n", + "global step=44052480, episodic return=2096.0\n", + "global step=44052480, episodic return=2181.421630859375\n", + "global step=44052480, episodic return=2213.13232421875\n", + "global step=44052480, episodic return=2176.421142578125\n", + "global step=44052480, episodic return=2140.282470703125\n", + "global step=44054528, episodic return=2204.53173828125\n", + "global step=44054528, episodic return=2139.669921875\n", + "global step=44058624, episodic return=1405.487548828125\n", + "global step=44058624, episodic return=2190.51171875\n", + "global step=44058624, episodic return=2140.998291015625\n", + "global step=44058624, episodic return=2186.09716796875\n", + "global step=44062720, episodic return=2192.2353515625\n", + "global step=44062720, episodic return=2142.87109375\n", + "global step=44064768, episodic return=2167.74072265625\n", + "global step=44064768, episodic return=2200.051025390625\n", + "global step=44064768, episodic return=2180.174072265625\n", + "global step=44066816, episodic return=2126.809814453125\n", + "global step=44066816, episodic return=2163.793212890625\n", + "global step=44068864, episodic return=2198.280029296875\n", + "global step=44070912, episodic return=2174.117431640625\n", + "global step=44070912, episodic return=2136.19384765625\n", + "global step=44072960, episodic return=2137.097900390625\n", + "global step=44072960, episodic return=2116.13623046875\n", + "global step=44072960, episodic return=2192.558837890625\n", + "global step=44072960, episodic return=2166.65283203125\n", + "global step=44075008, episodic return=2198.552490234375\n", + "global step=44077056, episodic return=2064.1845703125\n", + "global step=44077056, episodic return=2162.320556640625\n", + "global step=44077056, episodic return=2070.98876953125\n", + "global step=44077056, episodic return=2152.978759765625\n", + "global step=44079104, episodic return=2116.63134765625\n", + "global step=44079104, episodic return=2152.582275390625\n", + "global step=44081152, episodic return=2126.542236328125\n", + "global step=44081152, episodic return=2216.1748046875\n", + "global step=44081152, episodic return=2128.654052734375\n", + "global step=44083200, episodic return=2206.47900390625\n", + "global step=44085248, episodic return=2089.3681640625\n", + "global step=44087296, episodic return=2203.37060546875\n", + "global step=44087296, episodic return=2176.914794921875\n", + "global step=44089344, episodic return=2059.73779296875\n", + "global step=44089344, episodic return=2161.281982421875\n", + "global step=44091392, episodic return=2092.631103515625\n", + "global step=44093440, episodic return=2161.98388671875\n", + "global step=44093440, episodic return=2135.3193359375\n", + "global step=44095488, episodic return=2153.283203125\n", + "global step=44097536, episodic return=2180.83154296875\n", + "global step=44097536, episodic return=2140.85546875\n", + "global step=44097536, episodic return=2132.77978515625\n", + "global step=44097536, episodic return=2200.1220703125\n", + "global step=44099584, episodic return=2108.354248046875\n", + "global step=44099584, episodic return=2135.8193359375\n", + "global step=44101632, episodic return=2209.096923828125\n", + "global step=44103680, episodic return=2047.145263671875\n", + "global step=44103680, episodic return=2175.20703125\n", + "global step=44103680, episodic return=2197.2587890625\n", + "global step=44103680, episodic return=2200.735595703125\n", + "global step=44103680, episodic return=2129.2197265625\n", + "global step=44103680, episodic return=2160.7119140625\n", + "global step=44103680, episodic return=2199.2373046875\n", + "global step=44105728, episodic return=2118.727783203125\n", + "global step=44105728, episodic return=2157.479736328125\n", + "global step=44107776, episodic return=2184.965087890625\n", + "global step=44109824, episodic return=2144.941162109375\n", + "global step=44111872, episodic return=2063.869140625\n", + "global step=44111872, episodic return=2035.02490234375\n", + "global step=44111872, episodic return=2066.443359375\n", + "global step=44113920, episodic return=2162.13916015625\n", + "global step=44113920, episodic return=2166.381103515625\n", + "global step=44113920, episodic return=2127.78759765625\n", + "global step=44113920, episodic return=2207.68310546875\n", + "global step=44113920, episodic return=2115.161376953125\n", + "global step=44115968, episodic return=2197.43505859375\n", + "global step=44115968, episodic return=2144.593017578125\n", + "global step=44115968, episodic return=2161.9580078125\n", + "global step=44118016, episodic return=2188.2646484375\n", + "global step=44118016, episodic return=2130.85888671875\n", + "global step=44120064, episodic return=2174.724365234375\n", + "global step=44120064, episodic return=2128.875\n", + "global step=44120064, episodic return=2205.919677734375\n", + "global step=44120064, episodic return=2146.609130859375\n", + "global step=44122112, episodic return=2161.783447265625\n", + "global step=44122112, episodic return=2177.031005859375\n", + "global step=44124160, episodic return=2132.161376953125\n", + "global step=44124160, episodic return=2140.943115234375\n", + "global step=44126208, episodic return=2215.739013671875\n", + "global step=44126208, episodic return=2103.3349609375\n", + "global step=44126208, episodic return=2170.955322265625\n", + "global step=44126208, episodic return=2186.697021484375\n", + "global step=44126208, episodic return=2097.6572265625\n", + "global step=44126208, episodic return=2128.55322265625\n", + "global step=44128256, episodic return=2179.529052734375\n", + "global step=44128256, episodic return=2148.44970703125\n", + "global step=44128256, episodic return=2113.6904296875\n", + "global step=44130304, episodic return=2032.68701171875\n", + "global step=44130304, episodic return=2142.44775390625\n", + "global step=44130304, episodic return=2167.02001953125\n", + "global step=44132352, episodic return=2087.917724609375\n", + "global step=44132352, episodic return=2204.490478515625\n", + "global step=44132352, episodic return=2133.0595703125\n", + "global step=44134400, episodic return=2197.6015625\n", + "global step=44134400, episodic return=2158.784912109375\n", + "global step=44134400, episodic return=2200.219482421875\n", + "global step=44136448, episodic return=2188.061279296875\n", + "global step=44136448, episodic return=2065.886962890625\n", + "global step=44136448, episodic return=2180.58349609375\n", + "global step=44136448, episodic return=2146.447998046875\n", + "global step=44136448, episodic return=2155.7783203125\n", + "global step=44136448, episodic return=2123.124755859375\n", + "global step=44138496, episodic return=2186.06787109375\n", + "global step=44138496, episodic return=2171.913330078125\n", + "global step=44140544, episodic return=2167.016845703125\n", + "global step=44142592, episodic return=2156.676513671875\n", + "global step=44142592, episodic return=2057.270263671875\n", + "global step=44142592, episodic return=2138.44677734375\n", + "global step=44144640, episodic return=2141.9521484375\n", + "global step=44144640, episodic return=2075.428955078125\n", + "global step=44144640, episodic return=2124.5458984375\n", + "global step=44144640, episodic return=2111.10107421875\n", + "global step=44144640, episodic return=2128.671630859375\n", + "global step=44144640, episodic return=2220.029296875\n", + "global step=44144640, episodic return=2154.880126953125\n", + "global step=44144640, episodic return=2139.07958984375\n", + "global step=44146688, episodic return=741.7904052734375\n", + "global step=44148736, episodic return=2206.44140625\n", + "global step=44150784, episodic return=2208.372802734375\n", + "global step=44150784, episodic return=2100.7861328125\n", + "global step=44150784, episodic return=2148.862548828125\n", + "global step=44150784, episodic return=2151.320556640625\n", + "global step=44152832, episodic return=2203.63671875\n", + "global step=44152832, episodic return=2159.734619140625\n", + "global step=44152832, episodic return=2173.790771484375\n", + "global step=44154880, episodic return=2179.8515625\n", + "global step=44154880, episodic return=2220.693359375\n", + "global step=44154880, episodic return=2182.0859375\n", + "global step=44154880, episodic return=2185.96728515625\n", + "global step=44154880, episodic return=2128.56884765625\n", + "global step=44156928, episodic return=2081.8193359375\n", + "global step=44156928, episodic return=2171.80810546875\n", + "global step=44156928, episodic return=2150.18359375\n", + "global step=44158976, episodic return=2067.7705078125\n", + "global step=44161024, episodic return=2158.67333984375\n", + "global step=44161024, episodic return=2184.587890625\n", + "global step=44163072, episodic return=2131.58837890625\n", + "global step=44165120, episodic return=2192.220703125\n", + "global step=44165120, episodic return=2129.234619140625\n", + "global step=44165120, episodic return=2139.065185546875\n", + "global step=44165120, episodic return=2119.990234375\n", + "global step=44165120, episodic return=1241.5584716796875\n", + "global step=44165120, episodic return=2148.3759765625\n", + "global step=44167168, episodic return=2131.2978515625\n", + "global step=44169216, episodic return=2122.735107421875\n", + "global step=44169216, episodic return=2141.23779296875\n", + "global step=44171264, episodic return=1993.2041015625\n", + "global step=44173312, episodic return=2111.4638671875\n", + "global step=44175360, episodic return=2144.942626953125\n", + "global step=44175360, episodic return=2230.326904296875\n", + "global step=44175360, episodic return=2140.939453125\n", + "global step=44175360, episodic return=2112.42578125\n", + "global step=44177408, episodic return=2184.999755859375\n", + "global step=44177408, episodic return=2161.587158203125\n", + "global step=44177408, episodic return=2233.665283203125\n", + "global step=44179456, episodic return=2206.5732421875\n", + "global step=44179456, episodic return=2138.21337890625\n", + "global step=44179456, episodic return=2134.601806640625\n", + "global step=44179456, episodic return=2074.33935546875\n", + "global step=44181504, episodic return=2110.994873046875\n", + "global step=44183552, episodic return=2162.20263671875\n", + "global step=44183552, episodic return=1297.9610595703125\n", + "global step=44183552, episodic return=2179.7890625\n", + "global step=44183552, episodic return=2105.4248046875\n", + "global step=44185600, episodic return=2153.506103515625\n", + "global step=44185600, episodic return=2127.00927734375\n", + "global step=44185600, episodic return=2142.364501953125\n", + "global step=44185600, episodic return=2192.132080078125\n", + "global step=44185600, episodic return=2115.446533203125\n", + "global step=44185600, episodic return=2123.654541015625\n", + "global step=44187648, episodic return=2134.199462890625\n", + "global step=44187648, episodic return=2218.258544921875\n", + "global step=44187648, episodic return=2187.505859375\n", + "global step=44189696, episodic return=2143.515380859375\n", + "global step=44189696, episodic return=2097.82275390625\n", + "global step=44189696, episodic return=2060.827392578125\n", + "global step=44189696, episodic return=2145.52294921875\n", + "global step=44189696, episodic return=783.4393310546875\n", + "global step=44191744, episodic return=2005.7718505859375\n", + "global step=44191744, episodic return=2198.114013671875\n", + "global step=44191744, episodic return=2158.79931640625\n", + "global step=44195840, episodic return=2124.559814453125\n", + "global step=44195840, episodic return=2139.599609375\n", + "global step=44197888, episodic return=2115.073974609375\n", + "global step=44197888, episodic return=2190.013916015625\n", + "global step=44197888, episodic return=2124.406005859375\n", + "global step=44197888, episodic return=2188.500244140625\n", + "global step=44197888, episodic return=2096.75927734375\n", + "global step=44199936, episodic return=339.4060974121094\n", + "global step=44199936, episodic return=2182.15185546875\n", + "global step=44199936, episodic return=2182.398681640625\n", + "global step=44201984, episodic return=2110.6640625\n", + "global step=44201984, episodic return=2183.898681640625\n", + "global step=44201984, episodic return=2097.5927734375\n", + "global step=44204032, episodic return=2170.97998046875\n", + "global step=44204032, episodic return=2148.261962890625\n", + "global step=44204032, episodic return=2106.991943359375\n", + "global step=44204032, episodic return=2159.912109375\n", + "global step=44204032, episodic return=2173.972900390625\n", + "global step=44206080, episodic return=2215.393798828125\n", + "global step=44206080, episodic return=2168.250244140625\n", + "global step=44206080, episodic return=2098.6708984375\n", + "global step=44206080, episodic return=2191.09814453125\n", + "global step=44208128, episodic return=2112.2158203125\n", + "global step=44208128, episodic return=2178.9150390625\n", + "global step=44208128, episodic return=2127.6142578125\n", + "global step=44208128, episodic return=2123.384521484375\n", + "global step=44208128, episodic return=2120.999755859375\n", + "global step=44210176, episodic return=2147.565185546875\n", + "global step=44210176, episodic return=2163.6455078125\n", + "global step=44210176, episodic return=2168.410888671875\n", + "global step=44210176, episodic return=2173.810302734375\n", + "global step=44210176, episodic return=2168.927734375\n", + "global step=44212224, episodic return=2103.9208984375\n", + "global step=44212224, episodic return=2176.25146484375\n", + "global step=44212224, episodic return=2088.152587890625\n", + "global step=44214272, episodic return=2212.4306640625\n", + "global step=44214272, episodic return=2183.187744140625\n", + "global step=44214272, episodic return=2149.098388671875\n", + "global step=44216320, episodic return=2164.646240234375\n", + "global step=44216320, episodic return=2156.456787109375\n", + "global step=44216320, episodic return=2164.81640625\n", + "global step=44216320, episodic return=2118.797607421875\n", + "global step=44216320, episodic return=2190.78564453125\n", + "global step=44216320, episodic return=2209.859375\n", + "global step=44218368, episodic return=2133.97265625\n", + "global step=44218368, episodic return=2100.089599609375\n", + "global step=44218368, episodic return=2147.22900390625\n", + "global step=44220416, episodic return=2182.704833984375\n", + "global step=44220416, episodic return=2142.319580078125\n", + "global step=44220416, episodic return=2189.6865234375\n", + "global step=44220416, episodic return=332.6852722167969\n", + "global step=44220416, episodic return=2073.035400390625\n", + "global step=44222464, episodic return=2085.239013671875\n", + "global step=44222464, episodic return=2107.220703125\n", + "global step=44222464, episodic return=2185.06396484375\n", + "global step=44222464, episodic return=2193.01025390625\n", + "global step=44222464, episodic return=2111.922607421875\n", + "global step=44222464, episodic return=2190.446044921875\n", + "global step=44224512, episodic return=2114.54833984375\n", + "global step=44224512, episodic return=2131.3623046875\n", + "global step=44224512, episodic return=2117.66943359375\n", + "global step=44224512, episodic return=2113.33837890625\n", + "global step=44224512, episodic return=2187.686767578125\n", + "global step=44226560, episodic return=276.3211364746094\n", + "global step=44226560, episodic return=2155.9423828125\n", + "global step=44226560, episodic return=2166.458984375\n", + "global step=44230656, episodic return=2134.78271484375\n", + "global step=44230656, episodic return=2210.60205078125\n", + "global step=44230656, episodic return=2128.01611328125\n", + "global step=44232704, episodic return=2187.492919921875\n", + "global step=44232704, episodic return=2122.96044921875\n", + "global step=44232704, episodic return=2183.957275390625\n", + "global step=44232704, episodic return=2130.67578125\n", + "global step=44234752, episodic return=2191.802001953125\n", + "global step=44234752, episodic return=2131.329833984375\n", + "global step=44234752, episodic return=2156.233642578125\n", + "global step=44236800, episodic return=2152.287109375\n", + "global step=44236800, episodic return=2093.250732421875\n", + "global step=44236800, episodic return=2108.37841796875\n", + "global step=44238848, episodic return=2117.6591796875\n", + "global step=44238848, episodic return=2120.278076171875\n", + "global step=44238848, episodic return=336.2254943847656\n", + "global step=44238848, episodic return=2119.641357421875\n", + "global step=44242944, episodic return=2187.834716796875\n", + "global step=44242944, episodic return=2122.962890625\n", + "global step=44242944, episodic return=2211.447509765625\n", + "global step=44242944, episodic return=2171.694091796875\n", + "global step=44244992, episodic return=2116.478515625\n", + "global step=44244992, episodic return=2158.886962890625\n", + "global step=44244992, episodic return=2127.458251953125\n", + "global step=44247040, episodic return=2174.62890625\n", + "global step=44247040, episodic return=2118.34423828125\n", + "global step=44247040, episodic return=2195.39892578125\n", + "global step=44247040, episodic return=2140.011962890625\n", + "global step=44249088, episodic return=2172.8408203125\n", + "global step=44249088, episodic return=2184.361083984375\n", + "global step=44249088, episodic return=2218.707275390625\n", + "global step=44249088, episodic return=2212.953857421875\n", + "global step=44249088, episodic return=2178.110107421875\n", + "global step=44251136, episodic return=2137.27734375\n", + "global step=44253184, episodic return=2151.770263671875\n", + "global step=44253184, episodic return=2185.737060546875\n", + "global step=44253184, episodic return=2193.203857421875\n", + "global step=44253184, episodic return=2126.48974609375\n", + "global step=44255232, episodic return=2185.24267578125\n", + "global step=44255232, episodic return=2190.609619140625\n", + "global step=44255232, episodic return=2146.7373046875\n", + "global step=44255232, episodic return=2111.76025390625\n", + "global step=44255232, episodic return=2155.37939453125\n", + "global step=44257280, episodic return=2105.9970703125\n", + "global step=44257280, episodic return=2201.395751953125\n", + "global step=44257280, episodic return=2155.36328125\n", + "global step=44259328, episodic return=2184.57373046875\n", + "global step=44259328, episodic return=2163.953857421875\n", + "global step=44261376, episodic return=2170.3095703125\n", + "global step=44261376, episodic return=2133.0234375\n", + "global step=44263424, episodic return=2177.0068359375\n", + "global step=44263424, episodic return=2091.51513671875\n", + "global step=44263424, episodic return=2155.736572265625\n", + "global step=44263424, episodic return=2190.408203125\n", + "global step=44265472, episodic return=2160.359130859375\n", + "global step=44265472, episodic return=2102.44921875\n", + "global step=44265472, episodic return=2103.068603515625\n", + "global step=44265472, episodic return=2092.25048828125\n", + "global step=44265472, episodic return=2165.45751953125\n", + "global step=44265472, episodic return=2134.532470703125\n", + "global step=44267520, episodic return=2198.542236328125\n", + "global step=44267520, episodic return=2184.46923828125\n", + "global step=44269568, episodic return=2110.307373046875\n", + "global step=44269568, episodic return=2158.204345703125\n", + "global step=44269568, episodic return=2152.74951171875\n", + "global step=44269568, episodic return=2188.254150390625\n", + "global step=44269568, episodic return=2177.016357421875\n", + "global step=44269568, episodic return=36.26752853393555\n", + "global step=44269568, episodic return=2099.762939453125\n", + "global step=44269568, episodic return=2070.81640625\n", + "global step=44271616, episodic return=313.25689697265625\n", + "global step=44271616, episodic return=1948.6033935546875\n", + "global step=44271616, episodic return=2178.0546875\n", + "global step=44275712, episodic return=2094.78955078125\n", + "global step=44275712, episodic return=2138.04296875\n", + "global step=44275712, episodic return=2079.633544921875\n", + "global step=44275712, episodic return=2217.718505859375\n", + "global step=44275712, episodic return=2100.5908203125\n", + "global step=44277760, episodic return=2224.999755859375\n", + "global step=44277760, episodic return=2206.498779296875\n", + "global step=44277760, episodic return=2140.56494140625\n", + "global step=44281856, episodic return=2113.068115234375\n", + "global step=44281856, episodic return=2133.33544921875\n", + "global step=44281856, episodic return=2188.6806640625\n", + "global step=44281856, episodic return=2149.500244140625\n", + "global step=44283904, episodic return=2185.3642578125\n", + "global step=44283904, episodic return=2127.150634765625\n", + "global step=44283904, episodic return=2139.591064453125\n", + "global step=44285952, episodic return=2169.728515625\n", + "global step=44285952, episodic return=2192.948486328125\n", + "global step=44285952, episodic return=2124.7705078125\n", + "global step=44285952, episodic return=2132.416015625\n", + "global step=44285952, episodic return=342.17852783203125\n", + "global step=44285952, episodic return=2130.4541015625\n", + "global step=44288000, episodic return=2172.32861328125\n", + "global step=44288000, episodic return=140.63182067871094\n", + "global step=44290048, episodic return=2211.454833984375\n", + "global step=44290048, episodic return=2138.207763671875\n", + "global step=44290048, episodic return=2193.85498046875\n", + "global step=44290048, episodic return=317.546630859375\n", + "global step=44294144, episodic return=2180.6982421875\n", + "global step=44294144, episodic return=2136.01611328125\n", + "global step=44294144, episodic return=2135.64990234375\n", + "global step=44294144, episodic return=2129.7158203125\n", + "global step=44294144, episodic return=2067.771484375\n", + "global step=44294144, episodic return=2170.619873046875\n", + "global step=44296192, episodic return=2109.031982421875\n", + "global step=44296192, episodic return=2186.701904296875\n", + "global step=44296192, episodic return=2157.242919921875\n", + "global step=44296192, episodic return=2166.679931640625\n", + "global step=44296192, episodic return=2196.706298828125\n", + "global step=44296192, episodic return=2192.0458984375\n", + "global step=44296192, episodic return=2220.49560546875\n", + "global step=44296192, episodic return=2146.71630859375\n", + "global step=44298240, episodic return=2121.842529296875\n", + "global step=44298240, episodic return=2173.208740234375\n", + "global step=44298240, episodic return=2165.82861328125\n", + "global step=44298240, episodic return=2114.271240234375\n", + "global step=44298240, episodic return=2178.443603515625\n", + "global step=44300288, episodic return=2085.46826171875\n", + "global step=44300288, episodic return=2183.246337890625\n", + "global step=44300288, episodic return=2219.853515625\n", + "global step=44302336, episodic return=2183.434814453125\n", + "global step=44302336, episodic return=2157.472900390625\n", + "global step=44302336, episodic return=2160.15869140625\n", + "global step=44302336, episodic return=316.8897399902344\n", + "global step=44304384, episodic return=2142.37451171875\n", + "global step=44304384, episodic return=2178.6162109375\n", + "global step=44304384, episodic return=2187.942626953125\n", + "global step=44304384, episodic return=2137.66455078125\n", + "global step=44304384, episodic return=2118.172607421875\n", + "global step=44304384, episodic return=2124.32958984375\n", + "global step=44306432, episodic return=2158.607421875\n", + "global step=44306432, episodic return=2163.36572265625\n", + "global step=44306432, episodic return=2188.6171875\n", + "global step=44306432, episodic return=2140.708984375\n", + "global step=44308480, episodic return=2208.514404296875\n", + "global step=44308480, episodic return=2165.496826171875\n", + "global step=44308480, episodic return=2174.094970703125\n", + "global step=44308480, episodic return=2126.81298828125\n", + "global step=44308480, episodic return=2116.566162109375\n", + "global step=44310528, episodic return=2211.428955078125\n", + "global step=44310528, episodic return=2145.672607421875\n", + "global step=44310528, episodic return=2143.148681640625\n", + "global step=44310528, episodic return=2132.3955078125\n", + "global step=44310528, episodic return=2236.124267578125\n", + "global step=44312576, episodic return=2186.339111328125\n", + "global step=44312576, episodic return=2159.5029296875\n", + "global step=44312576, episodic return=2170.443115234375\n", + "global step=44312576, episodic return=2123.36962890625\n", + "global step=44314624, episodic return=2147.572998046875\n", + "global step=44314624, episodic return=2131.974365234375\n", + "global step=44316672, episodic return=2173.06103515625\n", + "global step=44316672, episodic return=2119.349365234375\n", + "global step=44318720, episodic return=2179.522216796875\n", + "global step=44318720, episodic return=2178.642333984375\n", + "global step=44320768, episodic return=2178.781005859375\n", + "global step=44320768, episodic return=2218.512451171875\n", + "global step=44320768, episodic return=2121.303466796875\n", + "global step=44322816, episodic return=315.61370849609375\n", + "global step=44322816, episodic return=2157.642822265625\n", + "global step=44322816, episodic return=2113.1943359375\n", + "global step=44322816, episodic return=2115.4052734375\n", + "global step=44324864, episodic return=2201.42138671875\n", + "global step=44324864, episodic return=2178.86279296875\n", + "global step=44326912, episodic return=2157.397705078125\n", + "global step=44326912, episodic return=2226.252685546875\n", + "global step=44326912, episodic return=326.1289367675781\n", + "global step=44326912, episodic return=59.50560760498047\n", + "global step=44326912, episodic return=2093.14453125\n", + "global step=44328960, episodic return=2130.083251953125\n", + "global step=44328960, episodic return=2093.404296875\n", + "global step=44328960, episodic return=2205.652099609375\n", + "global step=44328960, episodic return=2107.45654296875\n", + "global step=44328960, episodic return=2201.70166015625\n", + "global step=44328960, episodic return=2189.04443359375\n", + "global step=44331008, episodic return=2125.437744140625\n", + "global step=44331008, episodic return=2163.932373046875\n", + "global step=44331008, episodic return=2157.205322265625\n", + "global step=44333056, episodic return=2127.514892578125\n", + "global step=44333056, episodic return=2192.740478515625\n", + "global step=44335104, episodic return=2182.0869140625\n", + "global step=44337152, episodic return=2179.424560546875\n", + "global step=44337152, episodic return=2196.25927734375\n", + "global step=44337152, episodic return=2156.375732421875\n", + "global step=44339200, episodic return=2208.83447265625\n", + "global step=44339200, episodic return=2173.478759765625\n", + "global step=44339200, episodic return=2193.092529296875\n", + "global step=44341248, episodic return=2110.272705078125\n", + "global step=44341248, episodic return=2141.411376953125\n", + "global step=44341248, episodic return=2151.97998046875\n", + "global step=44341248, episodic return=2156.279296875\n", + "global step=44341248, episodic return=2164.55908203125\n", + "global step=44341248, episodic return=2163.8623046875\n", + "global step=44341248, episodic return=2183.290771484375\n", + "global step=44345344, episodic return=2184.3251953125\n", + "global step=44345344, episodic return=2105.64697265625\n", + "global step=44345344, episodic return=2170.88916015625\n", + "global step=44347392, episodic return=2218.374755859375\n", + "global step=44347392, episodic return=2200.86572265625\n", + "global step=44347392, episodic return=2141.187744140625\n", + "global step=44347392, episodic return=2154.881591796875\n", + "global step=44347392, episodic return=2226.802734375\n", + "global step=44347392, episodic return=2146.597900390625\n", + "global step=44349440, episodic return=2200.251220703125\n", + "global step=44349440, episodic return=2159.211669921875\n", + "global step=44349440, episodic return=2189.44677734375\n", + "global step=44349440, episodic return=2155.77392578125\n", + "global step=44349440, episodic return=2103.9609375\n", + "global step=44349440, episodic return=2159.32763671875\n", + "global step=44349440, episodic return=2136.09619140625\n", + "global step=44351488, episodic return=2188.380126953125\n", + "global step=44351488, episodic return=2012.0489501953125\n", + "global step=44351488, episodic return=2110.767822265625\n", + "global step=44353536, episodic return=2121.195556640625\n", + "global step=44353536, episodic return=2226.41748046875\n", + "global step=44353536, episodic return=2199.952880859375\n", + "global step=44353536, episodic return=2189.09033203125\n", + "global step=44353536, episodic return=2194.986083984375\n", + "global step=44355584, episodic return=2126.11962890625\n", + "global step=44355584, episodic return=2158.961669921875\n", + "global step=44355584, episodic return=2158.566162109375\n", + "global step=44355584, episodic return=2211.372802734375\n", + "global step=44357632, episodic return=2193.615478515625\n", + "global step=44357632, episodic return=2102.27490234375\n", + "global step=44357632, episodic return=2208.877197265625\n", + "global step=44359680, episodic return=2121.911376953125\n", + "global step=44359680, episodic return=2180.931884765625\n", + "global step=44361728, episodic return=2140.882080078125\n", + "global step=44361728, episodic return=2095.983154296875\n", + "global step=44361728, episodic return=2142.471923828125\n", + "global step=44361728, episodic return=2167.874267578125\n", + "global step=44363776, episodic return=2116.79638671875\n", + "global step=44363776, episodic return=2145.23193359375\n", + "global step=44363776, episodic return=2158.14306640625\n", + "global step=44365824, episodic return=2177.578125\n", + "global step=44365824, episodic return=2184.00439453125\n", + "global step=44365824, episodic return=2231.08203125\n", + "global step=44365824, episodic return=2104.14990234375\n", + "global step=44365824, episodic return=2215.958984375\n", + "global step=44367872, episodic return=2190.02294921875\n", + "global step=44367872, episodic return=2169.237060546875\n", + "global step=44367872, episodic return=2152.677978515625\n", + "global step=44367872, episodic return=2158.0712890625\n", + "global step=44367872, episodic return=2131.246337890625\n", + "global step=44367872, episodic return=2139.44580078125\n", + "global step=44367872, episodic return=2170.59033203125\n", + "global step=44369920, episodic return=2172.48681640625\n", + "global step=44369920, episodic return=2154.0048828125\n", + "global step=44369920, episodic return=2052.88623046875\n", + "global step=44369920, episodic return=2156.519287109375\n", + "global step=44371968, episodic return=2184.571533203125\n", + "global step=44371968, episodic return=2184.3515625\n", + "global step=44371968, episodic return=2152.12451171875\n", + "global step=44371968, episodic return=2137.874267578125\n", + "global step=44374016, episodic return=2184.486083984375\n", + "global step=44374016, episodic return=2189.85546875\n", + "global step=44374016, episodic return=2168.26611328125\n", + "global step=44376064, episodic return=2135.5244140625\n", + "global step=44376064, episodic return=2138.120849609375\n", + "global step=44376064, episodic return=2151.173828125\n", + "global step=44378112, episodic return=2212.453857421875\n", + "global step=44378112, episodic return=2183.021484375\n", + "global step=44378112, episodic return=2116.337646484375\n", + "global step=44378112, episodic return=2190.4814453125\n", + "global step=44380160, episodic return=2197.734619140625\n", + "global step=44380160, episodic return=2184.482177734375\n", + "global step=44382208, episodic return=2171.755859375\n", + "global step=44382208, episodic return=2206.1875\n", + "global step=44382208, episodic return=2183.77197265625\n", + "global step=44384256, episodic return=2110.337890625\n", + "global step=44384256, episodic return=2171.988525390625\n", + "global step=44386304, episodic return=2205.054931640625\n", + "global step=44386304, episodic return=2175.25341796875\n", + "global step=44386304, episodic return=2174.085205078125\n", + "global step=44386304, episodic return=2156.3291015625\n", + "global step=44388352, episodic return=2149.5400390625\n", + "global step=44388352, episodic return=2195.76416015625\n", + "global step=44388352, episodic return=2157.66748046875\n", + "global step=44390400, episodic return=2141.980712890625\n", + "global step=44390400, episodic return=2168.877197265625\n", + "global step=44390400, episodic return=2141.547607421875\n", + "global step=44390400, episodic return=2199.742919921875\n", + "global step=44390400, episodic return=2099.58251953125\n", + "global step=44390400, episodic return=2193.2177734375\n", + "global step=44392448, episodic return=2205.70751953125\n", + "global step=44392448, episodic return=2157.162353515625\n", + "global step=44392448, episodic return=2198.76904296875\n", + "global step=44394496, episodic return=2144.02099609375\n", + "global step=44394496, episodic return=2213.306640625\n", + "global step=44394496, episodic return=2142.408935546875\n", + "global step=44394496, episodic return=2157.365966796875\n", + "global step=44396544, episodic return=2126.65380859375\n", + "global step=44396544, episodic return=2171.1611328125\n", + "global step=44396544, episodic return=2184.778564453125\n", + "global step=44398592, episodic return=2139.71630859375\n", + "global step=44398592, episodic return=2099.046875\n", + "global step=44398592, episodic return=2133.60107421875\n", + "global step=44398592, episodic return=2184.263671875\n", + "global step=44398592, episodic return=2153.281494140625\n", + "global step=44400640, episodic return=2169.843994140625\n", + "global step=44400640, episodic return=2159.36083984375\n", + "global step=44400640, episodic return=2126.36767578125\n", + "global step=44402688, episodic return=2190.267822265625\n", + "global step=44402688, episodic return=2181.547607421875\n", + "global step=44404736, episodic return=2155.271240234375\n", + "global step=44404736, episodic return=2157.8564453125\n", + "global step=44404736, episodic return=2175.06982421875\n", + "global step=44406784, episodic return=2169.576416015625\n", + "global step=44406784, episodic return=2161.4912109375\n", + "global step=44406784, episodic return=2126.431640625\n", + "global step=44408832, episodic return=2174.144775390625\n", + "global step=44408832, episodic return=2143.042724609375\n", + "global step=44410880, episodic return=2178.65380859375\n", + "global step=44410880, episodic return=2183.092529296875\n", + "global step=44410880, episodic return=2132.88623046875\n", + "global step=44412928, episodic return=2191.892822265625\n", + "global step=44414976, episodic return=2151.28369140625\n", + "global step=44414976, episodic return=2180.749267578125\n", + "global step=44414976, episodic return=2192.7001953125\n", + "global step=44414976, episodic return=2199.2626953125\n", + "global step=44417024, episodic return=2100.0595703125\n", + "global step=44419072, episodic return=2147.32568359375\n", + "global step=44419072, episodic return=2189.6064453125\n", + "global step=44419072, episodic return=2224.390869140625\n", + "global step=44419072, episodic return=2149.349609375\n", + "global step=44421120, episodic return=2142.628173828125\n", + "global step=44421120, episodic return=2156.521728515625\n", + "global step=44421120, episodic return=2113.704345703125\n", + "global step=44421120, episodic return=2194.208984375\n", + "global step=44421120, episodic return=2191.806640625\n", + "global step=44421120, episodic return=2178.069580078125\n", + "global step=44421120, episodic return=2144.557861328125\n", + "global step=44423168, episodic return=2167.855224609375\n", + "global step=44423168, episodic return=2121.2578125\n", + "global step=44425216, episodic return=2165.623046875\n", + "global step=44425216, episodic return=2154.902099609375\n", + "global step=44425216, episodic return=2153.60693359375\n", + "global step=44425216, episodic return=2134.10595703125\n", + "global step=44427264, episodic return=2112.54052734375\n", + "global step=44427264, episodic return=2178.498779296875\n", + "global step=44427264, episodic return=2205.419189453125\n", + "global step=44427264, episodic return=2111.9033203125\n", + "global step=44427264, episodic return=2187.150634765625\n", + "global step=44429312, episodic return=2185.212646484375\n", + "global step=44429312, episodic return=2168.415771484375\n", + "global step=44431360, episodic return=2189.259521484375\n", + "global step=44431360, episodic return=2164.483642578125\n", + "global step=44431360, episodic return=2177.736572265625\n", + "global step=44431360, episodic return=2144.8671875\n", + "global step=44433408, episodic return=2213.9951171875\n", + "global step=44433408, episodic return=2215.503662109375\n", + "global step=44433408, episodic return=2150.310302734375\n", + "global step=44433408, episodic return=2163.011962890625\n", + "global step=44433408, episodic return=2119.380859375\n", + "global step=44435456, episodic return=2164.348876953125\n", + "global step=44435456, episodic return=2130.196533203125\n", + "global step=44437504, episodic return=2214.975341796875\n", + "global step=44437504, episodic return=2148.631591796875\n", + "global step=44439552, episodic return=2226.516845703125\n", + "global step=44439552, episodic return=2184.507568359375\n", + "global step=44441600, episodic return=2182.411376953125\n", + "global step=44445696, episodic return=2153.766357421875\n", + "global step=44445696, episodic return=2142.531005859375\n", + "global step=44445696, episodic return=2185.9404296875\n", + "global step=44445696, episodic return=2166.413330078125\n", + "global step=44445696, episodic return=2173.3466796875\n", + "global step=44447744, episodic return=2191.70458984375\n", + "global step=44447744, episodic return=2155.2841796875\n", + "global step=44447744, episodic return=2139.151123046875\n", + "global step=44447744, episodic return=2136.974609375\n", + "global step=44449792, episodic return=2164.121337890625\n", + "global step=44449792, episodic return=2171.01953125\n", + "global step=44451840, episodic return=2169.698974609375\n", + "global step=44451840, episodic return=2200.28271484375\n", + "global step=44451840, episodic return=2156.37890625\n", + "global step=44453888, episodic return=2148.26123046875\n", + "global step=44453888, episodic return=2181.548095703125\n", + "global step=44455936, episodic return=2122.741455078125\n", + "global step=44455936, episodic return=2093.9833984375\n", + "global step=44455936, episodic return=2147.472900390625\n", + "global step=44455936, episodic return=2123.28662109375\n", + "global step=44457984, episodic return=2161.56298828125\n", + "global step=44457984, episodic return=2171.758544921875\n", + "global step=44457984, episodic return=203.53184509277344\n", + "global step=44460032, episodic return=2150.493408203125\n", + "global step=44464128, episodic return=2096.4541015625\n", + "global step=44464128, episodic return=684.1575317382812\n", + "global step=44464128, episodic return=2131.68017578125\n", + "global step=44466176, episodic return=2100.478759765625\n", + "global step=44466176, episodic return=2148.12890625\n", + "global step=44466176, episodic return=2123.966552734375\n", + "global step=44468224, episodic return=2182.6513671875\n", + "global step=44468224, episodic return=2205.239501953125\n", + "global step=44468224, episodic return=2199.216552734375\n", + "global step=44468224, episodic return=2167.4521484375\n", + "global step=44468224, episodic return=2172.44287109375\n", + "global step=44468224, episodic return=2152.11181640625\n", + "global step=44468224, episodic return=206.6899871826172\n", + "global step=44470272, episodic return=2230.579345703125\n", + "global step=44470272, episodic return=2180.659423828125\n", + "global step=44472320, episodic return=2089.29931640625\n", + "global step=44472320, episodic return=2194.035400390625\n", + "global step=44474368, episodic return=2153.89501953125\n", + "global step=44474368, episodic return=2155.957275390625\n", + "global step=44474368, episodic return=2188.057861328125\n", + "global step=44474368, episodic return=2163.317138671875\n", + "global step=44474368, episodic return=2188.00634765625\n", + "global step=44476416, episodic return=2171.191650390625\n", + "global step=44476416, episodic return=2196.459228515625\n", + "global step=44478464, episodic return=2116.707763671875\n", + "global step=44478464, episodic return=2209.046630859375\n", + "global step=44480512, episodic return=2038.0220947265625\n", + "global step=44480512, episodic return=2122.159912109375\n", + "global step=44480512, episodic return=197.27789306640625\n", + "global step=44480512, episodic return=2237.632080078125\n", + "global step=44482560, episodic return=2117.201171875\n", + "global step=44482560, episodic return=2166.7470703125\n", + "global step=44482560, episodic return=2211.203125\n", + "global step=44482560, episodic return=2172.06201171875\n", + "global step=44482560, episodic return=2202.58056640625\n", + "global step=44484608, episodic return=2148.396484375\n", + "global step=44484608, episodic return=2070.07666015625\n", + "global step=44484608, episodic return=2176.85693359375\n", + "global step=44484608, episodic return=2167.159912109375\n", + "global step=44486656, episodic return=2141.575927734375\n", + "global step=44486656, episodic return=2125.79638671875\n", + "global step=44486656, episodic return=142.42340087890625\n", + "global step=44488704, episodic return=198.4520721435547\n", + "global step=44488704, episodic return=2113.33154296875\n", + "global step=44488704, episodic return=2162.185791015625\n", + "global step=44488704, episodic return=2211.0244140625\n", + "global step=44488704, episodic return=2172.33544921875\n", + "global step=44488704, episodic return=2168.28369140625\n", + "global step=44488704, episodic return=143.5142822265625\n", + "global step=44488704, episodic return=2150.680908203125\n", + "global step=44488704, episodic return=2197.410400390625\n", + "global step=44488704, episodic return=2199.1845703125\n", + "global step=44488704, episodic return=2156.99609375\n", + "global step=44490752, episodic return=2139.718017578125\n", + "global step=44490752, episodic return=2174.522705078125\n", + "global step=44490752, episodic return=2133.51513671875\n", + "global step=44492800, episodic return=2107.989990234375\n", + "global step=44492800, episodic return=2130.81640625\n", + "global step=44494848, episodic return=2175.301025390625\n", + "global step=44494848, episodic return=2183.210693359375\n", + "global step=44494848, episodic return=2152.057373046875\n", + "global step=44494848, episodic return=2175.5419921875\n", + "global step=44494848, episodic return=2084.6669921875\n", + "global step=44496896, episodic return=2159.150634765625\n", + "global step=44496896, episodic return=2181.008544921875\n", + "global step=44498944, episodic return=2202.762939453125\n", + "global step=44498944, episodic return=2139.3642578125\n", + "global step=44498944, episodic return=2091.422119140625\n", + "global step=44498944, episodic return=2139.07568359375\n", + "global step=44498944, episodic return=2157.920654296875\n", + "global step=44500992, episodic return=2183.14501953125\n", + "global step=44500992, episodic return=2197.351806640625\n", + "global step=44503040, episodic return=2135.3525390625\n", + "global step=44503040, episodic return=2190.58837890625\n", + "global step=44505088, episodic return=2148.017822265625\n", + "global step=44505088, episodic return=2127.05810546875\n", + "global step=44507136, episodic return=2158.53076171875\n", + "global step=44507136, episodic return=2178.5205078125\n", + "global step=44507136, episodic return=2149.873779296875\n", + "global step=44507136, episodic return=2162.92822265625\n", + "global step=44507136, episodic return=1592.2838134765625\n", + "global step=44507136, episodic return=2191.894287109375\n", + "global step=44509184, episodic return=2171.64990234375\n", + "global step=44509184, episodic return=2160.153076171875\n", + "global step=44511232, episodic return=2146.141357421875\n", + "global step=44511232, episodic return=2092.834228515625\n", + "global step=44511232, episodic return=2183.428466796875\n", + "global step=44511232, episodic return=2123.043212890625\n", + "global step=44511232, episodic return=2119.129150390625\n", + "global step=44513280, episodic return=2193.3857421875\n", + "global step=44513280, episodic return=2188.72412109375\n", + "global step=44513280, episodic return=2177.40478515625\n", + "global step=44515328, episodic return=2195.006103515625\n", + "global step=44515328, episodic return=2164.318603515625\n", + "global step=44515328, episodic return=2129.31640625\n", + "global step=44517376, episodic return=2098.05615234375\n", + "global step=44517376, episodic return=2156.193359375\n", + "global step=44519424, episodic return=2180.014892578125\n", + "global step=44519424, episodic return=2151.18017578125\n", + "global step=44519424, episodic return=2164.526611328125\n", + "global step=44519424, episodic return=2201.019775390625\n", + "global step=44521472, episodic return=2153.513916015625\n", + "global step=44521472, episodic return=2206.0224609375\n", + "global step=44523520, episodic return=2115.38525390625\n", + "global step=44523520, episodic return=2163.601318359375\n", + "global step=44523520, episodic return=2129.10400390625\n", + "global step=44525568, episodic return=2123.43603515625\n", + "global step=44525568, episodic return=2172.254638671875\n", + "global step=44527616, episodic return=2138.63671875\n", + "global step=44527616, episodic return=2119.360595703125\n", + "global step=44529664, episodic return=2099.934326171875\n", + "global step=44529664, episodic return=2125.216796875\n", + "global step=44529664, episodic return=2177.500732421875\n", + "global step=44529664, episodic return=2167.41650390625\n", + "global step=44529664, episodic return=2195.33837890625\n", + "global step=44529664, episodic return=2137.59228515625\n", + "global step=44529664, episodic return=2159.40380859375\n", + "global step=44531712, episodic return=2220.1083984375\n", + "global step=44531712, episodic return=2098.05908203125\n", + "global step=44531712, episodic return=2174.182373046875\n", + "global step=44531712, episodic return=2160.07470703125\n", + "global step=44531712, episodic return=2173.576171875\n", + "global step=44533760, episodic return=2174.971923828125\n", + "global step=44533760, episodic return=2099.78955078125\n", + "global step=44533760, episodic return=2172.41357421875\n", + "global step=44533760, episodic return=2115.4443359375\n", + "global step=44535808, episodic return=2153.886474609375\n", + "global step=44535808, episodic return=2201.4052734375\n", + "global step=44535808, episodic return=730.1351318359375\n", + "global step=44537856, episodic return=2144.893798828125\n", + "global step=44537856, episodic return=2163.497802734375\n", + "global step=44537856, episodic return=2116.11865234375\n", + "global step=44537856, episodic return=2150.6474609375\n", + "global step=44537856, episodic return=2152.592041015625\n", + "global step=44539904, episodic return=2157.5615234375\n", + "global step=44539904, episodic return=2174.977783203125\n", + "global step=44539904, episodic return=2171.843017578125\n", + "global step=44541952, episodic return=2176.017578125\n", + "global step=44541952, episodic return=2172.160400390625\n", + "global step=44541952, episodic return=2111.458984375\n", + "global step=44541952, episodic return=2196.140869140625\n", + "global step=44541952, episodic return=2183.996337890625\n", + "global step=44541952, episodic return=2133.39501953125\n", + "global step=44541952, episodic return=2202.4365234375\n", + "global step=44544000, episodic return=2121.437255859375\n", + "global step=44544000, episodic return=2151.162841796875\n", + "global step=44544000, episodic return=2220.483154296875\n", + "global step=44544000, episodic return=2184.31591796875\n", + "global step=44546048, episodic return=2169.182373046875\n", + "global step=44546048, episodic return=2177.724853515625\n", + "global step=44546048, episodic return=2120.604248046875\n", + "global step=44546048, episodic return=2191.455322265625\n", + "global step=44546048, episodic return=2228.121337890625\n", + "global step=44546048, episodic return=2190.76513671875\n", + "global step=44548096, episodic return=2136.20458984375\n", + "global step=44548096, episodic return=2198.240478515625\n", + "global step=44548096, episodic return=2174.66015625\n", + "global step=44548096, episodic return=2174.0732421875\n", + "global step=44550144, episodic return=2157.075439453125\n", + "global step=44550144, episodic return=2080.158447265625\n", + "global step=44550144, episodic return=2104.23681640625\n", + "global step=44552192, episodic return=2149.041259765625\n", + "global step=44552192, episodic return=2139.2373046875\n", + "global step=44552192, episodic return=2035.9246826171875\n", + "global step=44552192, episodic return=2137.760498046875\n", + "global step=44554240, episodic return=198.75779724121094\n", + "global step=44554240, episodic return=2104.586669921875\n", + "global step=44554240, episodic return=2206.694580078125\n", + "global step=44556288, episodic return=2175.790771484375\n", + "global step=44556288, episodic return=2182.47705078125\n", + "global step=44556288, episodic return=2160.341796875\n", + "global step=44558336, episodic return=2126.40380859375\n", + "global step=44558336, episodic return=2129.75634765625\n", + "global step=44558336, episodic return=2121.154296875\n", + "global step=44560384, episodic return=2170.618408203125\n", + "global step=44562432, episodic return=2162.581787109375\n", + "global step=44564480, episodic return=2177.84619140625\n", + "global step=44564480, episodic return=2110.586669921875\n", + "global step=44564480, episodic return=2178.310791015625\n", + "global step=44566528, episodic return=2205.1396484375\n", + "global step=44566528, episodic return=2104.009765625\n", + "global step=44568576, episodic return=2221.489501953125\n", + "global step=44568576, episodic return=2198.786376953125\n", + "global step=44568576, episodic return=2052.123046875\n", + "global step=44568576, episodic return=2137.06103515625\n", + "global step=44568576, episodic return=2170.595703125\n", + "global step=44568576, episodic return=2151.852783203125\n", + "global step=44572672, episodic return=2194.350830078125\n", + "global step=44572672, episodic return=2091.70947265625\n", + "global step=44572672, episodic return=2187.317626953125\n", + "global step=44572672, episodic return=2097.946533203125\n", + "global step=44572672, episodic return=2175.49267578125\n", + "global step=44572672, episodic return=2182.572509765625\n", + "global step=44572672, episodic return=2166.454345703125\n", + "global step=44572672, episodic return=2200.618408203125\n", + "global step=44574720, episodic return=2154.8798828125\n", + "global step=44574720, episodic return=2172.826416015625\n", + "global step=44574720, episodic return=2098.870849609375\n", + "global step=44578816, episodic return=2099.134033203125\n", + "global step=44578816, episodic return=2170.7333984375\n", + "global step=44578816, episodic return=2198.45751953125\n", + "global step=44578816, episodic return=1339.9510498046875\n", + "global step=44578816, episodic return=2221.196044921875\n", + "global step=44578816, episodic return=2182.62939453125\n", + "global step=44578816, episodic return=2160.24462890625\n", + "global step=44580864, episodic return=2129.168212890625\n", + "global step=44580864, episodic return=2190.022216796875\n", + "global step=44580864, episodic return=2147.607421875\n", + "global step=44580864, episodic return=2183.030517578125\n", + "global step=44582912, episodic return=2158.243896484375\n", + "global step=44582912, episodic return=2139.421142578125\n", + "global step=44582912, episodic return=2180.550048828125\n", + "global step=44584960, episodic return=2145.64404296875\n", + "global step=44587008, episodic return=2201.197021484375\n", + "global step=44587008, episodic return=2157.115966796875\n", + "global step=44589056, episodic return=2118.722412109375\n", + "global step=44589056, episodic return=2183.73681640625\n", + "global step=44591104, episodic return=2190.7578125\n", + "global step=44591104, episodic return=2115.5712890625\n", + "global step=44591104, episodic return=2211.01953125\n", + "global step=44593152, episodic return=2151.224365234375\n", + "global step=44593152, episodic return=2121.659423828125\n", + "global step=44593152, episodic return=2154.858154296875\n", + "global step=44593152, episodic return=2166.1240234375\n", + "global step=44593152, episodic return=2146.104248046875\n", + "global step=44595200, episodic return=2215.59423828125\n", + "global step=44595200, episodic return=2200.833251953125\n", + "global step=44595200, episodic return=2158.8046875\n", + "global step=44595200, episodic return=2175.166259765625\n", + "global step=44597248, episodic return=2119.903076171875\n", + "global step=44597248, episodic return=2179.41015625\n", + "global step=44597248, episodic return=2143.552978515625\n", + "global step=44599296, episodic return=2121.98828125\n", + "global step=44599296, episodic return=2181.58544921875\n", + "global step=44599296, episodic return=2134.835205078125\n", + "global step=44601344, episodic return=2137.29296875\n", + "global step=44601344, episodic return=2066.22900390625\n", + "global step=44603392, episodic return=2169.02734375\n", + "global step=44603392, episodic return=2164.72119140625\n", + "global step=44603392, episodic return=2159.866455078125\n", + "global step=44605440, episodic return=2141.17236328125\n", + "global step=44605440, episodic return=2112.493896484375\n", + "global step=44607488, episodic return=2164.054443359375\n", + "global step=44607488, episodic return=2142.158447265625\n", + "global step=44607488, episodic return=2100.60986328125\n", + "global step=44609536, episodic return=2174.488525390625\n", + "global step=44609536, episodic return=2194.111083984375\n", + "global step=44609536, episodic return=2213.85400390625\n", + "global step=44609536, episodic return=2166.830810546875\n", + "global step=44609536, episodic return=2171.265380859375\n", + "global step=44611584, episodic return=2160.56884765625\n", + "global step=44611584, episodic return=2135.489501953125\n", + "global step=44613632, episodic return=2224.178466796875\n", + "global step=44613632, episodic return=1837.5753173828125\n", + "global step=44613632, episodic return=2181.688720703125\n", + "global step=44615680, episodic return=2150.05712890625\n", + "global step=44615680, episodic return=2097.80615234375\n", + "global step=44615680, episodic return=2219.597412109375\n", + "global step=44615680, episodic return=2113.42041015625\n", + "global step=44615680, episodic return=2190.399169921875\n", + "global step=44615680, episodic return=2159.1455078125\n", + "global step=44615680, episodic return=2158.77880859375\n", + "global step=44617728, episodic return=2175.69189453125\n", + "global step=44617728, episodic return=2131.42822265625\n", + "global step=44617728, episodic return=2159.377685546875\n", + "global step=44617728, episodic return=2146.3974609375\n", + "global step=44617728, episodic return=2155.311767578125\n", + "global step=44619776, episodic return=2144.601318359375\n", + "global step=44619776, episodic return=2195.595458984375\n", + "global step=44621824, episodic return=2156.306884765625\n", + "global step=44621824, episodic return=2195.98486328125\n", + "global step=44621824, episodic return=2207.922119140625\n", + "global step=44621824, episodic return=2118.690185546875\n", + "global step=44621824, episodic return=2231.03466796875\n", + "global step=44623872, episodic return=2193.495849609375\n", + "global step=44623872, episodic return=2175.517578125\n", + "global step=44625920, episodic return=2167.218994140625\n", + "global step=44625920, episodic return=2119.10498046875\n", + "global step=44625920, episodic return=2166.5966796875\n", + "global step=44625920, episodic return=2156.98828125\n", + "global step=44627968, episodic return=2150.42236328125\n", + "global step=44627968, episodic return=2162.2861328125\n", + "global step=44627968, episodic return=2167.12060546875\n", + "global step=44627968, episodic return=2170.3212890625\n", + "global step=44627968, episodic return=2153.841796875\n", + "global step=44627968, episodic return=2157.44140625\n", + "global step=44630016, episodic return=2169.320068359375\n", + "global step=44630016, episodic return=2182.422119140625\n", + "global step=44634112, episodic return=2187.795166015625\n", + "global step=44634112, episodic return=2147.46533203125\n", + "global step=44634112, episodic return=2143.570556640625\n", + "global step=44636160, episodic return=319.2169189453125\n", + "global step=44636160, episodic return=2156.013671875\n", + "global step=44636160, episodic return=2115.585693359375\n", + "global step=44638208, episodic return=323.10076904296875\n", + "global step=44638208, episodic return=2163.9384765625\n", + "global step=44638208, episodic return=2183.430419921875\n", + "global step=44638208, episodic return=2143.84423828125\n", + "global step=44638208, episodic return=2155.47265625\n", + "global step=44642304, episodic return=2139.052001953125\n", + "global step=44642304, episodic return=2223.64013671875\n", + "global step=44642304, episodic return=2158.604248046875\n", + "global step=44642304, episodic return=2174.36279296875\n", + "global step=44644352, episodic return=2060.71533203125\n", + "global step=44644352, episodic return=2193.45166015625\n", + "global step=44644352, episodic return=2151.93212890625\n", + "global step=44644352, episodic return=2152.71484375\n", + "global step=44644352, episodic return=2122.808837890625\n", + "global step=44644352, episodic return=2142.230224609375\n", + "global step=44644352, episodic return=209.29335021972656\n", + "global step=44646400, episodic return=2167.091552734375\n", + "global step=44646400, episodic return=2156.320556640625\n", + "global step=44648448, episodic return=2180.611572265625\n", + "global step=44648448, episodic return=2194.126953125\n", + "global step=44648448, episodic return=2111.984375\n", + "global step=44650496, episodic return=2137.642822265625\n", + "global step=44650496, episodic return=2165.802001953125\n", + "global step=44650496, episodic return=2176.748779296875\n", + "global step=44650496, episodic return=2113.48291015625\n", + "global step=44650496, episodic return=2193.622802734375\n", + "global step=44652544, episodic return=43.87963104248047\n", + "global step=44654592, episodic return=2190.788818359375\n", + "global step=44654592, episodic return=2149.167236328125\n", + "global step=44654592, episodic return=2153.69580078125\n", + "global step=44654592, episodic return=2127.592041015625\n", + "global step=44654592, episodic return=2170.436279296875\n", + "global step=44654592, episodic return=2145.4384765625\n", + "global step=44656640, episodic return=2192.552978515625\n", + "global step=44656640, episodic return=2175.77001953125\n", + "global step=44656640, episodic return=2118.60595703125\n", + "global step=44656640, episodic return=2203.952880859375\n", + "global step=44656640, episodic return=2202.15625\n", + "global step=44658688, episodic return=2211.137939453125\n", + "global step=44658688, episodic return=331.4670104980469\n", + "global step=44658688, episodic return=2166.91259765625\n", + "global step=44658688, episodic return=2179.86962890625\n", + "global step=44658688, episodic return=2202.720703125\n", + "global step=44660736, episodic return=2166.48388671875\n", + "global step=44662784, episodic return=2138.63427734375\n", + "global step=44662784, episodic return=2170.712158203125\n", + "global step=44664832, episodic return=2149.878173828125\n", + "global step=44664832, episodic return=2157.038818359375\n", + "global step=44664832, episodic return=2143.913818359375\n", + "global step=44666880, episodic return=2159.968017578125\n", + "global step=44666880, episodic return=2172.82470703125\n", + "global step=44666880, episodic return=2200.439453125\n", + "global step=44666880, episodic return=2172.806396484375\n", + "global step=44668928, episodic return=2192.493408203125\n", + "global step=44668928, episodic return=2171.3154296875\n", + "global step=44668928, episodic return=2108.03515625\n", + "global step=44670976, episodic return=2189.978759765625\n", + "global step=44670976, episodic return=2122.34375\n", + "global step=44673024, episodic return=2151.165771484375\n", + "global step=44673024, episodic return=2133.587890625\n", + "global step=44673024, episodic return=2113.631103515625\n", + "global step=44673024, episodic return=2154.7998046875\n", + "global step=44675072, episodic return=2164.96923828125\n", + "global step=44675072, episodic return=2076.637939453125\n", + "global step=44677120, episodic return=2150.816650390625\n", + "global step=44677120, episodic return=2181.1806640625\n", + "global step=44677120, episodic return=2170.818603515625\n", + "global step=44677120, episodic return=2162.4814453125\n", + "global step=44677120, episodic return=2115.941650390625\n", + "global step=44679168, episodic return=2159.5087890625\n", + "global step=44679168, episodic return=2168.492919921875\n", + "global step=44679168, episodic return=2148.045654296875\n", + "global step=44681216, episodic return=2152.46923828125\n", + "global step=44681216, episodic return=2161.6083984375\n", + "global step=44681216, episodic return=2157.002685546875\n", + "global step=44681216, episodic return=2195.050537109375\n", + "global step=44685312, episodic return=2144.2939453125\n", + "global step=44685312, episodic return=2166.837158203125\n", + "global step=44685312, episodic return=2188.7060546875\n", + "global step=44687360, episodic return=2159.488037109375\n", + "global step=44687360, episodic return=2135.175048828125\n", + "global step=44687360, episodic return=163.47613525390625\n", + "global step=44687360, episodic return=2146.122802734375\n", + "global step=44687360, episodic return=2148.745849609375\n", + "global step=44689408, episodic return=2186.40673828125\n", + "global step=44691456, episodic return=2193.07373046875\n", + "global step=44691456, episodic return=2169.611328125\n", + "global step=44691456, episodic return=2149.605712890625\n", + "global step=44693504, episodic return=2094.848876953125\n", + "global step=44693504, episodic return=2164.686279296875\n", + "global step=44693504, episodic return=2146.71435546875\n", + "global step=44695552, episodic return=2145.125732421875\n", + "global step=44695552, episodic return=285.4981994628906\n", + "global step=44695552, episodic return=2157.105224609375\n", + "global step=44695552, episodic return=2117.231201171875\n", + "global step=44695552, episodic return=51.43857955932617\n", + "global step=44697600, episodic return=2185.983642578125\n", + "global step=44697600, episodic return=2182.3583984375\n", + "global step=44697600, episodic return=2158.89013671875\n", + "global step=44699648, episodic return=2194.273193359375\n", + "global step=44699648, episodic return=2163.64990234375\n", + "global step=44699648, episodic return=2181.71142578125\n", + "global step=44699648, episodic return=2204.867919921875\n", + "global step=44701696, episodic return=2158.4638671875\n", + "global step=44701696, episodic return=2152.25048828125\n", + "global step=44701696, episodic return=2169.198486328125\n", + "global step=44703744, episodic return=2187.450439453125\n", + "global step=44703744, episodic return=2177.76123046875\n", + "global step=44703744, episodic return=2175.30712890625\n", + "global step=44705792, episodic return=2191.447509765625\n", + "global step=44705792, episodic return=2171.120849609375\n", + "global step=44705792, episodic return=2191.494384765625\n", + "global step=44705792, episodic return=2146.181640625\n", + "global step=44707840, episodic return=2152.9296875\n", + "global step=44709888, episodic return=2186.067626953125\n", + "global step=44709888, episodic return=2107.384765625\n", + "global step=44709888, episodic return=2145.26123046875\n", + "global step=44709888, episodic return=2187.4072265625\n", + "global step=44711936, episodic return=2174.2333984375\n", + "global step=44711936, episodic return=2157.572021484375\n", + "global step=44711936, episodic return=2174.492919921875\n", + "global step=44713984, episodic return=2172.437255859375\n", + "global step=44713984, episodic return=2185.068603515625\n", + "global step=44713984, episodic return=2125.21826171875\n", + "global step=44713984, episodic return=2155.263427734375\n", + "global step=44713984, episodic return=2157.402099609375\n", + "global step=44713984, episodic return=2133.88671875\n", + "global step=44716032, episodic return=2183.534423828125\n", + "global step=44716032, episodic return=2205.4990234375\n", + "global step=44718080, episodic return=2126.593017578125\n", + "global step=44718080, episodic return=2117.668212890625\n", + "global step=44718080, episodic return=2149.65185546875\n", + "global step=44718080, episodic return=2200.2392578125\n", + "global step=44720128, episodic return=2196.04296875\n", + "global step=44720128, episodic return=2131.7119140625\n", + "global step=44720128, episodic return=2110.528076171875\n", + "global step=44722176, episodic return=211.15591430664062\n", + "global step=44722176, episodic return=2166.234619140625\n", + "global step=44724224, episodic return=2183.1083984375\n", + "global step=44724224, episodic return=2066.8056640625\n", + "global step=44724224, episodic return=2176.682373046875\n", + "global step=44724224, episodic return=245.91864013671875\n", + "global step=44726272, episodic return=2201.5166015625\n", + "global step=44726272, episodic return=2135.849365234375\n", + "global step=44726272, episodic return=2182.28173828125\n", + "global step=44728320, episodic return=2173.67578125\n", + "global step=44728320, episodic return=2136.990234375\n", + "global step=44730368, episodic return=2183.8984375\n", + "global step=44732416, episodic return=2163.28857421875\n", + "global step=44734464, episodic return=2024.1240234375\n", + "global step=44734464, episodic return=2139.787109375\n", + "global step=44736512, episodic return=2086.9033203125\n", + "global step=44736512, episodic return=2107.970458984375\n", + "global step=44738560, episodic return=2139.676513671875\n", + "global step=44738560, episodic return=2164.3271484375\n", + "global step=44738560, episodic return=2181.36669921875\n", + "global step=44738560, episodic return=2174.3095703125\n", + "global step=44740608, episodic return=2175.305419921875\n", + "global step=44740608, episodic return=2140.125\n", + "global step=44740608, episodic return=2112.156005859375\n", + "global step=44740608, episodic return=2139.596923828125\n", + "global step=44742656, episodic return=2199.585693359375\n", + "global step=44742656, episodic return=2156.207275390625\n", + "global step=44742656, episodic return=2151.706298828125\n", + "global step=44742656, episodic return=346.99188232421875\n", + "global step=44742656, episodic return=2180.54345703125\n", + "global step=44742656, episodic return=2116.29638671875\n", + "global step=44742656, episodic return=2153.890380859375\n", + "global step=44744704, episodic return=238.5662384033203\n", + "global step=44746752, episodic return=2169.62548828125\n", + "global step=44746752, episodic return=2031.9222412109375\n", + "global step=44746752, episodic return=2182.742919921875\n", + "global step=44746752, episodic return=2139.365478515625\n", + "global step=44748800, episodic return=2139.361572265625\n", + "global step=44748800, episodic return=2191.916748046875\n", + "global step=44748800, episodic return=2165.21044921875\n", + "global step=44748800, episodic return=2206.037353515625\n", + "global step=44748800, episodic return=2126.81298828125\n", + "global step=44750848, episodic return=2189.8173828125\n", + "global step=44750848, episodic return=2134.115966796875\n", + "global step=44750848, episodic return=2181.71337890625\n", + "global step=44750848, episodic return=2148.993408203125\n", + "global step=44752896, episodic return=2143.91748046875\n", + "global step=44754944, episodic return=2194.35693359375\n", + "global step=44754944, episodic return=2150.744384765625\n", + "global step=44754944, episodic return=2144.613037109375\n", + "global step=44754944, episodic return=2200.725830078125\n", + "global step=44754944, episodic return=2203.67041015625\n", + "global step=44756992, episodic return=2186.300537109375\n", + "global step=44759040, episodic return=2148.27099609375\n", + "global step=44759040, episodic return=2170.5146484375\n", + "global step=44759040, episodic return=2112.6357421875\n", + "global step=44759040, episodic return=2169.87939453125\n", + "global step=44759040, episodic return=2158.759521484375\n", + "global step=44759040, episodic return=2166.59814453125\n", + "global step=44759040, episodic return=2174.27294921875\n", + "global step=44765184, episodic return=2119.592529296875\n", + "global step=44765184, episodic return=2154.3154296875\n", + "global step=44765184, episodic return=2147.569580078125\n", + "global step=44767232, episodic return=2159.914306640625\n", + "global step=44767232, episodic return=2217.532470703125\n", + "global step=44769280, episodic return=2176.168212890625\n", + "global step=44771328, episodic return=2177.754150390625\n", + "global step=44771328, episodic return=2181.626220703125\n", + "global step=44773376, episodic return=2156.06640625\n", + "global step=44773376, episodic return=2142.113525390625\n", + "global step=44773376, episodic return=2169.795166015625\n", + "global step=44773376, episodic return=2139.577392578125\n", + "global step=44775424, episodic return=2160.77978515625\n", + "global step=44775424, episodic return=2195.828125\n", + "global step=44775424, episodic return=2189.064453125\n", + "global step=44775424, episodic return=2174.281005859375\n", + "global step=44775424, episodic return=2169.335205078125\n", + "global step=44777472, episodic return=2113.362548828125\n", + "global step=44777472, episodic return=2168.69873046875\n", + "global step=44777472, episodic return=2167.291259765625\n", + "global step=44777472, episodic return=2173.138671875\n", + "global step=44777472, episodic return=2185.482666015625\n", + "global step=44777472, episodic return=2172.863037109375\n", + "global step=44779520, episodic return=2129.7548828125\n", + "global step=44779520, episodic return=2108.8193359375\n", + "global step=44781568, episodic return=2171.761474609375\n", + "global step=44781568, episodic return=2130.42041015625\n", + "global step=44783616, episodic return=2181.290283203125\n", + "global step=44783616, episodic return=2174.724609375\n", + "global step=44783616, episodic return=2144.364013671875\n", + "global step=44785664, episodic return=2117.40625\n", + "global step=44785664, episodic return=2191.48974609375\n", + "global step=44785664, episodic return=2133.74609375\n", + "global step=44785664, episodic return=2152.302734375\n", + "global step=44785664, episodic return=272.24951171875\n", + "global step=44785664, episodic return=2128.800537109375\n", + "global step=44785664, episodic return=2118.001953125\n", + "global step=44785664, episodic return=2179.152099609375\n", + "global step=44787712, episodic return=1328.680908203125\n", + "global step=44787712, episodic return=2190.14599609375\n", + "global step=44787712, episodic return=2199.237548828125\n", + "global step=44787712, episodic return=2144.164794921875\n", + "global step=44789760, episodic return=2139.112548828125\n", + "global step=44789760, episodic return=2124.01904296875\n", + "global step=44789760, episodic return=2132.397216796875\n", + "global step=44789760, episodic return=2129.287109375\n", + "global step=44789760, episodic return=2165.56591796875\n", + "global step=44791808, episodic return=2105.08154296875\n", + "global step=44791808, episodic return=2138.396484375\n", + "global step=44791808, episodic return=2152.249755859375\n", + "global step=44791808, episodic return=2159.5400390625\n", + "global step=44791808, episodic return=2147.263671875\n", + "global step=44793856, episodic return=2143.840087890625\n", + "global step=44793856, episodic return=2156.803955078125\n", + "global step=44793856, episodic return=2151.443603515625\n", + "global step=44793856, episodic return=2168.849609375\n", + "global step=44793856, episodic return=2180.067626953125\n", + "global step=44795904, episodic return=2184.61474609375\n", + "global step=44795904, episodic return=2141.10302734375\n", + "global step=44795904, episodic return=2151.3515625\n", + "global step=44797952, episodic return=2162.553466796875\n", + "global step=44800000, episodic return=2134.58349609375\n", + "global step=44802048, episodic return=2159.11962890625\n", + "global step=44802048, episodic return=2176.6787109375\n", + "global step=44802048, episodic return=2128.580078125\n", + "global step=44802048, episodic return=2157.92578125\n", + "global step=44804096, episodic return=2163.274658203125\n", + "global step=44804096, episodic return=2158.0517578125\n", + "global step=44804096, episodic return=2119.085693359375\n", + "global step=44804096, episodic return=2151.65234375\n", + "global step=44804096, episodic return=2180.721435546875\n", + "global step=44806144, episodic return=2150.85498046875\n", + "global step=44808192, episodic return=2140.361572265625\n", + "global step=44810240, episodic return=2182.8037109375\n", + "global step=44810240, episodic return=2166.61328125\n", + "global step=44810240, episodic return=2120.263916015625\n", + "global step=44812288, episodic return=2151.390869140625\n", + "global step=44812288, episodic return=2183.839599609375\n", + "global step=44812288, episodic return=2168.7861328125\n", + "global step=44812288, episodic return=2151.79296875\n", + "global step=44814336, episodic return=2192.8212890625\n", + "global step=44814336, episodic return=2166.369140625\n", + "global step=44814336, episodic return=2184.76025390625\n", + "global step=44816384, episodic return=2127.777099609375\n", + "global step=44816384, episodic return=2148.7451171875\n", + "global step=44816384, episodic return=2123.531005859375\n", + "global step=44816384, episodic return=2147.14208984375\n", + "global step=44818432, episodic return=2164.564208984375\n", + "global step=44818432, episodic return=2158.13232421875\n", + "global step=44818432, episodic return=2165.843017578125\n", + "global step=44820480, episodic return=2167.36669921875\n", + "global step=44820480, episodic return=2113.4111328125\n", + "global step=44820480, episodic return=2143.50048828125\n", + "global step=44820480, episodic return=2118.405029296875\n", + "global step=44820480, episodic return=2177.3037109375\n", + "global step=44820480, episodic return=2147.794921875\n", + "global step=44822528, episodic return=2150.603515625\n", + "global step=44822528, episodic return=2168.62744140625\n", + "global step=44822528, episodic return=2169.329833984375\n", + "global step=44822528, episodic return=2139.3017578125\n", + "global step=44824576, episodic return=2097.025146484375\n", + "global step=44826624, episodic return=2174.56640625\n", + "global step=44826624, episodic return=2137.6708984375\n", + "global step=44826624, episodic return=2144.849365234375\n", + "global step=44826624, episodic return=2147.502197265625\n", + "global step=44828672, episodic return=2164.8984375\n", + "global step=44828672, episodic return=2142.549072265625\n", + "global step=44828672, episodic return=2138.116943359375\n", + "global step=44830720, episodic return=2143.763916015625\n", + "global step=44830720, episodic return=2159.6318359375\n", + "global step=44830720, episodic return=2199.52294921875\n", + "global step=44830720, episodic return=2175.432861328125\n", + "global step=44832768, episodic return=2150.093994140625\n", + "global step=44832768, episodic return=2132.765869140625\n", + "global step=44832768, episodic return=2168.5986328125\n", + "global step=44832768, episodic return=2123.384033203125\n", + "global step=44834816, episodic return=2165.60693359375\n", + "global step=44834816, episodic return=129.6808319091797\n", + "global step=44834816, episodic return=2138.958984375\n", + "global step=44834816, episodic return=2175.043701171875\n", + "global step=44836864, episodic return=2131.666015625\n", + "global step=44836864, episodic return=2073.821044921875\n", + "global step=44838912, episodic return=2122.765380859375\n", + "global step=44838912, episodic return=2149.652587890625\n", + "global step=44838912, episodic return=2124.93359375\n", + "global step=44838912, episodic return=39.631187438964844\n", + "global step=44840960, episodic return=2102.520263671875\n", + "global step=44840960, episodic return=2036.8021240234375\n", + "global step=44840960, episodic return=2188.322509765625\n", + "global step=44840960, episodic return=2167.467529296875\n", + "global step=44840960, episodic return=2132.435791015625\n", + "global step=44840960, episodic return=2135.11767578125\n", + "global step=44840960, episodic return=2140.87744140625\n", + "global step=44843008, episodic return=2157.0380859375\n", + "global step=44843008, episodic return=2140.503662109375\n", + "global step=44843008, episodic return=2124.576416015625\n", + "global step=44843008, episodic return=2186.990478515625\n", + "global step=44845056, episodic return=2160.39501953125\n", + "global step=44845056, episodic return=2116.79931640625\n", + "global step=44845056, episodic return=2159.888671875\n", + "global step=44845056, episodic return=2146.0634765625\n", + "global step=44845056, episodic return=2148.969970703125\n", + "global step=44847104, episodic return=2098.68603515625\n", + "global step=44847104, episodic return=2150.940673828125\n", + "global step=44849152, episodic return=2201.74267578125\n", + "global step=44851200, episodic return=2166.0302734375\n", + "global step=44851200, episodic return=2152.00244140625\n", + "global step=44851200, episodic return=2136.67919921875\n", + "global step=44851200, episodic return=2146.705810546875\n", + "global step=44851200, episodic return=2170.69677734375\n", + "global step=44851200, episodic return=2124.834716796875\n", + "global step=44851200, episodic return=534.8783569335938\n", + "global step=44851200, episodic return=2148.98583984375\n", + "global step=44853248, episodic return=2144.3271484375\n", + "global step=44853248, episodic return=2167.072265625\n", + "global step=44853248, episodic return=2130.17138671875\n", + "global step=44853248, episodic return=2151.937255859375\n", + "global step=44853248, episodic return=2066.8359375\n", + "global step=44855296, episodic return=2161.162841796875\n", + "global step=44855296, episodic return=2135.340576171875\n", + "global step=44855296, episodic return=2152.416748046875\n", + "global step=44855296, episodic return=2143.1162109375\n", + "global step=44857344, episodic return=2153.854248046875\n", + "global step=44857344, episodic return=2118.302001953125\n", + "global step=44857344, episodic return=2102.055908203125\n", + "global step=44857344, episodic return=2169.380615234375\n", + "global step=44857344, episodic return=2162.481689453125\n", + "global step=44859392, episodic return=2157.113525390625\n", + "global step=44859392, episodic return=2143.51904296875\n", + "global step=44861440, episodic return=2137.32373046875\n", + "global step=44863488, episodic return=2177.31103515625\n", + "global step=44863488, episodic return=2186.711669921875\n", + "global step=44863488, episodic return=2157.6904296875\n", + "global step=44863488, episodic return=553.0771484375\n", + "global step=44865536, episodic return=2114.8369140625\n", + "global step=44865536, episodic return=2150.955810546875\n", + "global step=44869632, episodic return=56.58985137939453\n", + "global step=44869632, episodic return=2168.689208984375\n", + "global step=44869632, episodic return=2125.295654296875\n", + "global step=44869632, episodic return=2186.3017578125\n", + "global step=44869632, episodic return=2119.5595703125\n", + "global step=44871680, episodic return=2086.5341796875\n", + "global step=44871680, episodic return=2122.195556640625\n", + "global step=44873728, episodic return=2173.261474609375\n", + "global step=44873728, episodic return=2183.79638671875\n", + "global step=44873728, episodic return=2166.471435546875\n", + "global step=44875776, episodic return=2118.193359375\n", + "global step=44875776, episodic return=2136.4775390625\n", + "global step=44875776, episodic return=2132.83544921875\n", + "global step=44877824, episodic return=2136.884033203125\n", + "global step=44877824, episodic return=2108.225830078125\n", + "global step=44877824, episodic return=2162.9853515625\n", + "global step=44877824, episodic return=2130.419921875\n", + "global step=44877824, episodic return=39.68682098388672\n", + "global step=44879872, episodic return=2147.20263671875\n", + "global step=44879872, episodic return=2139.96826171875\n", + "global step=44883968, episodic return=2137.0166015625\n", + "global step=44883968, episodic return=2118.341796875\n", + "global step=44883968, episodic return=2126.4140625\n", + "global step=44888064, episodic return=716.2128295898438\n", + "global step=44890112, episodic return=2112.2919921875\n", + "global step=44890112, episodic return=2123.406982421875\n", + "global step=44890112, episodic return=2170.89697265625\n", + "global step=44890112, episodic return=2119.390380859375\n", + "global step=44892160, episodic return=2148.733642578125\n", + "global step=44892160, episodic return=2137.001220703125\n", + "global step=44892160, episodic return=2140.251708984375\n", + "global step=44894208, episodic return=2145.06787109375\n", + "global step=44896256, episodic return=2102.79248046875\n", + "global step=44896256, episodic return=2111.036865234375\n", + "global step=44896256, episodic return=2166.37646484375\n", + "global step=44898304, episodic return=2152.736572265625\n", + "global step=44900352, episodic return=2149.37158203125\n", + "global step=44900352, episodic return=267.8928527832031\n", + "global step=44900352, episodic return=2149.299560546875\n", + "global step=44902400, episodic return=2130.46923828125\n", + "global step=44902400, episodic return=2173.45947265625\n", + "global step=44902400, episodic return=2153.920654296875\n", + "global step=44902400, episodic return=2127.698974609375\n", + "global step=44904448, episodic return=2134.336181640625\n", + "global step=44904448, episodic return=608.2802734375\n", + "global step=44904448, episodic return=2153.045166015625\n", + "global step=44904448, episodic return=406.7217712402344\n", + "global step=44904448, episodic return=2142.72802734375\n", + "global step=44906496, episodic return=2166.214111328125\n", + "global step=44906496, episodic return=2133.239501953125\n", + "global step=44906496, episodic return=2108.68896484375\n", + "global step=44906496, episodic return=2140.2177734375\n", + "global step=44906496, episodic return=51.588077545166016\n", + "global step=44906496, episodic return=2094.61669921875\n", + "global step=44908544, episodic return=2129.080810546875\n", + "global step=44910592, episodic return=2119.491943359375\n", + "global step=44912640, episodic return=2142.97119140625\n", + "global step=44912640, episodic return=2191.104736328125\n", + "global step=44912640, episodic return=2126.144287109375\n", + "global step=44914688, episodic return=2139.904296875\n", + "global step=44914688, episodic return=2130.50341796875\n", + "global step=44914688, episodic return=2151.642333984375\n", + "global step=44914688, episodic return=2095.15625\n", + "global step=44916736, episodic return=2149.537109375\n", + "global step=44916736, episodic return=2124.254150390625\n", + "global step=44916736, episodic return=2148.2568359375\n", + "global step=44918784, episodic return=2137.811279296875\n", + "global step=44918784, episodic return=2165.1962890625\n", + "global step=44922880, episodic return=2104.603515625\n", + "global step=44922880, episodic return=2142.2109375\n", + "global step=44922880, episodic return=2150.940185546875\n", + "global step=44924928, episodic return=2157.275146484375\n", + "global step=44924928, episodic return=2104.3388671875\n", + "global step=44926976, episodic return=2114.37109375\n", + "global step=44929024, episodic return=2166.420654296875\n", + "global step=44929024, episodic return=2140.086669921875\n", + "global step=44929024, episodic return=2106.6005859375\n", + "global step=44929024, episodic return=2161.25927734375\n", + "global step=44929024, episodic return=2121.303955078125\n", + "global step=44931072, episodic return=2118.61279296875\n", + "global step=44933120, episodic return=2159.108642578125\n", + "global step=44933120, episodic return=2156.257568359375\n", + "global step=44933120, episodic return=2164.299072265625\n", + "global step=44933120, episodic return=2141.54443359375\n", + "global step=44935168, episodic return=777.2557373046875\n", + "global step=44935168, episodic return=2157.571533203125\n", + "global step=44935168, episodic return=2167.688720703125\n", + "global step=44937216, episodic return=2148.048583984375\n", + "global step=44939264, episodic return=2111.58056640625\n", + "global step=44941312, episodic return=2138.15966796875\n", + "global step=44941312, episodic return=2146.24853515625\n", + "global step=44943360, episodic return=2135.764892578125\n", + "global step=44943360, episodic return=2161.284912109375\n", + "global step=44943360, episodic return=2159.0517578125\n", + "global step=44943360, episodic return=2119.48486328125\n", + "global step=44945408, episodic return=2087.9921875\n", + "global step=44945408, episodic return=2108.251708984375\n", + "global step=44945408, episodic return=2128.220458984375\n", + "global step=44945408, episodic return=2154.566162109375\n", + "global step=44947456, episodic return=2095.082275390625\n", + "global step=44947456, episodic return=2168.2939453125\n", + "global step=44947456, episodic return=2162.13671875\n", + "global step=44949504, episodic return=2119.243408203125\n", + "global step=44949504, episodic return=2155.047607421875\n", + "global step=44951552, episodic return=2136.714599609375\n", + "global step=44951552, episodic return=2125.5712890625\n", + "global step=44953600, episodic return=2103.279296875\n", + "global step=44953600, episodic return=2148.541259765625\n", + "global step=44955648, episodic return=2097.101318359375\n", + "global step=44957696, episodic return=2160.147705078125\n", + "global step=44957696, episodic return=2127.95947265625\n", + "global step=44959744, episodic return=461.5480651855469\n", + "global step=44959744, episodic return=2075.16064453125\n", + "global step=44959744, episodic return=2179.740234375\n", + "global step=44961792, episodic return=2139.72412109375\n", + "global step=44963840, episodic return=2114.213623046875\n", + "global step=44963840, episodic return=2123.948974609375\n", + "global step=44963840, episodic return=2128.57275390625\n", + "global step=44965888, episodic return=2112.321044921875\n", + "global step=44967936, episodic return=850.6644287109375\n", + "global step=44967936, episodic return=2164.281005859375\n", + "global step=44969984, episodic return=2160.12744140625\n", + "global step=44969984, episodic return=2170.209716796875\n", + "global step=44969984, episodic return=2132.0244140625\n", + "global step=44969984, episodic return=2116.615234375\n", + "global step=44972032, episodic return=2126.620849609375\n", + "global step=44972032, episodic return=2113.3466796875\n", + "global step=44972032, episodic return=2141.046142578125\n", + "global step=44974080, episodic return=2151.400146484375\n", + "global step=44974080, episodic return=2133.924072265625\n", + "global step=44974080, episodic return=978.6692504882812\n", + "global step=44976128, episodic return=2139.076171875\n", + "global step=44976128, episodic return=2179.061767578125\n", + "global step=44976128, episodic return=2166.301513671875\n", + "global step=44976128, episodic return=2151.892822265625\n", + "global step=44976128, episodic return=2097.79931640625\n", + "global step=44978176, episodic return=2116.216064453125\n", + "global step=44978176, episodic return=2170.6025390625\n", + "global step=44978176, episodic return=2137.738037109375\n", + "global step=44980224, episodic return=2132.689453125\n", + "global step=44980224, episodic return=2139.86376953125\n", + "global step=44980224, episodic return=2154.736328125\n", + "global step=44982272, episodic return=2146.9931640625\n", + "global step=44982272, episodic return=2105.07958984375\n", + "global step=44984320, episodic return=2110.204345703125\n", + "global step=44984320, episodic return=2134.661865234375\n", + "global step=44984320, episodic return=2157.3857421875\n", + "global step=44986368, episodic return=2147.93310546875\n", + "global step=44986368, episodic return=2098.67333984375\n", + "global step=44986368, episodic return=2115.54345703125\n", + "global step=44986368, episodic return=1447.9410400390625\n", + "global step=44986368, episodic return=2133.61767578125\n", + "global step=44988416, episodic return=2121.805419921875\n", + "global step=44988416, episodic return=2126.048828125\n", + "global step=44990464, episodic return=2138.732177734375\n", + "global step=44990464, episodic return=2154.222412109375\n", + "global step=44992512, episodic return=2123.924072265625\n", + "global step=44992512, episodic return=2126.7080078125\n", + "global step=44992512, episodic return=2126.121337890625\n", + "global step=44994560, episodic return=2116.345947265625\n", + "global step=44994560, episodic return=2139.954345703125\n", + "global step=44994560, episodic return=2146.078125\n", + "global step=44994560, episodic return=2124.163818359375\n", + "global step=44996608, episodic return=2104.57080078125\n", + "global step=44996608, episodic return=2129.6708984375\n", + "global step=44996608, episodic return=2095.49853515625\n", + "global step=44996608, episodic return=1482.622314453125\n", + "global step=44998656, episodic return=810.93701171875\n", + "global step=44998656, episodic return=2166.378662109375\n", + "global step=44998656, episodic return=2113.40087890625\n", + "global step=45000704, episodic return=2199.443115234375\n", + "global step=45000704, episodic return=2128.145263671875\n", + "global step=45000704, episodic return=197.67294311523438\n", + "global step=45002752, episodic return=2110.7109375\n", + "global step=45002752, episodic return=2111.392578125\n", + "global step=45002752, episodic return=2059.911865234375\n", + "global step=45002752, episodic return=2116.60400390625\n", + "global step=45002752, episodic return=2139.968994140625\n", + "global step=45002752, episodic return=2115.454345703125\n", + "global step=45002752, episodic return=2131.060546875\n", + "global step=45002752, episodic return=2111.30859375\n", + "global step=45004800, episodic return=2081.526123046875\n", + "global step=45004800, episodic return=2189.622314453125\n", + "global step=45004800, episodic return=2150.260986328125\n", + "global step=45004800, episodic return=2125.279296875\n", + "global step=45004800, episodic return=2125.651611328125\n", + "global step=45006848, episodic return=2172.017333984375\n", + "global step=45006848, episodic return=2142.506103515625\n", + "global step=45006848, episodic return=2136.84423828125\n", + "global step=45006848, episodic return=2117.278076171875\n", + "global step=45008896, episodic return=2153.643798828125\n", + "global step=45008896, episodic return=2173.578857421875\n", + "global step=45010944, episodic return=194.62510681152344\n", + "global step=45012992, episodic return=2155.895751953125\n", + "global step=45012992, episodic return=2129.40869140625\n", + "global step=45012992, episodic return=2162.31298828125\n", + "global step=45012992, episodic return=2143.314453125\n", + "global step=45012992, episodic return=2142.31591796875\n", + "global step=45015040, episodic return=2137.257568359375\n", + "global step=45015040, episodic return=591.2738037109375\n", + "global step=45015040, episodic return=2121.6201171875\n", + "global step=45015040, episodic return=2135.24267578125\n", + "global step=45015040, episodic return=2149.369873046875\n", + "global step=45015040, episodic return=2156.137939453125\n", + "global step=45017088, episodic return=2107.322265625\n", + "global step=45017088, episodic return=2121.633056640625\n", + "global step=45017088, episodic return=2122.156494140625\n", + "global step=45019136, episodic return=2125.99951171875\n", + "global step=45019136, episodic return=1733.4927978515625\n", + "global step=45019136, episodic return=2129.0078125\n", + "global step=45019136, episodic return=2086.4384765625\n", + "global step=45019136, episodic return=2116.049560546875\n", + "global step=45021184, episodic return=2127.15478515625\n", + "global step=45023232, episodic return=2097.1494140625\n", + "global step=45025280, episodic return=2143.747314453125\n", + "global step=45027328, episodic return=2091.626953125\n", + "global step=45029376, episodic return=2151.66650390625\n", + "global step=45029376, episodic return=2131.412841796875\n", + "global step=45031424, episodic return=2132.777587890625\n", + "global step=45031424, episodic return=2117.6083984375\n", + "global step=45033472, episodic return=2111.462646484375\n", + "global step=45033472, episodic return=2150.118896484375\n", + "global step=45033472, episodic return=2007.2225341796875\n", + "global step=45035520, episodic return=2117.3251953125\n", + "global step=45037568, episodic return=2104.859375\n", + "global step=45037568, episodic return=2078.732666015625\n", + "global step=45039616, episodic return=2132.043701171875\n", + "global step=45039616, episodic return=2110.369873046875\n", + "global step=45039616, episodic return=2112.28173828125\n", + "global step=45041664, episodic return=2145.523193359375\n", + "global step=45045760, episodic return=2167.081298828125\n", + "global step=45049856, episodic return=2115.274658203125\n", + "global step=45051904, episodic return=2125.966796875\n", + "global step=45051904, episodic return=2135.0498046875\n", + "global step=45051904, episodic return=2130.086181640625\n", + "global step=45051904, episodic return=671.9818115234375\n", + "global step=45056000, episodic return=2134.203857421875\n", + "global step=45056000, episodic return=2124.51318359375\n", + "global step=45056000, episodic return=2142.468994140625\n", + "global step=45056000, episodic return=2107.756591796875\n", + "global step=45058048, episodic return=2134.345458984375\n", + "global step=45058048, episodic return=2118.745361328125\n", + "global step=45058048, episodic return=2130.818603515625\n", + "global step=45060096, episodic return=2118.561767578125\n", + "global step=45062144, episodic return=2128.500244140625\n", + "global step=45066240, episodic return=2125.37890625\n", + "global step=45066240, episodic return=2117.22412109375\n", + "global step=45066240, episodic return=2137.772216796875\n", + "global step=45068288, episodic return=2139.44189453125\n", + "global step=45068288, episodic return=2121.909912109375\n", + "global step=45070336, episodic return=2132.264892578125\n", + "global step=45072384, episodic return=2112.870849609375\n", + "global step=45072384, episodic return=2140.9921875\n", + "global step=45072384, episodic return=2084.50927734375\n", + "global step=45074432, episodic return=936.2940673828125\n", + "global step=45074432, episodic return=2098.52099609375\n", + "global step=45074432, episodic return=2137.35888671875\n", + "global step=45076480, episodic return=2145.734619140625\n", + "global step=45076480, episodic return=2124.36474609375\n", + "global step=45076480, episodic return=2074.265869140625\n", + "global step=45076480, episodic return=2107.66650390625\n", + "global step=45080576, episodic return=2150.650390625\n", + "global step=45082624, episodic return=2136.856689453125\n", + "global step=45084672, episodic return=2141.763916015625\n", + "global step=45090816, episodic return=2102.936279296875\n", + "global step=45092864, episodic return=2123.150146484375\n", + "global step=45092864, episodic return=2092.240234375\n", + "global step=45092864, episodic return=2125.213134765625\n", + "global step=45096960, episodic return=2138.401123046875\n", + "global step=45096960, episodic return=2113.958740234375\n", + "global step=45099008, episodic return=2110.60302734375\n", + "global step=45099008, episodic return=2141.149169921875\n", + "global step=45099008, episodic return=2141.624267578125\n", + "global step=45101056, episodic return=2158.547607421875\n", + "global step=45101056, episodic return=2141.2451171875\n", + "global step=45103104, episodic return=244.99725341796875\n", + "global step=45103104, episodic return=2123.075439453125\n", + "global step=45103104, episodic return=2121.652099609375\n", + "global step=45105152, episodic return=2123.194091796875\n", + "global step=45105152, episodic return=2140.617919921875\n", + "global step=45105152, episodic return=2100.213623046875\n", + "global step=45105152, episodic return=2130.443359375\n", + "global step=45107200, episodic return=2107.5009765625\n", + "global step=45107200, episodic return=2134.9140625\n", + "global step=45107200, episodic return=2120.314453125\n", + "global step=45115392, episodic return=2149.823486328125\n", + "global step=45117440, episodic return=2111.037841796875\n", + "global step=45117440, episodic return=2102.65087890625\n", + "global step=45121536, episodic return=2138.916259765625\n", + "global step=45121536, episodic return=2106.8408203125\n", + "global step=45123584, episodic return=2118.751708984375\n", + "global step=45123584, episodic return=2110.6650390625\n", + "global step=45127680, episodic return=2118.570068359375\n", + "global step=45127680, episodic return=2112.190673828125\n", + "global step=45127680, episodic return=2088.4931640625\n", + "global step=45129728, episodic return=2110.78564453125\n", + "global step=45133824, episodic return=2134.25\n", + "global step=45133824, episodic return=2079.0263671875\n", + "global step=45135872, episodic return=2107.1875\n", + "global step=45135872, episodic return=2107.927001953125\n", + "global step=45139968, episodic return=145.21131896972656\n", + "global step=45146112, episodic return=2090.745361328125\n", + "global step=45148160, episodic return=2056.853271484375\n", + "global step=45150208, episodic return=2103.997314453125\n", + "global step=45150208, episodic return=2119.90478515625\n", + "global step=45154304, episodic return=2111.431396484375\n", + "global step=45158400, episodic return=2121.841552734375\n", + "global step=45160448, episodic return=2130.453857421875\n", + "global step=45160448, episodic return=2099.896484375\n", + "global step=45162496, episodic return=332.88848876953125\n", + "global step=45162496, episodic return=2105.821533203125\n", + "global step=45166592, episodic return=2098.1318359375\n", + "global step=45168640, episodic return=2096.85498046875\n", + "global step=45168640, episodic return=2118.558837890625\n", + "global step=45170688, episodic return=2143.363525390625\n", + "global step=45170688, episodic return=2140.251953125\n", + "global step=45170688, episodic return=2119.42041015625\n", + "global step=45170688, episodic return=845.913330078125\n", + "global step=45170688, episodic return=2126.76416015625\n", + "global step=45170688, episodic return=2128.990478515625\n", + "global step=45172736, episodic return=2078.89697265625\n", + "global step=45174784, episodic return=2146.008056640625\n", + "global step=45174784, episodic return=2128.955078125\n", + "global step=45174784, episodic return=2129.86328125\n", + "global step=45176832, episodic return=2111.988525390625\n", + "global step=45176832, episodic return=2098.582763671875\n", + "global step=45178880, episodic return=2099.064697265625\n", + "global step=45178880, episodic return=2131.53955078125\n", + "global step=45178880, episodic return=2101.543701171875\n", + "global step=45180928, episodic return=2068.4345703125\n", + "global step=45180928, episodic return=2101.508056640625\n", + "global step=45180928, episodic return=695.3975219726562\n", + "global step=45180928, episodic return=2102.711669921875\n", + "global step=45182976, episodic return=2112.079345703125\n", + "global step=45185024, episodic return=881.7745361328125\n", + "global step=45185024, episodic return=2094.834228515625\n", + "global step=45185024, episodic return=2113.592529296875\n", + "global step=45185024, episodic return=2074.531982421875\n", + "global step=45185024, episodic return=2112.500244140625\n", + "global step=45187072, episodic return=2130.417724609375\n", + "global step=45187072, episodic return=2092.8154296875\n", + "global step=45189120, episodic return=2099.74365234375\n", + "global step=45189120, episodic return=2117.709228515625\n", + "global step=45191168, episodic return=2106.628173828125\n", + "global step=45191168, episodic return=2113.11376953125\n", + "global step=45191168, episodic return=2118.918701171875\n", + "global step=45193216, episodic return=2141.9580078125\n", + "global step=45193216, episodic return=1212.705322265625\n", + "global step=45193216, episodic return=2125.1396484375\n", + "global step=45193216, episodic return=2112.658447265625\n", + "global step=45195264, episodic return=1096.5281982421875\n", + "global step=45197312, episodic return=2118.447265625\n", + "global step=45197312, episodic return=2121.3857421875\n", + "global step=45197312, episodic return=2105.72119140625\n", + "global step=45197312, episodic return=660.2362060546875\n", + "global step=45199360, episodic return=2117.749267578125\n", + "global step=45201408, episodic return=2108.216796875\n", + "global step=45201408, episodic return=963.1323852539062\n", + "global step=45201408, episodic return=807.15869140625\n", + "global step=45203456, episodic return=2111.297607421875\n", + "global step=45207552, episodic return=2114.8701171875\n", + "global step=45207552, episodic return=2108.243896484375\n", + "global step=45209600, episodic return=2118.989501953125\n", + "global step=45211648, episodic return=2109.94873046875\n", + "global step=45211648, episodic return=2112.17919921875\n", + "global step=45213696, episodic return=2072.702880859375\n", + "global step=45213696, episodic return=2118.998046875\n", + "global step=45215744, episodic return=2131.7275390625\n", + "global step=45219840, episodic return=2105.991943359375\n", + "global step=45221888, episodic return=340.7648620605469\n", + "global step=45221888, episodic return=2116.78369140625\n", + "global step=45221888, episodic return=2086.89501953125\n", + "global step=45221888, episodic return=2108.75537109375\n", + "global step=45225984, episodic return=2108.515625\n", + "global step=45230080, episodic return=294.0587158203125\n", + "global step=45230080, episodic return=2118.845947265625\n", + "global step=45230080, episodic return=2120.709228515625\n", + "global step=45234176, episodic return=2089.02734375\n", + "global step=45234176, episodic return=2097.227294921875\n", + "global step=45236224, episodic return=2108.8583984375\n", + "global step=45238272, episodic return=2113.101318359375\n", + "global step=45238272, episodic return=2116.266845703125\n", + "global step=45238272, episodic return=2102.041015625\n", + "global step=45240320, episodic return=2090.396484375\n", + "global step=45244416, episodic return=2107.8994140625\n", + "global step=45246464, episodic return=2096.485107421875\n", + "global step=45252608, episodic return=2091.7373046875\n", + "global step=45252608, episodic return=2116.923095703125\n", + "global step=45254656, episodic return=2124.357421875\n", + "global step=45256704, episodic return=2110.450439453125\n", + "global step=45260800, episodic return=2094.99853515625\n", + "global step=45262848, episodic return=2116.358642578125\n", + "global step=45262848, episodic return=875.9559326171875\n", + "global step=45262848, episodic return=2113.16064453125\n", + "global step=45264896, episodic return=1824.0743408203125\n", + "global step=45264896, episodic return=2091.17529296875\n", + "global step=45275136, episodic return=2093.827880859375\n", + "global step=45277184, episodic return=83.80656433105469\n", + "global step=45281280, episodic return=1654.0618896484375\n", + "global step=45281280, episodic return=2102.3046875\n", + "global step=45281280, episodic return=2093.4375\n", + "global step=45281280, episodic return=226.23390197753906\n", + "global step=45283328, episodic return=2003.678466796875\n", + "global step=45285376, episodic return=2092.41455078125\n", + "global step=45287424, episodic return=2119.985595703125\n", + "global step=45287424, episodic return=2094.0673828125\n", + "global step=45287424, episodic return=2081.24951171875\n", + "global step=45287424, episodic return=82.27732849121094\n", + "global step=45291520, episodic return=1110.499267578125\n", + "global step=45293568, episodic return=2083.49853515625\n", + "global step=45295616, episodic return=1915.35107421875\n", + "global step=45297664, episodic return=2023.2294921875\n", + "global step=45303808, episodic return=203.95094299316406\n", + "global step=45303808, episodic return=2098.060546875\n", + "global step=45305856, episodic return=2116.025390625\n", + "global step=45307904, episodic return=2074.699462890625\n", + "global step=45312000, episodic return=2087.93359375\n", + "global step=45312000, episodic return=1252.09716796875\n", + "global step=45314048, episodic return=2125.113525390625\n", + "global step=45314048, episodic return=2098.162109375\n", + "global step=45314048, episodic return=2087.003662109375\n", + "global step=45316096, episodic return=2097.16748046875\n", + "global step=45320192, episodic return=2069.017333984375\n", + "global step=45320192, episodic return=2112.761474609375\n", + "global step=45320192, episodic return=2103.0791015625\n", + "global step=45322240, episodic return=1236.9749755859375\n", + "global step=45322240, episodic return=1079.216552734375\n", + "global step=45328384, episodic return=2097.748291015625\n", + "global step=45330432, episodic return=117.23910522460938\n", + "global step=45330432, episodic return=2087.345458984375\n", + "global step=45332480, episodic return=2103.320068359375\n", + "global step=45334528, episodic return=699.8858032226562\n", + "global step=45334528, episodic return=2095.290771484375\n", + "global step=45334528, episodic return=2101.064208984375\n", + "global step=45334528, episodic return=2116.052978515625\n", + "global step=45334528, episodic return=2119.558837890625\n", + "global step=45336576, episodic return=2109.590576171875\n", + "global step=45340672, episodic return=1312.85498046875\n", + "global step=45340672, episodic return=2097.20068359375\n", + "global step=45340672, episodic return=2099.987060546875\n", + "global step=45344768, episodic return=2109.397216796875\n", + "global step=45346816, episodic return=2102.5205078125\n", + "global step=45348864, episodic return=654.0169067382812\n", + "global step=45348864, episodic return=2108.1298828125\n", + "global step=45350912, episodic return=40.44477462768555\n", + "global step=45355008, episodic return=2095.48583984375\n", + "global step=45355008, episodic return=2068.0869140625\n", + "global step=45357056, episodic return=2130.941650390625\n", + "global step=45359104, episodic return=2096.681640625\n", + "global step=45361152, episodic return=2121.1865234375\n", + "global step=45361152, episodic return=2104.164794921875\n", + "global step=45365248, episodic return=2088.99267578125\n", + "global step=45365248, episodic return=2065.484130859375\n", + "global step=45365248, episodic return=86.78431701660156\n", + "global step=45369344, episodic return=883.7244873046875\n", + "global step=45369344, episodic return=2102.843994140625\n", + "global step=45377536, episodic return=2124.57568359375\n", + "global step=45377536, episodic return=745.9830932617188\n", + "global step=45377536, episodic return=2141.217041015625\n", + "global step=45379584, episodic return=2096.71533203125\n", + "global step=45381632, episodic return=2073.70458984375\n", + "global step=45381632, episodic return=2128.632080078125\n", + "global step=45383680, episodic return=2119.474853515625\n", + "global step=45385728, episodic return=2111.69091796875\n", + "global step=45385728, episodic return=2089.216796875\n", + "global step=45389824, episodic return=2116.041259765625\n", + "global step=45391872, episodic return=2090.79248046875\n", + "global step=45391872, episodic return=2091.739990234375\n", + "global step=45391872, episodic return=2129.51416015625\n", + "global step=45391872, episodic return=2129.086669921875\n", + "global step=45391872, episodic return=2097.7568359375\n", + "global step=45393920, episodic return=2122.538330078125\n", + "global step=45402112, episodic return=2118.424072265625\n", + "global step=45402112, episodic return=2104.55859375\n", + "global step=45406208, episodic return=2126.905029296875\n", + "global step=45410304, episodic return=2099.66943359375\n", + "global step=45412352, episodic return=2126.370849609375\n", + "global step=45416448, episodic return=2088.12646484375\n", + "global step=45418496, episodic return=2121.962158203125\n", + "global step=45422592, episodic return=2104.923095703125\n", + "global step=45428736, episodic return=2069.186279296875\n", + "global step=45428736, episodic return=2111.997802734375\n", + "global step=45428736, episodic return=2106.540283203125\n", + "global step=45430784, episodic return=2095.1708984375\n", + "global step=45430784, episodic return=2091.441162109375\n", + "global step=45432832, episodic return=2080.76513671875\n", + "global step=45432832, episodic return=2087.9697265625\n", + "global step=45432832, episodic return=2086.3125\n", + "global step=45432832, episodic return=2055.294189453125\n", + "global step=45436928, episodic return=2078.810302734375\n", + "global step=45441024, episodic return=2103.182373046875\n", + "global step=45443072, episodic return=2095.259033203125\n", + "global step=45445120, episodic return=2099.0927734375\n", + "global step=45447168, episodic return=1294.4793701171875\n", + "global step=45447168, episodic return=629.3467407226562\n", + "global step=45449216, episodic return=2102.459716796875\n", + "global step=45449216, episodic return=2084.5703125\n", + "global step=45449216, episodic return=1782.6556396484375\n", + "global step=45451264, episodic return=696.0885620117188\n", + "global step=45451264, episodic return=2101.600341796875\n", + "global step=45451264, episodic return=2075.31689453125\n", + "global step=45453312, episodic return=2070.719970703125\n", + "global step=45459456, episodic return=1089.6015625\n", + "global step=45459456, episodic return=2069.52392578125\n", + "global step=45461504, episodic return=2089.3232421875\n", + "global step=45463552, episodic return=2082.26953125\n", + "global step=45463552, episodic return=2086.8291015625\n", + "global step=45463552, episodic return=2110.25\n", + "global step=45469696, episodic return=2080.162353515625\n", + "global step=45471744, episodic return=2089.638671875\n", + "global step=45471744, episodic return=2101.8154296875\n", + "global step=45475840, episodic return=2054.4384765625\n", + "global step=45475840, episodic return=2084.591796875\n", + "global step=45477888, episodic return=2070.28173828125\n", + "global step=45479936, episodic return=699.8472900390625\n", + "global step=45484032, episodic return=2106.1005859375\n", + "global step=45484032, episodic return=2108.562255859375\n", + "global step=45488128, episodic return=2121.208251953125\n", + "global step=45488128, episodic return=2072.358642578125\n", + "global step=45488128, episodic return=2080.919189453125\n", + "global step=45490176, episodic return=2060.25634765625\n", + "global step=45490176, episodic return=2062.306640625\n", + "global step=45496320, episodic return=2111.86669921875\n", + "global step=45498368, episodic return=2082.788330078125\n", + "global step=45502464, episodic return=2090.1552734375\n", + "global step=45502464, episodic return=2067.105224609375\n", + "global step=45502464, episodic return=2083.335693359375\n", + "global step=45504512, episodic return=2072.3798828125\n", + "global step=45504512, episodic return=2098.423583984375\n", + "global step=45506560, episodic return=2103.35498046875\n", + "global step=45512704, episodic return=624.3355102539062\n", + "global step=45518848, episodic return=2071.736083984375\n", + "global step=45518848, episodic return=2050.98828125\n", + "global step=45520896, episodic return=2074.33349609375\n", + "global step=45524992, episodic return=2105.7099609375\n", + "global step=45524992, episodic return=2037.8372802734375\n", + "global step=45524992, episodic return=2100.964599609375\n", + "global step=45527040, episodic return=2069.9853515625\n", + "global step=45531136, episodic return=1326.0069580078125\n", + "global step=45537280, episodic return=394.3070068359375\n", + "global step=45557760, episodic return=2057.88037109375\n", + "global step=45559808, episodic return=770.8013916015625\n", + "global step=45559808, episodic return=2071.926513671875\n", + "global step=45561856, episodic return=2061.44775390625\n", + "global step=45561856, episodic return=2081.949951171875\n", + "global step=45563904, episodic return=2104.81005859375\n", + "global step=45563904, episodic return=2084.4033203125\n", + "global step=45565952, episodic return=2103.555908203125\n", + "global step=45565952, episodic return=2090.860595703125\n", + "global step=45570048, episodic return=938.11083984375\n", + "global step=45572096, episodic return=1259.2398681640625\n", + "global step=45576192, episodic return=2057.8349609375\n", + "global step=45584384, episodic return=2082.38720703125\n", + "global step=45584384, episodic return=2091.381591796875\n", + "global step=45586432, episodic return=2095.425537109375\n", + "global step=45586432, episodic return=2068.61962890625\n", + "global step=45592576, episodic return=2100.154541015625\n", + "global step=45598720, episodic return=2078.48828125\n", + "global step=45598720, episodic return=2066.678955078125\n", + "global step=45600768, episodic return=2109.505859375\n", + "global step=45608960, episodic return=207.94577026367188\n", + "global step=45615104, episodic return=2069.062255859375\n", + "global step=45615104, episodic return=2065.431884765625\n", + "global step=45617152, episodic return=2058.8037109375\n", + "global step=45623296, episodic return=2064.152099609375\n", + "global step=45623296, episodic return=2062.708251953125\n", + "global step=45623296, episodic return=2098.794921875\n", + "global step=45627392, episodic return=2047.5528564453125\n", + "global step=45627392, episodic return=2062.783203125\n", + "global step=45631488, episodic return=2081.298095703125\n", + "global step=45633536, episodic return=2083.253173828125\n", + "global step=45633536, episodic return=2074.365234375\n", + "global step=45635584, episodic return=2092.333251953125\n", + "global step=45639680, episodic return=1043.101318359375\n", + "global step=45641728, episodic return=1312.7420654296875\n", + "global step=45643776, episodic return=2085.095947265625\n", + "global step=45645824, episodic return=2069.114501953125\n", + "global step=45651968, episodic return=2074.13134765625\n", + "global step=45654016, episodic return=2056.295166015625\n", + "global step=45654016, episodic return=2021.4610595703125\n", + "global step=45656064, episodic return=2063.927001953125\n", + "global step=45668352, episodic return=2092.5859375\n", + "global step=45672448, episodic return=1179.1534423828125\n", + "global step=45672448, episodic return=2058.4716796875\n", + "global step=45674496, episodic return=2074.54736328125\n", + "global step=45680640, episodic return=2074.308837890625\n", + "global step=45682688, episodic return=2082.65478515625\n", + "global step=45694976, episodic return=2036.968505859375\n", + "global step=45697024, episodic return=2044.5789794921875\n", + "global step=45705216, episodic return=2047.1295166015625\n", + "global step=45705216, episodic return=2043.981689453125\n", + "global step=45705216, episodic return=1537.470947265625\n", + "global step=45709312, episodic return=2077.493896484375\n", + "global step=45711360, episodic return=2050.419677734375\n", + "global step=45715456, episodic return=2064.085693359375\n", + "global step=45715456, episodic return=2078.280029296875\n", + "global step=45715456, episodic return=2027.3807373046875\n", + "global step=45717504, episodic return=2042.989501953125\n", + "global step=45721600, episodic return=2091.810302734375\n", + "global step=45727744, episodic return=2058.427490234375\n", + "global step=45729792, episodic return=2050.448974609375\n", + "global step=45729792, episodic return=2036.9488525390625\n", + "global step=45733888, episodic return=2043.25537109375\n", + "global step=45733888, episodic return=2052.181396484375\n", + "global step=45733888, episodic return=2062.849853515625\n", + "global step=45737984, episodic return=930.8906860351562\n", + "global step=45737984, episodic return=2087.48291015625\n", + "global step=45750272, episodic return=2073.416015625\n", + "global step=45752320, episodic return=2061.49951171875\n", + "global step=45752320, episodic return=2069.7666015625\n", + "global step=45752320, episodic return=2074.852783203125\n", + "global step=45752320, episodic return=2052.38916015625\n", + "global step=45754368, episodic return=2052.1298828125\n", + "global step=45754368, episodic return=2080.77734375\n", + "global step=45756416, episodic return=2036.060791015625\n", + "global step=45756416, episodic return=2073.12548828125\n", + "global step=45760512, episodic return=2057.801513671875\n", + "global step=45762560, episodic return=2090.1484375\n", + "global step=45770752, episodic return=2069.70654296875\n", + "global step=45770752, episodic return=2081.466552734375\n", + "global step=45776896, episodic return=2087.254638671875\n", + "global step=45776896, episodic return=2072.072265625\n", + "global step=45778944, episodic return=2072.55078125\n", + "global step=45780992, episodic return=2044.4356689453125\n", + "global step=45780992, episodic return=2069.42529296875\n", + "global step=45783040, episodic return=2042.8447265625\n", + "global step=45783040, episodic return=2034.3487548828125\n", + "global step=45785088, episodic return=2063.919189453125\n", + "global step=45785088, episodic return=991.7683715820312\n", + "global step=45785088, episodic return=2105.23095703125\n", + "global step=45787136, episodic return=2076.466064453125\n", + "global step=45789184, episodic return=1331.42041015625\n", + "global step=45793280, episodic return=1799.549560546875\n", + "global step=45793280, episodic return=2089.768310546875\n", + "global step=45795328, episodic return=2053.851318359375\n", + "global step=45799424, episodic return=2084.828369140625\n", + "global step=45801472, episodic return=2061.576904296875\n", + "global step=45805568, episodic return=1217.3704833984375\n", + "global step=45805568, episodic return=2065.780517578125\n", + "global step=45807616, episodic return=2076.73095703125\n", + "global step=45807616, episodic return=2067.0556640625\n", + "global step=45809664, episodic return=2064.634765625\n", + "global step=45815808, episodic return=2070.41650390625\n", + "global step=45817856, episodic return=2098.473876953125\n", + "global step=45819904, episodic return=2042.9005126953125\n", + "global step=45819904, episodic return=2048.73046875\n", + "global step=45819904, episodic return=819.619384765625\n", + "global step=45821952, episodic return=2075.334228515625\n", + "global step=45821952, episodic return=2086.46533203125\n", + "global step=45824000, episodic return=2064.32373046875\n", + "global step=45826048, episodic return=2068.974853515625\n", + "global step=45828096, episodic return=2063.159423828125\n", + "global step=45832192, episodic return=2068.75927734375\n", + "global step=45834240, episodic return=2059.14306640625\n", + "global step=45834240, episodic return=2069.814453125\n", + "global step=45838336, episodic return=2053.42529296875\n", + "global step=45840384, episodic return=2081.912353515625\n", + "global step=45842432, episodic return=2076.991455078125\n", + "global step=45842432, episodic return=2078.9921875\n", + "global step=45844480, episodic return=878.4010009765625\n", + "global step=45844480, episodic return=2066.47607421875\n", + "global step=45846528, episodic return=2088.829345703125\n", + "global step=45850624, episodic return=2102.959228515625\n", + "global step=45854720, episodic return=2058.423583984375\n", + "global step=45858816, episodic return=2055.84228515625\n", + "global step=45862912, episodic return=2063.233642578125\n", + "global step=45867008, episodic return=2060.956787109375\n", + "global step=45867008, episodic return=2069.97021484375\n", + "global step=45869056, episodic return=955.6074829101562\n", + "global step=45871104, episodic return=2046.7523193359375\n", + "global step=45871104, episodic return=2078.6240234375\n", + "global step=45873152, episodic return=2039.6634521484375\n", + "global step=45875200, episodic return=2042.9122314453125\n", + "global step=45875200, episodic return=2074.556396484375\n", + "global step=45875200, episodic return=2059.412109375\n", + "global step=45879296, episodic return=2060.228759765625\n", + "global step=45881344, episodic return=2065.341796875\n", + "global step=45881344, episodic return=1424.18359375\n", + "global step=45883392, episodic return=535.9506225585938\n", + "global step=45885440, episodic return=1246.114501953125\n", + "global step=45885440, episodic return=2026.7352294921875\n", + "global step=45889536, episodic return=1228.7825927734375\n", + "global step=45889536, episodic return=2113.422607421875\n", + "global step=45889536, episodic return=2079.300537109375\n", + "global step=45891584, episodic return=1237.538330078125\n", + "global step=45901824, episodic return=2046.7330322265625\n", + "global step=45901824, episodic return=2079.337158203125\n", + "global step=45903872, episodic return=2074.313720703125\n", + "global step=45905920, episodic return=2072.578369140625\n", + "global step=45907968, episodic return=2074.947265625\n", + "global step=45912064, episodic return=2058.35107421875\n", + "global step=45914112, episodic return=2070.498046875\n", + "global step=45914112, episodic return=1211.093017578125\n", + "global step=45916160, episodic return=1754.061767578125\n", + "global step=45922304, episodic return=2078.173095703125\n", + "global step=45922304, episodic return=2074.266357421875\n", + "global step=45922304, episodic return=918.7863159179688\n", + "global step=45924352, episodic return=2054.795166015625\n", + "global step=45924352, episodic return=2082.85546875\n", + "global step=45924352, episodic return=2052.11767578125\n", + "global step=45926400, episodic return=2042.819091796875\n", + "global step=45926400, episodic return=2078.708740234375\n", + "global step=45930496, episodic return=2066.846435546875\n", + "global step=45934592, episodic return=2095.551025390625\n", + "global step=45934592, episodic return=2086.147705078125\n", + "global step=45934592, episodic return=2075.833740234375\n", + "global step=45936640, episodic return=2064.736328125\n", + "global step=45938688, episodic return=2043.8922119140625\n", + "global step=45938688, episodic return=2090.697265625\n", + "global step=45940736, episodic return=2102.55224609375\n", + "global step=45940736, episodic return=2079.80078125\n", + "global step=45942784, episodic return=762.2522583007812\n", + "global step=45942784, episodic return=2059.98291015625\n", + "global step=45942784, episodic return=627.7684326171875\n", + "global step=45944832, episodic return=2068.782470703125\n", + "global step=45946880, episodic return=2068.9638671875\n", + "global step=45946880, episodic return=2037.791015625\n", + "global step=45946880, episodic return=2090.13330078125\n", + "global step=45948928, episodic return=2094.98095703125\n", + "global step=45950976, episodic return=2069.5615234375\n", + "global step=45950976, episodic return=2080.88916015625\n", + "global step=45953024, episodic return=2065.236083984375\n", + "global step=45953024, episodic return=2065.224365234375\n", + "global step=45955072, episodic return=2083.836181640625\n", + "global step=45957120, episodic return=1084.4908447265625\n", + "global step=45961216, episodic return=2063.435791015625\n", + "global step=45961216, episodic return=2081.37060546875\n", + "global step=45967360, episodic return=2100.788330078125\n", + "global step=45969408, episodic return=2086.97607421875\n", + "global step=45971456, episodic return=2051.32470703125\n", + "global step=45973504, episodic return=2092.254150390625\n", + "global step=45973504, episodic return=2072.923828125\n", + "global step=45973504, episodic return=2080.911865234375\n", + "global step=45975552, episodic return=1586.7479248046875\n", + "global step=45975552, episodic return=2042.8773193359375\n", + "global step=45977600, episodic return=2043.7587890625\n", + "global step=45977600, episodic return=2066.331787109375\n", + "global step=45977600, episodic return=2135.86865234375\n", + "global step=45979648, episodic return=2062.5947265625\n", + "global step=45979648, episodic return=1542.435546875\n", + "global step=45979648, episodic return=2104.283935546875\n", + "global step=45985792, episodic return=2089.61962890625\n", + "global step=45985792, episodic return=2064.646484375\n", + "global step=45985792, episodic return=2049.44873046875\n", + "global step=45987840, episodic return=2037.5091552734375\n", + "global step=45987840, episodic return=1377.2943115234375\n", + "global step=45989888, episodic return=2085.54638671875\n", + "global step=45989888, episodic return=2050.7890625\n", + "global step=45989888, episodic return=2068.947021484375\n", + "global step=45991936, episodic return=2086.16015625\n", + "global step=45993984, episodic return=2095.53662109375\n", + "global step=45993984, episodic return=2067.332275390625\n", + "global step=45996032, episodic return=2061.170654296875\n", + "global step=45998080, episodic return=2062.3408203125\n", + "global step=45998080, episodic return=2066.607421875\n", + "global step=45998080, episodic return=2078.211181640625\n", + "global step=46000128, episodic return=2097.822265625\n", + "global step=46000128, episodic return=2087.398193359375\n", + "global step=46000128, episodic return=2068.59130859375\n", + "global step=46000128, episodic return=2089.48193359375\n", + "global step=46002176, episodic return=2047.58154296875\n", + "global step=46006272, episodic return=2050.740966796875\n", + "global step=46008320, episodic return=2074.947509765625\n", + "global step=46008320, episodic return=2060.0830078125\n", + "global step=46008320, episodic return=2070.6357421875\n", + "global step=46008320, episodic return=2073.916259765625\n", + "global step=46008320, episodic return=2090.371826171875\n", + "global step=46010368, episodic return=2039.6868896484375\n", + "global step=46012416, episodic return=2070.02197265625\n", + "global step=46012416, episodic return=2073.10595703125\n", + "global step=46016512, episodic return=2078.44091796875\n", + "global step=46016512, episodic return=2089.717529296875\n", + "global step=46016512, episodic return=2049.147705078125\n", + "global step=46016512, episodic return=2069.943359375\n", + "global step=46016512, episodic return=2078.808837890625\n", + "global step=46018560, episodic return=2082.827880859375\n", + "global step=46018560, episodic return=2066.07470703125\n", + "global step=46018560, episodic return=2079.979248046875\n", + "global step=46020608, episodic return=988.4889526367188\n", + "global step=46020608, episodic return=2046.6328125\n", + "global step=46022656, episodic return=2045.822998046875\n", + "global step=46022656, episodic return=2034.3468017578125\n", + "global step=46026752, episodic return=2068.26708984375\n", + "global step=46026752, episodic return=2091.60400390625\n", + "global step=46026752, episodic return=2063.180908203125\n", + "global step=46028800, episodic return=1061.1529541015625\n", + "global step=46028800, episodic return=2068.88671875\n", + "global step=46028800, episodic return=2102.571533203125\n", + "global step=46032896, episodic return=2071.718017578125\n", + "global step=46032896, episodic return=2062.1572265625\n", + "global step=46032896, episodic return=2067.51171875\n", + "global step=46032896, episodic return=526.8827514648438\n", + "global step=46032896, episodic return=2069.890869140625\n", + "global step=46034944, episodic return=2084.872802734375\n", + "global step=46034944, episodic return=2114.37060546875\n", + "global step=46036992, episodic return=2077.51318359375\n", + "global step=46036992, episodic return=2109.585205078125\n", + "global step=46039040, episodic return=2089.6015625\n", + "global step=46039040, episodic return=2095.93994140625\n", + "global step=46041088, episodic return=2070.591064453125\n", + "global step=46041088, episodic return=2091.976318359375\n", + "global step=46043136, episodic return=2038.050537109375\n", + "global step=46043136, episodic return=2082.879150390625\n", + "global step=46045184, episodic return=2096.51513671875\n", + "global step=46045184, episodic return=991.0256958007812\n", + "global step=46045184, episodic return=1377.138671875\n", + "global step=46045184, episodic return=2087.751953125\n", + "global step=46047232, episodic return=2076.962890625\n", + "global step=46047232, episodic return=2076.395751953125\n", + "global step=46047232, episodic return=1204.4803466796875\n", + "global step=46049280, episodic return=2094.3544921875\n", + "global step=46051328, episodic return=2091.446533203125\n", + "global step=46053376, episodic return=2086.25\n", + "global step=46053376, episodic return=1162.3548583984375\n", + "global step=46055424, episodic return=2054.002197265625\n", + "global step=46055424, episodic return=2056.8857421875\n", + "global step=46055424, episodic return=2068.260498046875\n", + "global step=46057472, episodic return=2068.9345703125\n", + "global step=46057472, episodic return=2063.04931640625\n", + "global step=46059520, episodic return=1484.9256591796875\n", + "global step=46059520, episodic return=2087.9189453125\n", + "global step=46059520, episodic return=2077.0927734375\n", + "global step=46061568, episodic return=2041.8472900390625\n", + "global step=46061568, episodic return=1337.0762939453125\n", + "global step=46061568, episodic return=2052.158447265625\n", + "global step=46061568, episodic return=2078.456298828125\n", + "global step=46061568, episodic return=2067.08447265625\n", + "global step=46063616, episodic return=995.8904418945312\n", + "global step=46065664, episodic return=2033.6983642578125\n", + "global step=46065664, episodic return=2025.2457275390625\n", + "global step=46067712, episodic return=2096.97021484375\n", + "global step=46067712, episodic return=2081.142822265625\n", + "global step=46069760, episodic return=1658.265625\n", + "global step=46069760, episodic return=2058.3828125\n", + "global step=46069760, episodic return=2100.998291015625\n", + "global step=46069760, episodic return=1410.26513671875\n", + "global step=46071808, episodic return=2112.560302734375\n", + "global step=46071808, episodic return=2080.30322265625\n", + "global step=46075904, episodic return=2156.1591796875\n", + "global step=46075904, episodic return=2047.194091796875\n", + "global step=46075904, episodic return=2062.376708984375\n", + "global step=46077952, episodic return=2064.60107421875\n", + "global step=46077952, episodic return=2102.32958984375\n", + "global step=46077952, episodic return=2036.115478515625\n", + "global step=46080000, episodic return=2038.64501953125\n", + "global step=46080000, episodic return=2089.318115234375\n", + "global step=46082048, episodic return=2095.966064453125\n", + "global step=46082048, episodic return=2088.201171875\n", + "global step=46082048, episodic return=2072.30712890625\n", + "global step=46082048, episodic return=2066.54833984375\n", + "global step=46082048, episodic return=2091.32080078125\n", + "global step=46084096, episodic return=2070.244384765625\n", + "global step=46084096, episodic return=2099.98681640625\n", + "global step=46086144, episodic return=1763.8585205078125\n", + "global step=46088192, episodic return=2090.13232421875\n", + "global step=46092288, episodic return=2099.030517578125\n", + "global step=46094336, episodic return=2085.155029296875\n", + "global step=46096384, episodic return=2076.108642578125\n", + "global step=46096384, episodic return=2101.024658203125\n", + "global step=46098432, episodic return=1545.2572021484375\n", + "global step=46100480, episodic return=2082.055419921875\n", + "global step=46100480, episodic return=2063.17138671875\n", + "global step=46100480, episodic return=2088.76220703125\n", + "global step=46100480, episodic return=2031.5255126953125\n", + "global step=46100480, episodic return=2070.6552734375\n", + "global step=46100480, episodic return=2076.774658203125\n", + "global step=46102528, episodic return=2058.824951171875\n", + "global step=46102528, episodic return=2091.12646484375\n", + "global step=46104576, episodic return=1434.0638427734375\n", + "global step=46106624, episodic return=2103.0224609375\n", + "global step=46106624, episodic return=2100.854248046875\n", + "global step=46106624, episodic return=2096.984130859375\n", + "global step=46110720, episodic return=2111.266845703125\n", + "global step=46110720, episodic return=2064.203125\n", + "global step=46112768, episodic return=2072.0830078125\n", + "global step=46112768, episodic return=2045.753662109375\n", + "global step=46112768, episodic return=2068.819091796875\n", + "global step=46114816, episodic return=2076.68701171875\n", + "global step=46114816, episodic return=2063.67431640625\n", + "global step=46116864, episodic return=2111.29150390625\n", + "global step=46118912, episodic return=2085.194091796875\n", + "global step=46118912, episodic return=2050.77099609375\n", + "global step=46118912, episodic return=1379.9625244140625\n", + "global step=46120960, episodic return=2086.500244140625\n", + "global step=46120960, episodic return=964.1182250976562\n", + "global step=46120960, episodic return=2054.640380859375\n", + "global step=46120960, episodic return=2041.9324951171875\n", + "global step=46123008, episodic return=2055.709228515625\n", + "global step=46125056, episodic return=2110.0771484375\n", + "global step=46125056, episodic return=2055.19580078125\n", + "global step=46125056, episodic return=2086.97265625\n", + "global step=46125056, episodic return=2081.25732421875\n", + "global step=46127104, episodic return=2111.240966796875\n", + "global step=46127104, episodic return=2065.070556640625\n", + "global step=46129152, episodic return=2076.83984375\n", + "global step=46129152, episodic return=2122.0322265625\n", + "global step=46129152, episodic return=2095.876708984375\n", + "global step=46131200, episodic return=2096.949462890625\n", + "global step=46131200, episodic return=1155.9541015625\n", + "global step=46133248, episodic return=2096.983154296875\n", + "global step=46133248, episodic return=1011.200439453125\n", + "global step=46133248, episodic return=545.2781372070312\n", + "global step=46135296, episodic return=1487.562255859375\n", + "global step=46135296, episodic return=2086.552001953125\n", + "global step=46135296, episodic return=2062.873779296875\n", + "global step=46139392, episodic return=2090.947998046875\n", + "global step=46141440, episodic return=2121.933837890625\n", + "global step=46141440, episodic return=534.5997314453125\n", + "global step=46141440, episodic return=2058.177490234375\n", + "global step=46143488, episodic return=1309.1993408203125\n", + "global step=46143488, episodic return=2086.69775390625\n", + "global step=46145536, episodic return=1486.2686767578125\n", + "global step=46145536, episodic return=2090.008056640625\n", + "global step=46145536, episodic return=2064.985107421875\n", + "global step=46145536, episodic return=2118.4501953125\n", + "global step=46147584, episodic return=2101.040283203125\n", + "global step=46147584, episodic return=2081.3759765625\n", + "global step=46149632, episodic return=2042.809814453125\n", + "global step=46151680, episodic return=2038.5831298828125\n", + "global step=46151680, episodic return=2084.561279296875\n", + "global step=46151680, episodic return=2073.06396484375\n", + "global step=46151680, episodic return=2060.355712890625\n", + "global step=46151680, episodic return=2086.100830078125\n", + "global step=46151680, episodic return=2070.669189453125\n", + "global step=46151680, episodic return=2100.8896484375\n", + "global step=46153728, episodic return=2050.443603515625\n", + "global step=46153728, episodic return=2077.738037109375\n", + "global step=46155776, episodic return=797.44287109375\n", + "global step=46155776, episodic return=1785.7073974609375\n", + "global step=46155776, episodic return=2075.978515625\n", + "global step=46157824, episodic return=2041.671142578125\n", + "global step=46159872, episodic return=2052.490234375\n", + "global step=46159872, episodic return=2087.9267578125\n", + "global step=46159872, episodic return=2066.35888671875\n", + "global step=46161920, episodic return=2093.731689453125\n", + "global step=46161920, episodic return=2058.92529296875\n", + "global step=46161920, episodic return=2082.8154296875\n", + "global step=46161920, episodic return=2117.113037109375\n", + "global step=46161920, episodic return=2072.663330078125\n", + "global step=46163968, episodic return=2086.162841796875\n", + "global step=46163968, episodic return=2041.2254638671875\n", + "global step=46163968, episodic return=2119.585693359375\n", + "global step=46166016, episodic return=1034.4478759765625\n", + "global step=46168064, episodic return=2054.629150390625\n", + "global step=46168064, episodic return=2066.38916015625\n", + "global step=46168064, episodic return=2066.138427734375\n", + "global step=46168064, episodic return=2117.9541015625\n", + "global step=46170112, episodic return=2080.666748046875\n", + "global step=46170112, episodic return=1979.2596435546875\n", + "global step=46170112, episodic return=2107.444580078125\n", + "global step=46172160, episodic return=2091.378173828125\n", + "global step=46172160, episodic return=2091.097412109375\n", + "global step=46174208, episodic return=2049.042236328125\n", + "global step=46174208, episodic return=2114.4501953125\n", + "global step=46174208, episodic return=2099.980224609375\n", + "global step=46174208, episodic return=2039.5433349609375\n", + "global step=46174208, episodic return=2092.058837890625\n", + "global step=46176256, episodic return=2063.222412109375\n", + "global step=46176256, episodic return=2080.611328125\n", + "global step=46176256, episodic return=2075.81884765625\n", + "global step=46178304, episodic return=2082.602783203125\n", + "global step=46178304, episodic return=2098.653076171875\n", + "global step=46178304, episodic return=2114.55810546875\n", + "global step=46180352, episodic return=2097.909912109375\n", + "global step=46180352, episodic return=2086.781494140625\n", + "global step=46180352, episodic return=2080.166748046875\n", + "global step=46182400, episodic return=2075.75830078125\n", + "global step=46182400, episodic return=2148.2265625\n", + "global step=46182400, episodic return=2041.3543701171875\n", + "global step=46184448, episodic return=2063.006103515625\n", + "global step=46184448, episodic return=2100.476806640625\n", + "global step=46184448, episodic return=2043.7196044921875\n", + "global step=46184448, episodic return=2110.187255859375\n", + "global step=46184448, episodic return=2116.76025390625\n", + "global step=46186496, episodic return=2064.4208984375\n", + "global step=46186496, episodic return=2070.995849609375\n", + "global step=46188544, episodic return=2106.32763671875\n", + "global step=46188544, episodic return=1993.9774169921875\n", + "global step=46190592, episodic return=2087.76708984375\n", + "global step=46190592, episodic return=2007.9481201171875\n", + "global step=46190592, episodic return=2050.895751953125\n", + "global step=46190592, episodic return=2069.00439453125\n", + "global step=46192640, episodic return=2068.587890625\n", + "global step=46192640, episodic return=2089.708740234375\n", + "global step=46192640, episodic return=2086.9365234375\n", + "global step=46192640, episodic return=2145.0087890625\n", + "global step=46192640, episodic return=2065.579833984375\n", + "global step=46192640, episodic return=2073.1201171875\n", + "global step=46192640, episodic return=2071.04736328125\n", + "global step=46192640, episodic return=2072.226318359375\n", + "global step=46196736, episodic return=2118.513427734375\n", + "global step=46198784, episodic return=2094.31591796875\n", + "global step=46198784, episodic return=2090.2919921875\n", + "global step=46198784, episodic return=2084.224365234375\n", + "global step=46198784, episodic return=2087.528564453125\n", + "global step=46200832, episodic return=2077.28076171875\n", + "global step=46200832, episodic return=2113.373046875\n", + "global step=46200832, episodic return=2092.413818359375\n", + "global step=46202880, episodic return=2090.785400390625\n", + "global step=46202880, episodic return=2076.599853515625\n", + "global step=46202880, episodic return=2071.608154296875\n", + "global step=46202880, episodic return=2036.7705078125\n", + "global step=46202880, episodic return=2095.103271484375\n", + "global step=46204928, episodic return=2111.426025390625\n", + "global step=46204928, episodic return=2085.385009765625\n", + "global step=46206976, episodic return=2086.057861328125\n", + "global step=46209024, episodic return=2068.888427734375\n", + "global step=46211072, episodic return=2065.313232421875\n", + "global step=46211072, episodic return=1727.418212890625\n", + "global step=46213120, episodic return=2100.87255859375\n", + "global step=46213120, episodic return=2109.01953125\n", + "global step=46213120, episodic return=2109.381103515625\n", + "global step=46213120, episodic return=2098.553466796875\n", + "global step=46213120, episodic return=772.3989868164062\n", + "global step=46213120, episodic return=2089.0908203125\n", + "global step=46213120, episodic return=2113.083740234375\n", + "global step=46215168, episodic return=2103.1640625\n", + "global step=46217216, episodic return=2118.05810546875\n", + "global step=46217216, episodic return=2085.044921875\n", + "global step=46219264, episodic return=2067.94775390625\n", + "global step=46221312, episodic return=2075.725341796875\n", + "global step=46223360, episodic return=2087.121826171875\n", + "global step=46223360, episodic return=2068.494384765625\n", + "global step=46223360, episodic return=2147.790283203125\n", + "global step=46223360, episodic return=2061.084716796875\n", + "global step=46225408, episodic return=2099.949462890625\n", + "global step=46225408, episodic return=2103.985595703125\n", + "global step=46225408, episodic return=2120.230224609375\n", + "global step=46227456, episodic return=2106.394287109375\n", + "global step=46227456, episodic return=1228.64111328125\n", + "global step=46227456, episodic return=2150.37939453125\n", + "global step=46227456, episodic return=2056.182861328125\n", + "global step=46227456, episodic return=1195.0062255859375\n", + "global step=46227456, episodic return=2085.72314453125\n", + "global step=46229504, episodic return=2114.978271484375\n", + "global step=46231552, episodic return=2110.88916015625\n", + "global step=46231552, episodic return=2067.61279296875\n", + "global step=46231552, episodic return=2144.4697265625\n", + "global step=46231552, episodic return=1489.1961669921875\n", + "global step=46231552, episodic return=2106.7216796875\n", + "global step=46233600, episodic return=2106.33251953125\n", + "global step=46233600, episodic return=2094.875244140625\n", + "global step=46233600, episodic return=2027.736572265625\n", + "global step=46233600, episodic return=2078.309814453125\n", + "global step=46235648, episodic return=2103.31640625\n", + "global step=46235648, episodic return=2123.29736328125\n", + "global step=46235648, episodic return=2057.93212890625\n", + "global step=46235648, episodic return=872.9265747070312\n", + "global step=46237696, episodic return=2092.7900390625\n", + "global step=46237696, episodic return=2083.80517578125\n", + "global step=46237696, episodic return=2118.4208984375\n", + "global step=46237696, episodic return=2118.01513671875\n", + "global step=46237696, episodic return=2123.713623046875\n", + "global step=46237696, episodic return=1711.9742431640625\n", + "global step=46239744, episodic return=2093.166259765625\n", + "global step=46239744, episodic return=2103.80078125\n", + "global step=46243840, episodic return=2095.66162109375\n", + "global step=46243840, episodic return=1903.311279296875\n", + "global step=46243840, episodic return=1769.2171630859375\n", + "global step=46243840, episodic return=2118.8779296875\n", + "global step=46245888, episodic return=2110.220947265625\n", + "global step=46245888, episodic return=2054.3603515625\n", + "global step=46245888, episodic return=2067.659423828125\n", + "global step=46245888, episodic return=2101.898193359375\n", + "global step=46247936, episodic return=2073.580810546875\n", + "global step=46247936, episodic return=1533.4998779296875\n", + "global step=46247936, episodic return=2071.67041015625\n", + "global step=46249984, episodic return=2111.050048828125\n", + "global step=46249984, episodic return=1193.4835205078125\n", + "global step=46249984, episodic return=2100.5361328125\n", + "global step=46249984, episodic return=2095.067626953125\n", + "global step=46249984, episodic return=1183.8662109375\n", + "global step=46252032, episodic return=1853.5946044921875\n", + "global step=46252032, episodic return=1852.5189208984375\n", + "global step=46252032, episodic return=2089.917236328125\n", + "global step=46252032, episodic return=2095.82763671875\n", + "global step=46252032, episodic return=2090.9423828125\n", + "global step=46252032, episodic return=2086.563232421875\n", + "global step=46254080, episodic return=2082.05859375\n", + "global step=46254080, episodic return=2107.019287109375\n", + "global step=46254080, episodic return=2088.890869140625\n", + "global step=46254080, episodic return=2058.899658203125\n", + "global step=46256128, episodic return=2085.31982421875\n", + "global step=46256128, episodic return=2052.388427734375\n", + "global step=46256128, episodic return=2110.389404296875\n", + "global step=46256128, episodic return=1792.64892578125\n", + "global step=46256128, episodic return=2070.0068359375\n", + "global step=46258176, episodic return=2114.173095703125\n", + "global step=46258176, episodic return=2108.256103515625\n", + "global step=46258176, episodic return=934.112548828125\n", + "global step=46258176, episodic return=2083.7802734375\n", + "global step=46258176, episodic return=2090.888427734375\n", + "global step=46260224, episodic return=2041.1417236328125\n", + "global step=46260224, episodic return=2054.020751953125\n", + "global step=46260224, episodic return=1542.38525390625\n", + "global step=46262272, episodic return=2105.25537109375\n", + "global step=46262272, episodic return=2109.432373046875\n", + "global step=46264320, episodic return=2094.12451171875\n", + "global step=46264320, episodic return=2079.224609375\n", + "global step=46264320, episodic return=2100.12255859375\n", + "global step=46264320, episodic return=2100.38671875\n", + "global step=46264320, episodic return=2091.706298828125\n", + "global step=46264320, episodic return=1909.45947265625\n", + "global step=46266368, episodic return=2119.655517578125\n", + "global step=46266368, episodic return=2082.62451171875\n", + "global step=46266368, episodic return=1686.4622802734375\n", + "global step=46266368, episodic return=2092.693115234375\n", + "global step=46266368, episodic return=1759.763916015625\n", + "global step=46268416, episodic return=2096.582275390625\n", + "global step=46268416, episodic return=2165.311767578125\n", + "global step=46268416, episodic return=2101.221923828125\n", + "global step=46268416, episodic return=2085.0185546875\n", + "global step=46270464, episodic return=2095.319580078125\n", + "global step=46270464, episodic return=2046.826904296875\n", + "global step=46270464, episodic return=2092.32958984375\n", + "global step=46270464, episodic return=1109.7423095703125\n", + "global step=46270464, episodic return=2105.51953125\n", + "global step=46270464, episodic return=2109.204833984375\n", + "global step=46270464, episodic return=2117.431640625\n", + "global step=46270464, episodic return=1035.1500244140625\n", + "global step=46272512, episodic return=2109.440673828125\n", + "global step=46272512, episodic return=2034.348876953125\n", + "global step=46272512, episodic return=2134.345703125\n", + "global step=46272512, episodic return=2113.60302734375\n", + "global step=46274560, episodic return=2093.685302734375\n", + "global step=46274560, episodic return=2071.19775390625\n", + "global step=46274560, episodic return=2077.03125\n", + "global step=46278656, episodic return=2106.880859375\n", + "global step=46278656, episodic return=2060.57275390625\n", + "global step=46278656, episodic return=2090.18798828125\n", + "global step=46280704, episodic return=2114.699462890625\n", + "global step=46280704, episodic return=2120.261474609375\n", + "global step=46280704, episodic return=2087.6357421875\n", + "global step=46280704, episodic return=2063.31005859375\n", + "global step=46282752, episodic return=2105.138916015625\n", + "global step=46282752, episodic return=2081.061279296875\n", + "global step=46284800, episodic return=2097.21142578125\n", + "global step=46284800, episodic return=2097.86376953125\n", + "global step=46284800, episodic return=2058.679931640625\n", + "global step=46286848, episodic return=2089.958251953125\n", + "global step=46286848, episodic return=2101.319580078125\n", + "global step=46286848, episodic return=2059.820068359375\n", + "global step=46290944, episodic return=2133.195556640625\n", + "global step=46290944, episodic return=2110.194580078125\n", + "global step=46290944, episodic return=2103.8134765625\n", + "global step=46290944, episodic return=2105.501220703125\n", + "global step=46290944, episodic return=2091.58740234375\n", + "global step=46292992, episodic return=2061.18408203125\n", + "global step=46292992, episodic return=2073.592529296875\n", + "global step=46295040, episodic return=2087.896240234375\n", + "global step=46295040, episodic return=2071.721435546875\n", + "global step=46295040, episodic return=2090.831298828125\n", + "global step=46295040, episodic return=2111.55859375\n", + "global step=46297088, episodic return=2083.504150390625\n", + "global step=46297088, episodic return=2129.336181640625\n", + "global step=46297088, episodic return=2079.576904296875\n", + "global step=46297088, episodic return=2102.085693359375\n", + "global step=46297088, episodic return=2092.04248046875\n", + "global step=46299136, episodic return=2109.12744140625\n", + "global step=46299136, episodic return=1952.246337890625\n", + "global step=46301184, episodic return=2085.56494140625\n", + "global step=46301184, episodic return=2114.27001953125\n", + "global step=46301184, episodic return=2064.40283203125\n", + "global step=46301184, episodic return=2093.8740234375\n", + "global step=46303232, episodic return=2080.083740234375\n", + "global step=46303232, episodic return=2064.5478515625\n", + "global step=46303232, episodic return=2109.57275390625\n", + "global step=46303232, episodic return=2066.808349609375\n", + "global step=46303232, episodic return=2085.63916015625\n", + "global step=46305280, episodic return=2083.61328125\n", + "global step=46305280, episodic return=2104.049072265625\n", + "global step=46307328, episodic return=2117.45263671875\n", + "global step=46307328, episodic return=2087.211669921875\n", + "global step=46307328, episodic return=1243.0401611328125\n", + "global step=46309376, episodic return=2084.336669921875\n", + "global step=46309376, episodic return=2097.121826171875\n", + "global step=46311424, episodic return=1562.6817626953125\n", + "global step=46311424, episodic return=2126.92333984375\n", + "global step=46311424, episodic return=2090.003662109375\n", + "global step=46311424, episodic return=2071.745361328125\n", + "global step=46311424, episodic return=2138.378173828125\n", + "global step=46313472, episodic return=2084.666015625\n", + "global step=46313472, episodic return=2082.81884765625\n", + "global step=46313472, episodic return=2091.285888671875\n", + "global step=46313472, episodic return=2090.941650390625\n", + "global step=46313472, episodic return=1457.2803955078125\n", + "global step=46313472, episodic return=2070.2568359375\n", + "global step=46315520, episodic return=2133.309814453125\n", + "global step=46315520, episodic return=2087.658935546875\n", + "global step=46317568, episodic return=2141.89599609375\n", + "global step=46317568, episodic return=2098.74072265625\n", + "global step=46317568, episodic return=2125.439208984375\n", + "global step=46317568, episodic return=2099.63623046875\n", + "global step=46317568, episodic return=1748.3023681640625\n", + "global step=46317568, episodic return=1352.2568359375\n", + "global step=46317568, episodic return=2061.164306640625\n", + "global step=46317568, episodic return=2143.950927734375\n", + "global step=46317568, episodic return=2051.268798828125\n", + "global step=46317568, episodic return=2111.185791015625\n", + "global step=46319616, episodic return=666.5651245117188\n", + "global step=46319616, episodic return=2086.922119140625\n", + "global step=46319616, episodic return=2106.533203125\n", + "global step=46319616, episodic return=1469.88818359375\n", + "global step=46319616, episodic return=2066.92041015625\n", + "global step=46323712, episodic return=2117.2197265625\n", + "global step=46323712, episodic return=2108.6318359375\n", + "global step=46323712, episodic return=2067.538330078125\n", + "global step=46323712, episodic return=2097.197265625\n", + "global step=46323712, episodic return=2120.489013671875\n", + "global step=46325760, episodic return=2127.906005859375\n", + "global step=46325760, episodic return=2135.275146484375\n", + "global step=46325760, episodic return=2168.459228515625\n", + "global step=46329856, episodic return=2087.106201171875\n", + "global step=46329856, episodic return=1310.8555908203125\n", + "global step=46329856, episodic return=2092.865234375\n", + "global step=46329856, episodic return=2098.747314453125\n", + "global step=46329856, episodic return=2073.82421875\n", + "global step=46331904, episodic return=2117.832275390625\n", + "global step=46331904, episodic return=2112.48388671875\n", + "global step=46331904, episodic return=823.0711669921875\n", + "global step=46331904, episodic return=2099.1171875\n", + "global step=46333952, episodic return=2153.66796875\n", + "global step=46333952, episodic return=2092.191650390625\n", + "global step=46333952, episodic return=2169.144775390625\n", + "global step=46333952, episodic return=2113.416748046875\n", + "global step=46333952, episodic return=2108.308349609375\n", + "global step=46336000, episodic return=2096.23974609375\n", + "global step=46336000, episodic return=2066.250732421875\n", + "global step=46338048, episodic return=2084.633544921875\n", + "global step=46338048, episodic return=2071.91650390625\n", + "global step=46338048, episodic return=2108.541259765625\n", + "global step=46340096, episodic return=1814.6903076171875\n", + "global step=46342144, episodic return=2076.61767578125\n", + "global step=46342144, episodic return=2086.482666015625\n", + "global step=46342144, episodic return=2141.23046875\n", + "global step=46342144, episodic return=2080.31298828125\n", + "global step=46342144, episodic return=2091.6513671875\n", + "global step=46344192, episodic return=2139.732177734375\n", + "global step=46344192, episodic return=2114.870849609375\n", + "global step=46344192, episodic return=2086.792724609375\n", + "global step=46344192, episodic return=2107.76708984375\n", + "global step=46344192, episodic return=2101.3603515625\n", + "global step=46344192, episodic return=2111.35986328125\n", + "global step=46344192, episodic return=2131.680419921875\n", + "global step=46346240, episodic return=2078.40380859375\n", + "global step=46346240, episodic return=2132.206298828125\n", + "global step=46346240, episodic return=2117.209716796875\n", + "global step=46346240, episodic return=2100.131103515625\n", + "global step=46348288, episodic return=2103.69189453125\n", + "global step=46348288, episodic return=2117.507568359375\n", + "global step=46348288, episodic return=1757.6092529296875\n", + "global step=46348288, episodic return=2151.744140625\n", + "global step=46350336, episodic return=2085.249755859375\n", + "global step=46350336, episodic return=2106.335205078125\n", + "global step=46350336, episodic return=2110.15283203125\n", + "global step=46350336, episodic return=2111.14208984375\n", + "global step=46352384, episodic return=2106.3544921875\n", + "global step=46352384, episodic return=1081.788330078125\n", + "global step=46352384, episodic return=2091.33837890625\n", + "global step=46352384, episodic return=2100.8095703125\n", + "global step=46352384, episodic return=2119.0908203125\n", + "global step=46352384, episodic return=2140.733642578125\n", + "global step=46354432, episodic return=2073.443603515625\n", + "global step=46354432, episodic return=2099.895751953125\n", + "global step=46354432, episodic return=1149.168701171875\n", + "global step=46354432, episodic return=2111.859375\n", + "global step=46356480, episodic return=2127.509033203125\n", + "global step=46356480, episodic return=2101.524169921875\n", + "global step=46356480, episodic return=2088.611083984375\n", + "global step=46356480, episodic return=2097.103271484375\n", + "global step=46358528, episodic return=2091.229248046875\n", + "global step=46358528, episodic return=2079.4013671875\n", + "global step=46358528, episodic return=2116.31591796875\n", + "global step=46358528, episodic return=2125.82421875\n", + "global step=46358528, episodic return=2079.85498046875\n", + "global step=46360576, episodic return=2105.0546875\n", + "global step=46360576, episodic return=2134.0625\n", + "global step=46362624, episodic return=2083.2705078125\n", + "global step=46362624, episodic return=2096.578857421875\n", + "global step=46364672, episodic return=1612.846435546875\n", + "global step=46364672, episodic return=2115.05908203125\n", + "global step=46364672, episodic return=2089.426025390625\n", + "global step=46366720, episodic return=2044.895751953125\n", + "global step=46366720, episodic return=1724.1744384765625\n", + "global step=46366720, episodic return=2095.2412109375\n", + "global step=46368768, episodic return=2101.736572265625\n", + "global step=46368768, episodic return=2126.782470703125\n", + "global step=46368768, episodic return=2099.053955078125\n", + "global step=46370816, episodic return=2106.75048828125\n", + "global step=46370816, episodic return=2071.47509765625\n", + "global step=46370816, episodic return=2089.846435546875\n", + "global step=46370816, episodic return=2137.5009765625\n", + "global step=46372864, episodic return=2113.90283203125\n", + "global step=46374912, episodic return=2107.996337890625\n", + "global step=46374912, episodic return=2123.02783203125\n", + "global step=46374912, episodic return=2095.969970703125\n", + "global step=46374912, episodic return=2111.244873046875\n", + "global step=46374912, episodic return=2085.72509765625\n", + "global step=46374912, episodic return=1930.6021728515625\n", + "global step=46376960, episodic return=2098.919921875\n", + "global step=46376960, episodic return=2088.72802734375\n", + "global step=46376960, episodic return=2098.25830078125\n", + "global step=46376960, episodic return=2108.390869140625\n", + "global step=46376960, episodic return=2105.564697265625\n", + "global step=46376960, episodic return=2110.80810546875\n", + "global step=46376960, episodic return=1570.0989990234375\n", + "global step=46379008, episodic return=2105.7548828125\n", + "global step=46379008, episodic return=2103.181396484375\n", + "global step=46379008, episodic return=2069.755615234375\n", + "global step=46381056, episodic return=2097.048828125\n", + "global step=46381056, episodic return=2090.87890625\n", + "global step=46383104, episodic return=2125.3466796875\n", + "global step=46383104, episodic return=1612.783935546875\n", + "global step=46385152, episodic return=2100.5732421875\n", + "global step=46385152, episodic return=2138.2060546875\n", + "global step=46385152, episodic return=2146.0224609375\n", + "global step=46387200, episodic return=2090.8095703125\n", + "global step=46387200, episodic return=2083.61279296875\n", + "global step=46387200, episodic return=1741.282958984375\n", + "global step=46387200, episodic return=1525.8341064453125\n", + "global step=46387200, episodic return=2140.29443359375\n", + "global step=46389248, episodic return=1432.37939453125\n", + "global step=46389248, episodic return=2108.615234375\n", + "global step=46389248, episodic return=2136.5107421875\n", + "global step=46389248, episodic return=2118.829833984375\n", + "global step=46389248, episodic return=2085.0380859375\n", + "global step=46389248, episodic return=2109.6298828125\n", + "global step=46389248, episodic return=2079.5234375\n", + "global step=46389248, episodic return=2106.8681640625\n", + "global step=46393344, episodic return=2125.431640625\n", + "global step=46393344, episodic return=2121.620361328125\n", + "global step=46393344, episodic return=1730.2503662109375\n", + "global step=46395392, episodic return=2101.396240234375\n", + "global step=46395392, episodic return=2168.666748046875\n", + "global step=46395392, episodic return=2108.742431640625\n", + "global step=46395392, episodic return=2105.375732421875\n", + "global step=46395392, episodic return=2112.724365234375\n", + "global step=46397440, episodic return=2120.911376953125\n", + "global step=46397440, episodic return=2073.341064453125\n", + "global step=46397440, episodic return=2107.083740234375\n", + "global step=46397440, episodic return=2071.79296875\n", + "global step=46397440, episodic return=2090.895751953125\n", + "global step=46397440, episodic return=2106.954833984375\n", + "global step=46397440, episodic return=2117.17529296875\n", + "global step=46399488, episodic return=2120.129150390625\n", + "global step=46399488, episodic return=2073.576416015625\n", + "global step=46399488, episodic return=2104.361572265625\n", + "global step=46401536, episodic return=2122.210693359375\n", + "global step=46401536, episodic return=2139.66064453125\n", + "global step=46401536, episodic return=2169.371337890625\n", + "global step=46401536, episodic return=2061.544189453125\n", + "global step=46401536, episodic return=1256.626953125\n", + "global step=46401536, episodic return=2116.642333984375\n", + "global step=46403584, episodic return=1804.54150390625\n", + "global step=46403584, episodic return=2086.328125\n", + "global step=46403584, episodic return=2110.690185546875\n", + "global step=46403584, episodic return=2050.778564453125\n", + "global step=46403584, episodic return=2112.0771484375\n", + "global step=46405632, episodic return=2114.14697265625\n", + "global step=46405632, episodic return=2127.54443359375\n", + "global step=46405632, episodic return=2105.7841796875\n", + "global step=46407680, episodic return=2135.0029296875\n", + "global step=46407680, episodic return=2126.6845703125\n", + "global step=46409728, episodic return=2143.71923828125\n", + "global step=46409728, episodic return=2116.52978515625\n", + "global step=46411776, episodic return=2098.853759765625\n", + "global step=46411776, episodic return=2136.847412109375\n", + "global step=46411776, episodic return=2062.07861328125\n", + "global step=46411776, episodic return=1353.8419189453125\n", + "global step=46413824, episodic return=2102.45166015625\n", + "global step=46413824, episodic return=2100.64794921875\n", + "global step=46413824, episodic return=2122.998779296875\n", + "global step=46413824, episodic return=2109.71875\n", + "global step=46415872, episodic return=2109.496337890625\n", + "global step=46415872, episodic return=2088.876220703125\n", + "global step=46415872, episodic return=2101.605224609375\n", + "global step=46415872, episodic return=2095.5283203125\n", + "global step=46415872, episodic return=2118.873291015625\n", + "global step=46415872, episodic return=2111.681640625\n", + "global step=46417920, episodic return=2119.29833984375\n", + "global step=46417920, episodic return=2082.83740234375\n", + "global step=46417920, episodic return=2080.40478515625\n", + "global step=46417920, episodic return=2080.341552734375\n", + "global step=46419968, episodic return=2126.16357421875\n", + "global step=46419968, episodic return=2108.559326171875\n", + "global step=46419968, episodic return=2129.869384765625\n", + "global step=46419968, episodic return=1481.5689697265625\n", + "global step=46419968, episodic return=2129.400634765625\n", + "global step=46422016, episodic return=2101.202880859375\n", + "global step=46422016, episodic return=2124.697509765625\n", + "global step=46422016, episodic return=2093.2216796875\n", + "global step=46424064, episodic return=2124.2412109375\n", + "global step=46424064, episodic return=2142.5302734375\n", + "global step=46424064, episodic return=2123.777099609375\n", + "global step=46426112, episodic return=2095.447509765625\n", + "global step=46426112, episodic return=2113.441162109375\n", + "global step=46426112, episodic return=2098.739501953125\n", + "global step=46426112, episodic return=2079.21875\n", + "global step=46428160, episodic return=2101.414794921875\n", + "global step=46428160, episodic return=2092.823974609375\n", + "global step=46428160, episodic return=1679.4874267578125\n", + "global step=46430208, episodic return=1475.9830322265625\n", + "global step=46430208, episodic return=2141.109375\n", + "global step=46430208, episodic return=2097.62890625\n", + "global step=46434304, episodic return=2093.88818359375\n", + "global step=46434304, episodic return=2099.194580078125\n", + "global step=46434304, episodic return=2113.01806640625\n", + "global step=46434304, episodic return=2132.74072265625\n", + "global step=46434304, episodic return=54.043697357177734\n", + "global step=46436352, episodic return=2119.76025390625\n", + "global step=46436352, episodic return=2087.460205078125\n", + "global step=46436352, episodic return=2079.79931640625\n", + "global step=46438400, episodic return=2114.662841796875\n", + "global step=46438400, episodic return=2108.9892578125\n", + "global step=46438400, episodic return=2136.649658203125\n", + "global step=46438400, episodic return=1509.51416015625\n", + "global step=46438400, episodic return=2102.907470703125\n", + "global step=46438400, episodic return=2134.484619140625\n", + "global step=46438400, episodic return=2121.683349609375\n", + "global step=46440448, episodic return=2141.885498046875\n", + "global step=46440448, episodic return=2122.868408203125\n", + "global step=46442496, episodic return=2069.82568359375\n", + "global step=46442496, episodic return=2110.39111328125\n", + "global step=46442496, episodic return=2107.0595703125\n", + "global step=46442496, episodic return=2069.935791015625\n", + "global step=46444544, episodic return=2114.533447265625\n", + "global step=46444544, episodic return=1063.30126953125\n", + "global step=46446592, episodic return=2124.200439453125\n", + "global step=46446592, episodic return=2158.348388671875\n", + "global step=46446592, episodic return=2113.17626953125\n", + "global step=46446592, episodic return=2092.832275390625\n", + "global step=46446592, episodic return=1189.5787353515625\n", + "global step=46446592, episodic return=995.0059204101562\n", + "global step=46446592, episodic return=2118.02392578125\n", + "global step=46448640, episodic return=2119.906005859375\n", + "global step=46448640, episodic return=2114.56005859375\n", + "global step=46448640, episodic return=2091.323974609375\n", + "global step=46450688, episodic return=2151.997314453125\n", + "global step=46452736, episodic return=2127.3798828125\n", + "global step=46452736, episodic return=2090.04931640625\n", + "global step=46452736, episodic return=2085.971435546875\n", + "global step=46454784, episodic return=2118.83154296875\n", + "global step=46454784, episodic return=2102.9130859375\n", + "global step=46456832, episodic return=2099.8623046875\n", + "global step=46458880, episodic return=2113.51171875\n", + "global step=46458880, episodic return=2064.51611328125\n", + "global step=46458880, episodic return=2062.839111328125\n", + "global step=46460928, episodic return=852.3093872070312\n", + "global step=46460928, episodic return=2148.78955078125\n", + "global step=46462976, episodic return=2090.771484375\n", + "global step=46462976, episodic return=2130.74072265625\n", + "global step=46462976, episodic return=2094.914794921875\n", + "global step=46465024, episodic return=2106.263671875\n", + "global step=46467072, episodic return=2164.802978515625\n", + "global step=46467072, episodic return=2116.086181640625\n", + "global step=46467072, episodic return=2121.479736328125\n", + "global step=46469120, episodic return=2121.1826171875\n", + "global step=46469120, episodic return=2137.11474609375\n", + "global step=46469120, episodic return=2114.892578125\n", + "global step=46469120, episodic return=2152.126220703125\n", + "global step=46469120, episodic return=2098.10302734375\n", + "global step=46469120, episodic return=2119.523193359375\n", + "global step=46469120, episodic return=2113.396240234375\n", + "global step=46471168, episodic return=2154.099609375\n", + "global step=46473216, episodic return=2187.927978515625\n", + "global step=46473216, episodic return=1607.478515625\n", + "global step=46473216, episodic return=2144.618408203125\n", + "global step=46475264, episodic return=2135.5166015625\n", + "global step=46475264, episodic return=2132.267578125\n", + "global step=46475264, episodic return=2113.099609375\n", + "global step=46477312, episodic return=2037.7076416015625\n", + "global step=46477312, episodic return=1042.4351806640625\n", + "global step=46477312, episodic return=2139.78271484375\n", + "global step=46479360, episodic return=2106.527587890625\n", + "global step=46479360, episodic return=2097.12646484375\n", + "global step=46479360, episodic return=2091.783935546875\n", + "global step=46479360, episodic return=1397.2244873046875\n", + "global step=46479360, episodic return=2135.53515625\n", + "global step=46481408, episodic return=2129.04345703125\n", + "global step=46481408, episodic return=2106.132568359375\n", + "global step=46481408, episodic return=2132.389892578125\n", + "global step=46481408, episodic return=2118.230712890625\n", + "global step=46481408, episodic return=2133.238037109375\n", + "global step=46483456, episodic return=1871.684814453125\n", + "global step=46483456, episodic return=2112.769287109375\n", + "global step=46483456, episodic return=1459.6343994140625\n", + "global step=46483456, episodic return=2100.59619140625\n", + "global step=46485504, episodic return=2127.54248046875\n", + "global step=46487552, episodic return=2121.404541015625\n", + "global step=46487552, episodic return=2103.37841796875\n", + "global step=46489600, episodic return=2134.494873046875\n", + "global step=46489600, episodic return=2051.947998046875\n", + "global step=46491648, episodic return=2070.04638671875\n", + "global step=46493696, episodic return=2119.11572265625\n", + "global step=46493696, episodic return=2115.347412109375\n", + "global step=46493696, episodic return=2107.110107421875\n", + "global step=46493696, episodic return=414.78875732421875\n", + "global step=46493696, episodic return=2160.171630859375\n", + "global step=46495744, episodic return=2137.27294921875\n", + "global step=46495744, episodic return=2169.629150390625\n", + "global step=46495744, episodic return=2123.843017578125\n", + "global step=46495744, episodic return=2092.1533203125\n", + "global step=46497792, episodic return=2135.22216796875\n", + "global step=46497792, episodic return=2134.1982421875\n", + "global step=46499840, episodic return=1263.3006591796875\n", + "global step=46499840, episodic return=2125.906005859375\n", + "global step=46499840, episodic return=2146.659912109375\n", + "global step=46499840, episodic return=2144.125244140625\n", + "global step=46501888, episodic return=2137.91552734375\n", + "global step=46501888, episodic return=2063.510498046875\n", + "global step=46503936, episodic return=1926.3349609375\n", + "global step=46503936, episodic return=2158.061767578125\n", + "global step=46503936, episodic return=2140.16455078125\n", + "global step=46503936, episodic return=2080.517578125\n", + "global step=46503936, episodic return=2123.53857421875\n", + "global step=46505984, episodic return=2133.62353515625\n", + "global step=46505984, episodic return=2148.5478515625\n", + "global step=46505984, episodic return=2164.003173828125\n", + "global step=46508032, episodic return=2074.489990234375\n", + "global step=46510080, episodic return=1646.3521728515625\n", + "global step=46512128, episodic return=2103.91796875\n", + "global step=46512128, episodic return=383.9581298828125\n", + "global step=46512128, episodic return=2107.12744140625\n", + "global step=46512128, episodic return=2107.615478515625\n", + "global step=46514176, episodic return=2182.61865234375\n", + "global step=46514176, episodic return=2094.86181640625\n", + "global step=46514176, episodic return=2087.49072265625\n", + "global step=46516224, episodic return=2127.00048828125\n", + "global step=46516224, episodic return=2149.493896484375\n", + "global step=46516224, episodic return=2148.404541015625\n", + "global step=46516224, episodic return=2121.894775390625\n", + "global step=46516224, episodic return=2101.7021484375\n", + "global step=46516224, episodic return=2150.8330078125\n", + "global step=46516224, episodic return=2093.629150390625\n", + "global step=46518272, episodic return=1948.995849609375\n", + "global step=46518272, episodic return=2104.567626953125\n", + "global step=46518272, episodic return=2165.300537109375\n", + "global step=46520320, episodic return=2115.47900390625\n", + "global step=46520320, episodic return=2123.859130859375\n", + "global step=46522368, episodic return=2136.065673828125\n", + "global step=46522368, episodic return=2143.580078125\n", + "global step=46522368, episodic return=2127.855224609375\n", + "global step=46522368, episodic return=2148.108154296875\n", + "global step=46522368, episodic return=2098.284423828125\n", + "global step=46524416, episodic return=2176.055419921875\n", + "global step=46524416, episodic return=2126.259521484375\n", + "global step=46526464, episodic return=2159.93994140625\n", + "global step=46526464, episodic return=2130.524169921875\n", + "global step=46528512, episodic return=2139.9794921875\n", + "global step=46528512, episodic return=2109.892822265625\n", + "global step=46528512, episodic return=2121.747314453125\n", + "global step=46528512, episodic return=2126.958251953125\n", + "global step=46530560, episodic return=2121.665771484375\n", + "global step=46530560, episodic return=2109.380859375\n", + "global step=46530560, episodic return=2125.412841796875\n", + "global step=46532608, episodic return=2148.141845703125\n", + "global step=46532608, episodic return=2103.654541015625\n", + "global step=46532608, episodic return=2105.033203125\n", + "global step=46534656, episodic return=2085.02490234375\n", + "global step=46534656, episodic return=2062.970458984375\n", + "global step=46534656, episodic return=2139.3935546875\n", + "global step=46536704, episodic return=2144.031982421875\n", + "global step=46536704, episodic return=2140.877197265625\n", + "global step=46536704, episodic return=2140.868896484375\n", + "global step=46536704, episodic return=2110.399169921875\n", + "global step=46536704, episodic return=2109.89404296875\n", + "global step=46536704, episodic return=2133.035888671875\n", + "global step=46536704, episodic return=2093.61669921875\n", + "global step=46536704, episodic return=2112.782958984375\n", + "global step=46538752, episodic return=1310.1966552734375\n", + "global step=46538752, episodic return=2123.733154296875\n", + "global step=46540800, episodic return=2156.848876953125\n", + "global step=46540800, episodic return=2047.437255859375\n", + "global step=46540800, episodic return=2112.720703125\n", + "global step=46542848, episodic return=2127.196533203125\n", + "global step=46542848, episodic return=2123.824951171875\n", + "global step=46542848, episodic return=2098.648193359375\n", + "global step=46542848, episodic return=2159.095458984375\n", + "global step=46542848, episodic return=2133.325439453125\n", + "global step=46542848, episodic return=234.02503967285156\n", + "global step=46544896, episodic return=201.91749572753906\n", + "global step=46544896, episodic return=2098.5966796875\n", + "global step=46544896, episodic return=2142.23583984375\n", + "global step=46546944, episodic return=2133.624755859375\n", + "global step=46546944, episodic return=2128.71142578125\n", + "global step=46546944, episodic return=2131.85009765625\n", + "global step=46548992, episodic return=2081.594482421875\n", + "global step=46548992, episodic return=2146.26708984375\n", + "global step=46551040, episodic return=2112.383544921875\n", + "global step=46551040, episodic return=2163.025146484375\n", + "global step=46553088, episodic return=2098.400390625\n", + "global step=46553088, episodic return=2106.735595703125\n", + "global step=46555136, episodic return=2125.6572265625\n", + "global step=46555136, episodic return=2159.022705078125\n", + "global step=46555136, episodic return=2134.04150390625\n", + "global step=46555136, episodic return=2126.26025390625\n", + "global step=46555136, episodic return=2132.65625\n", + "global step=46555136, episodic return=2152.607177734375\n", + "global step=46557184, episodic return=2139.599853515625\n", + "global step=46557184, episodic return=1376.821044921875\n", + "global step=46557184, episodic return=2116.58544921875\n", + "global step=46559232, episodic return=2136.093505859375\n", + "global step=46559232, episodic return=2087.40625\n", + "global step=46559232, episodic return=275.86578369140625\n", + "global step=46559232, episodic return=2120.455322265625\n", + "global step=46559232, episodic return=2132.010009765625\n", + "global step=46559232, episodic return=2149.306640625\n", + "global step=46561280, episodic return=2117.411376953125\n", + "global step=46561280, episodic return=126.48291778564453\n", + "global step=46561280, episodic return=2111.95947265625\n", + "global step=46563328, episodic return=2131.980224609375\n", + "global step=46563328, episodic return=2104.139404296875\n", + "global step=46563328, episodic return=2116.328369140625\n", + "global step=46565376, episodic return=164.67750549316406\n", + "global step=46565376, episodic return=2113.238037109375\n", + "global step=46567424, episodic return=2127.9873046875\n", + "global step=46567424, episodic return=2136.754150390625\n", + "global step=46567424, episodic return=382.55224609375\n", + "global step=46567424, episodic return=2093.488525390625\n", + "global step=46567424, episodic return=2117.65283203125\n", + "global step=46569472, episodic return=2110.297119140625\n", + "global step=46569472, episodic return=2169.746826171875\n", + "global step=46569472, episodic return=86.54529571533203\n", + "global step=46571520, episodic return=2071.06201171875\n", + "global step=46571520, episodic return=2111.493408203125\n", + "global step=46571520, episodic return=2138.397705078125\n", + "global step=46573568, episodic return=2140.640380859375\n", + "global step=46575616, episodic return=2132.6513671875\n", + "global step=46575616, episodic return=2137.968994140625\n", + "global step=46577664, episodic return=2134.206787109375\n", + "global step=46577664, episodic return=2096.4794921875\n", + "global step=46577664, episodic return=2151.873779296875\n", + "global step=46577664, episodic return=2151.2939453125\n", + "global step=46577664, episodic return=2106.8671875\n", + "global step=46579712, episodic return=2128.61083984375\n", + "global step=46579712, episodic return=2130.505126953125\n", + "global step=46579712, episodic return=2110.01904296875\n", + "global step=46579712, episodic return=2144.3720703125\n", + "global step=46579712, episodic return=2137.560546875\n", + "global step=46581760, episodic return=2108.4951171875\n", + "global step=46581760, episodic return=2133.478271484375\n", + "global step=46581760, episodic return=2107.5615234375\n", + "global step=46581760, episodic return=2081.6611328125\n", + "global step=46583808, episodic return=2121.202392578125\n", + "global step=46583808, episodic return=1731.166748046875\n", + "global step=46583808, episodic return=2129.189453125\n", + "global step=46583808, episodic return=2082.6337890625\n", + "global step=46585856, episodic return=2128.5849609375\n", + "global step=46585856, episodic return=2100.325927734375\n", + "global step=46585856, episodic return=2104.934814453125\n", + "global step=46585856, episodic return=2093.01806640625\n", + "global step=46585856, episodic return=2107.7607421875\n", + "global step=46587904, episodic return=2146.332763671875\n", + "global step=46589952, episodic return=2130.72314453125\n", + "global step=46589952, episodic return=2131.67626953125\n", + "global step=46589952, episodic return=2134.799072265625\n", + "global step=46589952, episodic return=2128.150634765625\n", + "global step=46589952, episodic return=2154.671875\n", + "global step=46589952, episodic return=2115.104736328125\n", + "global step=46589952, episodic return=2134.126953125\n", + "global step=46592000, episodic return=2111.604248046875\n", + "global step=46592000, episodic return=2155.624267578125\n", + "global step=46592000, episodic return=2095.89404296875\n", + "global step=46592000, episodic return=2120.42431640625\n", + "global step=46594048, episodic return=2144.257080078125\n", + "global step=46594048, episodic return=2125.746337890625\n", + "global step=46594048, episodic return=1484.90234375\n", + "global step=46594048, episodic return=2145.093994140625\n", + "global step=46594048, episodic return=2179.408203125\n", + "global step=46594048, episodic return=2135.88623046875\n", + "global step=46596096, episodic return=2135.4599609375\n", + "global step=46596096, episodic return=2127.385986328125\n", + "global step=46596096, episodic return=2131.257080078125\n", + "global step=46596096, episodic return=2149.215576171875\n", + "global step=46598144, episodic return=2076.507568359375\n", + "global step=46598144, episodic return=2132.213623046875\n", + "global step=46598144, episodic return=2147.45458984375\n", + "global step=46600192, episodic return=2121.416748046875\n", + "global step=46600192, episodic return=2149.66357421875\n", + "global step=46600192, episodic return=2093.330810546875\n", + "global step=46602240, episodic return=2112.604736328125\n", + "global step=46602240, episodic return=2167.860107421875\n", + "global step=46602240, episodic return=2134.4052734375\n", + "global step=46604288, episodic return=2133.481689453125\n", + "global step=46604288, episodic return=2164.54345703125\n", + "global step=46604288, episodic return=2135.991943359375\n", + "global step=46606336, episodic return=2171.3486328125\n", + "global step=46606336, episodic return=377.7239990234375\n", + "global step=46606336, episodic return=1657.576171875\n", + "global step=46606336, episodic return=1924.9639892578125\n", + "global step=46608384, episodic return=2148.13720703125\n", + "global step=46610432, episodic return=2106.1435546875\n", + "global step=46612480, episodic return=2113.052001953125\n", + "global step=46612480, episodic return=2086.833251953125\n", + "global step=46612480, episodic return=2117.119384765625\n", + "global step=46614528, episodic return=2157.20703125\n", + "global step=46614528, episodic return=2108.244873046875\n", + "global step=46616576, episodic return=2196.29638671875\n", + "global step=46616576, episodic return=2103.531494140625\n", + "global step=46616576, episodic return=2166.933349609375\n", + "global step=46616576, episodic return=2124.785400390625\n", + "global step=46616576, episodic return=2150.444091796875\n", + "global step=46616576, episodic return=2115.675537109375\n", + "global step=46620672, episodic return=2136.631591796875\n", + "global step=46620672, episodic return=2162.969482421875\n", + "global step=46620672, episodic return=2114.496826171875\n", + "global step=46620672, episodic return=2076.720947265625\n", + "global step=46620672, episodic return=2139.0205078125\n", + "global step=46620672, episodic return=2191.54541015625\n", + "global step=46620672, episodic return=2100.38134765625\n", + "global step=46622720, episodic return=2105.73779296875\n", + "global step=46622720, episodic return=2088.34033203125\n", + "global step=46622720, episodic return=2138.619384765625\n", + "global step=46626816, episodic return=2126.37548828125\n", + "global step=46626816, episodic return=2110.215087890625\n", + "global step=46626816, episodic return=2095.17333984375\n", + "global step=46626816, episodic return=2143.053955078125\n", + "global step=46626816, episodic return=2125.146484375\n", + "global step=46626816, episodic return=2106.277587890625\n", + "global step=46626816, episodic return=2141.370361328125\n", + "global step=46628864, episodic return=2117.375732421875\n", + "global step=46628864, episodic return=2117.033203125\n", + "global step=46628864, episodic return=2117.43212890625\n", + "global step=46628864, episodic return=2150.048095703125\n", + "global step=46630912, episodic return=2137.27294921875\n", + "global step=46630912, episodic return=2138.482177734375\n", + "global step=46630912, episodic return=2136.673583984375\n", + "global step=46632960, episodic return=2132.15869140625\n", + "global step=46635008, episodic return=2088.20849609375\n", + "global step=46635008, episodic return=2142.48681640625\n", + "global step=46637056, episodic return=2125.69189453125\n", + "global step=46637056, episodic return=2110.511962890625\n", + "global step=46639104, episodic return=2088.23095703125\n", + "global step=46639104, episodic return=2178.70947265625\n", + "global step=46639104, episodic return=2130.14990234375\n", + "global step=46639104, episodic return=42.82496643066406\n", + "global step=46641152, episodic return=2126.942138671875\n", + "global step=46641152, episodic return=2086.2568359375\n", + "global step=46641152, episodic return=2133.895751953125\n", + "global step=46641152, episodic return=2143.67724609375\n", + "global step=46643200, episodic return=2114.716796875\n", + "global step=46643200, episodic return=2124.98388671875\n", + "global step=46643200, episodic return=2140.894287109375\n", + "global step=46645248, episodic return=2142.237548828125\n", + "global step=46645248, episodic return=1213.5255126953125\n", + "global step=46647296, episodic return=2107.516845703125\n", + "global step=46647296, episodic return=2128.987060546875\n", + "global step=46647296, episodic return=2163.094482421875\n", + "global step=46649344, episodic return=2091.6982421875\n", + "global step=46649344, episodic return=1661.62939453125\n", + "global step=46651392, episodic return=1809.6375732421875\n", + "global step=46651392, episodic return=2130.31494140625\n", + "global step=46651392, episodic return=1817.173095703125\n", + "global step=46651392, episodic return=2149.3798828125\n", + "global step=46651392, episodic return=2131.39306640625\n", + "global step=46653440, episodic return=1907.831298828125\n", + "global step=46653440, episodic return=2116.79736328125\n", + "global step=46653440, episodic return=2122.494140625\n", + "global step=46655488, episodic return=2131.1767578125\n", + "global step=46655488, episodic return=2141.614990234375\n", + "global step=46655488, episodic return=2142.10107421875\n", + "global step=46655488, episodic return=1876.5272216796875\n", + "global step=46657536, episodic return=2122.3193359375\n", + "global step=46657536, episodic return=2124.1103515625\n", + "global step=46657536, episodic return=1681.1180419921875\n", + "global step=46657536, episodic return=2102.890625\n", + "global step=46657536, episodic return=2146.684326171875\n", + "global step=46659584, episodic return=1912.0155029296875\n", + "global step=46659584, episodic return=2133.72607421875\n", + "global step=46659584, episodic return=2136.9697265625\n", + "global step=46661632, episodic return=2110.354248046875\n", + "global step=46661632, episodic return=2169.585205078125\n", + "global step=46661632, episodic return=2096.038818359375\n", + "global step=46663680, episodic return=1751.530517578125\n", + "global step=46663680, episodic return=2170.34228515625\n", + "global step=46663680, episodic return=2151.091064453125\n", + "global step=46663680, episodic return=2145.164306640625\n", + "global step=46663680, episodic return=2095.046630859375\n", + "global step=46663680, episodic return=2140.0546875\n", + "global step=46663680, episodic return=2142.625244140625\n", + "global step=46663680, episodic return=2125.51953125\n", + "global step=46665728, episodic return=2131.230712890625\n", + "global step=46665728, episodic return=1987.2666015625\n", + "global step=46665728, episodic return=2156.448486328125\n", + "global step=46665728, episodic return=2152.308837890625\n", + "global step=46665728, episodic return=309.5699157714844\n", + "global step=46665728, episodic return=2156.250244140625\n", + "global step=46665728, episodic return=2166.375\n", + "global step=46667776, episodic return=2131.69189453125\n", + "global step=46667776, episodic return=2131.07958984375\n", + "global step=46669824, episodic return=2151.7333984375\n", + "global step=46669824, episodic return=2159.09912109375\n", + "global step=46669824, episodic return=2095.248779296875\n", + "global step=46671872, episodic return=249.25613403320312\n", + "global step=46671872, episodic return=1404.8780517578125\n", + "global step=46671872, episodic return=2120.08935546875\n", + "global step=46671872, episodic return=2150.158935546875\n", + "global step=46673920, episodic return=2148.82568359375\n", + "global step=46673920, episodic return=2143.63916015625\n", + "global step=46673920, episodic return=2146.787109375\n", + "global step=46675968, episodic return=2136.29052734375\n", + "global step=46675968, episodic return=2121.591552734375\n", + "global step=46675968, episodic return=2155.665283203125\n", + "global step=46675968, episodic return=2116.937255859375\n", + "global step=46675968, episodic return=2126.843505859375\n", + "global step=46678016, episodic return=2123.422607421875\n", + "global step=46678016, episodic return=2100.5205078125\n", + "global step=46678016, episodic return=1595.7672119140625\n", + "global step=46680064, episodic return=1583.0595703125\n", + "global step=46682112, episodic return=2157.7451171875\n", + "global step=46682112, episodic return=2143.49609375\n", + "global step=46682112, episodic return=2157.241943359375\n", + "global step=46684160, episodic return=2136.611572265625\n", + "global step=46684160, episodic return=2124.80078125\n", + "global step=46686208, episodic return=2182.731689453125\n", + "global step=46686208, episodic return=2165.28466796875\n", + "global step=46686208, episodic return=2147.792236328125\n", + "global step=46686208, episodic return=2162.9384765625\n", + "global step=46686208, episodic return=2157.66015625\n", + "global step=46690304, episodic return=2153.20361328125\n", + "global step=46690304, episodic return=2145.304931640625\n", + "global step=46692352, episodic return=2137.759765625\n", + "global step=46692352, episodic return=2135.917724609375\n", + "global step=46692352, episodic return=2089.668212890625\n", + "global step=46692352, episodic return=2145.45263671875\n", + "global step=46692352, episodic return=2131.329345703125\n", + "global step=46694400, episodic return=2136.698974609375\n", + "global step=46694400, episodic return=2163.6328125\n", + "global step=46696448, episodic return=2128.254638671875\n", + "global step=46696448, episodic return=1726.1094970703125\n", + "global step=46696448, episodic return=2153.887451171875\n", + "global step=46696448, episodic return=2122.872314453125\n", + "global step=46698496, episodic return=2157.330322265625\n", + "global step=46698496, episodic return=2138.38671875\n", + "global step=46698496, episodic return=2124.025390625\n", + "global step=46698496, episodic return=2154.188232421875\n", + "global step=46698496, episodic return=78.8909683227539\n", + "global step=46700544, episodic return=2143.232666015625\n", + "global step=46700544, episodic return=1377.11328125\n", + "global step=46702592, episodic return=2144.42236328125\n", + "global step=46702592, episodic return=2116.951171875\n", + "global step=46702592, episodic return=2152.039794921875\n", + "global step=46702592, episodic return=2155.788330078125\n", + "global step=46702592, episodic return=1859.917724609375\n", + "global step=46702592, episodic return=2162.739990234375\n", + "global step=46704640, episodic return=2101.356201171875\n", + "global step=46704640, episodic return=2145.276123046875\n", + "global step=46704640, episodic return=2145.582763671875\n", + "global step=46704640, episodic return=2176.2529296875\n", + "global step=46706688, episodic return=2175.380859375\n", + "global step=46706688, episodic return=2129.47607421875\n", + "global step=46706688, episodic return=2176.630859375\n", + "global step=46706688, episodic return=2161.322021484375\n", + "global step=46706688, episodic return=2162.897705078125\n", + "global step=46708736, episodic return=2115.939453125\n", + "global step=46710784, episodic return=2162.306396484375\n", + "global step=46710784, episodic return=2151.015380859375\n", + "global step=46712832, episodic return=2161.171142578125\n", + "global step=46712832, episodic return=2148.53857421875\n", + "global step=46712832, episodic return=2105.912353515625\n", + "global step=46714880, episodic return=2144.84326171875\n", + "global step=46714880, episodic return=2142.28857421875\n", + "global step=46714880, episodic return=2120.500244140625\n", + "global step=46716928, episodic return=2147.894775390625\n", + "global step=46716928, episodic return=2133.1240234375\n", + "global step=46716928, episodic return=2139.019775390625\n", + "global step=46718976, episodic return=2118.247314453125\n", + "global step=46718976, episodic return=2159.691162109375\n", + "global step=46721024, episodic return=2153.837158203125\n", + "global step=46721024, episodic return=2151.159423828125\n", + "global step=46721024, episodic return=2149.221435546875\n", + "global step=46721024, episodic return=265.8856201171875\n", + "global step=46721024, episodic return=2126.8349609375\n", + "global step=46723072, episodic return=2165.62109375\n", + "global step=46725120, episodic return=2138.75048828125\n", + "global step=46725120, episodic return=2158.759033203125\n", + "global step=46725120, episodic return=2148.283935546875\n", + "global step=46725120, episodic return=1591.7093505859375\n", + "global step=46725120, episodic return=2178.5966796875\n", + "global step=46725120, episodic return=2143.5419921875\n", + "global step=46725120, episodic return=2070.981689453125\n", + "global step=46727168, episodic return=2152.403076171875\n", + "global step=46727168, episodic return=1888.9154052734375\n", + "global step=46727168, episodic return=2174.1533203125\n", + "global step=46727168, episodic return=2100.381591796875\n", + "global step=46729216, episodic return=2150.289794921875\n", + "global step=46729216, episodic return=2169.809814453125\n", + "global step=46729216, episodic return=2122.905029296875\n", + "global step=46729216, episodic return=2159.224365234375\n", + "global step=46731264, episodic return=1927.257568359375\n", + "global step=46731264, episodic return=1773.6270751953125\n", + "global step=46733312, episodic return=2123.644287109375\n", + "global step=46733312, episodic return=2141.540771484375\n", + "global step=46733312, episodic return=2145.7802734375\n", + "global step=46735360, episodic return=2079.134765625\n", + "global step=46735360, episodic return=2155.05419921875\n", + "global step=46735360, episodic return=2159.627685546875\n", + "global step=46735360, episodic return=2118.57568359375\n", + "global step=46735360, episodic return=2132.498046875\n", + "global step=46735360, episodic return=2170.225341796875\n", + "global step=46737408, episodic return=2150.1201171875\n", + "global step=46739456, episodic return=2167.2001953125\n", + "global step=46739456, episodic return=453.8707580566406\n", + "global step=46739456, episodic return=2183.345703125\n", + "global step=46741504, episodic return=1474.4498291015625\n", + "global step=46741504, episodic return=2131.4306640625\n", + "global step=46741504, episodic return=2119.70458984375\n", + "global step=46741504, episodic return=2126.433349609375\n", + "global step=46743552, episodic return=2141.72021484375\n", + "global step=46743552, episodic return=1838.4901123046875\n", + "global step=46743552, episodic return=2206.69287109375\n", + "global step=46743552, episodic return=983.5745849609375\n", + "global step=46743552, episodic return=2194.9482421875\n", + "global step=46743552, episodic return=2146.829833984375\n", + "global step=46745600, episodic return=2153.12158203125\n", + "global step=46747648, episodic return=1236.0968017578125\n", + "global step=46747648, episodic return=2157.25341796875\n", + "global step=46747648, episodic return=2130.567626953125\n", + "global step=46747648, episodic return=2116.63623046875\n", + "global step=46749696, episodic return=2110.34423828125\n", + "global step=46749696, episodic return=2108.002685546875\n", + "global step=46749696, episodic return=2166.714599609375\n", + "global step=46749696, episodic return=593.4360961914062\n", + "global step=46751744, episodic return=1633.180419921875\n", + "global step=46751744, episodic return=2162.56982421875\n", + "global step=46751744, episodic return=2161.91845703125\n", + "global step=46753792, episodic return=1729.2493896484375\n", + "global step=46753792, episodic return=2126.71435546875\n", + "global step=46753792, episodic return=2139.72509765625\n", + "global step=46753792, episodic return=2113.897216796875\n", + "global step=46753792, episodic return=1500.3692626953125\n", + "global step=46755840, episodic return=2033.697265625\n", + "global step=46755840, episodic return=2116.2763671875\n", + "global step=46755840, episodic return=1316.6416015625\n", + "global step=46757888, episodic return=2180.041015625\n", + "global step=46757888, episodic return=2134.24169921875\n", + "global step=46757888, episodic return=338.443115234375\n", + "global step=46757888, episodic return=1898.377197265625\n", + "global step=46757888, episodic return=2131.738525390625\n", + "global step=46759936, episodic return=1910.4088134765625\n", + "global step=46759936, episodic return=2146.734375\n", + "global step=46759936, episodic return=2192.470947265625\n", + "global step=46759936, episodic return=2155.070556640625\n", + "global step=46761984, episodic return=2160.66748046875\n", + "global step=46761984, episodic return=2111.156494140625\n", + "global step=46761984, episodic return=2158.548828125\n", + "global step=46761984, episodic return=2140.28857421875\n", + "global step=46761984, episodic return=2153.68212890625\n", + "global step=46761984, episodic return=2080.812744140625\n", + "global step=46761984, episodic return=512.9317626953125\n", + "global step=46764032, episodic return=2184.8779296875\n", + "global step=46764032, episodic return=2074.191650390625\n", + "global step=46764032, episodic return=2160.11474609375\n", + "global step=46766080, episodic return=1877.154541015625\n", + "global step=46766080, episodic return=2142.774658203125\n", + "global step=46766080, episodic return=2155.408935546875\n", + "global step=46766080, episodic return=2129.948486328125\n", + "global step=46768128, episodic return=2168.953857421875\n", + "global step=46768128, episodic return=2157.0966796875\n", + "global step=46770176, episodic return=2176.9619140625\n", + "global step=46770176, episodic return=2128.7666015625\n", + "global step=46772224, episodic return=2136.463623046875\n", + "global step=46772224, episodic return=2161.5693359375\n", + "global step=46772224, episodic return=2109.190673828125\n", + "global step=46774272, episodic return=1126.648193359375\n", + "global step=46774272, episodic return=2120.67529296875\n", + "global step=46774272, episodic return=2166.499755859375\n", + "global step=46774272, episodic return=2147.955078125\n", + "global step=46776320, episodic return=1728.6190185546875\n", + "global step=46776320, episodic return=2191.671875\n", + "global step=46776320, episodic return=2143.498779296875\n", + "global step=46778368, episodic return=2161.72705078125\n", + "global step=46778368, episodic return=1706.0447998046875\n", + "global step=46780416, episodic return=2132.87841796875\n", + "global step=46782464, episodic return=2152.776611328125\n", + "global step=46782464, episodic return=2167.885986328125\n", + "global step=46784512, episodic return=2163.296630859375\n", + "global step=46784512, episodic return=2160.299072265625\n", + "global step=46786560, episodic return=2120.078857421875\n", + "global step=46786560, episodic return=2161.998291015625\n", + "global step=46786560, episodic return=2153.627197265625\n", + "global step=46788608, episodic return=1964.4078369140625\n", + "global step=46788608, episodic return=2165.421142578125\n", + "global step=46788608, episodic return=2149.778564453125\n", + "global step=46788608, episodic return=2089.887939453125\n", + "global step=46788608, episodic return=2213.786865234375\n", + "global step=46790656, episodic return=2185.551025390625\n", + "global step=46790656, episodic return=2120.17138671875\n", + "global step=46790656, episodic return=2116.228515625\n", + "global step=46790656, episodic return=2128.70849609375\n", + "global step=46790656, episodic return=2153.07470703125\n", + "global step=46790656, episodic return=2152.6904296875\n", + "global step=46792704, episodic return=2144.914306640625\n", + "global step=46794752, episodic return=2117.49560546875\n", + "global step=46794752, episodic return=2131.606689453125\n", + "global step=46794752, episodic return=2134.0849609375\n", + "global step=46794752, episodic return=2184.727294921875\n", + "global step=46796800, episodic return=2123.444580078125\n", + "global step=46796800, episodic return=2160.62841796875\n", + "global step=46798848, episodic return=2155.4619140625\n", + "global step=46798848, episodic return=2176.5341796875\n", + "global step=46800896, episodic return=2160.03076171875\n", + "global step=46802944, episodic return=2104.259033203125\n", + "global step=46802944, episodic return=2148.17529296875\n", + "global step=46802944, episodic return=445.6294250488281\n", + "global step=46802944, episodic return=2174.066162109375\n", + "global step=46802944, episodic return=2184.837890625\n", + "global step=46802944, episodic return=2145.455322265625\n", + "global step=46804992, episodic return=2181.947265625\n", + "global step=46804992, episodic return=1429.4798583984375\n", + "global step=46804992, episodic return=2007.8885498046875\n", + "global step=46807040, episodic return=2183.313232421875\n", + "global step=46807040, episodic return=2175.153076171875\n", + "global step=46807040, episodic return=2135.1611328125\n", + "global step=46807040, episodic return=2137.635498046875\n", + "global step=46807040, episodic return=826.7808227539062\n", + "global step=46807040, episodic return=1899.967041015625\n", + "global step=46807040, episodic return=2173.78759765625\n", + "global step=46807040, episodic return=2166.4599609375\n", + "global step=46809088, episodic return=60.24578094482422\n", + "global step=46813184, episodic return=2058.267822265625\n", + "global step=46813184, episodic return=2144.5908203125\n", + "global step=46815232, episodic return=1764.5428466796875\n", + "global step=46815232, episodic return=1957.6163330078125\n", + "global step=46815232, episodic return=2172.03466796875\n", + "global step=46815232, episodic return=2191.940185546875\n", + "global step=46817280, episodic return=2187.307373046875\n", + "global step=46817280, episodic return=1905.5286865234375\n", + "global step=46817280, episodic return=1964.975830078125\n", + "global step=46819328, episodic return=2133.7822265625\n", + "global step=46819328, episodic return=2176.11083984375\n", + "global step=46819328, episodic return=1470.810546875\n", + "global step=46821376, episodic return=2149.876953125\n", + "global step=46821376, episodic return=2117.5576171875\n", + "global step=46821376, episodic return=2197.558837890625\n", + "global step=46823424, episodic return=190.45237731933594\n", + "global step=46823424, episodic return=2155.29931640625\n", + "global step=46823424, episodic return=843.2339477539062\n", + "global step=46823424, episodic return=2136.914306640625\n", + "global step=46823424, episodic return=2136.167236328125\n", + "global step=46823424, episodic return=1637.8507080078125\n", + "global step=46823424, episodic return=2095.90966796875\n", + "global step=46825472, episodic return=2166.1396484375\n", + "global step=46825472, episodic return=2133.461669921875\n", + "global step=46825472, episodic return=2158.603271484375\n", + "global step=46825472, episodic return=2197.91845703125\n", + "global step=46825472, episodic return=643.1439819335938\n", + "global step=46825472, episodic return=2080.893310546875\n", + "global step=46825472, episodic return=2123.4521484375\n", + "global step=46827520, episodic return=2123.057861328125\n", + "global step=46827520, episodic return=2132.466552734375\n", + "global step=46827520, episodic return=2049.66357421875\n", + "global step=46829568, episodic return=1907.8062744140625\n", + "global step=46829568, episodic return=2141.817138671875\n", + "global step=46829568, episodic return=2159.412109375\n", + "global step=46831616, episodic return=2170.247802734375\n", + "global step=46831616, episodic return=148.73106384277344\n", + "global step=46833664, episodic return=2140.214599609375\n", + "global step=46833664, episodic return=2099.063720703125\n", + "global step=46833664, episodic return=2083.194580078125\n", + "global step=46833664, episodic return=2131.546875\n", + "global step=46833664, episodic return=2122.653564453125\n", + "global step=46833664, episodic return=2118.541748046875\n", + "global step=46835712, episodic return=2125.71044921875\n", + "global step=46835712, episodic return=2151.08642578125\n", + "global step=46835712, episodic return=2144.076171875\n", + "global step=46835712, episodic return=2101.95458984375\n", + "global step=46837760, episodic return=2127.929931640625\n", + "global step=46837760, episodic return=2168.03759765625\n", + "global step=46837760, episodic return=2127.278076171875\n", + "global step=46837760, episodic return=2141.866943359375\n", + "global step=46837760, episodic return=1630.0067138671875\n", + "global step=46837760, episodic return=2125.501220703125\n", + "global step=46839808, episodic return=2106.456787109375\n", + "global step=46839808, episodic return=2122.855712890625\n", + "global step=46839808, episodic return=2149.120361328125\n", + "global step=46839808, episodic return=2157.591796875\n", + "global step=46839808, episodic return=143.00503540039062\n", + "global step=46841856, episodic return=2202.225830078125\n", + "global step=46841856, episodic return=2204.985595703125\n", + "global step=46841856, episodic return=2125.066162109375\n", + "global step=46841856, episodic return=2194.572998046875\n", + "global step=46841856, episodic return=791.35009765625\n", + "global step=46843904, episodic return=2129.940673828125\n", + "global step=46843904, episodic return=2165.91552734375\n", + "global step=46843904, episodic return=2090.15380859375\n", + "global step=46845952, episodic return=2142.37841796875\n", + "global step=46845952, episodic return=142.40025329589844\n", + "global step=46848000, episodic return=2155.5888671875\n", + "global step=46850048, episodic return=819.5405883789062\n", + "global step=46850048, episodic return=2177.98388671875\n", + "global step=46850048, episodic return=2131.355224609375\n", + "global step=46850048, episodic return=2122.914794921875\n", + "global step=46852096, episodic return=743.2392578125\n", + "global step=46852096, episodic return=2183.48486328125\n", + "global step=46852096, episodic return=2182.06689453125\n", + "global step=46852096, episodic return=2167.3544921875\n", + "global step=46852096, episodic return=2117.6767578125\n", + "global step=46856192, episodic return=2109.999755859375\n", + "global step=46858240, episodic return=2131.469970703125\n", + "global step=46858240, episodic return=2145.370361328125\n", + "global step=46860288, episodic return=211.8106689453125\n", + "global step=46860288, episodic return=2132.498046875\n", + "global step=46860288, episodic return=2144.36181640625\n", + "global step=46860288, episodic return=214.2704620361328\n", + "global step=46860288, episodic return=2190.371337890625\n", + "global step=46862336, episodic return=2158.836669921875\n", + "global step=46862336, episodic return=2130.888916015625\n", + "global step=46862336, episodic return=2132.0380859375\n", + "global step=46864384, episodic return=2183.807373046875\n", + "global step=46864384, episodic return=2172.93603515625\n", + "global step=46864384, episodic return=2159.96630859375\n", + "global step=46864384, episodic return=1419.3857421875\n", + "global step=46866432, episodic return=667.0103759765625\n", + "global step=46866432, episodic return=2158.53759765625\n", + "global step=46866432, episodic return=491.2432861328125\n", + "global step=46866432, episodic return=2134.192138671875\n", + "global step=46866432, episodic return=2127.7353515625\n", + "global step=46866432, episodic return=2166.142333984375\n", + "global step=46868480, episodic return=2164.702392578125\n", + "global step=46868480, episodic return=2159.08154296875\n", + "global step=46868480, episodic return=2166.3193359375\n", + "global step=46868480, episodic return=2146.09912109375\n", + "global step=46868480, episodic return=2194.72705078125\n", + "global step=46870528, episodic return=2184.24462890625\n", + "global step=46870528, episodic return=1778.1298828125\n", + "global step=46870528, episodic return=2166.6201171875\n", + "global step=46870528, episodic return=2146.082763671875\n", + "global step=46870528, episodic return=2183.49267578125\n", + "global step=46872576, episodic return=2162.76611328125\n", + "global step=46874624, episodic return=2165.317138671875\n", + "global step=46874624, episodic return=2148.177978515625\n", + "global step=46874624, episodic return=2095.260498046875\n", + "global step=46874624, episodic return=2173.784912109375\n", + "global step=46876672, episodic return=2124.5849609375\n", + "global step=46876672, episodic return=2175.134765625\n", + "global step=46878720, episodic return=838.0738525390625\n", + "global step=46878720, episodic return=2095.04052734375\n", + "global step=46878720, episodic return=2215.454345703125\n", + "global step=46878720, episodic return=2177.697998046875\n", + "global step=46878720, episodic return=1333.0570068359375\n", + "global step=46880768, episodic return=2115.50830078125\n", + "global step=46880768, episodic return=2171.229736328125\n", + "global step=46880768, episodic return=2167.9609375\n", + "global step=46880768, episodic return=2116.44189453125\n", + "global step=46882816, episodic return=2178.680419921875\n", + "global step=46882816, episodic return=2169.183837890625\n", + "global step=46882816, episodic return=2103.9423828125\n", + "global step=46882816, episodic return=2163.072021484375\n", + "global step=46884864, episodic return=2167.143798828125\n", + "global step=46884864, episodic return=2173.404296875\n", + "global step=46886912, episodic return=2178.830810546875\n", + "global step=46886912, episodic return=1897.0863037109375\n", + "global step=46886912, episodic return=2138.701416015625\n", + "global step=46886912, episodic return=2110.638671875\n", + "global step=46888960, episodic return=2138.86474609375\n", + "global step=46888960, episodic return=2094.173095703125\n", + "global step=46888960, episodic return=241.1263885498047\n", + "global step=46888960, episodic return=2198.555908203125\n", + "global step=46888960, episodic return=2164.94140625\n", + "global step=46891008, episodic return=2171.064697265625\n", + "global step=46891008, episodic return=2187.95458984375\n", + "global step=46891008, episodic return=2145.746826171875\n", + "global step=46893056, episodic return=2140.962646484375\n", + "global step=46893056, episodic return=2168.991455078125\n", + "global step=46893056, episodic return=2079.85498046875\n", + "global step=46893056, episodic return=2142.76220703125\n", + "global step=46893056, episodic return=2169.343994140625\n", + "global step=46897152, episodic return=2195.6552734375\n", + "global step=46899200, episodic return=2127.86376953125\n", + "global step=46899200, episodic return=2123.63037109375\n", + "global step=46899200, episodic return=2166.406982421875\n", + "global step=46899200, episodic return=2125.052001953125\n", + "global step=46899200, episodic return=2148.462158203125\n", + "global step=46899200, episodic return=2158.20361328125\n", + "global step=46901248, episodic return=2104.15234375\n", + "global step=46901248, episodic return=2168.6591796875\n", + "global step=46903296, episodic return=2160.1552734375\n", + "global step=46903296, episodic return=2130.468505859375\n", + "global step=46905344, episodic return=2228.958740234375\n", + "global step=46905344, episodic return=2097.094482421875\n", + "global step=46905344, episodic return=2136.968994140625\n", + "global step=46905344, episodic return=2163.703369140625\n", + "global step=46905344, episodic return=2070.005126953125\n", + "global step=46905344, episodic return=2156.209228515625\n", + "global step=46907392, episodic return=2199.04833984375\n", + "global step=46907392, episodic return=2137.336669921875\n", + "global step=46909440, episodic return=2109.1669921875\n", + "global step=46911488, episodic return=2128.77490234375\n", + "global step=46911488, episodic return=2104.33935546875\n", + "global step=46911488, episodic return=2144.409912109375\n", + "global step=46911488, episodic return=2169.74609375\n", + "global step=46913536, episodic return=2181.345703125\n", + "global step=46913536, episodic return=2174.652099609375\n", + "global step=46915584, episodic return=1663.2286376953125\n", + "global step=46917632, episodic return=2146.697021484375\n", + "global step=46917632, episodic return=2214.46240234375\n", + "global step=46917632, episodic return=2172.270751953125\n", + "global step=46917632, episodic return=2167.548583984375\n", + "global step=46919680, episodic return=1992.596923828125\n", + "global step=46919680, episodic return=2106.265625\n", + "global step=46919680, episodic return=2174.376220703125\n", + "global step=46921728, episodic return=2123.3779296875\n", + "global step=46921728, episodic return=2158.828857421875\n", + "global step=46923776, episodic return=2189.731689453125\n", + "global step=46923776, episodic return=2170.1904296875\n", + "global step=46925824, episodic return=2144.579345703125\n", + "global step=46925824, episodic return=2163.98974609375\n", + "global step=46925824, episodic return=1965.223388671875\n", + "global step=46925824, episodic return=264.8823547363281\n", + "global step=46925824, episodic return=2157.107421875\n", + "global step=46925824, episodic return=2135.394287109375\n", + "global step=46927872, episodic return=2124.1640625\n", + "global step=46927872, episodic return=2169.416015625\n", + "global step=46931968, episodic return=2169.9951171875\n", + "global step=46938112, episodic return=2197.793212890625\n", + "global step=46938112, episodic return=2176.073974609375\n", + "global step=46938112, episodic return=2159.422607421875\n", + "global step=46938112, episodic return=2174.982421875\n", + "global step=46940160, episodic return=2170.310546875\n", + "global step=46940160, episodic return=2134.30908203125\n", + "global step=46942208, episodic return=2154.604736328125\n", + "global step=46944256, episodic return=2130.150146484375\n", + "global step=46944256, episodic return=2172.568603515625\n", + "global step=46946304, episodic return=1029.7095947265625\n", + "global step=46946304, episodic return=2190.8642578125\n", + "global step=46948352, episodic return=2124.196533203125\n", + "global step=46948352, episodic return=2144.408935546875\n", + "global step=46950400, episodic return=2161.4013671875\n", + "global step=46950400, episodic return=2172.0576171875\n", + "global step=46950400, episodic return=2202.57080078125\n", + "global step=46950400, episodic return=2122.30029296875\n", + "global step=46952448, episodic return=2143.74755859375\n", + "global step=46952448, episodic return=2137.8291015625\n", + "global step=46952448, episodic return=2119.9306640625\n", + "global step=46952448, episodic return=2155.98046875\n", + "global step=46952448, episodic return=2150.361572265625\n", + "global step=46954496, episodic return=2153.589599609375\n", + "global step=46954496, episodic return=2166.41064453125\n", + "global step=46954496, episodic return=2139.274169921875\n", + "global step=46954496, episodic return=2131.498291015625\n", + "global step=46954496, episodic return=2156.834716796875\n", + "global step=46956544, episodic return=2142.419677734375\n", + "global step=46958592, episodic return=1529.5574951171875\n", + "global step=46958592, episodic return=2150.51123046875\n", + "global step=46960640, episodic return=911.6353149414062\n", + "global step=46960640, episodic return=1557.1380615234375\n", + "global step=46960640, episodic return=2130.093994140625\n", + "global step=46962688, episodic return=2142.295654296875\n", + "global step=46962688, episodic return=2162.7255859375\n", + "global step=46962688, episodic return=2159.866455078125\n", + "global step=46962688, episodic return=2138.711181640625\n", + "global step=46964736, episodic return=2164.48583984375\n", + "global step=46964736, episodic return=163.28724670410156\n", + "global step=46964736, episodic return=2184.14404296875\n", + "global step=46964736, episodic return=2165.070556640625\n", + "global step=46966784, episodic return=2175.13037109375\n", + "global step=46966784, episodic return=2145.613525390625\n", + "global step=46970880, episodic return=1976.0745849609375\n", + "global step=46970880, episodic return=2134.953369140625\n", + "global step=46970880, episodic return=2103.102294921875\n", + "global step=46972928, episodic return=2181.55517578125\n", + "global step=46974976, episodic return=1803.5987548828125\n", + "global step=46974976, episodic return=2114.25244140625\n", + "global step=46977024, episodic return=2145.20654296875\n", + "global step=46977024, episodic return=2140.40966796875\n", + "global step=46977024, episodic return=2195.0830078125\n", + "global step=46977024, episodic return=2084.423583984375\n", + "global step=46979072, episodic return=2180.8955078125\n", + "global step=46981120, episodic return=2154.37939453125\n", + "global step=46981120, episodic return=2108.3505859375\n", + "global step=46983168, episodic return=2171.80126953125\n", + "global step=46983168, episodic return=2132.54345703125\n", + "global step=46983168, episodic return=2133.1005859375\n", + "global step=46983168, episodic return=1131.5264892578125\n", + "global step=46985216, episodic return=2197.822998046875\n", + "global step=46987264, episodic return=2168.38525390625\n", + "global step=46987264, episodic return=483.0859069824219\n", + "global step=46989312, episodic return=2194.025634765625\n", + "global step=46991360, episodic return=2188.81494140625\n", + "global step=46991360, episodic return=2171.697265625\n", + "global step=46991360, episodic return=2134.4326171875\n", + "global step=46993408, episodic return=1982.2979736328125\n", + "global step=46993408, episodic return=1647.493896484375\n", + "global step=46993408, episodic return=165.8353729248047\n", + "global step=46993408, episodic return=2171.265380859375\n", + "global step=46993408, episodic return=2063.242919921875\n", + "global step=46993408, episodic return=1335.55615234375\n", + "global step=46995456, episodic return=2156.39501953125\n", + "global step=46995456, episodic return=2113.152587890625\n", + "global step=46995456, episodic return=2165.55615234375\n", + "global step=46997504, episodic return=2121.3427734375\n", + "global step=46999552, episodic return=2117.96923828125\n", + "global step=46999552, episodic return=2185.65283203125\n", + "global step=46999552, episodic return=890.9055786132812\n", + "global step=47001600, episodic return=2131.327392578125\n", + "global step=47001600, episodic return=2180.6171875\n", + "global step=47003648, episodic return=2128.60009765625\n", + "global step=47005696, episodic return=2154.190185546875\n", + "global step=47007744, episodic return=2080.895263671875\n", + "global step=47007744, episodic return=2034.4066162109375\n", + "global step=47007744, episodic return=2140.22265625\n", + "global step=47007744, episodic return=1871.085693359375\n", + "global step=47011840, episodic return=2159.18408203125\n", + "global step=47011840, episodic return=2167.766845703125\n", + "global step=47011840, episodic return=2145.40283203125\n", + "global step=47013888, episodic return=2152.8203125\n", + "global step=47015936, episodic return=2137.675048828125\n", + "global step=47017984, episodic return=2183.177978515625\n", + "global step=47017984, episodic return=2152.33984375\n", + "global step=47017984, episodic return=60.822181701660156\n", + "global step=47020032, episodic return=2141.256591796875\n", + "global step=47020032, episodic return=2157.34765625\n", + "global step=47020032, episodic return=1900.2642822265625\n", + "global step=47020032, episodic return=2204.40478515625\n", + "global step=47022080, episodic return=2173.035888671875\n", + "global step=47022080, episodic return=2142.729248046875\n", + "global step=47024128, episodic return=1661.320068359375\n", + "global step=47024128, episodic return=2163.713623046875\n", + "global step=47024128, episodic return=2173.58642578125\n", + "global step=47024128, episodic return=2151.167236328125\n", + "global step=47026176, episodic return=2141.071044921875\n", + "global step=47026176, episodic return=2144.490966796875\n", + "global step=47028224, episodic return=2186.24853515625\n", + "global step=47028224, episodic return=2173.400634765625\n", + "global step=47028224, episodic return=2166.5087890625\n", + "global step=47030272, episodic return=2117.720458984375\n", + "global step=47030272, episodic return=63.45383834838867\n", + "global step=47032320, episodic return=2183.997802734375\n", + "global step=47032320, episodic return=2181.2451171875\n", + "global step=47032320, episodic return=2148.687255859375\n", + "global step=47034368, episodic return=2158.05029296875\n", + "global step=47034368, episodic return=2162.379150390625\n", + "global step=47034368, episodic return=2155.804931640625\n", + "global step=47036416, episodic return=2137.752685546875\n", + "global step=47036416, episodic return=2177.183349609375\n", + "global step=47038464, episodic return=2131.545654296875\n", + "global step=47040512, episodic return=2219.030029296875\n", + "global step=47040512, episodic return=2139.4091796875\n", + "global step=47040512, episodic return=2137.32470703125\n", + "global step=47042560, episodic return=2153.621826171875\n", + "global step=47042560, episodic return=2161.46630859375\n", + "global step=47042560, episodic return=2140.2421875\n", + "global step=47042560, episodic return=2126.73486328125\n", + "global step=47044608, episodic return=2156.448974609375\n", + "global step=47044608, episodic return=2187.1875\n", + "global step=47044608, episodic return=2139.686767578125\n", + "global step=47044608, episodic return=2218.53515625\n", + "global step=47046656, episodic return=58.470394134521484\n", + "global step=47046656, episodic return=2191.042724609375\n", + "global step=47046656, episodic return=2194.103271484375\n", + "global step=47046656, episodic return=2176.8759765625\n", + "global step=47048704, episodic return=2113.18212890625\n", + "global step=47048704, episodic return=2090.368408203125\n", + "global step=47048704, episodic return=2152.0341796875\n", + "global step=47050752, episodic return=2121.100830078125\n", + "global step=47050752, episodic return=2169.916748046875\n", + "global step=47050752, episodic return=2156.565673828125\n", + "global step=47050752, episodic return=2154.982666015625\n", + "global step=47050752, episodic return=2182.875\n", + "global step=47050752, episodic return=2130.709716796875\n", + "global step=47050752, episodic return=2161.038818359375\n", + "global step=47052800, episodic return=2171.88427734375\n", + "global step=47052800, episodic return=2143.302001953125\n", + "global step=47052800, episodic return=2142.7890625\n", + "global step=47052800, episodic return=2164.4609375\n", + "global step=47054848, episodic return=2159.353271484375\n", + "global step=47054848, episodic return=1835.20068359375\n", + "global step=47054848, episodic return=2191.238037109375\n", + "global step=47060992, episodic return=2168.492431640625\n", + "global step=47060992, episodic return=2148.164306640625\n", + "global step=47060992, episodic return=2150.056884765625\n", + "global step=47060992, episodic return=2145.90087890625\n", + "global step=47063040, episodic return=2179.448486328125\n", + "global step=47063040, episodic return=2128.9345703125\n", + "global step=47063040, episodic return=2123.29833984375\n", + "global step=47065088, episodic return=2170.2158203125\n", + "global step=47065088, episodic return=2200.693603515625\n", + "global step=47065088, episodic return=2168.77978515625\n", + "global step=47067136, episodic return=2179.930419921875\n", + "global step=47067136, episodic return=2150.06591796875\n", + "global step=47067136, episodic return=2185.05078125\n", + "global step=47067136, episodic return=2164.67919921875\n", + "global step=47067136, episodic return=2175.4541015625\n", + "global step=47069184, episodic return=2177.447509765625\n", + "global step=47071232, episodic return=2178.365234375\n", + "global step=47073280, episodic return=2038.4656982421875\n", + "global step=47073280, episodic return=2146.026611328125\n", + "global step=47077376, episodic return=2174.3447265625\n", + "global step=47079424, episodic return=1804.5125732421875\n", + "global step=47079424, episodic return=2122.03466796875\n", + "global step=47081472, episodic return=2160.490478515625\n", + "global step=47081472, episodic return=2107.296142578125\n", + "global step=47081472, episodic return=2156.03369140625\n", + "global step=47083520, episodic return=2165.993408203125\n", + "global step=47085568, episodic return=2189.383544921875\n", + "global step=47085568, episodic return=2140.802734375\n", + "global step=47087616, episodic return=2189.423583984375\n", + "global step=47087616, episodic return=2144.617431640625\n", + "global step=47087616, episodic return=1907.80517578125\n", + "global step=47089664, episodic return=2154.31982421875\n", + "global step=47091712, episodic return=1676.478271484375\n", + "global step=47093760, episodic return=2133.673583984375\n", + "global step=47097856, episodic return=2192.56982421875\n", + "global step=47099904, episodic return=2160.775634765625\n", + "global step=47099904, episodic return=2173.458984375\n", + "global step=47099904, episodic return=2133.954833984375\n", + "global step=47099904, episodic return=2158.14794921875\n", + "global step=47104000, episodic return=2165.958251953125\n", + "global step=47104000, episodic return=2176.51611328125\n", + "global step=47106048, episodic return=2177.94775390625\n", + "global step=47106048, episodic return=2182.211669921875\n", + "global step=47106048, episodic return=2168.012939453125\n", + "global step=47106048, episodic return=2013.81689453125\n", + "global step=47108096, episodic return=2137.2841796875\n", + "global step=47108096, episodic return=2169.90380859375\n", + "global step=47110144, episodic return=2180.288330078125\n", + "global step=47114240, episodic return=2208.7373046875\n", + "global step=47118336, episodic return=2162.20556640625\n", + "global step=47120384, episodic return=2168.79736328125\n", + "global step=47120384, episodic return=2156.662353515625\n", + "global step=47120384, episodic return=2153.9638671875\n", + "global step=47122432, episodic return=2006.610107421875\n", + "global step=47122432, episodic return=2191.883056640625\n", + "global step=47124480, episodic return=2201.4208984375\n", + "global step=47124480, episodic return=2172.7373046875\n", + "global step=47124480, episodic return=2169.73388671875\n", + "global step=47124480, episodic return=2072.132080078125\n", + "global step=47124480, episodic return=2181.949462890625\n", + "global step=47128576, episodic return=2176.8818359375\n", + "global step=47130624, episodic return=192.54232788085938\n", + "global step=47130624, episodic return=2143.1318359375\n", + "global step=47138816, episodic return=2138.71630859375\n", + "global step=47144960, episodic return=2099.525146484375\n", + "global step=47147008, episodic return=2183.4443359375\n", + "global step=47147008, episodic return=2156.291259765625\n", + "global step=47147008, episodic return=382.89227294921875\n", + "global step=47149056, episodic return=2154.30224609375\n", + "global step=47151104, episodic return=2214.969970703125\n", + "global step=47151104, episodic return=2189.98974609375\n", + "global step=47153152, episodic return=2180.714599609375\n", + "global step=47153152, episodic return=1176.7308349609375\n", + "global step=47153152, episodic return=2127.880615234375\n", + "global step=47153152, episodic return=2148.46630859375\n", + "global step=47155200, episodic return=2195.62353515625\n", + "global step=47155200, episodic return=2182.85595703125\n", + "global step=47163392, episodic return=2188.197021484375\n", + "global step=47165440, episodic return=2153.55126953125\n", + "global step=47165440, episodic return=2115.207763671875\n", + "global step=47169536, episodic return=1754.4830322265625\n", + "global step=47169536, episodic return=2161.53125\n", + "global step=47171584, episodic return=2173.345703125\n", + "global step=47175680, episodic return=2080.72314453125\n", + "global step=47175680, episodic return=2180.356689453125\n", + "global step=47181824, episodic return=2157.027099609375\n", + "global step=47181824, episodic return=2141.656005859375\n", + "global step=47183872, episodic return=2137.313720703125\n", + "global step=47183872, episodic return=2197.898193359375\n", + "global step=47187968, episodic return=1909.874755859375\n", + "global step=47187968, episodic return=2189.66064453125\n", + "global step=47196160, episodic return=2173.5380859375\n", + "global step=47198208, episodic return=2185.5400390625\n", + "global step=47202304, episodic return=2193.145263671875\n", + "global step=47204352, episodic return=321.0339660644531\n", + "global step=47204352, episodic return=325.6103515625\n", + "global step=47206400, episodic return=2195.015869140625\n", + "global step=47208448, episodic return=2155.41015625\n", + "global step=47208448, episodic return=2173.373291015625\n", + "global step=47210496, episodic return=2129.27197265625\n", + "global step=47214592, episodic return=1991.149658203125\n", + "global step=47216640, episodic return=2142.503662109375\n", + "global step=47218688, episodic return=2182.470703125\n", + "global step=47218688, episodic return=2215.408203125\n", + "global step=47218688, episodic return=2124.093505859375\n", + "global step=47218688, episodic return=2157.833740234375\n", + "global step=47218688, episodic return=1930.834716796875\n", + "global step=47218688, episodic return=2100.395263671875\n", + "global step=47220736, episodic return=2172.7861328125\n", + "global step=47222784, episodic return=2018.93896484375\n", + "global step=47222784, episodic return=2117.63623046875\n", + "global step=47222784, episodic return=201.4290313720703\n", + "global step=47224832, episodic return=2112.597900390625\n", + "global step=47226880, episodic return=2194.3271484375\n", + "global step=47226880, episodic return=1871.021240234375\n", + "global step=47228928, episodic return=2186.607666015625\n", + "global step=47228928, episodic return=2178.236083984375\n", + "global step=47228928, episodic return=2178.52490234375\n", + "global step=47230976, episodic return=2044.0162353515625\n", + "global step=47233024, episodic return=2179.183349609375\n", + "global step=47233024, episodic return=2166.005859375\n", + "global step=47233024, episodic return=2215.098876953125\n", + "global step=47235072, episodic return=2224.886474609375\n", + "global step=47235072, episodic return=2144.0654296875\n", + "global step=47237120, episodic return=2174.988525390625\n", + "global step=47239168, episodic return=2151.263427734375\n", + "global step=47239168, episodic return=2206.211181640625\n", + "global step=47241216, episodic return=2211.0205078125\n", + "global step=47241216, episodic return=2198.923583984375\n", + "global step=47241216, episodic return=2186.644287109375\n", + "global step=47245312, episodic return=2174.049560546875\n", + "global step=47245312, episodic return=2184.606689453125\n", + "global step=47245312, episodic return=2185.171142578125\n", + "global step=47247360, episodic return=2181.162841796875\n", + "global step=47249408, episodic return=884.8079833984375\n", + "global step=47249408, episodic return=2208.695556640625\n", + "global step=47249408, episodic return=2123.29931640625\n", + "global step=47249408, episodic return=2119.56396484375\n", + "global step=47251456, episodic return=2157.091552734375\n", + "global step=47259648, episodic return=2178.48095703125\n", + "global step=47259648, episodic return=2200.751220703125\n", + "global step=47261696, episodic return=2193.67333984375\n", + "global step=47261696, episodic return=2168.5703125\n", + "global step=47267840, episodic return=2194.954833984375\n", + "global step=47269888, episodic return=2155.307861328125\n", + "global step=47273984, episodic return=834.89404296875\n", + "global step=47273984, episodic return=2124.857666015625\n", + "global step=47276032, episodic return=1203.728271484375\n", + "global step=47278080, episodic return=2181.612060546875\n", + "global step=47278080, episodic return=2214.97998046875\n", + "global step=47282176, episodic return=2185.7685546875\n", + "global step=47284224, episodic return=2090.252197265625\n", + "global step=47286272, episodic return=1487.205810546875\n", + "global step=47286272, episodic return=1117.61328125\n", + "global step=47286272, episodic return=1988.7535400390625\n", + "global step=47286272, episodic return=2159.583984375\n", + "global step=47286272, episodic return=2146.072509765625\n", + "global step=47288320, episodic return=579.3789672851562\n", + "global step=47288320, episodic return=2158.484130859375\n", + "global step=47292416, episodic return=2095.2822265625\n", + "global step=47294464, episodic return=2104.67333984375\n", + "global step=47294464, episodic return=1847.50732421875\n", + "global step=47300608, episodic return=2182.317626953125\n", + "global step=47300608, episodic return=1910.5245361328125\n", + "global step=47304704, episodic return=2103.768798828125\n", + "global step=47308800, episodic return=2107.4365234375\n", + "global step=47310848, episodic return=2196.553466796875\n", + "global step=47310848, episodic return=2175.14208984375\n", + "global step=47312896, episodic return=2182.746826171875\n", + "global step=47312896, episodic return=418.8227233886719\n", + "global step=47312896, episodic return=2023.69921875\n", + "global step=47323136, episodic return=2148.382080078125\n", + "global step=47325184, episodic return=2130.103759765625\n", + "global step=47325184, episodic return=839.9874877929688\n", + "global step=47325184, episodic return=1313.9346923828125\n", + "global step=47325184, episodic return=383.3830871582031\n", + "global step=47327232, episodic return=397.4498596191406\n", + "global step=47329280, episodic return=2132.663330078125\n", + "global step=47329280, episodic return=1854.9344482421875\n", + "global step=47329280, episodic return=2219.09375\n", + "global step=47331328, episodic return=2152.016357421875\n", + "global step=47333376, episodic return=327.57611083984375\n", + "global step=47333376, episodic return=2175.82373046875\n", + "global step=47335424, episodic return=2148.06591796875\n", + "global step=47335424, episodic return=2171.576904296875\n", + "global step=47335424, episodic return=2105.03076171875\n", + "global step=47339520, episodic return=2147.120361328125\n", + "global step=47341568, episodic return=1694.6318359375\n", + "global step=47341568, episodic return=2148.314208984375\n", + "global step=47343616, episodic return=2173.39501953125\n", + "global step=47345664, episodic return=2134.974365234375\n", + "global step=47351808, episodic return=2174.577880859375\n", + "global step=47351808, episodic return=2174.263671875\n", + "global step=47353856, episodic return=1772.9564208984375\n", + "global step=47353856, episodic return=2147.2744140625\n", + "global step=47355904, episodic return=2201.29052734375\n", + "global step=47355904, episodic return=446.4847717285156\n", + "global step=47360000, episodic return=2202.24072265625\n", + "global step=47362048, episodic return=1983.026123046875\n", + "global step=47362048, episodic return=2196.281494140625\n", + "global step=47364096, episodic return=1054.6126708984375\n", + "global step=47364096, episodic return=1552.6859130859375\n", + "global step=47364096, episodic return=2170.011962890625\n", + "global step=47368192, episodic return=2189.131103515625\n", + "global step=47368192, episodic return=2222.02587890625\n", + "global step=47370240, episodic return=2158.728759765625\n", + "global step=47370240, episodic return=1350.5770263671875\n", + "global step=47370240, episodic return=2214.05517578125\n", + "global step=47376384, episodic return=873.5000610351562\n", + "global step=47376384, episodic return=2170.6591796875\n", + "global step=47378432, episodic return=2214.43310546875\n", + "global step=47380480, episodic return=2124.947509765625\n", + "global step=47382528, episodic return=2172.423095703125\n", + "global step=47382528, episodic return=2206.5654296875\n", + "global step=47382528, episodic return=2156.6015625\n", + "global step=47382528, episodic return=2127.81982421875\n", + "global step=47384576, episodic return=2224.96728515625\n", + "global step=47388672, episodic return=2167.213623046875\n", + "global step=47388672, episodic return=2135.390380859375\n", + "global step=47392768, episodic return=2212.736328125\n", + "global step=47394816, episodic return=2165.212158203125\n", + "global step=47403008, episodic return=2156.806396484375\n", + "global step=47405056, episodic return=2215.604248046875\n", + "global step=47409152, episodic return=2193.473388671875\n", + "global step=47409152, episodic return=2135.908203125\n", + "global step=47413248, episodic return=2227.78662109375\n", + "global step=47413248, episodic return=2095.277099609375\n", + "global step=47417344, episodic return=2175.552001953125\n", + "global step=47417344, episodic return=2189.2646484375\n", + "global step=47425536, episodic return=2187.55517578125\n", + "global step=47425536, episodic return=2171.609375\n", + "global step=47425536, episodic return=2194.65478515625\n", + "global step=47427584, episodic return=2174.081787109375\n", + "global step=47429632, episodic return=278.3211975097656\n", + "global step=47429632, episodic return=2161.9658203125\n", + "global step=47433728, episodic return=2174.407958984375\n", + "global step=47437824, episodic return=86.63690948486328\n", + "global step=47437824, episodic return=2113.443603515625\n", + "global step=47439872, episodic return=346.69268798828125\n", + "global step=47439872, episodic return=2098.8681640625\n", + "global step=47439872, episodic return=2097.01513671875\n", + "global step=47439872, episodic return=2180.44921875\n", + "global step=47441920, episodic return=2194.5146484375\n", + "global step=47450112, episodic return=2126.734130859375\n", + "global step=47450112, episodic return=2169.930419921875\n", + "global step=47454208, episodic return=1712.90234375\n", + "global step=47454208, episodic return=2171.630126953125\n", + "global step=47460352, episodic return=2145.490478515625\n", + "global step=47464448, episodic return=2160.46875\n", + "global step=47466496, episodic return=2129.363525390625\n", + "global step=47470592, episodic return=2204.79150390625\n", + "global step=47474688, episodic return=2078.481689453125\n", + "global step=47476736, episodic return=2132.283447265625\n", + "global step=47476736, episodic return=2168.391845703125\n", + "global step=47476736, episodic return=2197.063232421875\n", + "global step=47478784, episodic return=2188.7080078125\n", + "global step=47478784, episodic return=2128.4541015625\n", + "global step=47480832, episodic return=2192.557373046875\n", + "global step=47480832, episodic return=2178.517822265625\n", + "global step=47480832, episodic return=2100.172119140625\n", + "global step=47480832, episodic return=2139.998291015625\n", + "global step=47484928, episodic return=2108.345703125\n", + "global step=47489024, episodic return=2067.402099609375\n", + "global step=47491072, episodic return=2143.369384765625\n", + "global step=47491072, episodic return=40.87712860107422\n", + "global step=47493120, episodic return=2134.70751953125\n", + "global step=47495168, episodic return=2214.72998046875\n", + "global step=47495168, episodic return=2164.848388671875\n", + "global step=47497216, episodic return=2139.810546875\n", + "global step=47499264, episodic return=2152.705078125\n", + "global step=47501312, episodic return=2156.732666015625\n", + "global step=47501312, episodic return=76.36676025390625\n", + "global step=47503360, episodic return=1596.923828125\n", + "global step=47507456, episodic return=2172.1123046875\n", + "global step=47507456, episodic return=2161.71826171875\n", + "global step=47509504, episodic return=2137.72021484375\n", + "global step=47511552, episodic return=2204.84326171875\n", + "global step=47511552, episodic return=2154.56103515625\n", + "global step=47511552, episodic return=2075.137939453125\n", + "global step=47517696, episodic return=2092.188720703125\n", + "global step=47519744, episodic return=2168.081787109375\n", + "global step=47519744, episodic return=2170.668212890625\n", + "global step=47523840, episodic return=2133.52880859375\n", + "global step=47525888, episodic return=2116.591552734375\n", + "global step=47527936, episodic return=2155.72119140625\n", + "global step=47532032, episodic return=1239.564697265625\n", + "global step=47532032, episodic return=2199.377197265625\n", + "global step=47532032, episodic return=2185.06787109375\n", + "global step=47534080, episodic return=875.3272094726562\n", + "global step=47536128, episodic return=2199.4423828125\n", + "global step=47536128, episodic return=2131.61083984375\n", + "global step=47538176, episodic return=2161.71044921875\n", + "global step=47544320, episodic return=2154.016845703125\n", + "global step=47546368, episodic return=2167.610107421875\n", + "global step=47548416, episodic return=1510.111328125\n", + "global step=47550464, episodic return=2186.572998046875\n", + "global step=47550464, episodic return=2182.536376953125\n", + "global step=47552512, episodic return=342.760009765625\n", + "global step=47552512, episodic return=2182.208251953125\n", + "global step=47552512, episodic return=2120.447509765625\n", + "global step=47554560, episodic return=357.6035461425781\n", + "global step=47560704, episodic return=705.4935302734375\n", + "global step=47560704, episodic return=2135.92431640625\n", + "global step=47566848, episodic return=2195.929443359375\n", + "global step=47568896, episodic return=2118.10693359375\n", + "global step=47572992, episodic return=2209.651123046875\n", + "global step=47575040, episodic return=2178.5068359375\n", + "global step=47579136, episodic return=2236.560546875\n", + "global step=47583232, episodic return=445.1966552734375\n", + "global step=47585280, episodic return=2083.7607421875\n", + "global step=47587328, episodic return=1365.21533203125\n", + "global step=47589376, episodic return=1517.5755615234375\n", + "global step=47595520, episodic return=1565.0081787109375\n", + "global step=47605760, episodic return=2168.014404296875\n", + "global step=47607808, episodic return=2138.873779296875\n", + "global step=47609856, episodic return=2164.8642578125\n", + "global step=47609856, episodic return=2177.57080078125\n", + "global step=47611904, episodic return=2115.350341796875\n", + "global step=47611904, episodic return=2139.38134765625\n", + "global step=47613952, episodic return=495.3423767089844\n", + "global step=47613952, episodic return=2213.719482421875\n", + "global step=47613952, episodic return=2139.359130859375\n", + "global step=47618048, episodic return=2158.81787109375\n", + "global step=47620096, episodic return=1296.1104736328125\n", + "global step=47620096, episodic return=2160.5029296875\n", + "global step=47624192, episodic return=2151.382080078125\n", + "global step=47632384, episodic return=2148.926513671875\n", + "global step=47634432, episodic return=2167.527587890625\n", + "global step=47634432, episodic return=2195.6279296875\n", + "global step=47636480, episodic return=1422.52880859375\n", + "global step=47640576, episodic return=2200.459716796875\n", + "global step=47646720, episodic return=2127.408203125\n", + "global step=47646720, episodic return=2210.832763671875\n", + "global step=47648768, episodic return=597.688232421875\n", + "global step=47648768, episodic return=2170.6083984375\n", + "global step=47648768, episodic return=1800.0665283203125\n", + "global step=47656960, episodic return=2164.26904296875\n", + "global step=47663104, episodic return=2090.898681640625\n", + "global step=47663104, episodic return=2136.8759765625\n", + "global step=47665152, episodic return=2163.119140625\n", + "global step=47671296, episodic return=2182.7353515625\n", + "global step=47671296, episodic return=2171.382080078125\n", + "global step=47671296, episodic return=2170.775390625\n", + "global step=47675392, episodic return=2165.6806640625\n", + "global step=47679488, episodic return=2169.884521484375\n", + "global step=47681536, episodic return=2218.81005859375\n", + "global step=47681536, episodic return=2153.86328125\n", + "global step=47683584, episodic return=2172.984619140625\n", + "global step=47687680, episodic return=2167.7236328125\n", + "global step=47689728, episodic return=2090.009765625\n", + "global step=47691776, episodic return=2115.1455078125\n", + "global step=47693824, episodic return=2199.428955078125\n", + "global step=47693824, episodic return=42.44037628173828\n", + "global step=47699968, episodic return=2189.4541015625\n", + "global step=47702016, episodic return=2145.030517578125\n", + "global step=47702016, episodic return=2178.967041015625\n", + "global step=47704064, episodic return=2183.055419921875\n", + "global step=47706112, episodic return=663.0490112304688\n", + "global step=47712256, episodic return=671.9135131835938\n", + "global step=47716352, episodic return=2145.572021484375\n", + "global step=47718400, episodic return=955.71142578125\n", + "global step=47720448, episodic return=2184.685546875\n", + "global step=47728640, episodic return=2154.22119140625\n", + "global step=47730688, episodic return=2137.4716796875\n", + "global step=47742976, episodic return=2175.478271484375\n", + "global step=47745024, episodic return=2191.8134765625\n", + "global step=47753216, episodic return=2124.880859375\n", + "global step=47753216, episodic return=2144.80859375\n", + "global step=47753216, episodic return=2197.5078125\n", + "global step=47757312, episodic return=2127.346435546875\n", + "global step=47759360, episodic return=2151.728759765625\n", + "global step=47763456, episodic return=2136.50048828125\n", + "global step=47763456, episodic return=2170.55224609375\n", + "global step=47763456, episodic return=2100.66455078125\n", + "global step=47765504, episodic return=2167.28759765625\n", + "global step=47767552, episodic return=1345.125\n", + "global step=47769600, episodic return=2137.15234375\n", + "global step=47775744, episodic return=2182.12890625\n", + "global step=47777792, episodic return=2160.888427734375\n", + "global step=47777792, episodic return=2205.2724609375\n", + "global step=47779840, episodic return=967.6367797851562\n", + "global step=47781888, episodic return=2137.2529296875\n", + "global step=47781888, episodic return=2119.19140625\n", + "global step=47781888, episodic return=2103.122314453125\n", + "global step=47785984, episodic return=2188.82080078125\n", + "global step=47785984, episodic return=2175.68115234375\n", + "global step=47798272, episodic return=2178.50146484375\n", + "global step=47800320, episodic return=2134.615478515625\n", + "global step=47800320, episodic return=2189.72216796875\n", + "global step=47800320, episodic return=2234.64208984375\n", + "global step=47800320, episodic return=2197.51904296875\n", + "global step=47802368, episodic return=2164.961669921875\n", + "global step=47802368, episodic return=2187.71728515625\n", + "global step=47804416, episodic return=2208.241943359375\n", + "global step=47804416, episodic return=2137.253173828125\n", + "global step=47808512, episodic return=2194.81787109375\n", + "global step=47810560, episodic return=2111.349853515625\n", + "global step=47818752, episodic return=2148.166748046875\n", + "global step=47818752, episodic return=2166.01025390625\n", + "global step=47824896, episodic return=2175.943115234375\n", + "global step=47826944, episodic return=2111.140380859375\n", + "global step=47828992, episodic return=2194.3955078125\n", + "global step=47828992, episodic return=2176.585693359375\n", + "global step=47831040, episodic return=2189.667724609375\n", + "global step=47831040, episodic return=2169.974853515625\n", + "global step=47833088, episodic return=2178.3369140625\n", + "global step=47833088, episodic return=2172.692626953125\n", + "global step=47833088, episodic return=2149.98291015625\n", + "global step=47835136, episodic return=2186.5751953125\n", + "global step=47837184, episodic return=2194.087158203125\n", + "global step=47841280, episodic return=2156.987060546875\n", + "global step=47841280, episodic return=2146.10009765625\n", + "global step=47843328, episodic return=2173.33984375\n", + "global step=47847424, episodic return=2186.33349609375\n", + "global step=47849472, episodic return=2177.42138671875\n", + "global step=47853568, episodic return=2185.8515625\n", + "global step=47853568, episodic return=2192.64306640625\n", + "global step=47855616, episodic return=2199.863037109375\n", + "global step=47855616, episodic return=2192.734619140625\n", + "global step=47863808, episodic return=2177.108154296875\n", + "global step=47865856, episodic return=2214.736083984375\n", + "global step=47867904, episodic return=2177.61572265625\n", + "global step=47867904, episodic return=2148.64794921875\n", + "global step=47869952, episodic return=2189.0322265625\n", + "global step=47869952, episodic return=2187.792724609375\n", + "global step=47872000, episodic return=2201.288330078125\n", + "global step=47874048, episodic return=2171.704833984375\n", + "global step=47876096, episodic return=2175.536376953125\n", + "global step=47880192, episodic return=2165.614501953125\n", + "global step=47882240, episodic return=2124.984375\n", + "global step=47882240, episodic return=2143.32763671875\n", + "global step=47886336, episodic return=2196.741455078125\n", + "global step=47888384, episodic return=2152.5732421875\n", + "global step=47890432, episodic return=2129.488525390625\n", + "global step=47890432, episodic return=979.3029174804688\n", + "global step=47890432, episodic return=2195.722900390625\n", + "global step=47892480, episodic return=2157.39501953125\n", + "global step=47892480, episodic return=2208.3623046875\n", + "global step=47894528, episodic return=2148.774658203125\n", + "global step=47898624, episodic return=2160.601318359375\n", + "global step=47900672, episodic return=1471.57275390625\n", + "global step=47900672, episodic return=1330.582763671875\n", + "global step=47910912, episodic return=2176.84814453125\n", + "global step=47915008, episodic return=2206.678466796875\n", + "global step=47915008, episodic return=2164.107421875\n", + "global step=47917056, episodic return=2179.9501953125\n", + "global step=47919104, episodic return=2217.56396484375\n", + "global step=47919104, episodic return=2168.89990234375\n", + "global step=47923200, episodic return=2173.936279296875\n", + "global step=47923200, episodic return=2108.29443359375\n", + "global step=47923200, episodic return=2171.97412109375\n", + "global step=47927296, episodic return=2181.79248046875\n", + "global step=47929344, episodic return=2164.369873046875\n", + "global step=47929344, episodic return=2138.60302734375\n", + "global step=47931392, episodic return=2191.958984375\n", + "global step=47933440, episodic return=2232.904052734375\n", + "global step=47933440, episodic return=2145.233154296875\n", + "global step=47937536, episodic return=2169.59326171875\n", + "global step=47937536, episodic return=2181.6064453125\n", + "global step=47939584, episodic return=2192.97412109375\n", + "global step=47949824, episodic return=2185.009521484375\n", + "global step=47949824, episodic return=2177.065185546875\n", + "global step=47951872, episodic return=2193.78955078125\n", + "global step=47953920, episodic return=2081.758544921875\n", + "global step=47955968, episodic return=2178.1083984375\n", + "global step=47960064, episodic return=2125.51123046875\n", + "global step=47962112, episodic return=2172.159912109375\n", + "global step=47962112, episodic return=2190.968505859375\n", + "global step=47964160, episodic return=2185.340576171875\n", + "global step=47970304, episodic return=2157.47216796875\n", + "global step=47970304, episodic return=2183.55126953125\n", + "global step=47970304, episodic return=2200.749755859375\n", + "global step=47972352, episodic return=2225.65771484375\n", + "global step=47972352, episodic return=2171.970458984375\n", + "global step=47972352, episodic return=2196.631591796875\n", + "global step=47974400, episodic return=2124.205322265625\n", + "global step=47974400, episodic return=2185.801513671875\n", + "global step=47978496, episodic return=396.9020690917969\n", + "global step=47982592, episodic return=2225.5966796875\n", + "global step=47982592, episodic return=2171.204345703125\n", + "global step=47984640, episodic return=2189.509033203125\n", + "global step=47986688, episodic return=2179.3125\n", + "global step=47986688, episodic return=2168.50146484375\n", + "global step=47988736, episodic return=2146.46142578125\n", + "global step=47988736, episodic return=2157.951416015625\n", + "global step=47990784, episodic return=2175.676025390625\n", + "global step=47990784, episodic return=2195.03955078125\n", + "global step=47990784, episodic return=2145.494873046875\n", + "global step=47992832, episodic return=2224.8642578125\n", + "global step=47994880, episodic return=2174.1708984375\n", + "global step=47994880, episodic return=2176.5576171875\n", + "global step=47994880, episodic return=2192.805419921875\n", + "global step=47998976, episodic return=2150.2724609375\n", + "global step=47998976, episodic return=2178.9580078125\n", + "global step=48001024, episodic return=2159.56005859375\n", + "global step=48001024, episodic return=2175.07666015625\n", + "global step=48003072, episodic return=2188.245849609375\n", + "global step=48009216, episodic return=2147.418701171875\n", + "global step=48009216, episodic return=2173.110107421875\n", + "global step=48013312, episodic return=67.67842864990234\n", + "global step=48015360, episodic return=2139.987060546875\n", + "global step=48019456, episodic return=2226.224365234375\n", + "global step=48021504, episodic return=2218.226806640625\n", + "global step=48021504, episodic return=2160.922119140625\n", + "global step=48023552, episodic return=2179.484130859375\n", + "global step=48023552, episodic return=81.38761138916016\n", + "global step=48023552, episodic return=2221.97119140625\n", + "global step=48025600, episodic return=2183.33349609375\n", + "global step=48025600, episodic return=2157.480712890625\n", + "global step=48027648, episodic return=2170.67626953125\n", + "global step=48027648, episodic return=2148.13623046875\n", + "global step=48027648, episodic return=2148.84228515625\n", + "global step=48033792, episodic return=2188.614501953125\n", + "global step=48033792, episodic return=2190.536376953125\n", + "global step=48033792, episodic return=2152.4912109375\n", + "global step=48035840, episodic return=2175.55029296875\n", + "global step=48035840, episodic return=2166.123046875\n", + "global step=48037888, episodic return=2148.9609375\n", + "global step=48037888, episodic return=2190.444580078125\n", + "global step=48037888, episodic return=2188.808349609375\n", + "global step=48039936, episodic return=2178.5751953125\n", + "global step=48039936, episodic return=1983.7135009765625\n", + "global step=48041984, episodic return=2204.522216796875\n", + "global step=48044032, episodic return=2168.518798828125\n", + "global step=48046080, episodic return=2187.9716796875\n", + "global step=48046080, episodic return=2181.77490234375\n", + "global step=48046080, episodic return=2164.169921875\n", + "global step=48048128, episodic return=2202.116455078125\n", + "global step=48048128, episodic return=2179.252685546875\n", + "global step=48050176, episodic return=2166.85205078125\n", + "global step=48050176, episodic return=62.366676330566406\n", + "global step=48054272, episodic return=2185.126708984375\n", + "global step=48056320, episodic return=2166.5205078125\n", + "global step=48056320, episodic return=2177.06201171875\n", + "global step=48056320, episodic return=2142.39404296875\n", + "global step=48056320, episodic return=2194.802001953125\n", + "global step=48056320, episodic return=2125.4423828125\n", + "global step=48058368, episodic return=2174.514892578125\n", + "global step=48060416, episodic return=2131.11669921875\n", + "global step=48060416, episodic return=2172.485595703125\n", + "global step=48064512, episodic return=2183.48486328125\n", + "global step=48064512, episodic return=2137.280517578125\n", + "global step=48064512, episodic return=2194.75830078125\n", + "global step=48066560, episodic return=63.62051010131836\n", + "global step=48066560, episodic return=191.99998474121094\n", + "global step=48066560, episodic return=2157.353759765625\n", + "global step=48066560, episodic return=2089.9775390625\n", + "global step=48066560, episodic return=2137.896240234375\n", + "global step=48068608, episodic return=2172.435791015625\n", + "global step=48068608, episodic return=2216.96923828125\n", + "global step=48070656, episodic return=2219.863037109375\n", + "global step=48074752, episodic return=2229.775146484375\n", + "global step=48074752, episodic return=2151.38330078125\n", + "global step=48074752, episodic return=2174.784912109375\n", + "global step=48076800, episodic return=2098.28369140625\n", + "global step=48076800, episodic return=2184.765625\n", + "global step=48080896, episodic return=2184.86767578125\n", + "global step=48080896, episodic return=2144.070068359375\n", + "global step=48080896, episodic return=2175.319580078125\n", + "global step=48080896, episodic return=2165.3564453125\n", + "global step=48080896, episodic return=2203.6103515625\n", + "global step=48082944, episodic return=2193.299072265625\n", + "global step=48082944, episodic return=2089.574951171875\n", + "global step=48084992, episodic return=2203.810791015625\n", + "global step=48087040, episodic return=2197.1943359375\n", + "global step=48087040, episodic return=2178.996337890625\n", + "global step=48089088, episodic return=2196.614013671875\n", + "global step=48089088, episodic return=2164.616455078125\n", + "global step=48091136, episodic return=2168.044921875\n", + "global step=48093184, episodic return=2176.4169921875\n", + "global step=48093184, episodic return=2152.826171875\n", + "global step=48093184, episodic return=2128.492919921875\n", + "global step=48093184, episodic return=2121.923828125\n", + "global step=48095232, episodic return=2161.280517578125\n", + "global step=48095232, episodic return=2113.852294921875\n", + "global step=48095232, episodic return=2175.35693359375\n", + "global step=48097280, episodic return=2182.589111328125\n", + "global step=48099328, episodic return=2182.2666015625\n", + "global step=48101376, episodic return=2152.847900390625\n", + "global step=48101376, episodic return=2186.4560546875\n", + "global step=48103424, episodic return=2163.719970703125\n", + "global step=48103424, episodic return=2194.583251953125\n", + "global step=48103424, episodic return=1001.8810424804688\n", + "global step=48105472, episodic return=2177.631591796875\n", + "global step=48105472, episodic return=240.555419921875\n", + "global step=48105472, episodic return=2151.5302734375\n", + "global step=48107520, episodic return=2157.262451171875\n", + "global step=48107520, episodic return=2211.3505859375\n", + "global step=48107520, episodic return=2152.62939453125\n", + "global step=48109568, episodic return=2120.2626953125\n", + "global step=48109568, episodic return=2207.9404296875\n", + "global step=48109568, episodic return=2151.974365234375\n", + "global step=48109568, episodic return=2210.994140625\n", + "global step=48109568, episodic return=2155.893310546875\n", + "global step=48111616, episodic return=2163.23095703125\n", + "global step=48113664, episodic return=2180.052734375\n", + "global step=48113664, episodic return=2183.423095703125\n", + "global step=48115712, episodic return=2101.208251953125\n", + "global step=48115712, episodic return=2157.21484375\n", + "global step=48117760, episodic return=2166.855224609375\n", + "global step=48117760, episodic return=2131.207763671875\n", + "global step=48117760, episodic return=2152.783203125\n", + "global step=48117760, episodic return=2200.3046875\n", + "global step=48119808, episodic return=2207.478759765625\n", + "global step=48119808, episodic return=2183.54638671875\n", + "global step=48123904, episodic return=2175.830078125\n", + "global step=48123904, episodic return=2160.598876953125\n", + "global step=48125952, episodic return=2192.677001953125\n", + "global step=48125952, episodic return=2240.091064453125\n", + "global step=48125952, episodic return=2116.7822265625\n", + "global step=48128000, episodic return=2144.14306640625\n", + "global step=48128000, episodic return=2148.129638671875\n", + "global step=48130048, episodic return=2159.736083984375\n", + "global step=48130048, episodic return=2117.15625\n", + "global step=48130048, episodic return=2134.724609375\n", + "global step=48130048, episodic return=2237.744384765625\n", + "global step=48130048, episodic return=2178.3876953125\n", + "global step=48132096, episodic return=2148.945068359375\n", + "global step=48132096, episodic return=1550.180419921875\n", + "global step=48132096, episodic return=169.35423278808594\n", + "global step=48134144, episodic return=2174.035888671875\n", + "global step=48136192, episodic return=2166.389892578125\n", + "global step=48140288, episodic return=2152.904541015625\n", + "global step=48144384, episodic return=2119.849365234375\n", + "global step=48144384, episodic return=2212.6123046875\n", + "global step=48146432, episodic return=280.46307373046875\n", + "global step=48146432, episodic return=2134.38916015625\n", + "global step=48148480, episodic return=2180.718505859375\n", + "global step=48148480, episodic return=2171.262451171875\n", + "global step=48148480, episodic return=2153.775390625\n", + "global step=48148480, episodic return=2183.802490234375\n", + "global step=48148480, episodic return=2178.4267578125\n", + "global step=48148480, episodic return=2191.986083984375\n", + "global step=48150528, episodic return=2167.851318359375\n", + "global step=48150528, episodic return=2155.65625\n", + "global step=48152576, episodic return=2146.60986328125\n", + "global step=48154624, episodic return=2167.743896484375\n", + "global step=48154624, episodic return=2095.67236328125\n", + "global step=48154624, episodic return=2176.4521484375\n", + "global step=48158720, episodic return=2178.37548828125\n", + "global step=48160768, episodic return=2146.314208984375\n", + "global step=48160768, episodic return=2219.253173828125\n", + "global step=48160768, episodic return=2123.544921875\n", + "global step=48162816, episodic return=2170.189453125\n", + "global step=48164864, episodic return=2162.987060546875\n", + "global step=48166912, episodic return=2146.652587890625\n", + "global step=48166912, episodic return=2177.567626953125\n", + "global step=48166912, episodic return=2185.049072265625\n", + "global step=48168960, episodic return=2181.74462890625\n", + "global step=48168960, episodic return=2193.440185546875\n", + "global step=48168960, episodic return=2198.615234375\n", + "global step=48168960, episodic return=2172.751220703125\n", + "global step=48171008, episodic return=2135.089599609375\n", + "global step=48173056, episodic return=2187.601318359375\n", + "global step=48173056, episodic return=2159.924560546875\n", + "global step=48173056, episodic return=2236.887451171875\n", + "global step=48175104, episodic return=2156.852294921875\n", + "global step=48175104, episodic return=2144.739990234375\n", + "global step=48177152, episodic return=2088.302734375\n", + "global step=48177152, episodic return=2139.191650390625\n", + "global step=48177152, episodic return=2209.9638671875\n", + "global step=48179200, episodic return=2167.547607421875\n", + "global step=48179200, episodic return=2153.18701171875\n", + "global step=48181248, episodic return=2157.7197265625\n", + "global step=48181248, episodic return=2205.59814453125\n", + "global step=48181248, episodic return=2167.71923828125\n", + "global step=48183296, episodic return=2175.95751953125\n", + "global step=48183296, episodic return=2174.85302734375\n", + "global step=48183296, episodic return=2209.561767578125\n", + "global step=48187392, episodic return=2100.514892578125\n", + "global step=48189440, episodic return=2143.23974609375\n", + "global step=48189440, episodic return=2160.5244140625\n", + "global step=48189440, episodic return=2179.720947265625\n", + "global step=48191488, episodic return=2144.710693359375\n", + "global step=48193536, episodic return=2150.1923828125\n", + "global step=48193536, episodic return=2160.52685546875\n", + "global step=48193536, episodic return=2135.51171875\n", + "global step=48193536, episodic return=2114.456298828125\n", + "global step=48195584, episodic return=2163.844482421875\n", + "global step=48195584, episodic return=2187.849609375\n", + "global step=48197632, episodic return=2137.48974609375\n", + "global step=48199680, episodic return=2163.038818359375\n", + "global step=48199680, episodic return=2148.783447265625\n", + "global step=48199680, episodic return=2179.2265625\n", + "global step=48199680, episodic return=2197.739501953125\n", + "global step=48199680, episodic return=2236.09912109375\n", + "global step=48199680, episodic return=2147.122314453125\n", + "global step=48199680, episodic return=2167.812744140625\n", + "global step=48201728, episodic return=2169.480224609375\n", + "global step=48201728, episodic return=2199.641845703125\n", + "global step=48203776, episodic return=2120.609375\n", + "global step=48203776, episodic return=2160.151123046875\n", + "global step=48205824, episodic return=2194.27001953125\n", + "global step=48207872, episodic return=2188.672607421875\n", + "global step=48207872, episodic return=2139.49462890625\n", + "global step=48207872, episodic return=2108.34521484375\n", + "global step=48209920, episodic return=2157.63330078125\n", + "global step=48209920, episodic return=2178.86181640625\n", + "global step=48209920, episodic return=2204.538818359375\n", + "global step=48209920, episodic return=2164.557861328125\n", + "global step=48209920, episodic return=2142.136962890625\n", + "global step=48211968, episodic return=2170.830810546875\n", + "global step=48211968, episodic return=2177.53271484375\n", + "global step=48211968, episodic return=2168.395751953125\n", + "global step=48214016, episodic return=2212.569091796875\n", + "global step=48216064, episodic return=2213.084716796875\n", + "global step=48216064, episodic return=2178.06640625\n", + "global step=48216064, episodic return=2211.049072265625\n", + "global step=48216064, episodic return=2178.68310546875\n", + "global step=48218112, episodic return=2186.406494140625\n", + "global step=48218112, episodic return=2169.593505859375\n", + "global step=48218112, episodic return=2135.52197265625\n", + "global step=48220160, episodic return=2190.390869140625\n", + "global step=48220160, episodic return=2184.8193359375\n", + "global step=48222208, episodic return=2169.05126953125\n", + "global step=48222208, episodic return=2110.468994140625\n", + "global step=48222208, episodic return=2149.18115234375\n", + "global step=48222208, episodic return=2153.125732421875\n", + "global step=48224256, episodic return=2185.19189453125\n", + "global step=48224256, episodic return=2202.232177734375\n", + "global step=48224256, episodic return=2144.13720703125\n", + "global step=48226304, episodic return=2137.371337890625\n", + "global step=48226304, episodic return=2189.706298828125\n", + "global step=48226304, episodic return=2158.66943359375\n", + "global step=48228352, episodic return=2153.923828125\n", + "global step=48228352, episodic return=2183.50634765625\n", + "global step=48228352, episodic return=2145.69677734375\n", + "global step=48230400, episodic return=2176.697021484375\n", + "global step=48230400, episodic return=2187.619873046875\n", + "global step=48230400, episodic return=2126.331787109375\n", + "global step=48232448, episodic return=2169.33349609375\n", + "global step=48232448, episodic return=2167.57275390625\n", + "global step=48232448, episodic return=2140.14306640625\n", + "global step=48232448, episodic return=2171.63427734375\n", + "global step=48232448, episodic return=2155.0498046875\n", + "global step=48234496, episodic return=2152.470947265625\n", + "global step=48234496, episodic return=2200.122314453125\n", + "global step=48236544, episodic return=2157.320556640625\n", + "global step=48236544, episodic return=2146.068603515625\n", + "global step=48238592, episodic return=2175.651123046875\n", + "global step=48238592, episodic return=2146.144287109375\n", + "global step=48238592, episodic return=2106.48095703125\n", + "global step=48238592, episodic return=2171.615234375\n", + "global step=48240640, episodic return=2187.118408203125\n", + "global step=48240640, episodic return=2172.319091796875\n", + "global step=48240640, episodic return=2237.19580078125\n", + "global step=48240640, episodic return=2171.965087890625\n", + "global step=48240640, episodic return=2201.653564453125\n", + "global step=48240640, episodic return=2191.017578125\n", + "global step=48240640, episodic return=2186.671630859375\n", + "global step=48240640, episodic return=2175.05419921875\n", + "global step=48244736, episodic return=2213.646728515625\n", + "global step=48246784, episodic return=2183.296142578125\n", + "global step=48246784, episodic return=2177.36181640625\n", + "global step=48246784, episodic return=2133.11181640625\n", + "global step=48246784, episodic return=2118.51171875\n", + "global step=48248832, episodic return=2103.63134765625\n", + "global step=48248832, episodic return=2163.138916015625\n", + "global step=48250880, episodic return=2152.588623046875\n", + "global step=48250880, episodic return=2190.447021484375\n", + "global step=48250880, episodic return=2118.101318359375\n", + "global step=48250880, episodic return=2170.0458984375\n", + "global step=48250880, episodic return=2157.583984375\n", + "global step=48252928, episodic return=2158.87353515625\n", + "global step=48252928, episodic return=2208.4736328125\n", + "global step=48254976, episodic return=2159.174560546875\n", + "global step=48257024, episodic return=2111.2607421875\n", + "global step=48257024, episodic return=882.518310546875\n", + "global step=48259072, episodic return=2158.1337890625\n", + "global step=48261120, episodic return=2151.93310546875\n", + "global step=48261120, episodic return=2109.5458984375\n", + "global step=48261120, episodic return=2109.236572265625\n", + "global step=48261120, episodic return=2132.03076171875\n", + "global step=48261120, episodic return=2141.222412109375\n", + "global step=48261120, episodic return=2198.263671875\n", + "global step=48261120, episodic return=2198.03564453125\n", + "global step=48263168, episodic return=2209.128662109375\n", + "global step=48265216, episodic return=2208.431640625\n", + "global step=48265216, episodic return=2199.861572265625\n", + "global step=48267264, episodic return=2189.19873046875\n", + "global step=48269312, episodic return=53.17113494873047\n", + "global step=48269312, episodic return=2153.300537109375\n", + "global step=48271360, episodic return=2165.580322265625\n", + "global step=48271360, episodic return=2194.091552734375\n", + "global step=48271360, episodic return=2143.249267578125\n", + "global step=48271360, episodic return=2206.838134765625\n", + "global step=48273408, episodic return=2161.728271484375\n", + "global step=48273408, episodic return=2164.13671875\n", + "global step=48275456, episodic return=2121.5625\n", + "global step=48275456, episodic return=2165.757080078125\n", + "global step=48275456, episodic return=2206.662109375\n", + "global step=48275456, episodic return=2171.016845703125\n", + "global step=48275456, episodic return=2136.064697265625\n", + "global step=48275456, episodic return=2198.124267578125\n", + "global step=48277504, episodic return=2183.568603515625\n", + "global step=48279552, episodic return=2236.540771484375\n", + "global step=48279552, episodic return=2181.28271484375\n", + "global step=48279552, episodic return=2167.65380859375\n", + "global step=48279552, episodic return=2176.71240234375\n", + "global step=48279552, episodic return=2179.457763671875\n", + "global step=48281600, episodic return=2187.81884765625\n", + "global step=48281600, episodic return=2158.793701171875\n", + "global step=48281600, episodic return=2174.903564453125\n", + "global step=48281600, episodic return=2146.282958984375\n", + "global step=48283648, episodic return=2182.508544921875\n", + "global step=48283648, episodic return=2159.656494140625\n", + "global step=48283648, episodic return=2109.7900390625\n", + "global step=48283648, episodic return=2175.049560546875\n", + "global step=48285696, episodic return=2174.81201171875\n", + "global step=48285696, episodic return=2138.12841796875\n", + "global step=48285696, episodic return=2140.473876953125\n", + "global step=48285696, episodic return=2153.704345703125\n", + "global step=48285696, episodic return=2180.833251953125\n", + "global step=48285696, episodic return=2180.455322265625\n", + "global step=48287744, episodic return=2178.357421875\n", + "global step=48291840, episodic return=2160.40673828125\n", + "global step=48291840, episodic return=2148.04248046875\n", + "global step=48291840, episodic return=2210.189453125\n", + "global step=48291840, episodic return=2151.403076171875\n", + "global step=48293888, episodic return=2194.02099609375\n", + "global step=48293888, episodic return=2107.45556640625\n", + "global step=48293888, episodic return=2138.24755859375\n", + "global step=48293888, episodic return=2213.094970703125\n", + "global step=48295936, episodic return=2147.08154296875\n", + "global step=48295936, episodic return=2122.03125\n", + "global step=48295936, episodic return=2184.562255859375\n", + "global step=48297984, episodic return=2186.155029296875\n", + "global step=48297984, episodic return=2209.302001953125\n", + "global step=48297984, episodic return=2211.91259765625\n", + "global step=48297984, episodic return=2181.55859375\n", + "global step=48297984, episodic return=2129.370361328125\n", + "global step=48300032, episodic return=2137.549072265625\n", + "global step=48300032, episodic return=2156.354248046875\n", + "global step=48300032, episodic return=2206.01708984375\n", + "global step=48300032, episodic return=2163.638916015625\n", + "global step=48300032, episodic return=2244.55908203125\n", + "global step=48300032, episodic return=40.79530715942383\n", + "global step=48300032, episodic return=2137.89599609375\n", + "global step=48302080, episodic return=2181.922607421875\n", + "global step=48302080, episodic return=2200.708984375\n", + "global step=48302080, episodic return=2211.708251953125\n", + "global step=48302080, episodic return=2117.6552734375\n", + "global step=48304128, episodic return=2152.70849609375\n", + "global step=48304128, episodic return=2145.29296875\n", + "global step=48304128, episodic return=2118.462890625\n", + "global step=48304128, episodic return=2116.858154296875\n", + "global step=48304128, episodic return=2142.390380859375\n", + "global step=48306176, episodic return=2177.9189453125\n", + "global step=48306176, episodic return=2162.01806640625\n", + "global step=48306176, episodic return=2206.23974609375\n", + "global step=48306176, episodic return=2105.6337890625\n", + "global step=48308224, episodic return=2181.566650390625\n", + "global step=48308224, episodic return=2163.606689453125\n", + "global step=48308224, episodic return=2172.60888671875\n", + "global step=48310272, episodic return=2163.456787109375\n", + "global step=48310272, episodic return=2158.26904296875\n", + "global step=48312320, episodic return=2033.9415283203125\n", + "global step=48312320, episodic return=2111.706298828125\n", + "global step=48312320, episodic return=2139.82275390625\n", + "global step=48312320, episodic return=2102.88671875\n", + "global step=48312320, episodic return=2127.091552734375\n", + "global step=48312320, episodic return=2141.602783203125\n", + "global step=48314368, episodic return=2076.81201171875\n", + "global step=48314368, episodic return=2158.897216796875\n", + "global step=48314368, episodic return=2147.7236328125\n", + "global step=48314368, episodic return=2152.4189453125\n", + "global step=48314368, episodic return=2116.613037109375\n", + "global step=48316416, episodic return=2163.4306640625\n", + "global step=48316416, episodic return=2129.191162109375\n", + "global step=48316416, episodic return=2172.974853515625\n", + "global step=48316416, episodic return=2142.31201171875\n", + "global step=48318464, episodic return=2191.471923828125\n", + "global step=48318464, episodic return=2095.828369140625\n", + "global step=48318464, episodic return=2121.12060546875\n", + "global step=48318464, episodic return=2157.797607421875\n", + "global step=48318464, episodic return=2141.595947265625\n", + "global step=48318464, episodic return=2185.91064453125\n", + "global step=48318464, episodic return=2158.47607421875\n", + "global step=48320512, episodic return=2139.478271484375\n", + "global step=48320512, episodic return=2168.021484375\n", + "global step=48320512, episodic return=2171.485595703125\n", + "global step=48322560, episodic return=2163.41162109375\n", + "global step=48322560, episodic return=2124.341552734375\n", + "global step=48326656, episodic return=2173.280517578125\n", + "global step=48326656, episodic return=2142.76904296875\n", + "global step=48326656, episodic return=2233.910888671875\n", + "global step=48328704, episodic return=2203.80029296875\n", + "global step=48328704, episodic return=2114.45703125\n", + "global step=48328704, episodic return=2154.3984375\n", + "global step=48328704, episodic return=2184.382080078125\n", + "global step=48330752, episodic return=2132.5087890625\n", + "global step=48330752, episodic return=2181.98974609375\n", + "global step=48332800, episodic return=2194.7333984375\n", + "global step=48332800, episodic return=2122.08984375\n", + "global step=48334848, episodic return=2204.515625\n", + "global step=48334848, episodic return=2219.65869140625\n", + "global step=48334848, episodic return=2222.702392578125\n", + "global step=48338944, episodic return=2116.682373046875\n", + "global step=48338944, episodic return=2183.994384765625\n", + "global step=48338944, episodic return=2183.843505859375\n", + "global step=48338944, episodic return=2175.8037109375\n", + "global step=48338944, episodic return=2206.430419921875\n", + "global step=48340992, episodic return=2135.901123046875\n", + "global step=48340992, episodic return=2137.7333984375\n", + "global step=48343040, episodic return=2164.741943359375\n", + "global step=48343040, episodic return=2186.953369140625\n", + "global step=48343040, episodic return=2194.17138671875\n", + "global step=48343040, episodic return=2174.4091796875\n", + "global step=48345088, episodic return=2153.87060546875\n", + "global step=48345088, episodic return=2138.3466796875\n", + "global step=48345088, episodic return=2164.27294921875\n", + "global step=48345088, episodic return=2196.8876953125\n", + "global step=48345088, episodic return=2070.98095703125\n", + "global step=48347136, episodic return=2120.15185546875\n", + "global step=48347136, episodic return=2162.433837890625\n", + "global step=48349184, episodic return=2178.720458984375\n", + "global step=48349184, episodic return=2197.322998046875\n", + "global step=48349184, episodic return=2182.0166015625\n", + "global step=48351232, episodic return=2154.897216796875\n", + "global step=48351232, episodic return=2176.737548828125\n", + "global step=48351232, episodic return=2215.305908203125\n", + "global step=48351232, episodic return=2117.26171875\n", + "global step=48351232, episodic return=2137.88134765625\n", + "global step=48353280, episodic return=2113.99951171875\n", + "global step=48353280, episodic return=2171.62060546875\n", + "global step=48355328, episodic return=2205.85693359375\n", + "global step=48355328, episodic return=2195.03662109375\n", + "global step=48355328, episodic return=2204.905517578125\n", + "global step=48357376, episodic return=2189.89892578125\n", + "global step=48357376, episodic return=2161.241943359375\n", + "global step=48359424, episodic return=2160.724853515625\n", + "global step=48359424, episodic return=2166.263671875\n", + "global step=48359424, episodic return=2159.586669921875\n", + "global step=48359424, episodic return=2163.486572265625\n", + "global step=48359424, episodic return=2192.166015625\n", + "global step=48361472, episodic return=2173.44970703125\n", + "global step=48361472, episodic return=2188.051025390625\n", + "global step=48361472, episodic return=2138.6650390625\n", + "global step=48361472, episodic return=2152.320556640625\n", + "global step=48361472, episodic return=2150.160400390625\n", + "global step=48363520, episodic return=2228.52001953125\n", + "global step=48363520, episodic return=2140.2802734375\n", + "global step=48365568, episodic return=2207.881591796875\n", + "global step=48365568, episodic return=2140.802490234375\n", + "global step=48365568, episodic return=2083.9599609375\n", + "global step=48365568, episodic return=2180.9755859375\n", + "global step=48365568, episodic return=2135.65380859375\n", + "global step=48365568, episodic return=2163.571533203125\n", + "global step=48365568, episodic return=2186.511474609375\n", + "global step=48365568, episodic return=2130.851318359375\n", + "global step=48365568, episodic return=2179.586669921875\n", + "global step=48367616, episodic return=2219.707275390625\n", + "global step=48367616, episodic return=2180.14501953125\n", + "global step=48367616, episodic return=2153.294189453125\n", + "global step=48367616, episodic return=2083.919677734375\n", + "global step=48371712, episodic return=2135.7763671875\n", + "global step=48371712, episodic return=2109.14453125\n", + "global step=48371712, episodic return=2126.741455078125\n", + "global step=48371712, episodic return=2112.643310546875\n", + "global step=48371712, episodic return=2116.956298828125\n", + "global step=48373760, episodic return=2146.23388671875\n", + "global step=48373760, episodic return=2113.17822265625\n", + "global step=48373760, episodic return=2138.896484375\n", + "global step=48375808, episodic return=448.0093078613281\n", + "global step=48377856, episodic return=2218.80517578125\n", + "global step=48377856, episodic return=2118.140380859375\n", + "global step=48377856, episodic return=2169.108642578125\n", + "global step=48377856, episodic return=2171.876953125\n", + "global step=48377856, episodic return=2126.99267578125\n", + "global step=48379904, episodic return=2198.690185546875\n", + "global step=48379904, episodic return=2136.898193359375\n", + "global step=48379904, episodic return=2163.6796875\n", + "global step=48379904, episodic return=2175.734619140625\n", + "global step=48381952, episodic return=2203.38330078125\n", + "global step=48381952, episodic return=2145.93701171875\n", + "global step=48381952, episodic return=2138.4267578125\n", + "global step=48381952, episodic return=2119.55859375\n", + "global step=48381952, episodic return=2138.789794921875\n", + "global step=48384000, episodic return=2148.990966796875\n", + "global step=48384000, episodic return=2176.298583984375\n", + "global step=48386048, episodic return=2147.73388671875\n", + "global step=48386048, episodic return=2158.015625\n", + "global step=48386048, episodic return=2186.9658203125\n", + "global step=48388096, episodic return=2116.184814453125\n", + "global step=48390144, episodic return=377.2757568359375\n", + "global step=48390144, episodic return=2082.41748046875\n", + "global step=48390144, episodic return=2095.566162109375\n", + "global step=48390144, episodic return=2153.80419921875\n", + "global step=48390144, episodic return=2177.35302734375\n", + "global step=48390144, episodic return=2162.394775390625\n", + "global step=48392192, episodic return=2171.554443359375\n", + "global step=48392192, episodic return=2099.225341796875\n", + "global step=48392192, episodic return=2162.0908203125\n", + "global step=48392192, episodic return=2127.22607421875\n", + "global step=48392192, episodic return=2116.667724609375\n", + "global step=48392192, episodic return=2123.799560546875\n", + "global step=48392192, episodic return=2209.390380859375\n", + "global step=48394240, episodic return=2167.203369140625\n", + "global step=48394240, episodic return=2138.80908203125\n", + "global step=48394240, episodic return=2149.962890625\n", + "global step=48394240, episodic return=2193.141357421875\n", + "global step=48396288, episodic return=2137.48388671875\n", + "global step=48396288, episodic return=2162.519287109375\n", + "global step=48396288, episodic return=2170.77685546875\n", + "global step=48398336, episodic return=2125.956787109375\n", + "global step=48398336, episodic return=2200.76318359375\n", + "global step=48398336, episodic return=2164.419677734375\n", + "global step=48398336, episodic return=2181.242919921875\n", + "global step=48400384, episodic return=2201.3720703125\n", + "global step=48400384, episodic return=2120.40771484375\n", + "global step=48400384, episodic return=2137.0703125\n", + "global step=48400384, episodic return=2178.177734375\n", + "global step=48400384, episodic return=2152.30517578125\n", + "global step=48400384, episodic return=2189.701904296875\n", + "global step=48402432, episodic return=2157.96875\n", + "global step=48402432, episodic return=2163.572509765625\n", + "global step=48402432, episodic return=2160.63818359375\n", + "global step=48402432, episodic return=2177.3603515625\n", + "global step=48404480, episodic return=2191.83251953125\n", + "global step=48404480, episodic return=2135.572998046875\n", + "global step=48404480, episodic return=2183.60986328125\n", + "global step=48404480, episodic return=2136.832275390625\n", + "global step=48406528, episodic return=2202.82861328125\n", + "global step=48406528, episodic return=2165.034912109375\n", + "global step=48406528, episodic return=2239.18212890625\n", + "global step=48406528, episodic return=2135.85498046875\n", + "global step=48406528, episodic return=2167.639404296875\n", + "global step=48408576, episodic return=2143.572509765625\n", + "global step=48408576, episodic return=2182.4736328125\n", + "global step=48410624, episodic return=2171.145751953125\n", + "global step=48412672, episodic return=2150.594970703125\n", + "global step=48412672, episodic return=2136.4638671875\n", + "global step=48412672, episodic return=2197.10791015625\n", + "global step=48414720, episodic return=2159.36474609375\n", + "global step=48414720, episodic return=2139.569091796875\n", + "global step=48414720, episodic return=2145.497802734375\n", + "global step=48416768, episodic return=2117.906494140625\n", + "global step=48416768, episodic return=2157.4453125\n", + "global step=48418816, episodic return=2183.3779296875\n", + "global step=48418816, episodic return=2156.49072265625\n", + "global step=48418816, episodic return=2201.4423828125\n", + "global step=48418816, episodic return=2130.1162109375\n", + "global step=48420864, episodic return=2055.1787109375\n", + "global step=48422912, episodic return=2139.489501953125\n", + "global step=48422912, episodic return=2163.0361328125\n", + "global step=48422912, episodic return=2182.43701171875\n", + "global step=48422912, episodic return=2145.490966796875\n", + "global step=48422912, episodic return=2144.8876953125\n", + "global step=48422912, episodic return=2198.663818359375\n", + "global step=48424960, episodic return=2147.793701171875\n", + "global step=48424960, episodic return=2162.841064453125\n", + "global step=48424960, episodic return=2147.39697265625\n", + "global step=48424960, episodic return=2164.750244140625\n", + "global step=48424960, episodic return=2145.350830078125\n", + "global step=48424960, episodic return=2139.91455078125\n", + "global step=48424960, episodic return=2175.982666015625\n", + "global step=48424960, episodic return=435.68450927734375\n", + "global step=48427008, episodic return=2124.658203125\n", + "global step=48427008, episodic return=2145.992919921875\n", + "global step=48429056, episodic return=2123.144775390625\n", + "global step=48429056, episodic return=2175.24267578125\n", + "global step=48431104, episodic return=2180.748779296875\n", + "global step=48431104, episodic return=2123.587646484375\n", + "global step=48433152, episodic return=2160.490478515625\n", + "global step=48433152, episodic return=2148.3759765625\n", + "global step=48433152, episodic return=2140.432373046875\n", + "global step=48435200, episodic return=2153.265869140625\n", + "global step=48435200, episodic return=2186.214599609375\n", + "global step=48435200, episodic return=2212.796875\n", + "global step=48435200, episodic return=2138.103515625\n", + "global step=48435200, episodic return=2126.220947265625\n", + "global step=48437248, episodic return=2157.106201171875\n", + "global step=48437248, episodic return=2153.711669921875\n", + "global step=48437248, episodic return=2102.14453125\n", + "global step=48437248, episodic return=2172.029296875\n", + "global step=48437248, episodic return=2146.498291015625\n", + "global step=48437248, episodic return=2142.92138671875\n", + "global step=48437248, episodic return=2144.499267578125\n", + "global step=48437248, episodic return=2146.413330078125\n", + "global step=48441344, episodic return=1192.16162109375\n", + "global step=48441344, episodic return=2199.18701171875\n", + "global step=48441344, episodic return=99.87769317626953\n", + "global step=48441344, episodic return=2221.124267578125\n", + "global step=48441344, episodic return=2146.174072265625\n", + "global step=48443392, episodic return=2165.3525390625\n", + "global step=48443392, episodic return=2164.818115234375\n", + "global step=48443392, episodic return=2158.687255859375\n", + "global step=48443392, episodic return=2130.7470703125\n", + "global step=48445440, episodic return=2129.83544921875\n", + "global step=48445440, episodic return=2147.70556640625\n", + "global step=48445440, episodic return=2122.460205078125\n", + "global step=48445440, episodic return=2118.712890625\n", + "global step=48445440, episodic return=2130.294677734375\n", + "global step=48447488, episodic return=2124.143798828125\n", + "global step=48447488, episodic return=2200.054443359375\n", + "global step=48447488, episodic return=2187.010986328125\n", + "global step=48449536, episodic return=2155.357666015625\n", + "global step=48449536, episodic return=2108.5361328125\n", + "global step=48449536, episodic return=2051.0439453125\n", + "global step=48449536, episodic return=313.3918762207031\n", + "global step=48449536, episodic return=2206.439697265625\n", + "global step=48449536, episodic return=2172.87353515625\n", + "global step=48449536, episodic return=2185.153076171875\n", + "global step=48451584, episodic return=2172.21435546875\n", + "global step=48451584, episodic return=2169.09326171875\n", + "global step=48451584, episodic return=2126.307861328125\n", + "global step=48451584, episodic return=2147.424560546875\n", + "global step=48451584, episodic return=2126.47900390625\n", + "global step=48453632, episodic return=2172.2109375\n", + "global step=48453632, episodic return=2122.72265625\n", + "global step=48453632, episodic return=2186.7529296875\n", + "global step=48455680, episodic return=1678.318115234375\n", + "global step=48455680, episodic return=2120.570068359375\n", + "global step=48457728, episodic return=2125.4169921875\n", + "global step=48457728, episodic return=2169.504638671875\n", + "global step=48459776, episodic return=2142.83251953125\n", + "global step=48459776, episodic return=2115.019775390625\n", + "global step=48459776, episodic return=2051.8681640625\n", + "global step=48459776, episodic return=2169.9599609375\n", + "global step=48461824, episodic return=2140.46484375\n", + "global step=48461824, episodic return=2170.040283203125\n", + "global step=48461824, episodic return=2139.622314453125\n", + "global step=48461824, episodic return=2150.271728515625\n", + "global step=48461824, episodic return=38.463356018066406\n", + "global step=48463872, episodic return=2136.04638671875\n", + "global step=48463872, episodic return=2144.603759765625\n", + "global step=48463872, episodic return=2182.838623046875\n", + "global step=48463872, episodic return=2096.92333984375\n", + "global step=48463872, episodic return=2097.670166015625\n", + "global step=48463872, episodic return=2141.648193359375\n", + "global step=48465920, episodic return=2172.023681640625\n", + "global step=48465920, episodic return=2165.31396484375\n", + "global step=48465920, episodic return=2142.957763671875\n", + "global step=48465920, episodic return=2055.54443359375\n", + "global step=48465920, episodic return=2143.9189453125\n", + "global step=48467968, episodic return=2176.026611328125\n", + "global step=48467968, episodic return=2105.84326171875\n", + "global step=48467968, episodic return=2168.574462890625\n", + "global step=48467968, episodic return=2175.931640625\n", + "global step=48467968, episodic return=2105.3203125\n", + "global step=48470016, episodic return=2207.51416015625\n", + "global step=48470016, episodic return=2140.016845703125\n", + "global step=48472064, episodic return=2154.591552734375\n", + "global step=48472064, episodic return=2130.6357421875\n", + "global step=48472064, episodic return=2158.161376953125\n", + "global step=48474112, episodic return=2141.06787109375\n", + "global step=48474112, episodic return=2085.802490234375\n", + "global step=48474112, episodic return=2133.927978515625\n", + "global step=48474112, episodic return=2136.125\n", + "global step=48476160, episodic return=2154.23486328125\n", + "global step=48476160, episodic return=2140.2412109375\n", + "global step=48478208, episodic return=2106.273681640625\n", + "global step=48478208, episodic return=2094.412841796875\n", + "global step=48482304, episodic return=2166.779541015625\n", + "global step=48482304, episodic return=2166.291259765625\n", + "global step=48482304, episodic return=2194.6044921875\n", + "global step=48482304, episodic return=2145.837890625\n", + "global step=48482304, episodic return=2162.18115234375\n", + "global step=48484352, episodic return=2224.4130859375\n", + "global step=48484352, episodic return=2173.7685546875\n", + "global step=48484352, episodic return=2139.206298828125\n", + "global step=48486400, episodic return=2136.333984375\n", + "global step=48486400, episodic return=2091.869873046875\n", + "global step=48486400, episodic return=2140.8623046875\n", + "global step=48486400, episodic return=2154.18017578125\n", + "global step=48486400, episodic return=2187.644775390625\n", + "global step=48486400, episodic return=2108.10400390625\n", + "global step=48486400, episodic return=2110.630126953125\n", + "global step=48488448, episodic return=366.1193542480469\n", + "global step=48488448, episodic return=2130.969482421875\n", + "global step=48488448, episodic return=2151.03369140625\n", + "global step=48490496, episodic return=2156.08251953125\n", + "global step=48490496, episodic return=2173.24169921875\n", + "global step=48490496, episodic return=2111.05712890625\n", + "global step=48490496, episodic return=2158.80908203125\n", + "global step=48492544, episodic return=2104.2841796875\n", + "global step=48492544, episodic return=334.59930419921875\n", + "global step=48492544, episodic return=2160.249267578125\n", + "global step=48494592, episodic return=2148.0400390625\n", + "global step=48494592, episodic return=2116.474853515625\n", + "global step=48494592, episodic return=2115.376708984375\n", + "global step=48494592, episodic return=2121.842041015625\n", + "global step=48494592, episodic return=2164.263671875\n", + "global step=48494592, episodic return=2159.61083984375\n", + "global step=48494592, episodic return=2177.927001953125\n", + "global step=48496640, episodic return=2114.939208984375\n", + "global step=48496640, episodic return=2130.680419921875\n", + "global step=48496640, episodic return=2177.951171875\n", + "global step=48498688, episodic return=61.93560028076172\n", + "global step=48498688, episodic return=2141.02880859375\n", + "global step=48500736, episodic return=2137.98193359375\n", + "global step=48500736, episodic return=2155.773193359375\n", + "global step=48500736, episodic return=2144.27783203125\n", + "global step=48502784, episodic return=2132.330810546875\n", + "global step=48502784, episodic return=2147.757080078125\n", + "global step=48504832, episodic return=2151.36572265625\n", + "global step=48506880, episodic return=2184.322509765625\n", + "global step=48506880, episodic return=2167.52978515625\n", + "global step=48506880, episodic return=2157.718017578125\n", + "global step=48508928, episodic return=320.02130126953125\n", + "global step=48508928, episodic return=2124.71630859375\n", + "global step=48508928, episodic return=2137.216796875\n", + "global step=48508928, episodic return=346.21527099609375\n", + "global step=48510976, episodic return=2179.341552734375\n", + "global step=48510976, episodic return=2179.4453125\n", + "global step=48510976, episodic return=2148.31787109375\n", + "global step=48513024, episodic return=2174.05908203125\n", + "global step=48515072, episodic return=2206.81787109375\n", + "global step=48515072, episodic return=2135.3056640625\n", + "global step=48515072, episodic return=2126.505615234375\n", + "global step=48517120, episodic return=2148.239013671875\n", + "global step=48517120, episodic return=2184.697998046875\n", + "global step=48517120, episodic return=2127.770751953125\n", + "global step=48517120, episodic return=2128.42138671875\n", + "global step=48517120, episodic return=2193.0478515625\n", + "global step=48517120, episodic return=2145.088623046875\n", + "global step=48519168, episodic return=2108.77783203125\n", + "global step=48521216, episodic return=2166.963623046875\n", + "global step=48521216, episodic return=2134.724365234375\n", + "global step=48521216, episodic return=308.0232849121094\n", + "global step=48521216, episodic return=2143.734375\n", + "global step=48523264, episodic return=2157.364990234375\n", + "global step=48523264, episodic return=2150.271240234375\n", + "global step=48523264, episodic return=2162.64892578125\n", + "global step=48525312, episodic return=2196.886962890625\n", + "global step=48525312, episodic return=2142.416259765625\n", + "global step=48525312, episodic return=2148.697509765625\n", + "global step=48527360, episodic return=2168.6552734375\n", + "global step=48527360, episodic return=2167.583740234375\n", + "global step=48527360, episodic return=2114.946044921875\n", + "global step=48527360, episodic return=2081.691650390625\n", + "global step=48527360, episodic return=2154.3203125\n", + "global step=48529408, episodic return=2145.0908203125\n", + "global step=48529408, episodic return=2126.21728515625\n", + "global step=48529408, episodic return=2145.52978515625\n", + "global step=48529408, episodic return=2146.150146484375\n", + "global step=48531456, episodic return=2125.990234375\n", + "global step=48531456, episodic return=2148.6650390625\n", + "global step=48531456, episodic return=2109.819091796875\n", + "global step=48531456, episodic return=2133.24658203125\n", + "global step=48533504, episodic return=2114.23583984375\n", + "global step=48535552, episodic return=2140.546875\n", + "global step=48535552, episodic return=2158.33056640625\n", + "global step=48537600, episodic return=2152.15673828125\n", + "global step=48537600, episodic return=2164.494140625\n", + "global step=48539648, episodic return=2165.65576171875\n", + "global step=48541696, episodic return=2149.928466796875\n", + "global step=48541696, episodic return=2178.004638671875\n", + "global step=48541696, episodic return=2169.0908203125\n", + "global step=48541696, episodic return=2153.393798828125\n", + "global step=48541696, episodic return=2131.67333984375\n", + "global step=48543744, episodic return=2149.254150390625\n", + "global step=48543744, episodic return=2131.596435546875\n", + "global step=48543744, episodic return=2127.68212890625\n", + "global step=48543744, episodic return=2132.72119140625\n", + "global step=48545792, episodic return=2175.676025390625\n", + "global step=48545792, episodic return=2122.73828125\n", + "global step=48547840, episodic return=2177.445068359375\n", + "global step=48547840, episodic return=2189.934326171875\n", + "global step=48547840, episodic return=2140.931884765625\n", + "global step=48547840, episodic return=2138.902587890625\n", + "global step=48549888, episodic return=2182.66357421875\n", + "global step=48549888, episodic return=2191.331298828125\n", + "global step=48551936, episodic return=2156.078125\n", + "global step=48551936, episodic return=2147.48291015625\n", + "global step=48551936, episodic return=2151.3759765625\n", + "global step=48551936, episodic return=2111.083984375\n", + "global step=48551936, episodic return=2139.4296875\n", + "global step=48553984, episodic return=2183.247802734375\n", + "global step=48553984, episodic return=2104.705322265625\n", + "global step=48553984, episodic return=2113.104736328125\n", + "global step=48556032, episodic return=2134.44091796875\n", + "global step=48558080, episodic return=2164.858154296875\n", + "global step=48560128, episodic return=2134.10205078125\n", + "global step=48560128, episodic return=2153.434814453125\n", + "global step=48560128, episodic return=2150.46337890625\n", + "global step=48560128, episodic return=2137.675537109375\n", + "global step=48562176, episodic return=2119.217529296875\n", + "global step=48562176, episodic return=2100.45556640625\n", + "global step=48562176, episodic return=2134.789306640625\n", + "global step=48564224, episodic return=2117.583251953125\n", + "global step=48564224, episodic return=2170.25634765625\n", + "global step=48564224, episodic return=2156.067138671875\n", + "global step=48564224, episodic return=2135.78955078125\n", + "global step=48564224, episodic return=2158.82470703125\n", + "global step=48564224, episodic return=2185.709228515625\n", + "global step=48564224, episodic return=2112.100341796875\n", + "global step=48566272, episodic return=2161.70458984375\n", + "global step=48566272, episodic return=1636.7410888671875\n", + "global step=48566272, episodic return=2166.16259765625\n", + "global step=48566272, episodic return=2152.867431640625\n", + "global step=48568320, episodic return=2152.553955078125\n", + "global step=48568320, episodic return=2166.106201171875\n", + "global step=48570368, episodic return=2175.392333984375\n", + "global step=48570368, episodic return=2091.28271484375\n", + "global step=48570368, episodic return=2166.45263671875\n", + "global step=48570368, episodic return=2175.527099609375\n", + "global step=48570368, episodic return=2123.37158203125\n", + "global step=48572416, episodic return=2113.0\n", + "global step=48574464, episodic return=2181.42578125\n", + "global step=48574464, episodic return=2108.70947265625\n", + "global step=48574464, episodic return=388.2355041503906\n", + "global step=48576512, episodic return=2175.84375\n", + "global step=48576512, episodic return=2104.549560546875\n", + "global step=48576512, episodic return=2163.36572265625\n", + "global step=48576512, episodic return=2161.4267578125\n", + "global step=48578560, episodic return=2149.27880859375\n", + "global step=48578560, episodic return=2086.9326171875\n", + "global step=48578560, episodic return=2163.203125\n", + "global step=48580608, episodic return=2121.73486328125\n", + "global step=48580608, episodic return=2171.164306640625\n", + "global step=48580608, episodic return=2144.539306640625\n", + "global step=48582656, episodic return=2124.44091796875\n", + "global step=48582656, episodic return=2178.881591796875\n", + "global step=48582656, episodic return=2149.276611328125\n", + "global step=48584704, episodic return=2129.026611328125\n", + "global step=48584704, episodic return=2192.20703125\n", + "global step=48584704, episodic return=2108.013427734375\n", + "global step=48584704, episodic return=2164.63232421875\n", + "global step=48584704, episodic return=2163.58837890625\n", + "global step=48584704, episodic return=2141.937255859375\n", + "global step=48584704, episodic return=2143.133056640625\n", + "global step=48584704, episodic return=2147.49658203125\n", + "global step=48586752, episodic return=2136.90869140625\n", + "global step=48586752, episodic return=2198.97119140625\n", + "global step=48588800, episodic return=2147.111328125\n", + "global step=48588800, episodic return=2145.908935546875\n", + "global step=48588800, episodic return=2178.410400390625\n", + "global step=48590848, episodic return=2124.799072265625\n", + "global step=48590848, episodic return=2141.5537109375\n", + "global step=48590848, episodic return=2161.9482421875\n", + "global step=48590848, episodic return=2168.877197265625\n", + "global step=48590848, episodic return=2165.61572265625\n", + "global step=48590848, episodic return=2121.4716796875\n", + "global step=48592896, episodic return=2140.85986328125\n", + "global step=48592896, episodic return=2154.117919921875\n", + "global step=48592896, episodic return=2126.87744140625\n", + "global step=48592896, episodic return=139.87596130371094\n", + "global step=48594944, episodic return=2126.735595703125\n", + "global step=48594944, episodic return=2116.503662109375\n", + "global step=48594944, episodic return=2043.713134765625\n", + "global step=48596992, episodic return=2187.660400390625\n", + "global step=48596992, episodic return=2165.731689453125\n", + "global step=48599040, episodic return=2130.08544921875\n", + "global step=48599040, episodic return=2120.614501953125\n", + "global step=48599040, episodic return=204.6464080810547\n", + "global step=48601088, episodic return=2143.195068359375\n", + "global step=48601088, episodic return=2167.74072265625\n", + "global step=48603136, episodic return=2130.053955078125\n", + "global step=48603136, episodic return=2126.5517578125\n", + "global step=48603136, episodic return=2089.528076171875\n", + "global step=48603136, episodic return=2140.052734375\n", + "global step=48603136, episodic return=2183.061767578125\n", + "global step=48603136, episodic return=1869.7857666015625\n", + "global step=48605184, episodic return=2137.82568359375\n", + "global step=48605184, episodic return=2198.076171875\n", + "global step=48605184, episodic return=1554.43115234375\n", + "global step=48607232, episodic return=2178.7080078125\n", + "global step=48607232, episodic return=2156.094482421875\n", + "global step=48607232, episodic return=2129.0693359375\n", + "global step=48607232, episodic return=2177.1728515625\n", + "global step=48607232, episodic return=2154.942626953125\n", + "global step=48609280, episodic return=2187.051025390625\n", + "global step=48609280, episodic return=2119.53955078125\n", + "global step=48609280, episodic return=2158.254638671875\n", + "global step=48611328, episodic return=2171.822998046875\n", + "global step=48611328, episodic return=2103.337646484375\n", + "global step=48611328, episodic return=75.32730865478516\n", + "global step=48611328, episodic return=2138.29443359375\n", + "global step=48613376, episodic return=2122.92236328125\n", + "global step=48613376, episodic return=1973.8172607421875\n", + "global step=48615424, episodic return=2157.647216796875\n", + "global step=48615424, episodic return=2145.88623046875\n", + "global step=48617472, episodic return=2118.77587890625\n", + "global step=48617472, episodic return=2156.92578125\n", + "global step=48617472, episodic return=40.73496627807617\n", + "global step=48617472, episodic return=2162.0380859375\n", + "global step=48619520, episodic return=2141.095458984375\n", + "global step=48619520, episodic return=229.16909790039062\n", + "global step=48619520, episodic return=2081.80859375\n", + "global step=48619520, episodic return=2158.037109375\n", + "global step=48621568, episodic return=2128.558349609375\n", + "global step=48623616, episodic return=2156.13623046875\n", + "global step=48623616, episodic return=1271.61181640625\n", + "global step=48623616, episodic return=2196.171875\n", + "global step=48625664, episodic return=2118.391357421875\n", + "global step=48625664, episodic return=2082.9228515625\n", + "global step=48625664, episodic return=131.8533935546875\n", + "global step=48625664, episodic return=2146.810302734375\n", + "global step=48625664, episodic return=2152.64453125\n", + "global step=48627712, episodic return=2163.588623046875\n", + "global step=48627712, episodic return=2142.546142578125\n", + "global step=48627712, episodic return=2177.824462890625\n", + "global step=48627712, episodic return=2161.915283203125\n", + "global step=48627712, episodic return=2129.5703125\n", + "global step=48629760, episodic return=1010.32470703125\n", + "global step=48629760, episodic return=2151.117919921875\n", + "global step=48629760, episodic return=2161.191162109375\n", + "global step=48629760, episodic return=2183.31591796875\n", + "global step=48629760, episodic return=2155.864990234375\n", + "global step=48631808, episodic return=2167.39013671875\n", + "global step=48631808, episodic return=2161.5732421875\n", + "global step=48631808, episodic return=2181.57177734375\n", + "global step=48631808, episodic return=2160.94091796875\n", + "global step=48633856, episodic return=2145.861083984375\n", + "global step=48633856, episodic return=2192.76123046875\n", + "global step=48633856, episodic return=2130.39892578125\n", + "global step=48633856, episodic return=2149.2822265625\n", + "global step=48633856, episodic return=2148.8037109375\n", + "global step=48635904, episodic return=2153.1630859375\n", + "global step=48637952, episodic return=2141.51318359375\n", + "global step=48637952, episodic return=2211.07861328125\n", + "global step=48637952, episodic return=2161.375244140625\n", + "global step=48637952, episodic return=2187.29150390625\n", + "global step=48637952, episodic return=2165.231201171875\n", + "global step=48637952, episodic return=2183.822509765625\n", + "global step=48637952, episodic return=2059.209716796875\n", + "global step=48640000, episodic return=2172.96533203125\n", + "global step=48640000, episodic return=2124.581298828125\n", + "global step=48640000, episodic return=2158.232666015625\n", + "global step=48640000, episodic return=2177.248779296875\n", + "global step=48642048, episodic return=2163.94580078125\n", + "global step=48642048, episodic return=2162.314453125\n", + "global step=48642048, episodic return=2161.455810546875\n", + "global step=48642048, episodic return=2132.611572265625\n", + "global step=48642048, episodic return=2160.500244140625\n", + "global step=48642048, episodic return=2122.2548828125\n", + "global step=48644096, episodic return=2128.370849609375\n", + "global step=48644096, episodic return=2153.4677734375\n", + "global step=48644096, episodic return=2185.3076171875\n", + "global step=48644096, episodic return=2173.568359375\n", + "global step=48646144, episodic return=2199.663818359375\n", + "global step=48648192, episodic return=2151.5869140625\n", + "global step=48648192, episodic return=2144.412353515625\n", + "global step=48648192, episodic return=2157.534912109375\n", + "global step=48650240, episodic return=2127.993896484375\n", + "global step=48650240, episodic return=2143.313720703125\n", + "global step=48652288, episodic return=2113.833251953125\n", + "global step=48652288, episodic return=2170.296875\n", + "global step=48652288, episodic return=2146.901611328125\n", + "global step=48654336, episodic return=2154.4150390625\n", + "global step=48654336, episodic return=2095.167236328125\n", + "global step=48654336, episodic return=2164.83251953125\n", + "global step=48656384, episodic return=2178.625732421875\n", + "global step=48658432, episodic return=2152.764404296875\n", + "global step=48660480, episodic return=2152.72216796875\n", + "global step=48660480, episodic return=2215.153564453125\n", + "global step=48660480, episodic return=2133.95654296875\n", + "global step=48660480, episodic return=1997.4249267578125\n", + "global step=48662528, episodic return=2191.49609375\n", + "global step=48662528, episodic return=2112.376708984375\n", + "global step=48664576, episodic return=2148.29052734375\n", + "global step=48664576, episodic return=2183.783447265625\n", + "global step=48664576, episodic return=2123.442626953125\n", + "global step=48664576, episodic return=2110.60400390625\n", + "global step=48664576, episodic return=2188.2177734375\n", + "global step=48664576, episodic return=2139.33447265625\n", + "global step=48668672, episodic return=2131.47802734375\n", + "global step=48668672, episodic return=2137.72412109375\n", + "global step=48668672, episodic return=2184.38330078125\n", + "global step=48668672, episodic return=2112.027587890625\n", + "global step=48668672, episodic return=2142.22021484375\n", + "global step=48668672, episodic return=2158.108154296875\n", + "global step=48668672, episodic return=2179.875244140625\n", + "global step=48670720, episodic return=2128.5400390625\n", + "global step=48670720, episodic return=2155.58642578125\n", + "global step=48670720, episodic return=2163.112548828125\n", + "global step=48674816, episodic return=2132.408203125\n", + "global step=48674816, episodic return=553.0306396484375\n", + "global step=48674816, episodic return=2166.853759765625\n", + "global step=48674816, episodic return=2153.11767578125\n", + "global step=48674816, episodic return=2154.88720703125\n", + "global step=48674816, episodic return=2130.57177734375\n", + "global step=48674816, episodic return=2178.47412109375\n", + "global step=48676864, episodic return=2110.366943359375\n", + "global step=48676864, episodic return=2160.06787109375\n", + "global step=48676864, episodic return=2211.738525390625\n", + "global step=48676864, episodic return=2173.529296875\n", + "global step=48678912, episodic return=2142.021240234375\n", + "global step=48678912, episodic return=1637.13232421875\n", + "global step=48678912, episodic return=2129.87353515625\n", + "global step=48678912, episodic return=2154.7724609375\n", + "global step=48680960, episodic return=2081.554931640625\n", + "global step=48683008, episodic return=2155.025146484375\n", + "global step=48683008, episodic return=2149.843017578125\n", + "global step=48685056, episodic return=2137.20556640625\n", + "global step=48685056, episodic return=2121.83935546875\n", + "global step=48687104, episodic return=2114.04931640625\n", + "global step=48687104, episodic return=2141.601318359375\n", + "global step=48687104, episodic return=2164.663818359375\n", + "global step=48687104, episodic return=2163.924072265625\n", + "global step=48689152, episodic return=2132.229736328125\n", + "global step=48689152, episodic return=2152.510009765625\n", + "global step=48689152, episodic return=2157.243896484375\n", + "global step=48689152, episodic return=2154.3544921875\n", + "global step=48691200, episodic return=2167.2578125\n", + "global step=48691200, episodic return=2166.375732421875\n", + "global step=48691200, episodic return=2148.755859375\n", + "global step=48693248, episodic return=2206.865478515625\n", + "global step=48693248, episodic return=2169.284423828125\n", + "global step=48695296, episodic return=2144.7841796875\n", + "global step=48695296, episodic return=2073.05126953125\n", + "global step=48695296, episodic return=2120.5751953125\n", + "global step=48697344, episodic return=2188.98193359375\n", + "global step=48699392, episodic return=2108.267578125\n", + "global step=48699392, episodic return=2099.496826171875\n", + "global step=48699392, episodic return=2142.401611328125\n", + "global step=48699392, episodic return=2183.7412109375\n", + "global step=48701440, episodic return=2121.38134765625\n", + "global step=48701440, episodic return=2160.97607421875\n", + "global step=48701440, episodic return=2107.369140625\n", + "global step=48703488, episodic return=2145.8251953125\n", + "global step=48703488, episodic return=2145.38232421875\n", + "global step=48703488, episodic return=2095.872802734375\n", + "global step=48705536, episodic return=2183.92333984375\n", + "global step=48705536, episodic return=2194.136962890625\n", + "global step=48705536, episodic return=2157.345458984375\n", + "global step=48705536, episodic return=2167.90478515625\n", + "global step=48705536, episodic return=2165.974853515625\n", + "global step=48707584, episodic return=2114.9638671875\n", + "global step=48707584, episodic return=2135.2998046875\n", + "global step=48707584, episodic return=2174.75537109375\n", + "global step=48709632, episodic return=2140.623046875\n", + "global step=48709632, episodic return=2165.1806640625\n", + "global step=48709632, episodic return=2137.649169921875\n", + "global step=48711680, episodic return=2191.788330078125\n", + "global step=48711680, episodic return=2147.1123046875\n", + "global step=48711680, episodic return=2125.796630859375\n", + "global step=48711680, episodic return=2130.124755859375\n", + "global step=48711680, episodic return=2143.7578125\n", + "global step=48711680, episodic return=2132.947265625\n", + "global step=48711680, episodic return=2160.717041015625\n", + "global step=48711680, episodic return=2135.0498046875\n", + "global step=48713728, episodic return=2156.481689453125\n", + "global step=48713728, episodic return=2190.654541015625\n", + "global step=48713728, episodic return=2138.03271484375\n", + "global step=48713728, episodic return=2068.149658203125\n", + "global step=48713728, episodic return=2137.619384765625\n", + "global step=48713728, episodic return=2127.618408203125\n", + "global step=48713728, episodic return=2152.19580078125\n", + "global step=48715776, episodic return=2171.30419921875\n", + "global step=48717824, episodic return=2114.653076171875\n", + "global step=48717824, episodic return=2135.65478515625\n", + "global step=48717824, episodic return=2115.94873046875\n", + "global step=48719872, episodic return=2108.513427734375\n", + "global step=48719872, episodic return=2191.963623046875\n", + "global step=48719872, episodic return=2144.325439453125\n", + "global step=48721920, episodic return=2180.84814453125\n", + "global step=48721920, episodic return=2199.4619140625\n", + "global step=48721920, episodic return=2146.293701171875\n", + "global step=48723968, episodic return=2131.455810546875\n", + "global step=48723968, episodic return=2126.551513671875\n", + "global step=48723968, episodic return=2147.951171875\n", + "global step=48723968, episodic return=2167.05810546875\n", + "global step=48723968, episodic return=2169.394775390625\n", + "global step=48726016, episodic return=2162.3779296875\n", + "global step=48726016, episodic return=2196.264404296875\n", + "global step=48726016, episodic return=2149.834716796875\n", + "global step=48728064, episodic return=2216.28857421875\n", + "global step=48730112, episodic return=2164.52978515625\n", + "global step=48730112, episodic return=2151.3369140625\n", + "global step=48730112, episodic return=2158.5029296875\n", + "global step=48732160, episodic return=2141.123779296875\n", + "global step=48732160, episodic return=2138.970703125\n", + "global step=48732160, episodic return=2056.197021484375\n", + "global step=48734208, episodic return=2106.54345703125\n", + "global step=48734208, episodic return=2116.41650390625\n", + "global step=48734208, episodic return=2114.7548828125\n", + "global step=48734208, episodic return=2171.05615234375\n", + "global step=48734208, episodic return=2181.909423828125\n", + "global step=48738304, episodic return=2049.905517578125\n", + "global step=48738304, episodic return=2121.225341796875\n", + "global step=48740352, episodic return=2183.777099609375\n", + "global step=48740352, episodic return=2096.43017578125\n", + "global step=48740352, episodic return=2171.70458984375\n", + "global step=48740352, episodic return=2144.6044921875\n", + "global step=48740352, episodic return=2172.5654296875\n", + "global step=48742400, episodic return=2143.525634765625\n", + "global step=48742400, episodic return=2125.705322265625\n", + "global step=48744448, episodic return=2168.317138671875\n", + "global step=48744448, episodic return=2190.893310546875\n", + "global step=48744448, episodic return=2160.4638671875\n", + "global step=48744448, episodic return=2158.78125\n", + "global step=48746496, episodic return=559.1057739257812\n", + "global step=48746496, episodic return=2163.465576171875\n", + "global step=48746496, episodic return=2140.347412109375\n", + "global step=48746496, episodic return=2151.65087890625\n", + "global step=48746496, episodic return=2135.28857421875\n", + "global step=48746496, episodic return=2159.01806640625\n", + "global step=48748544, episodic return=2142.390869140625\n", + "global step=48748544, episodic return=120.44898223876953\n", + "global step=48748544, episodic return=2136.625732421875\n", + "global step=48750592, episodic return=2161.915283203125\n", + "global step=48750592, episodic return=2131.561279296875\n", + "global step=48750592, episodic return=2157.099365234375\n", + "global step=48750592, episodic return=2172.228759765625\n", + "global step=48750592, episodic return=2122.070556640625\n", + "global step=48750592, episodic return=2188.342529296875\n", + "global step=48752640, episodic return=2193.250732421875\n", + "global step=48752640, episodic return=2122.330322265625\n", + "global step=48752640, episodic return=2171.632568359375\n", + "global step=48752640, episodic return=2166.110595703125\n", + "global step=48754688, episodic return=2187.254638671875\n", + "global step=48754688, episodic return=2145.743408203125\n", + "global step=48754688, episodic return=2109.4541015625\n", + "global step=48754688, episodic return=2173.7548828125\n", + "global step=48754688, episodic return=2188.40380859375\n", + "global step=48756736, episodic return=2130.4775390625\n", + "global step=48758784, episodic return=2134.003173828125\n", + "global step=48758784, episodic return=2046.0987548828125\n", + "global step=48760832, episodic return=1971.0499267578125\n", + "global step=48760832, episodic return=2115.2724609375\n", + "global step=48760832, episodic return=2152.017333984375\n", + "global step=48762880, episodic return=2154.100830078125\n", + "global step=48762880, episodic return=2195.22802734375\n", + "global step=48762880, episodic return=2185.181396484375\n", + "global step=48764928, episodic return=2129.876953125\n", + "global step=48764928, episodic return=2103.840576171875\n", + "global step=48764928, episodic return=2173.93212890625\n", + "global step=48766976, episodic return=2172.42919921875\n", + "global step=48769024, episodic return=2086.48779296875\n", + "global step=48769024, episodic return=2123.7041015625\n", + "global step=48769024, episodic return=2177.125\n", + "global step=48769024, episodic return=2192.628173828125\n", + "global step=48769024, episodic return=2188.961669921875\n", + "global step=48771072, episodic return=2126.211669921875\n", + "global step=48773120, episodic return=2162.367919921875\n", + "global step=48773120, episodic return=2186.6494140625\n", + "global step=48773120, episodic return=2135.574462890625\n", + "global step=48773120, episodic return=2194.702880859375\n", + "global step=48773120, episodic return=2138.1708984375\n", + "global step=48773120, episodic return=2141.36083984375\n", + "global step=48773120, episodic return=2081.77587890625\n", + "global step=48775168, episodic return=2149.178466796875\n", + "global step=48775168, episodic return=2157.6044921875\n", + "global step=48775168, episodic return=2158.006103515625\n", + "global step=48775168, episodic return=2160.98828125\n", + "global step=48777216, episodic return=2193.770263671875\n", + "global step=48777216, episodic return=2147.877197265625\n", + "global step=48777216, episodic return=2151.513427734375\n", + "global step=48777216, episodic return=2163.080322265625\n", + "global step=48777216, episodic return=194.73941040039062\n", + "global step=48779264, episodic return=148.13417053222656\n", + "global step=48779264, episodic return=2079.884765625\n", + "global step=48779264, episodic return=115.69772338867188\n", + "global step=48779264, episodic return=2063.174560546875\n", + "global step=48781312, episodic return=2147.98291015625\n", + "global step=48781312, episodic return=2175.03515625\n", + "global step=48781312, episodic return=2155.260009765625\n", + "global step=48783360, episodic return=2188.493896484375\n", + "global step=48783360, episodic return=2134.916259765625\n", + "global step=48783360, episodic return=2138.82177734375\n", + "global step=48783360, episodic return=2157.171875\n", + "global step=48783360, episodic return=2124.56494140625\n", + "global step=48783360, episodic return=2151.0771484375\n", + "global step=48787456, episodic return=2135.579833984375\n", + "global step=48787456, episodic return=2107.4931640625\n", + "global step=48787456, episodic return=2190.5498046875\n", + "global step=48789504, episodic return=2135.819091796875\n", + "global step=48789504, episodic return=2148.590087890625\n", + "global step=48789504, episodic return=2180.58056640625\n", + "global step=48789504, episodic return=2185.510986328125\n", + "global step=48791552, episodic return=2186.87646484375\n", + "global step=48791552, episodic return=2177.22265625\n", + "global step=48791552, episodic return=2182.619873046875\n", + "global step=48791552, episodic return=2168.48291015625\n", + "global step=48791552, episodic return=2122.5087890625\n", + "global step=48793600, episodic return=2125.904052734375\n", + "global step=48793600, episodic return=137.90390014648438\n", + "global step=48795648, episodic return=2175.274169921875\n", + "global step=48795648, episodic return=2142.87548828125\n", + "global step=48795648, episodic return=2127.662353515625\n", + "global step=48795648, episodic return=2136.482177734375\n", + "global step=48797696, episodic return=2148.25390625\n", + "global step=48797696, episodic return=2136.86865234375\n", + "global step=48797696, episodic return=2123.759765625\n", + "global step=48797696, episodic return=2165.7548828125\n", + "global step=48799744, episodic return=2181.551513671875\n", + "global step=48799744, episodic return=2132.224853515625\n", + "global step=48799744, episodic return=2179.40087890625\n", + "global step=48801792, episodic return=2148.35693359375\n", + "global step=48801792, episodic return=2173.35791015625\n", + "global step=48801792, episodic return=2171.564453125\n", + "global step=48801792, episodic return=2138.90625\n", + "global step=48801792, episodic return=2173.271484375\n", + "global step=48803840, episodic return=2189.400390625\n", + "global step=48803840, episodic return=2095.27392578125\n", + "global step=48805888, episodic return=2167.21484375\n", + "global step=48805888, episodic return=2131.91357421875\n", + "global step=48805888, episodic return=2143.432861328125\n", + "global step=48805888, episodic return=2105.0478515625\n", + "global step=48805888, episodic return=2166.886474609375\n", + "global step=48807936, episodic return=2145.56884765625\n", + "global step=48807936, episodic return=2150.841552734375\n", + "global step=48807936, episodic return=2172.796142578125\n", + "global step=48807936, episodic return=2171.513671875\n", + "global step=48807936, episodic return=2162.632080078125\n", + "global step=48807936, episodic return=672.8037719726562\n", + "global step=48809984, episodic return=2101.88134765625\n", + "global step=48809984, episodic return=2169.8232421875\n", + "global step=48809984, episodic return=2183.2451171875\n", + "global step=48809984, episodic return=2137.0654296875\n", + "global step=48809984, episodic return=2192.011962890625\n", + "global step=48809984, episodic return=2140.085205078125\n", + "global step=48812032, episodic return=2172.384765625\n", + "global step=48812032, episodic return=2182.321533203125\n", + "global step=48814080, episodic return=2177.1337890625\n", + "global step=48814080, episodic return=2140.181884765625\n", + "global step=48814080, episodic return=2150.619384765625\n", + "global step=48814080, episodic return=2178.846923828125\n", + "global step=48816128, episodic return=2160.132568359375\n", + "global step=48816128, episodic return=2154.76611328125\n", + "global step=48816128, episodic return=1338.7060546875\n", + "global step=48818176, episodic return=2155.2392578125\n", + "global step=48820224, episodic return=2161.077392578125\n", + "global step=48820224, episodic return=2126.269775390625\n", + "global step=48822272, episodic return=2172.178466796875\n", + "global step=48822272, episodic return=2123.387451171875\n", + "global step=48822272, episodic return=2158.80029296875\n", + "global step=48822272, episodic return=403.1354064941406\n", + "global step=48822272, episodic return=2169.48291015625\n", + "global step=48822272, episodic return=673.8751220703125\n", + "global step=48824320, episodic return=2169.169921875\n", + "global step=48824320, episodic return=2108.461669921875\n", + "global step=48824320, episodic return=2124.1171875\n", + "global step=48826368, episodic return=2172.08203125\n", + "global step=48828416, episodic return=2174.078125\n", + "global step=48830464, episodic return=2176.71533203125\n", + "global step=48830464, episodic return=40.566410064697266\n", + "global step=48830464, episodic return=2184.443359375\n", + "global step=48832512, episodic return=513.4712524414062\n", + "global step=48832512, episodic return=2176.082763671875\n", + "global step=48832512, episodic return=2123.718994140625\n", + "global step=48834560, episodic return=2158.627197265625\n", + "global step=48834560, episodic return=2171.28369140625\n", + "global step=48834560, episodic return=2114.180908203125\n", + "global step=48836608, episodic return=147.55043029785156\n", + "global step=48836608, episodic return=2192.38720703125\n", + "global step=48836608, episodic return=2184.955078125\n", + "global step=48836608, episodic return=2201.659912109375\n", + "global step=48836608, episodic return=2185.9296875\n", + "global step=48836608, episodic return=2171.226318359375\n", + "global step=48838656, episodic return=2177.18505859375\n", + "global step=48838656, episodic return=2151.438232421875\n", + "global step=48838656, episodic return=2210.116455078125\n", + "global step=48838656, episodic return=2175.504638671875\n", + "global step=48840704, episodic return=2195.1904296875\n", + "global step=48842752, episodic return=2163.836669921875\n", + "global step=48842752, episodic return=2128.582763671875\n", + "global step=48842752, episodic return=2189.515869140625\n", + "global step=48842752, episodic return=2180.8203125\n", + "global step=48844800, episodic return=2154.68408203125\n", + "global step=48844800, episodic return=2139.355224609375\n", + "global step=48846848, episodic return=2174.09423828125\n", + "global step=48848896, episodic return=2157.579345703125\n", + "global step=48850944, episodic return=2145.749267578125\n", + "global step=48850944, episodic return=2171.4541015625\n", + "global step=48850944, episodic return=2177.062255859375\n", + "global step=48850944, episodic return=2114.526611328125\n", + "global step=48850944, episodic return=2167.265380859375\n", + "global step=48850944, episodic return=2168.575439453125\n", + "global step=48852992, episodic return=2124.086669921875\n", + "global step=48852992, episodic return=2178.62646484375\n", + "global step=48852992, episodic return=2187.234375\n", + "global step=48855040, episodic return=2150.9365234375\n", + "global step=48855040, episodic return=2209.530517578125\n", + "global step=48855040, episodic return=2161.249755859375\n", + "global step=48855040, episodic return=2157.79150390625\n", + "global step=48855040, episodic return=2159.591064453125\n", + "global step=48855040, episodic return=2157.0478515625\n", + "global step=48855040, episodic return=2182.88134765625\n", + "global step=48855040, episodic return=2182.350341796875\n", + "global step=48857088, episodic return=1873.462890625\n", + "global step=48857088, episodic return=2110.860595703125\n", + "global step=48861184, episodic return=2156.451416015625\n", + "global step=48861184, episodic return=2133.591796875\n", + "global step=48863232, episodic return=2144.419921875\n", + "global step=48863232, episodic return=2146.41845703125\n", + "global step=48863232, episodic return=2169.777587890625\n", + "global step=48863232, episodic return=2146.554931640625\n", + "global step=48865280, episodic return=2177.8828125\n", + "global step=48865280, episodic return=2221.801025390625\n", + "global step=48865280, episodic return=855.1126708984375\n", + "global step=48865280, episodic return=2163.73193359375\n", + "global step=48867328, episodic return=2152.009521484375\n", + "global step=48867328, episodic return=2178.28759765625\n", + "global step=48869376, episodic return=2091.956298828125\n", + "global step=48869376, episodic return=2165.232177734375\n", + "global step=48871424, episodic return=2190.046630859375\n", + "global step=48871424, episodic return=2115.595947265625\n", + "global step=48871424, episodic return=2097.4189453125\n", + "global step=48871424, episodic return=2199.542724609375\n", + "global step=48871424, episodic return=768.692626953125\n", + "global step=48871424, episodic return=2190.66796875\n", + "global step=48873472, episodic return=2163.731689453125\n", + "global step=48873472, episodic return=2213.49267578125\n", + "global step=48873472, episodic return=2138.53759765625\n", + "global step=48873472, episodic return=2164.09033203125\n", + "global step=48873472, episodic return=2220.764892578125\n", + "global step=48873472, episodic return=2140.488525390625\n", + "global step=48873472, episodic return=2166.719482421875\n", + "global step=48875520, episodic return=2209.8359375\n", + "global step=48875520, episodic return=2138.257568359375\n", + "global step=48875520, episodic return=2134.620849609375\n", + "global step=48877568, episodic return=2163.148681640625\n", + "global step=48877568, episodic return=2185.8037109375\n", + "global step=48877568, episodic return=2196.282470703125\n", + "global step=48879616, episodic return=2190.3662109375\n", + "global step=48879616, episodic return=474.9934997558594\n", + "global step=48879616, episodic return=2108.010986328125\n", + "global step=48881664, episodic return=2160.749755859375\n", + "global step=48881664, episodic return=2138.183349609375\n", + "global step=48881664, episodic return=2149.551513671875\n", + "global step=48881664, episodic return=729.81884765625\n", + "global step=48881664, episodic return=2167.104736328125\n", + "global step=48881664, episodic return=2150.77685546875\n", + "global step=48881664, episodic return=2180.92138671875\n", + "global step=48883712, episodic return=2170.15869140625\n", + "global step=48883712, episodic return=1568.916259765625\n", + "global step=48883712, episodic return=2007.7176513671875\n", + "global step=48883712, episodic return=2160.174560546875\n", + "global step=48883712, episodic return=2174.782958984375\n", + "global step=48885760, episodic return=2148.7158203125\n", + "global step=48885760, episodic return=2150.291748046875\n", + "global step=48885760, episodic return=2169.060791015625\n", + "global step=48885760, episodic return=2165.853515625\n", + "global step=48885760, episodic return=2168.624755859375\n", + "global step=48885760, episodic return=2179.393798828125\n", + "global step=48887808, episodic return=2210.790771484375\n", + "global step=48887808, episodic return=2126.74560546875\n", + "global step=48887808, episodic return=2204.433349609375\n", + "global step=48887808, episodic return=2177.876953125\n", + "global step=48889856, episodic return=2167.943603515625\n", + "global step=48889856, episodic return=2140.485107421875\n", + "global step=48889856, episodic return=1161.3187255859375\n", + "global step=48889856, episodic return=2100.4658203125\n", + "global step=48889856, episodic return=2154.957275390625\n", + "global step=48889856, episodic return=2187.017578125\n", + "global step=48891904, episodic return=2138.556640625\n", + "global step=48891904, episodic return=2153.56298828125\n", + "global step=48891904, episodic return=2138.807373046875\n", + "global step=48893952, episodic return=2168.61572265625\n", + "global step=48893952, episodic return=2169.875732421875\n", + "global step=48893952, episodic return=1704.4117431640625\n", + "global step=48896000, episodic return=2159.371337890625\n", + "global step=48898048, episodic return=2169.97021484375\n", + "global step=48898048, episodic return=2198.547119140625\n", + "global step=48898048, episodic return=2117.2255859375\n", + "global step=48898048, episodic return=2138.0625\n", + "global step=48900096, episodic return=2213.706787109375\n", + "global step=48900096, episodic return=2109.73583984375\n", + "global step=48900096, episodic return=2164.268310546875\n", + "global step=48900096, episodic return=2153.069580078125\n", + "global step=48900096, episodic return=2167.083984375\n", + "global step=48904192, episodic return=2152.27978515625\n", + "global step=48904192, episodic return=777.6023559570312\n", + "global step=48906240, episodic return=2168.86767578125\n", + "global step=48906240, episodic return=26.005582809448242\n", + "global step=48906240, episodic return=2152.080078125\n", + "global step=48908288, episodic return=2167.23095703125\n", + "global step=48908288, episodic return=2185.34130859375\n", + "global step=48908288, episodic return=2179.28076171875\n", + "global step=48908288, episodic return=2195.169677734375\n", + "global step=48908288, episodic return=2197.94873046875\n", + "global step=48910336, episodic return=2136.754150390625\n", + "global step=48910336, episodic return=2174.700439453125\n", + "global step=48910336, episodic return=2167.444580078125\n", + "global step=48912384, episodic return=2117.0263671875\n", + "global step=48912384, episodic return=2156.612548828125\n", + "global step=48912384, episodic return=2203.24267578125\n", + "global step=48912384, episodic return=2169.543212890625\n", + "global step=48914432, episodic return=2172.937744140625\n", + "global step=48914432, episodic return=2126.8212890625\n", + "global step=48914432, episodic return=2163.692138671875\n", + "global step=48914432, episodic return=2158.329345703125\n", + "global step=48914432, episodic return=1068.279296875\n", + "global step=48914432, episodic return=2221.089111328125\n", + "global step=48914432, episodic return=2150.75537109375\n", + "global step=48916480, episodic return=2165.813232421875\n", + "global step=48916480, episodic return=2173.707275390625\n", + "global step=48916480, episodic return=2143.061279296875\n", + "global step=48916480, episodic return=2144.07275390625\n", + "global step=48916480, episodic return=2110.280517578125\n", + "global step=48918528, episodic return=2126.873046875\n", + "global step=48918528, episodic return=2151.578125\n", + "global step=48918528, episodic return=2194.353271484375\n", + "global step=48918528, episodic return=2180.77294921875\n", + "global step=48918528, episodic return=2204.259765625\n", + "global step=48920576, episodic return=547.6396484375\n", + "global step=48920576, episodic return=2152.9833984375\n", + "global step=48922624, episodic return=2172.7080078125\n", + "global step=48922624, episodic return=2193.31787109375\n", + "global step=48922624, episodic return=2156.007080078125\n", + "global step=48922624, episodic return=691.4019165039062\n", + "global step=48922624, episodic return=2143.655517578125\n", + "global step=48924672, episodic return=2226.472900390625\n", + "global step=48924672, episodic return=2193.431884765625\n", + "global step=48926720, episodic return=2180.68798828125\n", + "global step=48926720, episodic return=2189.114990234375\n", + "global step=48926720, episodic return=2192.275146484375\n", + "global step=48926720, episodic return=2189.84033203125\n", + "global step=48926720, episodic return=2159.044921875\n", + "global step=48928768, episodic return=1655.911376953125\n", + "global step=48928768, episodic return=2191.978271484375\n", + "global step=48928768, episodic return=2187.059814453125\n", + "global step=48928768, episodic return=2173.43017578125\n", + "global step=48928768, episodic return=2172.21533203125\n", + "global step=48930816, episodic return=2126.93212890625\n", + "global step=48930816, episodic return=2094.429931640625\n", + "global step=48930816, episodic return=2160.763916015625\n", + "global step=48930816, episodic return=2175.620849609375\n", + "global step=48932864, episodic return=2179.091796875\n", + "global step=48932864, episodic return=2169.364501953125\n", + "global step=48934912, episodic return=2178.5361328125\n", + "global step=48934912, episodic return=2145.337890625\n", + "global step=48934912, episodic return=2139.5625\n", + "global step=48936960, episodic return=2157.436767578125\n", + "global step=48936960, episodic return=2114.957275390625\n", + "global step=48936960, episodic return=2171.947998046875\n", + "global step=48936960, episodic return=2135.82177734375\n", + "global step=48936960, episodic return=2147.617919921875\n", + "global step=48939008, episodic return=2152.48095703125\n", + "global step=48939008, episodic return=2188.633544921875\n", + "global step=48939008, episodic return=1566.3165283203125\n", + "global step=48939008, episodic return=2153.5576171875\n", + "global step=48941056, episodic return=2163.567626953125\n", + "global step=48941056, episodic return=2132.747802734375\n", + "global step=48941056, episodic return=2169.08544921875\n", + "global step=48941056, episodic return=2148.9150390625\n", + "global step=48941056, episodic return=2188.4375\n", + "global step=48945152, episodic return=2146.05126953125\n", + "global step=48947200, episodic return=2172.725341796875\n", + "global step=48947200, episodic return=2197.538818359375\n", + "global step=48947200, episodic return=2166.515625\n", + "global step=48947200, episodic return=1558.822021484375\n", + "global step=48947200, episodic return=2187.756591796875\n", + "global step=48947200, episodic return=2176.213134765625\n", + "global step=48947200, episodic return=1462.2266845703125\n", + "global step=48947200, episodic return=2201.871826171875\n", + "global step=48949248, episodic return=2129.068603515625\n", + "global step=48949248, episodic return=2198.35302734375\n", + "global step=48951296, episodic return=2174.6669921875\n", + "global step=48951296, episodic return=2177.67578125\n", + "global step=48953344, episodic return=2185.16845703125\n", + "global step=48953344, episodic return=2192.4501953125\n", + "global step=48953344, episodic return=2161.512939453125\n", + "global step=48953344, episodic return=2158.55517578125\n", + "global step=48953344, episodic return=2168.6748046875\n", + "global step=48955392, episodic return=2176.662841796875\n", + "global step=48955392, episodic return=2148.065185546875\n", + "global step=48957440, episodic return=2163.88720703125\n", + "global step=48957440, episodic return=40.76038360595703\n", + "global step=48959488, episodic return=2161.6455078125\n", + "global step=48959488, episodic return=2194.064697265625\n", + "global step=48959488, episodic return=2147.7470703125\n", + "global step=48959488, episodic return=2155.27099609375\n", + "global step=48961536, episodic return=1382.635498046875\n", + "global step=48961536, episodic return=2182.831787109375\n", + "global step=48961536, episodic return=2174.824462890625\n", + "global step=48963584, episodic return=2194.700927734375\n", + "global step=48965632, episodic return=2150.39208984375\n", + "global step=48965632, episodic return=419.8360290527344\n", + "global step=48965632, episodic return=2175.6923828125\n", + "global step=48965632, episodic return=2139.07568359375\n", + "global step=48965632, episodic return=2193.405029296875\n", + "global step=48967680, episodic return=2153.104248046875\n", + "global step=48967680, episodic return=1710.474365234375\n", + "global step=48967680, episodic return=2184.725341796875\n", + "global step=48969728, episodic return=1756.8770751953125\n", + "global step=48969728, episodic return=2206.806396484375\n", + "global step=48969728, episodic return=1825.93896484375\n", + "global step=48969728, episodic return=2164.146240234375\n", + "global step=48971776, episodic return=2198.626953125\n", + "global step=48971776, episodic return=2156.526123046875\n", + "global step=48973824, episodic return=2126.181396484375\n", + "global step=48973824, episodic return=2131.687744140625\n", + "global step=48973824, episodic return=2124.296142578125\n", + "global step=48973824, episodic return=2150.847900390625\n", + "global step=48973824, episodic return=2162.4345703125\n", + "global step=48973824, episodic return=2176.287109375\n", + "global step=48975872, episodic return=2119.86279296875\n", + "global step=48975872, episodic return=2163.4970703125\n", + "global step=48979968, episodic return=2151.295654296875\n", + "global step=48982016, episodic return=711.656005859375\n", + "global step=48986112, episodic return=2201.299560546875\n", + "global step=48986112, episodic return=1686.3699951171875\n", + "global step=48986112, episodic return=2169.135009765625\n", + "global step=48986112, episodic return=2151.366455078125\n", + "global step=48986112, episodic return=2187.202880859375\n", + "global step=48988160, episodic return=2196.00927734375\n", + "global step=48988160, episodic return=2165.787109375\n", + "global step=48990208, episodic return=2146.790283203125\n", + "global step=48992256, episodic return=2174.81982421875\n", + "global step=48992256, episodic return=2180.0419921875\n", + "global step=48994304, episodic return=2150.443359375\n", + "global step=48994304, episodic return=2179.22265625\n", + "global step=48996352, episodic return=2173.802978515625\n", + "global step=48996352, episodic return=2158.552978515625\n", + "global step=48998400, episodic return=2165.281005859375\n", + "global step=48998400, episodic return=2163.33349609375\n", + "global step=48998400, episodic return=2182.321044921875\n", + "global step=48998400, episodic return=2204.943359375\n", + "global step=48998400, episodic return=2135.66357421875\n", + "global step=49000448, episodic return=1495.06982421875\n", + "global step=49000448, episodic return=1416.205810546875\n", + "global step=49000448, episodic return=2160.1787109375\n", + "global step=49000448, episodic return=2138.54248046875\n", + "global step=49000448, episodic return=2129.9560546875\n", + "global step=49000448, episodic return=2160.68798828125\n", + "global step=49002496, episodic return=2184.835205078125\n", + "global step=49002496, episodic return=2136.910888671875\n", + "global step=49002496, episodic return=2195.052978515625\n", + "global step=49002496, episodic return=2168.625244140625\n", + "global step=49002496, episodic return=2181.239990234375\n", + "global step=49004544, episodic return=2151.18310546875\n", + "global step=49006592, episodic return=2137.63916015625\n", + "global step=49006592, episodic return=2126.539306640625\n", + "global step=49006592, episodic return=1638.7982177734375\n", + "global step=49006592, episodic return=2155.96142578125\n", + "global step=49008640, episodic return=2140.53076171875\n", + "global step=49008640, episodic return=2159.641845703125\n", + "global step=49010688, episodic return=2156.19873046875\n", + "global step=49010688, episodic return=2208.209716796875\n", + "global step=49010688, episodic return=2161.46337890625\n", + "global step=49010688, episodic return=1622.0494384765625\n", + "global step=49012736, episodic return=2186.58837890625\n", + "global step=49012736, episodic return=2196.5380859375\n", + "global step=49012736, episodic return=2173.137939453125\n", + "global step=49014784, episodic return=2148.345458984375\n", + "global step=49014784, episodic return=2167.42236328125\n", + "global step=49018880, episodic return=2156.918212890625\n", + "global step=49018880, episodic return=2169.3427734375\n", + "global step=49018880, episodic return=2157.87353515625\n", + "global step=49020928, episodic return=2181.175537109375\n", + "global step=49020928, episodic return=1253.3770751953125\n", + "global step=49022976, episodic return=2174.496826171875\n", + "global step=49022976, episodic return=2190.02490234375\n", + "global step=49025024, episodic return=2176.950927734375\n", + "global step=49025024, episodic return=2185.9599609375\n", + "global step=49025024, episodic return=2134.739990234375\n", + "global step=49025024, episodic return=2189.6416015625\n", + "global step=49027072, episodic return=1889.2523193359375\n", + "global step=49027072, episodic return=2100.457275390625\n", + "global step=49029120, episodic return=2129.62158203125\n", + "global step=49029120, episodic return=2173.40283203125\n", + "global step=49031168, episodic return=2177.000244140625\n", + "global step=49031168, episodic return=2138.1162109375\n", + "global step=49033216, episodic return=520.6068725585938\n", + "global step=49035264, episodic return=2146.472412109375\n", + "global step=49035264, episodic return=2178.555908203125\n", + "global step=49035264, episodic return=1137.50390625\n", + "global step=49037312, episodic return=2157.9501953125\n", + "global step=49039360, episodic return=2151.648193359375\n", + "global step=49039360, episodic return=2201.121826171875\n", + "global step=49039360, episodic return=2171.269287109375\n", + "global step=49041408, episodic return=2132.547607421875\n", + "global step=49041408, episodic return=2145.69091796875\n", + "global step=49041408, episodic return=2192.407470703125\n", + "global step=49041408, episodic return=2178.42919921875\n", + "global step=49041408, episodic return=2163.3798828125\n", + "global step=49041408, episodic return=1519.5841064453125\n", + "global step=49043456, episodic return=2135.177978515625\n", + "global step=49043456, episodic return=2201.294189453125\n", + "global step=49043456, episodic return=2177.482666015625\n", + "global step=49043456, episodic return=1905.8798828125\n", + "global step=49045504, episodic return=2191.356689453125\n", + "global step=49047552, episodic return=2165.641845703125\n", + "global step=49047552, episodic return=2189.427978515625\n", + "global step=49047552, episodic return=2124.470947265625\n", + "global step=49049600, episodic return=2179.56689453125\n", + "global step=49049600, episodic return=2146.187744140625\n", + "global step=49049600, episodic return=1788.141357421875\n", + "global step=49049600, episodic return=1887.1103515625\n", + "global step=49051648, episodic return=2185.5380859375\n", + "global step=49053696, episodic return=2171.558349609375\n", + "global step=49053696, episodic return=2133.876220703125\n", + "global step=49055744, episodic return=204.25701904296875\n", + "global step=49055744, episodic return=2180.809814453125\n", + "global step=49055744, episodic return=2199.83154296875\n", + "global step=49055744, episodic return=2171.30810546875\n", + "global step=49055744, episodic return=2135.351806640625\n", + "global step=49059840, episodic return=2160.430419921875\n", + "global step=49059840, episodic return=2174.541015625\n", + "global step=49059840, episodic return=2157.4375\n", + "global step=49061888, episodic return=2211.925537109375\n", + "global step=49063936, episodic return=2179.815185546875\n", + "global step=49065984, episodic return=2158.1015625\n", + "global step=49065984, episodic return=2188.47314453125\n", + "global step=49065984, episodic return=2187.243896484375\n", + "global step=49068032, episodic return=2145.43212890625\n", + "global step=49068032, episodic return=2149.718505859375\n", + "global step=49068032, episodic return=2169.4501953125\n", + "global step=49068032, episodic return=2149.783935546875\n", + "global step=49070080, episodic return=2199.625732421875\n", + "global step=49072128, episodic return=2162.17919921875\n", + "global step=49072128, episodic return=2160.419921875\n", + "global step=49072128, episodic return=2214.682861328125\n", + "global step=49072128, episodic return=2170.994140625\n", + "global step=49074176, episodic return=2210.9912109375\n", + "global step=49074176, episodic return=2182.890625\n", + "global step=49076224, episodic return=2153.3408203125\n", + "global step=49076224, episodic return=2168.509521484375\n", + "global step=49076224, episodic return=2197.131591796875\n", + "global step=49078272, episodic return=2169.37939453125\n", + "global step=49078272, episodic return=2114.73583984375\n", + "global step=49080320, episodic return=2186.44580078125\n", + "global step=49080320, episodic return=2190.925048828125\n", + "global step=49082368, episodic return=891.4443969726562\n", + "global step=49082368, episodic return=2169.29345703125\n", + "global step=49082368, episodic return=2160.8818359375\n", + "global step=49082368, episodic return=2183.072509765625\n", + "global step=49084416, episodic return=626.2380981445312\n", + "global step=49084416, episodic return=2132.342529296875\n", + "global step=49086464, episodic return=2151.150634765625\n", + "global step=49088512, episodic return=2159.302490234375\n", + "global step=49088512, episodic return=2185.67236328125\n", + "global step=49088512, episodic return=2167.669677734375\n", + "global step=49090560, episodic return=2153.5849609375\n", + "global step=49090560, episodic return=2158.991943359375\n", + "global step=49090560, episodic return=2160.601806640625\n", + "global step=49090560, episodic return=2082.04248046875\n", + "global step=49090560, episodic return=2188.224853515625\n", + "global step=49092608, episodic return=2175.3486328125\n", + "global step=49092608, episodic return=2186.322021484375\n", + "global step=49092608, episodic return=2194.59326171875\n", + "global step=49094656, episodic return=2144.610107421875\n", + "global step=49094656, episodic return=1036.31103515625\n", + "global step=49094656, episodic return=2179.784912109375\n", + "global step=49094656, episodic return=2050.37353515625\n", + "global step=49096704, episodic return=2155.88232421875\n", + "global step=49096704, episodic return=2173.810546875\n", + "global step=49096704, episodic return=2183.53125\n", + "global step=49098752, episodic return=2206.738037109375\n", + "global step=49098752, episodic return=2198.908203125\n", + "global step=49098752, episodic return=2168.658935546875\n", + "global step=49098752, episodic return=2133.499755859375\n", + "global step=49098752, episodic return=2183.345703125\n", + "global step=49098752, episodic return=2087.569091796875\n", + "global step=49098752, episodic return=2141.541259765625\n", + "global step=49100800, episodic return=2179.80078125\n", + "global step=49100800, episodic return=2161.833984375\n", + "global step=49100800, episodic return=2116.6982421875\n", + "global step=49100800, episodic return=2201.100341796875\n", + "global step=49102848, episodic return=2163.2841796875\n", + "global step=49102848, episodic return=2173.114990234375\n", + "global step=49108992, episodic return=2177.71875\n", + "global step=49108992, episodic return=2110.540283203125\n", + "global step=49108992, episodic return=2221.48779296875\n", + "global step=49108992, episodic return=2186.109375\n", + "global step=49111040, episodic return=2136.580810546875\n", + "global step=49111040, episodic return=2155.851318359375\n", + "global step=49111040, episodic return=2132.002197265625\n", + "global step=49113088, episodic return=2119.339599609375\n", + "global step=49113088, episodic return=2160.123291015625\n", + "global step=49115136, episodic return=2191.03515625\n", + "global step=49115136, episodic return=2156.380615234375\n", + "global step=49115136, episodic return=2120.803466796875\n", + "global step=49115136, episodic return=2149.0634765625\n", + "global step=49115136, episodic return=2179.701171875\n", + "global step=49117184, episodic return=2152.3642578125\n", + "global step=49119232, episodic return=2197.98974609375\n", + "global step=49119232, episodic return=2106.600341796875\n", + "global step=49121280, episodic return=2155.692138671875\n", + "global step=49121280, episodic return=2168.9013671875\n", + "global step=49123328, episodic return=1938.4619140625\n", + "global step=49125376, episodic return=2155.127197265625\n", + "global step=49127424, episodic return=2172.75927734375\n", + "global step=49129472, episodic return=1747.570556640625\n", + "global step=49129472, episodic return=2114.825927734375\n", + "global step=49129472, episodic return=2165.5380859375\n", + "global step=49131520, episodic return=392.2959899902344\n", + "global step=49131520, episodic return=2171.76904296875\n", + "global step=49133568, episodic return=1640.6400146484375\n", + "global step=49133568, episodic return=2185.054931640625\n", + "global step=49133568, episodic return=2162.645751953125\n", + "global step=49135616, episodic return=2198.688720703125\n", + "global step=49135616, episodic return=2177.35986328125\n", + "global step=49137664, episodic return=946.9611206054688\n", + "global step=49137664, episodic return=2123.008544921875\n", + "global step=49141760, episodic return=2147.822509765625\n", + "global step=49141760, episodic return=1453.5697021484375\n", + "global step=49143808, episodic return=1930.5206298828125\n", + "global step=49145856, episodic return=2166.0615234375\n", + "global step=49147904, episodic return=2182.994384765625\n", + "global step=49147904, episodic return=2175.78466796875\n", + "global step=49147904, episodic return=2190.79443359375\n", + "global step=49147904, episodic return=2163.34375\n", + "global step=49152000, episodic return=401.811279296875\n", + "global step=49152000, episodic return=2129.485595703125\n", + "global step=49152000, episodic return=2183.19384765625\n", + "global step=49154048, episodic return=2145.6923828125\n", + "global step=49154048, episodic return=2170.56298828125\n", + "global step=49154048, episodic return=2168.110595703125\n", + "global step=49154048, episodic return=2187.324951171875\n", + "global step=49156096, episodic return=2175.900634765625\n", + "global step=49156096, episodic return=2177.671875\n", + "global step=49158144, episodic return=2171.2724609375\n", + "global step=49158144, episodic return=1825.0391845703125\n", + "global step=49160192, episodic return=899.2576904296875\n", + "global step=49162240, episodic return=1982.2603759765625\n", + "global step=49162240, episodic return=2184.93603515625\n", + "global step=49162240, episodic return=1991.587158203125\n", + "global step=49164288, episodic return=1530.78564453125\n", + "global step=49164288, episodic return=1943.4005126953125\n", + "global step=49164288, episodic return=2028.0166015625\n", + "global step=49166336, episodic return=2145.91162109375\n", + "global step=49168384, episodic return=2161.528076171875\n", + "global step=49168384, episodic return=2176.74560546875\n", + "global step=49168384, episodic return=2221.409423828125\n", + "global step=49170432, episodic return=2193.867919921875\n", + "global step=49170432, episodic return=1895.40283203125\n", + "global step=49170432, episodic return=2195.19970703125\n", + "global step=49172480, episodic return=2177.02490234375\n", + "global step=49172480, episodic return=2188.4912109375\n", + "global step=49172480, episodic return=2174.121337890625\n", + "global step=49172480, episodic return=2175.654541015625\n", + "global step=49172480, episodic return=2155.226318359375\n", + "global step=49176576, episodic return=2143.166015625\n", + "global step=49178624, episodic return=1996.6881103515625\n", + "global step=49178624, episodic return=2157.366455078125\n", + "global step=49178624, episodic return=2168.052978515625\n", + "global step=49178624, episodic return=51.24806594848633\n", + "global step=49180672, episodic return=79.8031005859375\n", + "global step=49182720, episodic return=20.841171264648438\n", + "global step=49186816, episodic return=2173.48681640625\n", + "global step=49192960, episodic return=67.3936767578125\n", + "global step=49192960, episodic return=2164.434814453125\n", + "global step=49195008, episodic return=2183.844482421875\n", + "global step=49195008, episodic return=2128.8056640625\n", + "global step=49195008, episodic return=2144.00048828125\n", + "global step=49197056, episodic return=2186.68701171875\n", + "global step=49197056, episodic return=200.677490234375\n", + "global step=49199104, episodic return=1299.15185546875\n", + "global step=49199104, episodic return=2159.473876953125\n", + "global step=49199104, episodic return=2172.02734375\n", + "global step=49201152, episodic return=2134.981201171875\n", + "global step=49201152, episodic return=2129.0576171875\n", + "global step=49201152, episodic return=2192.214111328125\n", + "global step=49201152, episodic return=2150.615966796875\n", + "global step=49203200, episodic return=2116.404541015625\n", + "global step=49207296, episodic return=220.26612854003906\n", + "global step=49211392, episodic return=207.3212890625\n", + "global step=49211392, episodic return=2154.890869140625\n", + "global step=49213440, episodic return=2181.486328125\n", + "global step=49213440, episodic return=2154.09765625\n", + "global step=49215488, episodic return=1745.9052734375\n", + "global step=49217536, episodic return=2148.36865234375\n", + "global step=49217536, episodic return=2188.947998046875\n", + "global step=49217536, episodic return=906.6185302734375\n", + "global step=49219584, episodic return=2145.676513671875\n", + "global step=49223680, episodic return=2153.10107421875\n", + "global step=49223680, episodic return=1492.76708984375\n", + "global step=49223680, episodic return=2169.08056640625\n", + "global step=49223680, episodic return=363.0273742675781\n", + "global step=49225728, episodic return=469.4780578613281\n", + "global step=49227776, episodic return=1096.207275390625\n", + "global step=49229824, episodic return=1872.52783203125\n", + "global step=49229824, episodic return=2180.850830078125\n", + "global step=49229824, episodic return=1480.0001220703125\n", + "global step=49229824, episodic return=2194.1689453125\n", + "global step=49229824, episodic return=431.950927734375\n", + "global step=49231872, episodic return=2147.904541015625\n", + "global step=49231872, episodic return=2187.456298828125\n", + "global step=49233920, episodic return=965.6734008789062\n", + "global step=49233920, episodic return=1704.0643310546875\n", + "global step=49235968, episodic return=2185.722900390625\n", + "global step=49235968, episodic return=569.0862426757812\n", + "global step=49235968, episodic return=2143.710693359375\n", + "global step=49238016, episodic return=1987.4766845703125\n", + "global step=49238016, episodic return=1579.2239990234375\n", + "global step=49244160, episodic return=2174.25732421875\n", + "global step=49246208, episodic return=1417.697265625\n", + "global step=49246208, episodic return=2179.164306640625\n", + "global step=49246208, episodic return=802.8411865234375\n", + "global step=49250304, episodic return=191.84523010253906\n", + "global step=49250304, episodic return=2134.930419921875\n", + "global step=49250304, episodic return=2074.111083984375\n", + "global step=49252352, episodic return=2210.126220703125\n", + "global step=49252352, episodic return=2073.336181640625\n", + "global step=49254400, episodic return=1372.827392578125\n", + "global step=49254400, episodic return=1695.3382568359375\n", + "global step=49254400, episodic return=2171.208740234375\n", + "global step=49256448, episodic return=2185.080078125\n", + "global step=49256448, episodic return=889.7183227539062\n", + "global step=49256448, episodic return=2183.5595703125\n", + "global step=49256448, episodic return=235.5047149658203\n", + "global step=49258496, episodic return=2162.946044921875\n", + "global step=49258496, episodic return=1954.505615234375\n", + "global step=49262592, episodic return=2187.224365234375\n", + "global step=49264640, episodic return=2171.9912109375\n", + "global step=49266688, episodic return=2135.600341796875\n", + "global step=49266688, episodic return=2188.24951171875\n", + "global step=49266688, episodic return=2165.380126953125\n", + "global step=49266688, episodic return=2184.3720703125\n", + "global step=49266688, episodic return=2184.454345703125\n", + "global step=49268736, episodic return=1950.55615234375\n", + "global step=49270784, episodic return=2174.498291015625\n", + "global step=49272832, episodic return=1738.4774169921875\n", + "global step=49274880, episodic return=2179.3134765625\n", + "global step=49274880, episodic return=1982.010986328125\n", + "global step=49274880, episodic return=2153.18603515625\n", + "global step=49276928, episodic return=2071.337646484375\n", + "global step=49276928, episodic return=2159.920654296875\n", + "global step=49276928, episodic return=2133.13232421875\n", + "global step=49278976, episodic return=960.2483520507812\n", + "global step=49278976, episodic return=2174.90771484375\n", + "global step=49281024, episodic return=2182.43359375\n", + "global step=49281024, episodic return=2176.089111328125\n", + "global step=49281024, episodic return=2180.68798828125\n", + "global step=49283072, episodic return=2173.2470703125\n", + "global step=49283072, episodic return=2173.983642578125\n", + "global step=49285120, episodic return=2125.431396484375\n", + "global step=49285120, episodic return=1810.9342041015625\n", + "global step=49285120, episodic return=1185.5120849609375\n", + "global step=49285120, episodic return=898.9740600585938\n", + "global step=49287168, episodic return=2137.819091796875\n", + "global step=49287168, episodic return=2168.54248046875\n", + "global step=49289216, episodic return=1276.6690673828125\n", + "global step=49289216, episodic return=2155.59814453125\n", + "global step=49289216, episodic return=2166.832763671875\n", + "global step=49291264, episodic return=1580.5548095703125\n", + "global step=49293312, episodic return=2179.174072265625\n", + "global step=49293312, episodic return=2163.519287109375\n", + "global step=49295360, episodic return=2194.132080078125\n", + "global step=49295360, episodic return=197.4618682861328\n", + "global step=49297408, episodic return=2157.189453125\n", + "global step=49297408, episodic return=2188.049560546875\n", + "global step=49297408, episodic return=2136.6025390625\n", + "global step=49299456, episodic return=2164.77783203125\n", + "global step=49299456, episodic return=1946.1820068359375\n", + "global step=49307648, episodic return=2150.897705078125\n", + "global step=49307648, episodic return=2197.546875\n", + "global step=49309696, episodic return=1263.0189208984375\n", + "global step=49311744, episodic return=1002.2098999023438\n", + "global step=49313792, episodic return=2082.5966796875\n", + "global step=49315840, episodic return=1398.6317138671875\n", + "global step=49315840, episodic return=2171.631103515625\n", + "global step=49317888, episodic return=2172.41455078125\n", + "global step=49319936, episodic return=2104.078857421875\n", + "global step=49321984, episodic return=1363.3238525390625\n", + "global step=49321984, episodic return=2227.14697265625\n", + "global step=49321984, episodic return=2126.476318359375\n", + "global step=49324032, episodic return=2131.15185546875\n", + "global step=49326080, episodic return=2007.03662109375\n", + "global step=49326080, episodic return=29.254384994506836\n", + "global step=49326080, episodic return=2155.15478515625\n", + "global step=49326080, episodic return=2191.575927734375\n", + "global step=49328128, episodic return=1873.7247314453125\n", + "global step=49330176, episodic return=2158.48779296875\n", + "global step=49332224, episodic return=2114.271484375\n", + "global step=49332224, episodic return=1400.7373046875\n", + "global step=49334272, episodic return=2147.70166015625\n", + "global step=49334272, episodic return=2178.718505859375\n", + "global step=49334272, episodic return=2182.7861328125\n", + "global step=49340416, episodic return=2168.168212890625\n", + "global step=49342464, episodic return=2175.802734375\n", + "global step=49342464, episodic return=2231.13818359375\n", + "global step=49352704, episodic return=2186.944580078125\n", + "global step=49354752, episodic return=747.661865234375\n", + "global step=49358848, episodic return=2197.847900390625\n", + "global step=49360896, episodic return=2208.552978515625\n", + "global step=49360896, episodic return=2200.10546875\n", + "global step=49360896, episodic return=2137.889404296875\n", + "global step=49367040, episodic return=1615.893798828125\n", + "global step=49371136, episodic return=1862.717529296875\n", + "global step=49371136, episodic return=2202.044189453125\n", + "global step=49373184, episodic return=2166.405029296875\n", + "global step=49373184, episodic return=2185.635009765625\n", + "global step=49373184, episodic return=2181.122314453125\n", + "global step=49373184, episodic return=2139.111083984375\n", + "global step=49377280, episodic return=2146.589599609375\n", + "global step=49377280, episodic return=2162.42919921875\n", + "global step=49377280, episodic return=2187.834228515625\n", + "global step=49377280, episodic return=1952.7088623046875\n", + "global step=49379328, episodic return=2178.53076171875\n", + "global step=49381376, episodic return=2175.28662109375\n", + "global step=49381376, episodic return=2170.7685546875\n", + "global step=49383424, episodic return=2172.620849609375\n", + "global step=49383424, episodic return=2156.935546875\n", + "global step=49389568, episodic return=2115.039306640625\n", + "global step=49391616, episodic return=2199.752197265625\n", + "global step=49395712, episodic return=1654.3377685546875\n", + "global step=49397760, episodic return=1012.87109375\n", + "global step=49397760, episodic return=760.4719848632812\n", + "global step=49399808, episodic return=2207.977783203125\n", + "global step=49399808, episodic return=2175.1953125\n", + "global step=49399808, episodic return=1779.136474609375\n", + "global step=49401856, episodic return=2145.774169921875\n", + "global step=49401856, episodic return=2129.058349609375\n", + "global step=49401856, episodic return=1184.2862548828125\n", + "global step=49401856, episodic return=2119.2197265625\n", + "global step=49403904, episodic return=2227.9296875\n", + "global step=49410048, episodic return=2137.82177734375\n", + "global step=49410048, episodic return=2140.866943359375\n", + "global step=49412096, episodic return=2174.942138671875\n", + "global step=49412096, episodic return=2196.843994140625\n", + "global step=49412096, episodic return=2164.493408203125\n", + "global step=49412096, episodic return=1689.56494140625\n", + "global step=49414144, episodic return=1511.1805419921875\n", + "global step=49418240, episodic return=1066.46826171875\n", + "global step=49418240, episodic return=2157.24072265625\n", + "global step=49422336, episodic return=203.2626190185547\n", + "global step=49422336, episodic return=1726.9578857421875\n", + "global step=49424384, episodic return=1571.445556640625\n", + "global step=49424384, episodic return=2176.08447265625\n", + "global step=49424384, episodic return=2173.82177734375\n", + "global step=49426432, episodic return=2202.390869140625\n", + "global step=49428480, episodic return=2152.1533203125\n", + "global step=49430528, episodic return=2175.704833984375\n", + "global step=49430528, episodic return=2152.125\n", + "global step=49432576, episodic return=2162.53857421875\n", + "global step=49436672, episodic return=2193.2060546875\n", + "global step=49436672, episodic return=2169.256591796875\n", + "global step=49440768, episodic return=2160.416015625\n", + "global step=49442816, episodic return=1012.2816772460938\n", + "global step=49442816, episodic return=2125.82177734375\n", + "global step=49442816, episodic return=2111.98486328125\n", + "global step=49444864, episodic return=1173.3902587890625\n", + "global step=49448960, episodic return=2028.4169921875\n", + "global step=49451008, episodic return=2202.100830078125\n", + "global step=49451008, episodic return=1623.2294921875\n", + "global step=49453056, episodic return=2171.02734375\n", + "global step=49455104, episodic return=959.1288452148438\n", + "global step=49461248, episodic return=854.20654296875\n", + "global step=49461248, episodic return=1123.9647216796875\n", + "global step=49461248, episodic return=134.19937133789062\n", + "global step=49461248, episodic return=1457.299560546875\n", + "global step=49465344, episodic return=2193.26904296875\n", + "global step=49465344, episodic return=1695.1361083984375\n", + "global step=49469440, episodic return=1930.5235595703125\n", + "global step=49469440, episodic return=2127.07666015625\n", + "global step=49469440, episodic return=1394.9927978515625\n", + "global step=49471488, episodic return=1564.2803955078125\n", + "global step=49473536, episodic return=2150.736572265625\n", + "global step=49473536, episodic return=2145.51220703125\n", + "global step=49475584, episodic return=2156.485595703125\n", + "global step=49477632, episodic return=2076.02587890625\n", + "global step=49477632, episodic return=1982.8619384765625\n", + "global step=49485824, episodic return=2130.389892578125\n", + "global step=49485824, episodic return=2110.307373046875\n", + "global step=49487872, episodic return=2117.577392578125\n", + "global step=49487872, episodic return=2191.78466796875\n", + "global step=49487872, episodic return=2171.808837890625\n", + "global step=49498112, episodic return=829.6355590820312\n", + "global step=49498112, episodic return=2134.031005859375\n", + "global step=49502208, episodic return=2158.552490234375\n", + "global step=49502208, episodic return=2163.5693359375\n", + "global step=49508352, episodic return=727.9817504882812\n", + "global step=49508352, episodic return=2198.960693359375\n", + "global step=49510400, episodic return=702.9931030273438\n", + "global step=49512448, episodic return=2167.934326171875\n", + "global step=49512448, episodic return=1345.8359375\n", + "global step=49516544, episodic return=2024.32958984375\n", + "global step=49524736, episodic return=2186.99853515625\n", + "global step=49524736, episodic return=2110.504638671875\n", + "global step=49524736, episodic return=2176.621337890625\n", + "global step=49526784, episodic return=2145.577880859375\n", + "global step=49526784, episodic return=871.7408447265625\n", + "global step=49526784, episodic return=2166.835693359375\n", + "global step=49528832, episodic return=2193.672119140625\n", + "global step=49528832, episodic return=2189.346923828125\n", + "global step=49528832, episodic return=2166.792724609375\n", + "global step=49532928, episodic return=2186.772216796875\n", + "global step=49537024, episodic return=2172.8193359375\n", + "global step=49539072, episodic return=2162.79931640625\n", + "global step=49541120, episodic return=2216.0615234375\n", + "global step=49543168, episodic return=2171.6611328125\n", + "global step=49545216, episodic return=2179.571533203125\n", + "global step=49545216, episodic return=958.3196411132812\n", + "global step=49547264, episodic return=1481.319580078125\n", + "global step=49547264, episodic return=2157.326904296875\n", + "global step=49549312, episodic return=2198.44384765625\n", + "global step=49549312, episodic return=2177.849365234375\n", + "global step=49551360, episodic return=2203.2197265625\n", + "global step=49559552, episodic return=2158.244384765625\n", + "global step=49559552, episodic return=2106.04345703125\n", + "global step=49565696, episodic return=2184.966552734375\n", + "global step=49567744, episodic return=1187.19677734375\n", + "global step=49567744, episodic return=2151.408447265625\n", + "global step=49567744, episodic return=2198.679931640625\n", + "global step=49571840, episodic return=2154.437744140625\n", + "global step=49573888, episodic return=1742.4180908203125\n", + "global step=49573888, episodic return=2176.7607421875\n", + "global step=49575936, episodic return=2136.121826171875\n", + "global step=49580032, episodic return=2129.0146484375\n", + "global step=49584128, episodic return=2087.740234375\n", + "global step=49584128, episodic return=2135.213623046875\n", + "global step=49586176, episodic return=2167.0595703125\n", + "global step=49592320, episodic return=2145.219482421875\n", + "global step=49594368, episodic return=2181.62255859375\n", + "global step=49598464, episodic return=2198.75634765625\n", + "global step=49598464, episodic return=2149.017578125\n", + "global step=49600512, episodic return=2241.637939453125\n", + "global step=49600512, episodic return=2212.677978515625\n", + "global step=49600512, episodic return=2171.117919921875\n", + "global step=49608704, episodic return=2181.439208984375\n", + "global step=49608704, episodic return=2174.4609375\n", + "global step=49612800, episodic return=1940.657958984375\n", + "global step=49614848, episodic return=2143.52978515625\n", + "global step=49618944, episodic return=2112.892578125\n", + "global step=49620992, episodic return=2139.968505859375\n", + "global step=49627136, episodic return=2161.543701171875\n", + "global step=49631232, episodic return=2155.097412109375\n", + "global step=49633280, episodic return=2153.111572265625\n", + "global step=49637376, episodic return=2184.0341796875\n", + "global step=49641472, episodic return=1340.1673583984375\n", + "global step=49645568, episodic return=2119.190673828125\n", + "global step=49653760, episodic return=2181.29736328125\n", + "global step=49655808, episodic return=855.8734130859375\n", + "global step=49655808, episodic return=2212.21630859375\n", + "global step=49657856, episodic return=2134.2880859375\n", + "global step=49659904, episodic return=2172.93408203125\n", + "global step=49661952, episodic return=1363.793701171875\n", + "global step=49661952, episodic return=2201.198486328125\n", + "global step=49661952, episodic return=2115.50634765625\n", + "global step=49666048, episodic return=2132.82421875\n", + "global step=49668096, episodic return=2160.3271484375\n", + "global step=49674240, episodic return=134.92117309570312\n", + "global step=49682432, episodic return=2166.298095703125\n", + "global step=49682432, episodic return=2170.87744140625\n", + "global step=49684480, episodic return=2092.354736328125\n", + "global step=49688576, episodic return=2151.671630859375\n", + "global step=49692672, episodic return=1975.4310302734375\n", + "global step=49692672, episodic return=84.49418640136719\n", + "global step=49694720, episodic return=2167.124267578125\n", + "global step=49696768, episodic return=139.33349609375\n", + "global step=49696768, episodic return=2166.259033203125\n", + "global step=49696768, episodic return=2190.33251953125\n", + "global step=49704960, episodic return=2192.1826171875\n", + "global step=49709056, episodic return=1238.087890625\n", + "global step=49711104, episodic return=2171.781494140625\n", + "global step=49711104, episodic return=2159.26220703125\n", + "global step=49713152, episodic return=2156.221923828125\n", + "global step=49715200, episodic return=2023.0501708984375\n", + "global step=49719296, episodic return=2175.322265625\n", + "global step=49719296, episodic return=2164.596435546875\n", + "global step=49723392, episodic return=2132.763671875\n", + "global step=49727488, episodic return=2178.129638671875\n", + "global step=49729536, episodic return=2160.733154296875\n", + "global step=49729536, episodic return=2199.256591796875\n", + "global step=49731584, episodic return=443.61187744140625\n", + "global step=49731584, episodic return=2177.092529296875\n", + "global step=49735680, episodic return=2151.00830078125\n", + "global step=49741824, episodic return=2171.32861328125\n", + "global step=49741824, episodic return=2155.591064453125\n", + "global step=49747968, episodic return=2179.85107421875\n", + "global step=49750016, episodic return=2159.06103515625\n", + "global step=49750016, episodic return=2173.26708984375\n", + "global step=49752064, episodic return=2125.01513671875\n", + "global step=49758208, episodic return=1777.950927734375\n", + "global step=49764352, episodic return=2151.98095703125\n", + "global step=49766400, episodic return=2136.857421875\n", + "global step=49766400, episodic return=398.21234130859375\n", + "global step=49768448, episodic return=2168.804443359375\n", + "global step=49770496, episodic return=682.5818481445312\n", + "global step=49778688, episodic return=2190.0439453125\n", + "global step=49782784, episodic return=120.53661346435547\n", + "global step=49788928, episodic return=42.243736267089844\n", + "global step=49793024, episodic return=2200.302001953125\n", + "global step=49801216, episodic return=2172.503662109375\n", + "global step=49811456, episodic return=2189.087646484375\n", + "global step=49811456, episodic return=2132.373291015625\n", + "global step=49811456, episodic return=569.41845703125\n", + "global step=49811456, episodic return=2185.197509765625\n", + "global step=49813504, episodic return=2172.317626953125\n", + "global step=49815552, episodic return=2135.8310546875\n", + "global step=49829888, episodic return=2137.64111328125\n", + "global step=49829888, episodic return=2185.82958984375\n", + "global step=49829888, episodic return=2205.461669921875\n", + "global step=49833984, episodic return=2191.321533203125\n", + "global step=49842176, episodic return=1581.35791015625\n", + "global step=49846272, episodic return=2181.911865234375\n", + "global step=49848320, episodic return=2191.415283203125\n", + "global step=49850368, episodic return=2182.677978515625\n", + "global step=49850368, episodic return=2151.259765625\n", + "global step=49852416, episodic return=2144.513671875\n", + "global step=49852416, episodic return=2206.395751953125\n", + "global step=49856512, episodic return=2152.05224609375\n", + "global step=49858560, episodic return=2182.66552734375\n", + "global step=49866752, episodic return=2129.04833984375\n", + "global step=49866752, episodic return=2106.508056640625\n", + "global step=49872896, episodic return=2115.337158203125\n", + "global step=49876992, episodic return=2182.810546875\n", + "global step=49879040, episodic return=2125.6552734375\n", + "global step=49881088, episodic return=2159.278076171875\n", + "global step=49881088, episodic return=2172.353271484375\n", + "global step=49883136, episodic return=2168.026123046875\n", + "global step=49885184, episodic return=2209.557373046875\n", + "global step=49889280, episodic return=719.4525756835938\n", + "global step=49889280, episodic return=2091.1201171875\n", + "global step=49891328, episodic return=2144.806396484375\n", + "global step=49895424, episodic return=1830.308837890625\n", + "global step=49897472, episodic return=2168.4169921875\n", + "global step=49899520, episodic return=743.7274169921875\n", + "global step=49901568, episodic return=2175.62255859375\n", + "global step=49901568, episodic return=2123.09912109375\n", + "global step=49903616, episodic return=2146.472412109375\n", + "global step=49903616, episodic return=2134.858154296875\n", + "global step=49911808, episodic return=2196.5517578125\n", + "global step=49913856, episodic return=2164.304443359375\n", + "global step=49915904, episodic return=2152.437255859375\n", + "global step=49920000, episodic return=2178.322265625\n", + "global step=49922048, episodic return=2195.603759765625\n", + "global step=49924096, episodic return=2222.936279296875\n", + "global step=49928192, episodic return=2170.6474609375\n", + "global step=49930240, episodic return=2200.6005859375\n", + "global step=49930240, episodic return=2061.906005859375\n", + "global step=49934336, episodic return=2152.164306640625\n", + "global step=49938432, episodic return=2181.864013671875\n", + "global step=49938432, episodic return=2131.61181640625\n", + "global step=49938432, episodic return=2171.88134765625\n", + "global step=49940480, episodic return=2165.320068359375\n", + "global step=49940480, episodic return=2189.6640625\n", + "global step=49942528, episodic return=2118.392578125\n", + "global step=49948672, episodic return=2116.586669921875\n", + "global step=49948672, episodic return=2169.18798828125\n", + "global step=49958912, episodic return=2165.491943359375\n", + "global step=49963008, episodic return=2143.230224609375\n", + "global step=49965056, episodic return=2227.53173828125\n", + "global step=49967104, episodic return=2145.669677734375\n", + "global step=49969152, episodic return=1787.1463623046875\n", + "global step=49971200, episodic return=2163.804443359375\n", + "global step=49971200, episodic return=2188.6728515625\n", + "global step=49977344, episodic return=2142.544189453125\n", + "global step=49977344, episodic return=2167.9072265625\n", + "global step=49979392, episodic return=2174.535400390625\n", + "global step=49981440, episodic return=2147.76123046875\n", + "global step=49987584, episodic return=1119.9222412109375\n", + "global step=49987584, episodic return=2122.47021484375\n" + ] + } + ], "source": [ "config = {\n", " \"LR\": 3e-4,\n", @@ -917,12 +60253,12 @@ }, { "cell_type": "code", - "execution_count": 6, + "execution_count": 7, "metadata": {}, "outputs": [ { "data": { - "image/png": "iVBORw0KGgoAAAANSUhEUgAAAk4AAAGwCAYAAABfKeoBAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAAB2tElEQVR4nO3dd3hUZfo38O9Mkpn0SW8QEmroRUqMSlGQUH6WlXUtqKAI6oIFXFRWRMQCC2tfV9d97WLdtS0gSkeQIiV0Ii2EQAqkTXoymfP+MXNOZkibTM6ZMzP5fq4rlzNzTmaeOcTMnfu5n/vRCIIggIiIiIhapVV7AERERESegoETERERkYMYOBERERE5iIETERERkYMYOBERERE5iIETERERkYMYOBERERE5yFftAXgCs9mMCxcuICQkBBqNRu3hEBERkQMEQUBZWRkSEhKg1cqTK2Lg5IALFy4gMTFR7WEQERGRE86dO4fOnTvL8lwMnBwQEhICwHLhQ0NDVR4NEREROcJoNCIxMVH6HJcDAycHiNNzoaGhDJyIiIg8jJxlNiwOJyIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiB3GTXyIiBdSazDALAsyCgAA/H1k3GSUi9TBwIiKSkSAI6PH0j6g3C9JjOh8t5o3vhQdHd1dxZEQkB07VERHJ6MNfs+yCJgCorTdj2Y/HcbKgXKVREZFcGDgREcnkXFElnvvfUen+67cPxi9PXCvdH/fKFpwtrFBjaEQkEwZOREQyMNWbMXL5Jun+d7Ovxk2DOyExIhD/unuo9PjoFZux+0yRGkMkIhkwcCIiaidBEHDfR3uk+1NTu2BwYph0P71fHK7uESnd/9O/dqCixuTKIRKRTBg4ERG100Of7sPW3y9K91/8w4BG56y8/0ocWDReuj/7s30uGRsRyUvVwGnr1q244YYbkJCQAI1Gg++++87uuEajafJrxYoV0jnJycmNji9btszueQ4ePIiRI0fC398fiYmJWL58uSveHhF1EGuP5Em3/zfnmmbPMwT6ISkyEACwOfMi5n2VgVqTWfHxEZF8VA2cKioqMGjQILz11ltNHs/NzbX7ev/996HRaDBlyhS785YsWWJ33sMPPywdMxqNGD9+PJKSkrB3716sWLECixcvxrvvvqvoeyOijqG0qk667eejwYDOhhbP3/yXMZg7rhcA4Jt95/Hw5/tQV8/gichTqNrHaeLEiZg4cWKzx+Pi4uzuf//997j22mvRrVs3u8dDQkIanStauXIlamtr8f7770On06Ffv37IyMjAK6+8glmzZrX/TRBRh3b6YkOLgRMvTmr1fI1Gg0fH9YQhwBeL/3cUPx3Jx1ubTuIxazBFRO7NY2qc8vPzsXr1asyYMaPRsWXLliEyMhJDhgzBihUrYDI1FF3u2LEDo0aNgk6nkx5LT09HZmYmiouLm3ytmpoaGI1Guy8ioqacumhpL5DWLbKVM+1Nv7or/jbFUgv18Y6zjXo/EZF78pjA6aOPPkJISAhuueUWu8cfeeQRfPHFF9i0aRMeeOABvPTSS3jiiSek43l5eYiNjbX7HvF+Xl4emrJ06VIYDAbpKzExUeZ3Q0TeQsw4dY8JavP3/mFIZ4T6+6KoohYZ55r+Q46I3IvHBE7vv/8+pk6dCn9/f7vH582bhzFjxmDgwIF48MEH8fLLL+PNN99ETU2N06+1YMEClJaWSl/nzp1r7/CJyEvtOF0IAOgWFdzm79X5ajGqVzQAYOWubFnHRUTK8IjA6ZdffkFmZibuv//+Vs9NTU2FyWRCVlYWAEudVH5+vt054v3m6qL0ej1CQ0PtvoiImpJ1yTJV1zWq7RknALhjRBcAlkLx5KdW42BOiVxDIyIFeETg9N5772Ho0KEYNGhQq+dmZGRAq9UiJiYGAJCWloatW7eirq5h5cu6deuQkpKC8PBwxcZMRN6v3ixIq+p6xYU49RxXdY9ERFBDDeaN/9jOFgVEbkzVwKm8vBwZGRnIyMgAAJw5cwYZGRnIzm5IWRuNRnz99ddNZpt27NiB1157DQcOHMDp06excuVKzJ07F3fddZcUFN15553Q6XSYMWMGjhw5gi+//BKvv/465s2b55L3SETeq7LWBLGmO9Im+GkLjUaD3X8diycmpEiPbT91SY7hEZECVG1HsGfPHlx7bcMGmGIwM23aNHz44YcAgC+++AKCIOCOO+5o9P16vR5ffPEFFi9ejJqaGnTt2hVz5861C4oMBgN+/vlnzJ49G0OHDkVUVBQWLVrEVgRE1G4VNfUAAB+tBnpf5/8O9fXR4s9jemD52kwAQE5xlSzjIyL5aQRB4BrYVhiNRhgMBpSWlrLeiYgkpy6WY+zLWxDq74uDi9Pb/XxPf3sIK3dl45GxPTHvevZ1ImovJT6/PaLGiYjIHYkb9Qbp5Unei7VORRXOrwomImUxcCIicpI4VSdX4BQVrAcAXCqrleX5iEh+DJyIiJxUWWvNOOl8ZHm+YGsAZrtpMBG5FwZOREROKrdO1QXq5Mk4hfirul6HiBzAwImIyEmVtfJO1Q1PjpBus5cTkXti4ERE5KSG4nB5puoMAX7w0WoAAAVl1bI8JxHJi4ETEZGT5C4O12o1qLd21CyuqGvlbCJSAwMnIiInVchcHA4AvWItmwWLW7kQkXth4ERE5CS5+zgBluk6gIETkbti4ERE5CQpcJJpVR3QEDgZqxk4Ebkjrn0lInJShXVVXaBMxeEAEOpvCZxKKhk4ucrZwgqMXrEZgKV7e1r3SLx15xXqDsrN1ZrM6LXwR4zoGoGvHkhTezguxYwTEXUY50uq8PbmU7JNg1WJ7QhkzDiFBVq2XSmpYvdwV7nz37uk20UVtVh9MBc3/WObiiNyfzM++g0AsPtMkdTPrKNg4EREHcbd/28X/rb2OJ774Ygsz1dVZwmc/P3kyziFBVoyTmcuVsj2nNSytO6RjR47kFOKF1cfVWE0nuGXE5ek2/2f/QkllR0n0GfgREQdxulLlmDkl5OXWjnTMdVS4CTfr9Iya23Tz0fzZXtOatnW3y82+fi/fzmDE/llLh6Nc2pNZiQ/tRrJT63GxTLXbxI9eMk6bDzeMX5mGTgRUYcjV/sAMeMUIGPGqU98qGzPRa0TBAEF1kAjMkiHnx4bhddvHywdv/7VrVh7OFel0bWuuq4elbUm9Fr4o/TY8BfXS0HUuaJK2V9TEAT4Whu12rrvwz2yv5Y7YuBERB2OXHvLVVtrnAJk7OMkBk5RwTrZnpOaZ6xuqM/Z+sS1SIkLwU2DO9mds/C7w64elkOSn1qN3s+sRd9FPzV7zsjlm2R/3eLKOpisjVo7IgZORNQhCELDL/pgmfouKZFxsu3jZDtmUkZxhaU2J1DnY9ePK2vZZHSPDgJgH1yJvvrtHJKfWo3CctdPiwFoMpPk59M4C9Tcue2RVWiZ8o4K1qNLRCBevW0QAMBXq+kQP7MMnIioQxBbBwBAsL+8gZOcxeHh1lV1dfVCkx/YJK9Ca+AUEdQ4w/fZzCsBWOqHjucZpce/2ZeDJ/57EAAwSoGMjiOayiQdWzLB4XPb46w1cOoRE4StT1yLif3jAQAms4CLKgWSrsTAiYg6hO02BeFaTdN/mbeF2Sygus4MQN6pugCdD8KtK+sulFTJ9rzUtFMF5QCAnOLG1zo21F+6PeG1X2C2Tk/N++qA9HhFbT2Sn1qN3WeKFB5pyzb/ZQx8fbTIWjZZ+nLE6oO5SH5qNT7dedbh1zpzyZLB6hplycjZ/uGwJ6u4DaP2TAyciKhDOG2zvL/GVN/CmY6pMZml23JO1QFAp/AAAAycXGHVoZYLv8f2jpFuz/pkD2755/Ymz/vTv3bIOq7W9Iyx7Gn44b3DkbVsMpKtQYytd+4aKt2uqzc3Og4Asz/bB6BtdVxixikpsuE1Y0L0Lb6ON2HgREQdgtmm9sI26HGW2IoAkHeqDgA6hwUCALIVWBFF9sSyoOv7xjZ5/L3pw6Xb648VYF92iQtG1bp8YzUAoLM1yG7Kld0ipNtf7M5udPymt+yDwJPW7FtrsgotP5dJEYHSY2IvLHFc3oyBExF1CLa9bWplCJzE+iadjxY+TSzNbo+kKMsH0tlCBk5K236qEAAwODGs2XO2PXltk48feHa83X1XbcxcWWuS6t9spxMvJ3ahB4Bnvj9i93MvCAIOnCuxO3/cK1scen3x+2yzXGLGqcDIGiciIo9nqjfjw1+zpPtyZpz0vvL/Go0NsXwYqtHIsKMRg4mWsoadwwPt7s+7vheOLZkAQ4CfXS3RO1tOKTPIy5wrapjCDbHubdicpyf1kW73Wvgjvt5zDkDTKwUBYPyrLQdPthmlLjYZp2hr4MTicCIiLyAunxbJUeNUa63l0CkQOCWEWQKnHNY4ucyYlOgWj4utCQDgkbE9m1wQ8PZm1wRO/92X4/C5M0d1s7s//z+W1YBiGwYA2DJ/jHT79/xyrNzVdKG4IAhIfWmDdN+2fUOMNdjnVB0RkRfIK7X/K1iOqbo6k6VmSonAScxwXD6VQvKy7W8U18KUFwCsnzcaS27qh50LxjY6Nshmmi/5qdU4ddGxWiFnvbv1dJvOb2rMxda95TqFBSApMggv/qG/dOzpbxsKxbMuVaDeuprwhhY2Po43WK7fztNF2Jft3SvrGDgRkdcrumwDUjmm6mrrrTVOCgROXSIbpkA62s7zrnTSJsAJaqUpqkajwT1pyYgzNA6w3ps2zO7+2JcdqxVyllhS9/B1PRw6P87gjwPPjofYheNiWY0UOIn9q6amJuGz+1Ol7/lidza+2nMOY/6+GbM+3oM9WUU4fL6hl9Wqh6+xe414Q0OR+i3//LXN78mTMHAiIq8nFu2KS7hr6uRrR6Dzkf/XaKhN3UpHmPpQy7FcY+snOSAqWI//zbEPJOSYDm6OuNvJqF4tTy/aMgT4STVJpy+WY9/ZEgBAns3P11U9oqTbT31zCE9Yp/U2HC/AH99paLdwaPF49O9ksHv+xIjmV/d5GwZOROT1jNbASSxgrZWh14w43eenQOAEAD2sQV5eKQMnpRy9YAmc5OjDNaCzwW713QurjrX7OZti2wajU1jbghXx/PMlVfjHppMAGi9AePnWQa0+T1MF6RqNBn+bMgBAwwo7b8XAiYi83uWBU43J3O49terqlatxAhpqRnIZOClG72sJmOY4OOXVGtvVd5+0oRN3W3yfcV66Hd/EtGFLwqwd6W07n89PT7E755Yr7Dc4vtzx55ve1gUABnQKAwAUePlqUAZOROT1xKk68S9hQUC7d3cXM05KBU5ifx61p+qqauuRsvBHLP7hCCq8rN5KLA5PjAhs5UzHPX9zQ5G1Etdr1+mGrV00bdw6aM2hvEaPzb7WPmjUaDTYs3AcOocH4PvZV+P24YnSsQOLxrfctsFmuu7IhdI2jc2TMHAiIq9XelnGCWh/gbhYHK5EHyfAtqGguoHTrE/2oMZk6YPV79mf8Ht+marjkZPYmb2LjIHTXaldpNu7s+Tfv+6b/edbP6kZy24ZYHd/9rXdmzwvKliPbU9eh0GJYVg2ZaC0950hsOWeUba1eSWVrmkGqgZ5tggnInJj4i9x28Cp1mQG2lGKUatgcTgARAZbBlek8gfQ5V3Rx7+61eENZN2ZsbpOKoyWM3CyzQJlZJfg2pSYFs52rdtHdMF1vWNQXFmHpMhA2bcKsvXPzSdxtU2xuTdh4EREXk/MOIUH6uDno0FdvdDuVU9KF4cbAix/vbtqG4/mVNY0vk7JT62Wbu9YcJ3dUnRP8alNDVJ4K5mUtrppcAK+z7ig6F6D/3kwzanviwn1R0wrPavksP1koeKvoRZO1RGR1xODD0OAn1QQXFPX3qk6ZYvD3SFwuuZvG1udbkpbuhF1MqxSdDXx5wBoe61Qa26z1gV9u/88DuaUyPa8giDA15oB7NTC5r5quictSe0hKI6BExF5PfvAyfJrr901TgoXh4uBk1GlwOmTHVnIKW7Y8uWD6cPx6NieTZ576LznFQIXlFmm6e69Oln25x6WFCHdvvEf22V73uo6s7SoobU96tRy0+CWV+V5AwZOROTVTPVmqfu2feAkz1Sdt2Scvs84j6HPr8Mea4Zp9aFcu+NjUqIx9/peUqFw1rLJUgPGEx5YMJ5bYgmcEhSYZtT5au26eh+WKbA0Vlt+FrQaIKiJvfLcQWebTFi1DI1m3ZGqgdPWrVtxww03ICEhARqNBt99953d8enTp0Oj0dh9TZhg30OiqKgIU6dORWhoKMLCwjBjxgyUl9vvE3Tw4EGMHDkS/v7+SExMxPLly5V+a0TkJmx3gTcE+EkFse3NOInTU0oVh9sGTuZ2tk5ozYFzJXj0iwwUVtTij+/sQK3JjDLrdRvXJwZZyyY3OZ0VFyqu/PO8vj2FFZYxR4XoFHn+x8c39EeSK3AqswZOIf5+sk8vysW2+eXJAmX37FOLqoFTRUUFBg0ahLfeeqvZcyZMmIDc3Fzp6/PPP7c7PnXqVBw5cgTr1q3DqlWrsHXrVsyaNUs6bjQaMX78eCQlJWHv3r1YsWIFFi9ejHfffVex90VE7qPEuidXsN4Xvj5aKUPU3r+G68xicbgyH2Bis8J6s4CKWmX7J930lv10Uq+FP+KItat2cAt7uMWEWIqMbaf0PEVRRcOCAaXMGtUNAHA8T56MXGmV5ecgNMB913XZBnSf7FCmCajaVL36EydOxMSJE1s8R6/XIy4ursljx44dw9q1a/Hbb79h2DDLJotvvvkmJk2ahL///e9ISEjAypUrUVtbi/fffx86nQ79+vVDRkYGXnnlFbsAi4i8U4lNfRMA6P3kKQ43WYvDfbTK/P2p99XCR6uxBE419YrVtFTVthxA/mlYYrPHxPYOm38vkHVMriDuUxcZpNz2IEnWzZrlWl13vsQSoJ4r8oxAdf2xfLWHoAi3r3HavHkzYmJikJKSgoceegiFhQ1LHHfs2IGwsDApaAKAcePGQavVYteuXdI5o0aNgk7X8FdFeno6MjMzUVxc3ORr1tTUwGg02n0RkWcSp5HED3m5isNN9cpmnDQajVTHUq5gx+4+i9ZKt396bFSj41d2i2z2e8VrqWTWRgmCIEBMjITJ3IrAVlJEEADgbGGFLM+30UMCkev7xgIAeseHqDwSZbh14DRhwgR8/PHH2LBhA/72t79hy5YtmDhxIuqtHXvz8vIQE2PfXMzX1xcRERHIy8uTzomNjbU7R7wvnnO5pUuXwmAwSF+Jic3/xUVE7i2v1PLXubivl1jj1N6pOnF1k69CGSegYeWUUludnLpoX4OSEhdi1wn9wdHdodU2HxhekRQOQL6pKFcpqzFB3KowWsENacWM07miKtTLUKfWM9YSiAxODGv3cylpQj/LLJHWTeuw2st9J0oB3H777dLtAQMGYODAgejevTs2b96MsWPHKva6CxYswLx586T7RqORwRORh8q1doeOswZO8mWcrIGTQhknAAjSW4I8pQKnsS9vkW4fXZIOADj8XDr+uekU+sSHYHy/psskRJ3CGlZQvfxzJqZflSx1PHdnJdb6Jn8/raLdsxPCAuDno0FtvRl5xmq76+WMSmutm7sHTpHBlgzkpfJalUeiDLfOOF2uW7duiIqKwsmTJwEAcXFxKCiwn1s3mUwoKiqS6qLi4uKQn2+f3hTvN1c7pdfrERoaavdFRJ4pr9QSOMU3CpzkKQ73bSEj015iYXaZAoGTWDQPAK/8aRACdZbX8vPR4tFxPVsNmgAgyKZw/M2NJ/Hw5/tlH6cSSqos713pKUYfrQadwy1ZJzmm6/adLQEABLhpKwJRlDV4vlTueastHeFRgVNOTg4KCwsRHx8PAEhLS0NJSQn27t0rnbNx40aYzWakpqZK52zduhV1dQ29UNatW4eUlBSEh4e79g0QkcuJNU6xoZdP1bUv4yROvfgq1I4AAIIVnKqznV67cVCCLM/56ynP2Gaj2Lr/X5gLarPEgP1iWfuDiL3Zlrrc5Ej59tZTgjj9WVRRq3grDTWoGjiVl5cjIyMDGRkZAIAzZ84gIyMD2dnZKC8vx/z587Fz505kZWVhw4YNuOmmm9CjRw+kp1tSyn369MGECRMwc+ZM7N69G9u3b8ecOXNw++23IyHB8ovgzjvvhE6nw4wZM3DkyBF8+eWXeP311+2m4ojIexVbMysRQZYPSX8/edoRSFN1imaclCsO/8/eHABA9+igdgV/fxnfS64huYyYbZN7j7qmhFt/7ooq2jdtVVxRKzVd7ZdgaPe4lCT+v1ZvFqT//7yJqjVOe/bswbXXXivdF4OZadOm4e2338bBgwfx0UcfoaSkBAkJCRg/fjyef/556PUNc+grV67EnDlzMHbsWGi1WkyZMgVvvPGGdNxgMODnn3/G7NmzMXToUERFRWHRokVsRUDUQRRX2k/LiFNSVe3t42RdVadkjZM0VVctf+Ak9mnqHd++UoQ51/VEcWUd3tt2Br5ajXXFmnsXBZdIGSflA6eIwPYHTvd/9BvWH2soS+kRE9zucSnJz0eLsEA/lFTWId9Y4xF1b22hauA0ZswYCELzabyffvqp1eeIiIjAZ5991uI5AwcOxC+//NLm8RGRZxMEQZqWEfs4iVN1le1sKilO1fkpuKpOrCFSYqpO/N37Bxn2FpufnoL3tp2BySygvMbktvuoicRg2hVTdRHtzDh9sy/HLmgCoGhBu1zE7FhWYQX6JnhXnbBH1TgREbVFdZ1Z+gUuTpkEWgtrq2rbueWKWWyAqVx2JcQaOMk9VWc2CzhbaGnK2DU6qN3Pp/fVQrwMla001HQHYsbJFVN1YuDk7JTVvK8O2N2fcU3Xdo/JFcQVhOI2Ma0pq1Z+ayG5uHU7AiKi9hBXT/lqG5pJSoFTXfuCEZMLpuqCFAqcLlXUoKquHloNkBTR/kJjjUaDQJ0vymtMHhI4WTNOAcpnnMTp1jWHmu4b2JLTFxvv9fbXSX3aPSZXGJwYhhMF5Q61JHjwk71Ye8RyfbKWTVZ6aO3GwImIvJZtLYtYd9MwVSdPA0w/RVfVWQMnmWucCssbCublWhXo7+eD8hpTq1u4uINiF9Y4tSeH8uPhhmDr1EuTFM1uyk1cWefIakIxaBLPV7IpqRw4VUdEXkusDbLtNyRmnNodOFkzTkp+mAUrlHES623EaSQ5yJXJc4V8a1PUKBd8QI9JiZZut7V3mLjy8/bhiR4VNAENvZza2oYhKtj9t+9h4EREXqvWGtzobLIq4ge8XFuuKLVXHaBc4CQ2JpQzcArwk6d2zBXE9x9n7e2lpMggnfTz19ZO2v+1toyIN7Sv47gaxO7hjhTF97Wu7Pzg3uFuvyITYOBERF6srr7xdJpsU3X1yu9VF2pdCVha5ViBraPEDzM5l4kH6ORZrag0s1loeP8yBo7N0Wg0UgB/8FyJw99XbxZwwdr1PibUvaeumiK2/3CkKF7894gK8oz3ycCJiLxWnXVFnZ+vbcbJ2sep3TVOym+5In6wF8m855dY4yRn4CBOseQUV8n2nEooqaqDuHgr3AWBk63L2wq05LesIun2DTJ1dnclRwMnQWgIZCM8YJoOYOBERF6sTpqqawhuGmpxZMo4KVgcHmn9C7ysxtTuvfVsFSpQ49Q92tKUccmqo7I9pxKKKizTdKH+vooW9tsa3ctS55TUhq1Spr2/GwAwLClcmrL1JGKBd76xBoUt7FlXYzJLGbkQf894nwyciMhrib+QbT8gA2RqgGmS9qpTLuMUGuArZbTau2WHLfGDTM6puqt6REm3M232wXM3UrbNhd2s+1hreBzJvlTX1aOgrBo11mzpTUPa36BUDbYr457+9nCz54kd7AEgSOcZgZNnjJKIyAmmJmqcAnQNm/yazQK0Tk61SX2cFJyq02g0iAjSoaCsBoXltbIVCStR4yNmVQDg2R8O44tZabI9t5zE9+6K5peiiCDLaxU3E/z+e+tpvLjmWJPH0vvFKjYuJdmuAlx7JK/Z/9ce/mxfk9/jzphxIiKvVSdlnBpP1QHtm64TO4crWRwONNSKiD2p5FCoUHH0B/cOBwDsPF3UbJCgNrHQPtwF262IxNcqaubfsLmgCQBiQpRf+aeUFX8cKN1euetsk+f8aXiiq4YjGwZORF5o79liDHj2J+SWunehrtLqmpiq8/dtCJza05Kg3gXtCADAYM2MiF3Q5aBEHycAGN2zIet0+lLjrtfuoMQaOBlcmnGyFko3EUwezClp9vuemJCi1JBc4tZhDUHRq+tPNHnOa9bHJw2Ic8mY5MDAicjLVNaaMOXtX1FWY0La0o1qD0dVtU1M1Wm1Guitq+zalXFyQQNMoGFKqVimjJOp3tyQdZE5cNJqNUjrFgkA0l547kZ87+Kmz64gBk5HLpTaPV5QVo0b/7Fdun/zYMvquQ+mD8eZpZPw5zE9XDZGpTx3Yz8AlmDdVG9GaWUdkp9ajeSnVmP6B7ul81JiPWcjYAZORF5EEAT0XfST3WMF1i7JHVFTGSfAts7J+cCpqfopJYj7qZU6uUns5Wx7QoUpEDx0se59565tCcT3H+rvusBJ7KJtFhp+JgVBwIgXN0jn9I0PxWu3D0HWssm4tneMRzSCdMTtIxqyTte9vAWDlvws3d+ceVG6/chYzwkSGTgReZGjucZGj326s+nago5A7OOk87X/EJKjy3W9C1bVAZaVdQBglGm/OjFzFeLvq0grBXH/N6PMTTvlUma9jqEuzDjFGxrqlI5Z/x/NN9ov0V/9yDUuG48r6W2mxrOLms5Czh3Xy6MCRQZORF7EdmnvhH6WmoG2NN3zNuXWlgNit3CRHC0J6syumaoTp5RKZZqqE5fEy13fJBJ78ZTJvDGxXNSYqrMNUG/8x3bklVbju4zz0mNnlk7yqMChreZc23I26eHrPCfbBLAdAZFX+eq3cwCAq7pH4v8GxWPtkbwms1AdxUXrX/Wxl+1JJn64O7uVSb1ZgGDtPu2n8Ko6MTNirJYpcLIWKIcptKosxF/e8cpNnPJ0ZeB0uef+dwQ/Hs6TxuHNQRMAPDy2B/6x6aTdY1nLJqs0mvZjxonIi+w5WwwA6BUbgn4JBunxljr3eitBELD2iOXDKfayvb7EmpO2broqErdbAZSfqjPIvF+d2NYgQqFVZeJUnZztE+QkXscwF66qA4CXbx0k3RaDJgD459QrXDoONeh9fXDixYmYObIrAGDfM9erPKL2YeBE5CVs9167M7ULukYFSff3ZZeoMCLnfb47G+uP5rfrOf6777y0kW9yZJDdMWl5uJMF12JhOKB8H6dQmTM4Rdb3rNQ+be29tkpTY6oOAKYM7Yy/jO/V6PGrbTquezM/Hy2entwXWcsmKzZN7CoMnIi8hO2moL1iQwAAAztbsk4H2rAru9p+yyrCgm8O4f6P90AQhNa/oRnvbj0l3R6cGGZ3TPzF7ew2JnaBk+LF4fJmnPJKLassoxXackRs9ljohg0wzWZBtcAJAGZfVutzTQcJmrwNAyciL/HetjONHpuWlgwA2HriYqNj7upUQUPjRHG/rrYymwX8nm95npdvHdSohkTcR8vZBqF1tlN1iheHW1fVVclTbJ1VWAEA6Bzh+IazbREZ3NDssT2BrxLKa02wLoZUJXDSaDR2W718en+qy8dA7cficCIvseV3S3B0i82moFckhQOwbLpaV2922W7w7WGbWamqrW+0Is4Rtl2rJzbRkVicujtZ4Fx364YeThrFC3tti8Pbs7eeKNvamLJ7VFArZzpHzDiZzAKM1SZVi7AvJ65M1Ptqnfq5ksP+ReNVeV2Sj/v/FiUih4hL7O+7pqv0WFJEIIJ0PqgxmXHmUoVaQ2uT3Wcaphyd7ex9+7u7pNuBTey4Lk5l/p5fLvVjaos6aYNf5X+FioGHILS/zkkQBJwvsWTZOocrk3Hy9/NBkLXBqLvtV6fmNB15DwZORF7AWF0nBRndohsyCVqtBr3jLVsZHL3gGW0JdL4Nv5bEAKUtckurcMm6ijDUv+mkeqfwAOn2uWaa8rWkqc2DlaL39ZHaJ7S3bqi4sk6a/ow1KFPjBABiKHrEzX7mxJV+rl5RR96FgRORF8gpsmQRwgP9GmVY+idYAycP6eeUmVcm3a6rb3s26JffL0m3N8+/tslzfLQa6cPzuM3rOarORdutiMT2CYVOtk8QXbBmm6KC9XYdneUmZj/3WttjuIsihZt/UsfAwInIC4jTcMlN1K30lKal2h4gqOG0zZSiMxmnHGtwcF3vmBY/IAd0sqw4XHMot82v0dweeEqJtL6P9vbjyrWuqEsI82/lzPZJ7RYBAKg2Ob8XoBKKrNePgRO1BwMnIi+wP9vyl33XyMaBU19rxulgTqnbrXK63OWBgTOBU551pdzlLQguN6iz5bgzAaVU4+SCqTqgYaXapXZO1RVVWK5vlEKtCERDkyyBk1wtFORSLE3VMXAi5zFwIvICmdYP/wGdDY2O9UsIhc5Hi6KK2mY32XQXl2982pbAyWwWkPzUany1JwcAEBfaclZlVK9oAJYsTFsDSpPZtVN1kdZA52JZ+zJOUo2PwsXRYqf2zcfda59EMZALZ40TtQMDJyIvIBY4944LbXRM7+sjFVx/tjvbpeNqq8v7Kl1e41RrMuOHAxcw7f3dKLHpTF1dV49uf11jd+6g1jJOiQb4ajUorarDwZzSNo2zzuS64nAA6BRmKWbPaWfgKwamYgZLKWEBlud3t8yO+DMjjo/IGQyciDxcvVlAlrU3T2JEQJPnpHWPBCBfE0WlXF6obZtx+ufmk+i18Ec88vl+bPn9IgYvWScdW/FTpt33+Wg1SIkLafG19L4+6Gedxnxny6kWz72cWLtjuwJQSUmRltYBZ9sZOJ2x9reKMzT9cyIXcbyXymvcanqY7QhIDgyciDxcTnHDh2l8Mx+INw5KAAAcPt+2zIqr7b9sTz0xcKquq8fytZmNzh/03M8oq66TuqYPTgxD1rLJOPXSJIdeb1yfWADA6Ytt63ElTnmFuyijkmjtuZTVzl5cYnuASIWLo8XO7DUms1tt9ltiDZxCGThROzBwIvJwtr19fJrpKj2kSxgA4FiuEdVONpVUWo2pHttPWloJ6K2ZnJfWHMel8hpMefvXJr+ntKoOY1Zslu5/PvPKNr3mrcMSAVhqxGw3SW6NuMedqwIncbVkYUVtm8Z5uWBrP6iQZvpbycXfz0eqMXOnNhjMOJEcGDgReThxGwlx2qkpncICEBGkg8ksuF1vHdGhnFJU1dUjKlgnBXonC8ox7IX1do0Us5ZNxvHnJ0j3xcBxfnoKAnRt600UG6qXVpj94uB+ftV19Xhh9TEA9o00lRTq74tgvSXYsc0wtlVZtWWqNs6gbDsCoCFIO5BTovhrOcrIwIlkwMCJyMMVO9DUT6PRINoaIGz93T03/BV7UfWJD5U+4C/346MjAVgyGjNstpYBgJkju7X5NTUaDeKsHbQ/2XnWoe/ZaLNS7NqUmDa/pjM0Gg06W4M0sReTM8qsW7aE+isfOIzsGQUATU6xqkEQBKnGz8BVddQODJyIPJw4bdTaCqZre1s+5P+zN0fxMTnjrLXAvXN4QLNbdfSJb8iqPXJdT+n2LVd0crpQ+4aBlvovRzNxRTZTo8OTw516TWeInc6LK53r5VRXb0Z1naVmTOmpOgC4eXDDZtMVNeovSqiuM6PWWjPHjBO1BwMnIg/XUKjc8ofBPWlJlvOr6lDuBh9kl/vHppMALAXFA5voRzW+b6zdfUOgn1QI/sqfBjv9ureP6AIAqKytx6+nLrVyNqQasZsHJ0CjcU07AqChnsrZYmvbLJ447ack23YQbS2+V4JY3+Sj1UibEBM5Q9XAaevWrbjhhhuQkGD5BfTdd99Jx+rq6vDkk09iwIABCAoKQkJCAu655x5cuHDB7jmSk5Oh0WjsvpYtW2Z3zsGDBzFy5Ej4+/sjMTERy5cvd8XbI3IJMQPRWsYpISwAiREBqDcL2JNV5IqhOSU6WI8/j+ne6PFesU23F2iuIN5RhgA/DEuyZI6mv/8bTrTSSbyixhI4Bbog+LAldQ93ctsVMXAI1vvC10WNO0ckWzqIn7a2QVCTbWG4KwNe8j6qBk4VFRUYNGgQ3nrrrUbHKisrsW/fPjzzzDPYt28fvvnmG2RmZuLGG29sdO6SJUuQm5srfT388MPSMaPRiPHjxyMpKQl79+7FihUrsHjxYrz77ruKvjciV5FqnByo20jtaunntPuM+wZOt4/ogvF94/DB9OF2j/dqpS9Te/z91kEAgNp6Mya/sQ3/2nIKOcWVKK2sQ2WtCbUms9SPqKLWkrlxddYiMshSi+Vs9kaNFWVdxP5Thep3rOeKOpKLa/9kuszEiRMxceLEJo8ZDAasW7fO7rF//OMfGDFiBLKzs9GlSxfp8ZCQEMTFxTX5PCtXrkRtbS3ef/996HQ69OvXDxkZGXjllVcwa9asJr+npqYGNTUNf9UZje6znJbocsUV1qk6B3rzjEiOwH/25uCfm0/hiQm9lR6aw8SiZQCICdFDq9VINVmiHtHBir1+clQQNv1lDB76dC+O55Vh6Y/HsfTH4y1+j6u2WxGJNU7Obpsjds12ZeCQYF29196tYuRQyh5OJBOPqnEqLS2FRqNBWFiY3ePLli1DZGQkhgwZghUrVsBkapjL37FjB0aNGgWdruFDJT09HZmZmSgubroYdOnSpTAYDNJXYmKiIu+HSA6OTtUBwDCbYubTF9WfPhGdK7JstRIRpENQM1Ng3aIbb2Asp65RQfhu9tV4/PpeDr3WkC6uKwwHGgKnerNznbjVyLiIQYo7bParRuBI3knVjFNbVFdX48knn8Qdd9yB0FCblTWPPIIrrrgCERER+PXXX7FgwQLk5ubilVdeAQDk5eWha1f7ZcuxsbHSsfDwxr/8FixYgHnz5kn3jUYjgydyW2KxcIQDgVM3m6xNxrkSu/tqyi6yTD91iQhs9hx/P+Wnxvz9fPDw2J54eGxPmM0C6sxmmOoFmOoFlNXU4ZnvDmNT5kVMHhiP6y8rVleauKLwwmX7+TnqWK6ldkuNwMlYrX7gdNFaGxal8D595P08InCqq6vDn/70JwiCgLffftvumG2AM3DgQOh0OjzwwANYunQp9Hq9U6+n1+ud/l4iVxIEAUVSxsmxD8QZ13TFe9vOYPeZItxyRWcAwP8OXMDDn++XzslaNln+wbbgwU/3AbBkfWydWToJ3+4/j2FJES4dDwBotRrotT4QE2CGQD98cO8Il49DJG70W1JZh4oaU7OZueb4Wovoq1zYOV5cCWjbwkEtheWWMYj9zIic5fZTdWLQdPbsWaxbt84u29SU1NRUmEwmZGVlAQDi4uKQn59vd454v7m6KCJPUVVXj1qTpTeNIzVOAHCVdcPfL347B0EQYKo32wVNALDjVKG8A22B7dTTYJsl7ICl8eMtV3SWiow7shB/P6n/Uq4TWSexzkhcQegKYrCXU+xclkxOhdaMUyQzTtRObh04iUHTiRMnsH79ekRGRrb6PRkZGdBqtYiJsRSWpqWlYevWraira0gVr1u3DikpKU1O0xF5kmLrNJ3OR+vwKq9hyQ3Zm3e3nsYGm07YohdWH5VngA44ZVNrddeVSS57XU8kBiLnS9rePVzMTEa4MHBIjLCMt6ii1m4BgBrErXnE1YlEzlJ1qq68vBwnT56U7p85cwYZGRmIiIhAfHw8/vjHP2Lfvn1YtWoV6uvrkZeXBwCIiIiATqfDjh07sGvXLlx77bUICQnBjh07MHfuXNx1111SUHTnnXfiueeew4wZM/Dkk0/i8OHDeP311/Hqq6+q8p6J5FRc0TBN52hvGtsaF9uVY1Ou6IwjF0pxPK+s2c7dSjiYUwrAsuKvvT2ZvF1CWACO55XhvBMZnHJrA8wQF2y3Igrx90N4oB+KK+twrqgKfRPUK8wuMFprnEIYOFH7qJpx2rNnD4YMGYIhQ4YAsNQrDRkyBIsWLcL58+fxww8/ICcnB4MHD0Z8fLz09euvlp3S9Xo9vvjiC4wePRr9+vXDiy++iLlz59r1aDIYDPj5559x5swZDB06FI8//jgWLVrUbCsCIk8irqgLd6Aw3NZn96c2emze+F7459QrAAB+PhqYrNtTKO2oNUjr36lxt3CylxBmWd5/ocSJwMnaLT7ExY07xYL/c+3YnFgO4jXrFKb8Bsfk3VTNOI0ZM0ZqKteUlo4BwBVXXIGdO3e2+joDBw7EL7/80ubxEbk7carO0cJw0VU9ouzuf3TfCHQKC4DZLMAQ4IfSqjrsPVuM1G6tT4+31/vbzwAAesa6xwo/d5ZgnarLbKW7eVPEqbJgF+xTZysxIhAHckpxzsn+U3IorapDmTVwFK8hkbM8YlUdETVNnKqLcLAw3FbWssnIN1YjMkgnbcGh1WpwTc8orD6Yi91nihQPnMTCdgBIYgF4q2JCLNmSdUfzWzmzsTJpqk6djJOzjTvlIE5tRgTpEKjjxx61j1sXhxPtyy7Gv7eeVnsYbqstzS+bEhvq32jfMnF/sd/ONt0gVk62e+aNSHZ9ywFPY7v5cVuKrQVBkJpQhgW4dlWZWwRO1mm6BE7TkQwYepPbGvbCemlD087hAZg4IF7lEbkfsflleBun6loidhffd7YY9WZB0YLtjJwS6barNp71ZL1iQ6D31aLGZMaerOJG29I0p7rODJO17YOrp+rcIXDafcbSXqMTp+lIBvxNRW5p0feH7XaBf3PjyRbO7riK2jFV15zecaEI8PNBeY0JZy45t6Gso04WWFoR3H9N11bOJJH44f/YlxkOf49YGK7RAIEu6MBuq1O4tYWCSr2cTuSX4d+/WOroqupcs+CBvBsDJ3I79WYBH+84a/dYQVnb+9Z0BO2dqmuKj1aDXtZC7d+dKEJui4zsEgDA1ZcVq1PzHhjdDYCl4Lmq1rEu4GLgFKzzhdbFLR/En80akxnVLuxaLrr+1a3S7ckD2PSY2o+BE7mdX05clG5/OsOybP5Sea3i2Y/22nu2GMlPrbar21GaElN1QMOedkpe85MFZThtff5Bl3UMp+b9YUhn6fbO0451eBd7OLV1mxY5hOh9IbYYU3vPutuGd1H19ck7MHAit/OrzXYf1/SMQl/r5qaPfbG/uW9R3fE8I6a8bekv9sd3dji9g31biVN1jm634iixiPZfW07J+ry2vt6TI92Wc6rR2+l8tbhjhCUA+M/enEbHX1v/Oz76NcvusbIadVoRAJaVmqHWppvGKtcGTrb9ro48l+7S1ybvxcCJ3MqaQ7l417qK7vXbBwMAxqREAwAOWDtMK6Gu3ox7P9iN5KdW45OdZ1v/hstMeM2+T9juM67JOpU42QCzNeK2FEZrpkIJP1uX1D8ytqdir+Gt7rrSEjitPpSLHJvGkodySvHa+hN49ocjdsF7RY1likyNjBPQ0K2+1MWB089HLLtN9O8Uqtp7J+/DwIncRlVtPf68cp90f0yKZcXQPWnJ0mMVNfJ9kO/PtkytJT+1Gj2f/hGbMi1ThM98dxj/2HjC4ayRGLzY2moz3aiUWpMZFdYaF7mn6lK7NbQGaK0RrTPq6s1SNuAa1je1Wb+EhrYE1/xtE3adLkReaTVu+Mc26fFNNnsQllszTq7uGi5SK3Bad8wSnCdFBLn0dcm7MXAityAIAvosWivdv/+artIv2ziDPxIMlqmjAzbL19ujrLoOf/jnr80e//vPv2Phd4cdei5xarFXbDD+Oqk3AOC0zca1ShEDNq0G0lSIXHrGhECsIS4oq2n5ZCccyzWixmSGIcAPw5K42bYz/t89w6Tbt727E1cu3WB33DZ4//GQJfOy7eQl1wzuMqEBloDNWKVcBvNygiBg+0nL/5s3DEpw2euS92PgRKorKKvG1cs2Svf9fDRY+H997c4ZYv1w3W9dhdVe4vJku8fuGYaMRdfjSmu25b97cxzKcO21NopM7RqJeINl6fVPR9re2bmtimxW1Mm9Ukrnq5W2plCi/464se+gxDCXr/LyFuP6xuLpSX2aPW67UfM5lVoBiNTIOK0+lCvdvrZ3tMtel7wfAydSlSAIGPHiBlwobWg3cGzJhEbnXdGloSmjHN7YcAIAMKCTAVnLJiNr2WRc3zcWYYE6fD7zSiRGBKC23uzQqqV92ZYxXZEUhmgX7rxeXOHcPnWOErdAOVsof+B05IIlcBrQKVT25+5IZo7qhl+fug6je1kCgztTu+APQzoBaAjoAWBwomVqb+64Xq4fJNQJnLbbZNf0vq7tXUXejdVypKovfjtnd3/PwnFNdpAebF2uvuF4AQRBgEbjfJbiWG7DX+ILrFNrtjQaDa7pEY3Pd2fjlxOXMLZPbLPPVVlrwiFr9mRolwgE6HyszwHFu24rVRgu6hIRhO0oxNlC+VsSHD5v+Tfob1OrQ85JCAvAR/eNkO7vPlOEb/efBwDp/xWpUWqwOqsXQ1UInM4VWbJsCyc3n5UjcgYzTqSaunoz/rm5oSP4Vw+kISq46YyN2JIAsPR0ag/bLNJV3ZsuTE7rbtnc9sNfs2BuoUh879limMwCOoUFIDEiAOGBftBoAEFoaBWglCKFA6fu0ZaC2uN58jbBrDWZkWl9zn4MnGQ3KNEgBeziSlQxOxmh0M9Ka1zdjsBUb5bquYayho5kxsCJVLPrdBHOFVUhKliHo0vSMaJr85u8ipkcANicWdDseY74YHsWAGBcC5mkK21WlS345lCzK+zEAGBgZwM0Gg18fbTSh5PtljFKUKr5pai7tQnmOZlrnE4UlKG23owQf18kRnDvMLnpfX0Qbf0DRJwSlYLsIGV+Vlrj6qm6j2x2HhjUOcwlr0kdBwMnUoUgCJj1yR4AQGq3SATqWp81FjMg7a25EYudB3VuPtsRE+IvLZP/cs853P7uDhReFghV19XjhdXHAAADbX45i1kzpQOnYoWaX4rEoOZ4XpmsLQmO2EzTtWfKlZp302DLKjJxWrpYgT0N28LVgdO6o3nSbS4+ILkxcCJV3PbuTlRaexANcXC7jampSQCAzHbsn2a7V9b4fi3vW/Xp/alY/seB0Plo8VtWMV5d/7t0zGwW8MAne6X7k2z2wIoKcU3GSempuk5hgdLtQhmnHbefskyh9GdhuGLEbGHWpUqYzYK0p6FaU3VKBE4n8sukPmzXv7LF7tg+6+pbNlclJTBwIpcrraqz66z9p+GJDn1f7/gQAJbtTZxl+7riRrYt+dOwRKy4dSAAYOfpIlTWmrD3bBEe/HQvtvxu6ZPTKSwASZENDfbETU1LK5X961rpqTrb6dGLMvVyEgQB32dcAAAM4BSKYrpYV0RuO3kJxuo6iDPNcm4G3RZicXiZjJ3obTfvPVFQjuSnVmPyG78gp7gStSYzAGB83+an44mcxVV15HKv/Jwp3T7+/AT4+zm2VFgsED9XVIWSylqnPgTEoKt7dJDD00RXW6fsThaUo++in+yOTUtLwnM39bd7LMgacFQ4uHO9s4pt+jgppXdcCI7nleFiWQ36xLf/+fbZ9OG6soWaNmqfTmENtWM7T1v+WAjR+0Lnq87fyq6aqjtywYi5X2ZI9/t34uIDkh8zTuRS9WZBKtwc1yfG4aAJsA8Qjl5wLuskLoO/5YrOrZzZICpY36hXUkpsCF69bVCjoAlo2A9Mzu1hmiLVOCmUcQKAmFBLx/Z8Y3UrZzrmP3st7ScGdDJIz03ysw2cfsuyBE5i1kcNYuBUXmOCqd7c7uezXbDw02Oj7I79lmXpX3XbMMcy2URtxYwTudRGm/2zXrh5QJu//4ouYdiXXYI9Z4txlRN7nGWcKwEA9EtoW33NVw+k4fuM87iudwwGJ4a32J8pyFroXql4xsm6xFzBgt94a3CTV9r+wKmsuk6apnuavXUUpdVqMKRLGPZnl+C9bZYu+aNT1OueHerf8FFjrDa1+2d25PJN0u1escE4tHg8Biz+2e6cJyc27tFGJAdmnMilVh20fHD2ig1GnKHtGYeRPS2//L/LON/m7z1bWIHsokr4ajUYlty2aaJesSGYn94bQ5MiWm1qGai3TtUpmHEy1ZthrBY7hysXOMVa/40uyBA4bc68iMraenSLDkIqp+kUF3dZRk8sGFeDr49WmsJuby8n29rBGdd0hUajQYi/H4YnN/Rrig3Vq7aCkLwfAydymWO5RinjsPyPg5x6jjHWv5pPX6xAeRsDk60nGhriBSu4S7yYcaqoVS5wKq2qgyAV/Co3BSN++BbIMFX37tbTAIC0bpFsQ+ACZy7Zd3wf1ydGpZFYyFXntPn3hqy1bVfwXJvgnqvpSEkMnMhlVh+0bLppCPCTtlBpK9tO0/2f/Qk1JsenwzYcs2y8O6qXslMWDTVOyk3VidN0If6+8Gtiixq5xFj33iuQYVXdofOWZoziHnikLNvrHOLva7fyUw1ybLvy66lLePSLDOm+bQD+wOjuAAB/Py3uHNHF6dcgag0DJ3IJU71ZmqZ7fLzzG43qfLV49oa+0v2UhWsdas5YY6rH5kxL+4DrFV6iLE5JVCqYcVJ6nzpRrJhxKmtfxsl2+5nrequb+egoVtzakNWVsw2As+TION35713S7TsuC47uvjIJZ5ZOwvHnJzKjSYpi4EQukfrSBmQVViIs0K9NK9qacu/VXfGnYQ3PsdnaT+lytSYz/t8vp5FTXIkrX9ogPd4zRtlaj0BrxqncBRknJVfUAUBMqCXjdLGsptltZxwhbjqbFBmIHjEhsoyNWibuD+cuxIyTWJvXVslPrba7v/SWxotLGDCRKzBwokZqTWapI2/yU6tRWlWHhz7di8U/HLHrvO2ofdnFUufpKVd0lqW+yLZG6sdDuY2OH8s1otfCH/HC6mO45m+bpEDj+r6xiv9yDdYrn3FSersVUWSQDhoNYBYa+kY5Y6s1uO0Vy6DJlf441PIHxttTr1B5JO3LOFVdtkL1zNJJsoyJyBlsR0AALB2dey38EXX1jbMKg55rWOa7ObMAm+df6/DzXiipwi3//FW6/9dJ8i1D/+z+VNz5/3bhqz05mJ/eG9EhemQXVmLcK1tQ20yvmH/fM0y212+OuO+esjVOrpmq8/XRItTfD6VVdSiprJP24WsLQRCkLuuzRnWTe4jUghdu7o970pLs9lJUS3sCpzU2fxxt/ssYZpZIVcw4Ec4VVaLrgjVNBk2XyyqstGs+1xJBEHDVso3S/c9mpra6lL8tRtgsaR/+4nqsPpiLyW/+Yhc0jezZ0OvpyHPpsr12S6RVdQq2IxAzaEquqBOJr1HiZMZpX3axdHsAOzm7lL+fj1sETUBD4ORMOwJxYQEAJEepW+ROxMCpgyutrMOoFZvsHvP30+KDe4fj2JIJ0mO/PNGQZRq5fBOyC1sPnjZlNiwb7hsfiqu6t71hZUt8fbR23YFnf7ZPKoK9qnskfn9hIj6ZkYqsZZORtWyytNpNaUHWqbqquvp21QW1pKFruPK9asICxMDJudqUbScKAQCTB8S3qVM8eRexCaaxqm1/UEx7fzc+/DULgPILO4gcwam6Dqq8xoT+z9rvu/bmHUNww6AEu8eylk2Wbi+fMhBP/PcgAGDUik3Y/dexiA7RN0qbm80CBAAfbM8CADwwqhsWyDhFZ2vpLQPwv4MXpC7dQToffD7rSlX/yrYN0CprTQhRoEhXmqpzQZM/gzU4K3FyNdSG45Y2ELbZP+p4DIHOTdVtsVn80T+BGUtSHwOnDur/3vjF7v63f74KQ7qEN3O2xZ+GJyKteyRGr9gEswCMsFmptm7uKPSMDcGxXCMmvm7/3LcOa98qupZotRoctWbGTPVm+Gg1qtc/6H210FoLqitr6xUJnEpctKoOsM04tX2qrrzGhMPWaZYxKWxD0JE5W+MU4u8rZZIfHcfGlqQ+Bk4d0A8HLiDLZqpt01/GoKuDdQOJEYF4b/pw3PvBb3aPX//qVvSOC8HxvDK7x3vHhbhsqwdfBRtBtoVGo0GQ3vLLXqk6pyIXFYdbXsPygVdY0fbAad/ZYpgFy6azzmyxQ97DmcDpQkmVFDTZlg4Qqck9PmnIZcxmAS+sOgrAsvVF1rLJDgdNomtTYnB0STqeu7Gf3eOXB00A8NWDaapngNQQpPDKOlc1wAQainEzm/j3bY3YdDSte6SsYyLPI/aVaksfJ9vFJQE61seRe2DGqYM5eL4UBWU1CPDzwXvTnV+aH6jzxbSrkjHtqmQ89d+D+OK3c9KxtG6R+HzWlXIM12NJG/0q0MvJbBYapuqClJ+qG2TdHufAuRIIguBwIGyqN+OHA5Zu8RP6xSk1PPIQtqvqzGYBWhlX2BK5kqoZp61bt+KGG25AQkICNBoNvvvuO7vjgiBg0aJFiI+PR0BAAMaNG4cTJ07YnVNUVISpU6ciNDQUYWFhmDFjBsrLy+3OOXjwIEaOHAl/f38kJiZi+fLlSr81t/V9hqWD8/V9Y6V+Q+21bMpAnFk6CRsfH41HruuBj2eMkOV5PZnY5FOJJphFlbUwWVfrRQa1va9SW/WND4WvVoPCilqcL6ly+PsOni/FpfIahAX6YXSKsvsDkvsTO4ebBaDcgf8vPtmRJd0ew58fciOqBk4VFRUYNGgQ3nrrrSaPL1++HG+88Qbeeecd7Nq1C0FBQUhPT0d1dcO+WVOnTsWRI0ewbt06rFq1Clu3bsWsWbOk40ajEePHj0dSUhL27t2LFStWYPHixXj33XcVf3/uRhAEaaXb/w2Ml/W5NRoNukUHY974FEU3nfUUgdZpBSW2Xcmz7gIfFayDzlf5a+3v54Mu1g1jHWlDITpwrgQAMCQxjD8TZNeK4kR+eQtnAit3ncUz3x+R7n8wfbhi4yJqK1Wn6iZOnIiJEyc2eUwQBLz22mtYuHAhbrrpJgDAxx9/jNjYWHz33Xe4/fbbcezYMaxduxa//fYbhg2zTDu9+eabmDRpEv7+978jISEBK1euRG1tLd5//33odDr069cPGRkZeOWVV+wCrI5gxylLPx2djxZX9+DScCWJNU6VChSHixvuihvwukKCIQCnL1Ygp9jxjNOeLEvjy2HJEa2cSR3NxuP5GJrU9CpeQRDw9LeHpfsPjO7WIeskyX257Z+BZ86cQV5eHsaNGyc9ZjAYkJqaih07dgAAduzYgbCwMCloAoBx48ZBq9Vi165d0jmjRo2CTtdQRJueno7MzEwUFzd0NLZVU1MDo9Fo9+UN/v3LaQDAuL4xLmsG2VGJ17eiVomMUw0AIM6FgVP3aEuB+OlLFQ6dLwgCfssqAgAMa+YDkjqub/edb/aYbePcmwYnYMFEZXrAETnLbQOnvLw8AEBsrH2n2NjYWOlYXl4eYmLse8P4+voiIiLC7pymnsP2NS63dOlSGAwG6SsxMbHJ8zzJpfIabLY2kpt3fYrKo/F+YvdwJdoR5BktGacYV2acwgIsr13qWMapoKwGBWU10GrgNlt+kPoeHWvpw9RS49aXf/5duv367UMUHxNRWzmVdqioqMCyZcuwYcMGFBQUwGy231D19OnTsgxOLQsWLMC8efOk+0aj0eODp52nCyEIlr5KPWJc01epI5M2+lWgODzfWuPkyoyT2IPpQml1K2darDtq6RbePTqYy8hJMjolGq9vOIGCshq7x5OfWt3o3J78PUVuyqnA6f7778eWLVtw9913Iz4+XpH557g4y/Ll/Px8xMc3FDLn5+dj8ODB0jkFBQV232cymVBUVCR9f1xcHPLz8+3OEe+L51xOr9dDr1d+tZIrfbHb0i5A7v3iqGnSVJ2CGac4g+t+RjuHWzJO5x2scdp24hIAYEiXMKWGRB4oJTYEAHCxrAY5xZWoNZlx3ctbmjz3uZv6Nfk4kdqcCpx+/PFHrF69GldffbXc45F07doVcXFx2LBhgxQoGY1G7Nq1Cw899BAAIC0tDSUlJdi7dy+GDh0KANi4cSPMZjNSU1Olc55++mnU1dXBz8+yHHbdunVISUlBeHjHqL0QBAG/51uaF7IRoWuEWAOn8moFMk5G1xeHdwqzrKrLM1bDVG9usUt7eY0Ja49YpsHvujLJJeMjz2BbW/nGhhP4ak9Os+fyjzxyV07VOIWHhyMiov0rZcrLy5GRkYGMjAwAloLwjIwMZGdnQ6PR4LHHHsMLL7yAH374AYcOHcI999yDhIQE3HzzzQCAPn36YMKECZg5cyZ2796N7du3Y86cObj99tuRkGDZrPbOO++ETqfDjBkzcOTIEXz55Zd4/fXX7abivN3v+eVSapwbrbpGaIB1J3gFAydXbmESE6KHn48G9WZByng1Z0tmw6asAzpxU1ayd4U1C3l50HTr0IY9LV+/fbALR0TUNk5lnJ5//nksWrQIH330EQIDA51+8T179uDaa6+V7ovBzLRp0/Dhhx/iiSeeQEVFBWbNmoWSkhJcc801WLt2Lfz9Gz4wVq5ciTlz5mDs2LHQarWYMmUK3njjDem4wWDAzz//jNmzZ2Po0KGIiorCokWLOlQrgq3WovBRvaLteqmQcqTtJdq4oWlrquvqUWztGu7KGietVoOEsACcLazE+eIqdA5v/v/7n6zZpvuv6cpl5NTI8zf3x+Q3ttk9lrVsMgBgxa2D1BgSUZs4FTi9/PLLOHXqFGJjY5GcnCxNgYn27dvn0POMGTMGgiA0e1yj0WDJkiVYsmRJs+dERETgs88+a/F1Bg4ciF9++cWhMXmjrSesgROzTS4jdkluy75cjhD3iwvR+0pbWLhKJ2vglFNchdRmzqkx1WPTcUvd4cQB3GaFGuuXYMBH943AtPd3AwC2zr+2le8gci9OBU7iVBm5P7NZwC/WQl3WDLiOmHFqy07wjsi01qrVmMwuz+Z0srYkaGnblV9PFaKsxoToED2GJHaMGkJqu9G9onHyxYkQAHaVJ4/T5sDJZDJBo9HgvvvuQ+fOnVv/BlKV7Ydcz1gu73WVEH9lisPXHrZMgz04upusz+sIcXoup7j5bVd+tk7Tje8by01cqUUtLTAgcmdt/sn19fXFihUrYDLJX/RK8jtj7fQcFazjX3YuZNs53Gxufjq6LS6V12CjdRrsxsEJsjxnW0gtCZrJONWbBal/U3o/TtMRkXdy6pP0uuuuw5YtTffeIPdy+EIpgIZpFnINMeMEyNcE86s956TbPWJCZHnOthADp3NFTQdOe88W41J5LUL9fXFlN7a9ICLv5FSN08SJE/HUU0/h0KFDGDp0KIKCguyO33jjjbIMjtrv4DlL4NSPy8JdSu+rhY/Wsny/oqYeIf7tL+QWAxZx3zhX6xJpmao7X1KFunpzowymuJpubJ9Y6HyZ3SQi7+RU4PTnP/8ZAPDKK680OqbRaFBfL//GptR29WYB205aCsNvG+bZW8Z4Go1GgyCdD4zVJpTL1D28uKIWADA1VZ2mkrEh/tD5alFrMuNCSRWSIhsCOEEQpMApvV9sc09BROTxnPqz0Gw2N/vFoMl9nCwoR3mNCUE6H/RnxsnlxCxTmUwtCbIKLfVqXaPUyThptRp0iQi0jsW+QPzIBSNyiqug99ViVK9oNYZHROQSzKd7sd1nCgEAAzob4MMVTi4nrayTIeNkNgtS4JSsUuAENGy8+ru1n5RIXE03ule0tMExEZE3cuo3XEsNKQFg0aJFTg2G5HUgx1LfNKIrC3XVECplnNofOOWXVaO6zgwfrUYq0lZD/04G/Hg4D3vPFmOmzeM/HeFqOiLqGJwKnL799lu7+3V1dThz5gx8fX3RvXt3Bk5u4ugFIwCgf0KoyiPpmKT96mRogim2lUgMD1C1rYS4Wu63rCLpsXNFlcjML4OPVoOxfWLUGhoRkUs4FTjt37+/0WNGoxHTp0/HH/7wh3YPitqvvMYkdZlmfZM6xBonObZdOWutKVJzmg4A+saHws9Hg8KKWuzPLsaQLuHIOFciHQsL1Kk6PiIipcn2p2toaCiee+45PPPMM3I9JbXDwXMlqDcLiAv1RwJ7OKki1F/MOLV/qi7LmnFKjlQ3cArQ+eD/Blqab7658SQA4Nv95wEAV3XnlDAReT9Zc/6lpaUoLS2V8ynJSUes03RDuoSpO5AOTM6NfsWpOrVW1NmaNcqy3cvG4wWY89k+bMq0dDO/fUQXNYdFROQSTk3VvfHGG3b3BUFAbm4uPvnkE0ycOFGWgVH7HMu1BE5941nfpBaxOFyOGid3WFEn6hMfigdGdcO/tp7GqoO5AICre0S6RVBHRKQ0pwKnV1991e6+VqtFdHQ0pk2bhgULFsgyMGqfo9bAqQ8DJ9VIxeHtXFVnNgtSjVNXlafqRH9JT8G/tp6W7j8wqruKoyEich2nAqczZ87IPQ6SUa3JjFMXywEAfbiiTjVixqmksrZdz5NrrEaNyQw/Hw0SwvzlGFq7+flocWbpJLyy7neM6xOLQYlhag+JiMglnKpxuu+++1BWVtbo8YqKCtx3333tHhS1T25pFerqBQT4+SDB4B4ftB1RdIgeAHCxvKZdzyMWhidGBMJXxVYEl9NoNHh8fAqDJiLqUJz6LfzRRx+hqqrxDulVVVX4+OOP2z0oap+LZZYP6phQPTQadgxXS2yoJWjNN9ZAEASnn0eqb3KTaToioo6sTVN1RqMRgiBAEASUlZXB378hm1FfX481a9YgJoYN8NRWYA2cooP1Ko+kY4sJtVz/WpMZJZV1CA9yrsfR0jXHAbjHijoioo6uTYFTWFgYNBoNNBoNevXq1ei4RqPBc889J9vgyDlixkmcKiJ16H19EBGkQ1FFLfLLqp0KnKpq66W97iKcDLyIiEg+bQqcNm3aBEEQcN111+G///0vIiIipGM6nQ5JSUlISEiQfZDUNgyc3EdMiN4SOBlr0NuJbdyW/nhMuj1zZDcZR0ZERM5oU+A0evRoAJZVdV26dGH9jJsqKKsGYPnQJnXFhvrjeF4Z8kur2/y9+7KL8fGOswCAh8Z0h87XfQrDiYg6Kqd+EyclJWHbtm246667cNVVV+H8ecuWC5988gm2bdsm6wCp7Zhxch/x1lWNF0obL6ZozT3v7QYABOp8MH98iqzjIiIi5zgVOP33v/9Feno6AgICsG/fPtTUWD6oS0tL8dJLL8k6QGq7okpLp+pwbriqOnGfwEM5jm9FJAgC3tp0Uqpt+mHONdBqmd0lInIHTgVOL7zwAt555x38+9//hp+fn/T41VdfjX379sk2OHJOuXVvtBB/v1bOJKUlRlgCpw3HCxxuSTDz4z1Y8VMmAGDSgDj0iAlWbHxERNQ2TgVOmZmZGDVqVKPHDQYDSkpK2jsmaicxUxHi71RjeJLR8OSGBRSf7jzb4rlms4Dkp1Zj/THLprmPjO2Jf9xxhaLjIyKitnEqcIqLi8PJkycbPb5t2zZ068aVP2orq2bg5C46hwdieHI4AOCZ74+0eO7DX+yXbl/dIxLzru/FKToiIjfjVOA0c+ZMPProo9i1axc0Gg0uXLiAlStX4vHHH8dDDz0k9xipDerNAipr6wEAwXoGTu5g6S0DpdsHc0qaPCf5qdVYfTBXuv/pjFSlh0VERE5w6pP1qaeegtlsxtixY1FZWYlRo0ZBr9dj/vz5uP/+++UeI7WBOE0HAMHMOLkF2xql5Wsz8en99kHR/w5csLt/6qVJbPVBROSmnMo4aTQaPP300ygqKsLhw4exc+dOXLx4EQaDAV27dpV7jNQGZdbCcJ2vFnpfH5VHQ6InJ/QGAGw7eUnatBcALpXX4OHPG6bofnniWvhweo6IyG21KXCqqanBggULMGzYMFx99dVYs2YN+vbtiyNHjiAlJQWvv/465s6dq9RYyQGlVZbAKZQr6tzKg6Mbav/G/H0zAEsx+LAX1kuP71wwFokRga4eGhERtUGb5nIWLVqEf/3rXxg3bhx+/fVX3Hrrrbj33nuxc+dOvPzyy7j11lvh48Msh5rEDX7ZNdy9aDQa/GFIJ3y739Is9oVVR/H/tp2Rjv9xaGfEGfyb+3YiInITbQqcvv76a3z88ce48cYbcfjwYQwcOBAmkwkHDhxgTYabKDBat1sJZeDkbp6e3EcKnGyDJgD4+62D1BgSERG1UZum6nJycjB06FAAQP/+/aHX6zF37lwGTW6kwGjJOMWGMHvhbqKC9ZhyRWe7x2JD9TizdJJKIyIiorZqU+BUX18Pna5hGw9fX18EB7OrsTvJL2PGyZ29/KdB+PHRkQCA8X1jseuv4/iHBxGRB2nTVJ0gCJg+fTr0esuHcnV1NR588EEEBQXZnffNN9/IN0JqEzHjFBPKjJO76hMfiqxlk9UeBhEROaFNGadp06YhJiYGBoMBBoMBd911FxISEqT74peckpOTodFoGn3Nnj0bADBmzJhGxx588EG758jOzsbkyZMRGBiImJgYzJ8/HyaTqamX83jZRZUAWBxORESkhDZlnD744AOlxtGs3377DfX19dL9w4cP4/rrr8ett94qPTZz5kwsWbJEuh8Y2LCku76+HpMnT0ZcXBx+/fVX5Obm4p577oGfnx9eeukl17wJFzqeVwYAiAjStXImERERtZXbt5aOjo62u79s2TJ0794do0ePlh4LDAxEXFxck9//888/4+jRo1i/fj1iY2MxePBgPP/883jyySexePFiu5otT2eqN0u3O4UFqDgSIiIi7+RU53C11NbW4tNPP8V9991nV1C7cuVKREVFoX///liwYAEqKyulYzt27MCAAQMQGxsrPZaeng6j0YgjR5redLWmpgZGo9HuyxMUVdQCALQaIJY1TkRERLJz+4yTre+++w4lJSWYPn269Nidd96JpKQkJCQk4ODBg3jyySeRmZkpFajn5eXZBU0ApPt5eXlNvs7SpUvx3HPPKfMmFHSx3FIYHhGk47YdRERECvCowOm9997DxIkTkZCQID02a9Ys6faAAQMQHx+PsWPH4tSpU+jevbtTr7NgwQLMmzdPum80GpGYmOj8wF3kUrkl4xQVzMJwIiIiJXhM4HT27FmsX7++1VYHqamWnedPnjyJ7t27Iy4uDrt377Y7Jz8/HwCarYvS6/VSywVPcsm63QoDJyIiImV4TI3TBx98gJiYGEye3HL/m4yMDABAfHw8ACAtLQ2HDh1CQUGBdM66desQGhqKvn37KjZeNVwqFwMn7yl4JyIicicekXEym8344IMPMG3aNPj6Ngz51KlT+OyzzzBp0iRERkbi4MGDmDt3LkaNGoWBAwcCAMaPH4++ffvi7rvvxvLly5GXl4eFCxdi9uzZHplVaslFZpyIiIgU5RGB0/r165GdnY377rvP7nGdTof169fjtddeQ0VFBRITEzFlyhQsXLhQOsfHxwerVq3CQw89hLS0NAQFBWHatGl2fZ+8hVgcHsXml0RERIrwiMBp/PjxEASh0eOJiYnYsmVLq9+flJSENWvWKDE0tyK2I2DGiYiISBkeU+NErSuprAMAhAf6qTwSIiIi78TAyYvkGasBADEhbH5JRESkBAZOXqS0ypJxiuCqOiIiIkUwcPISpnozak2WveoC/XxUHg0REZF3YuDkJSrr6qXbgXoGTkREREpg4OQlKmssgZOPVgOdD/9ZiYiIlMBPWC9RUWsCAATqfKDRcINfIiIiJTBw8hJVtZaMU6CO03RERERKYeDkJSpqLBmnIJ1H9DQlIiLySAycvIRYHB7AjBMREZFiGDh5CWaciIiIlMfAyUsUW7dbCeN2K0RERIph4OQlSqwb/EYEsWs4ERGRUhg4eYlyazuCID2n6oiIiJTCwMlLCILlvz5a9nAiIiJSCgMnL2E2WyInLZtfEhERKYaBk5ewxk1gwomIiEg5DJy8hFlgxomIiEhpDJy8REPgpPJAiIiIvBgDJy8hBU6MnIiIiBTDwMlL1Jst/+VUHRERkXIYOHkJgVN1REREimPg5CU4VUdERKQ8Bk5eoqEdAQMnIiIipTBw8hINDTBVHggREZEXY+DkJdjHiYiISHkMnLwEp+qIiIiUx8DJS5jMln4E3OSXiIhIOQycvERRRS0AICzQT+WREBEReS8GTl6ipLIOABAeqFN5JERERN6LgZOXKKs2AQBCA5hxIiIiUgoDJy9hrLJknEL9fVUeCRERkfdi4OQFakz1KKuxZJw4VUdERKQcBk5e4HxxFQAgUOfD4nAiIiIFMXDyAjnWwKlzeAA07ONERESkGAZOXqAhcApUeSRERETeza0Dp8WLF0Oj0dh99e7dWzpeXV2N2bNnIzIyEsHBwZgyZQry8/PtniM7OxuTJ09GYGAgYmJiMH/+fJhMJle/FUXlFFcCABLDA1QeCRERkXdz+yVY/fr1w/r166X7vr4NQ547dy5Wr16Nr7/+GgaDAXPmzMEtt9yC7du3AwDq6+sxefJkxMXF4ddff0Vubi7uuece+Pn54aWXXnL5e1EKM05ERESu4faBk6+vL+Li4ho9Xlpaivfeew+fffYZrrvuOgDABx98gD59+mDnzp248sor8fPPP+Po0aNYv349YmNjMXjwYDz//PN48sknsXjxYuh03rECTcw4dWbGiYiISFFuPVUHACdOnEBCQgK6deuGqVOnIjs7GwCwd+9e1NXVYdy4cdK5vXv3RpcuXbBjxw4AwI4dOzBgwADExsZK56Snp8NoNOLIkSPNvmZNTQ2MRqPdlzsTM06dGDgREREpyq0Dp9TUVHz44YdYu3Yt3n77bZw5cwYjR45EWVkZ8vLyoNPpEBYWZvc9sbGxyMvLAwDk5eXZBU3icfFYc5YuXQqDwSB9JSYmyvvGZFRvFnCpvAYAEGfwV3k0RERE3s2tp+omTpwo3R44cCBSU1ORlJSEr776CgEBymVXFixYgHnz5kn3jUaj2wZPxZW1MAuARgNEsPklERGRotw643S5sLAw9OrVCydPnkRcXBxqa2tRUlJid05+fr5UExUXF9dolZ14v6m6KZFer0doaKjdl7sSp+kC/Xzg6+NR/5xEREQex6M+acvLy3Hq1CnEx8dj6NCh8PPzw4YNG6TjmZmZyM7ORlpaGgAgLS0Nhw4dQkFBgXTOunXrEBoair59+7p8/Eq4VGaZphNUHgcREVFH4NZTdX/5y19www03ICkpCRcuXMCzzz4LHx8f3HHHHTAYDJgxYwbmzZuHiIgIhIaG4uGHH0ZaWhquvPJKAMD48ePRt29f3H333Vi+fDny8vKwcOFCzJ49G3q9XuV3J488YzUA4OoeUSqPhIiIyPu5deCUk5ODO+64A4WFhYiOjsY111yDnTt3Ijo6GgDw6quvQqvVYsqUKaipqUF6ejr++c9/St/v4+ODVatW4aGHHkJaWhqCgoIwbdo0LFmyRK23JLu8UkvgFBfKwnAiIiKlaQRB4CxPK4xGIwwGA0pLS92u3mn+1wfw9d4czLu+Fx4Z21Pt4RAREbkNJT6/ParGiRrLzC8DAHSPDlZ5JERERN6PgZOHO5FfDgDoHR+i8kiIiIi8HwMnD1ZVW4+qunoAQEyIdxS7ExERuTMGTh6sqLIWAODno0Gw3q3r/ImIiLwCAycPVlxhCZzCA3XQaDQqj4aIiMj7MXDyYMXWjFNEELdaISIicgUGTh6syCbjRERERMpj4OTBxKk6ZpyIiIhcg4GTByuqrAMAhAf5qTwSIiKijoGBkweTMk6cqiMiInIJBk4eTCwOD+dUHRERkUswcPJgUuDEjBMREZFLMHDyYEUVYo0TAyciIiJXYODkwVjjRERE5FoMnDyUIAjSlitcVUdEROQaDJw8VGVtPWpNZgDs40REROQqDJw8lFgYrvfVIsDPR+XREBERdQwMnDxUsbUwPCKIG/wSERG5CgMnD1XEVgREREQux8DJQ4kr6lgYTkRE5DoMnDxUUQUzTkRERK7GwMlDlXCqjoiIyOUYOHmoIu5TR0RE5HIMnDyUuKouPJA1TkRERK7CwMlDFVbUAGDzSyIiIldi4OShcoqrAAAJYQEqj4SIiKjjYODkgUz1ZuSWVgMAOoczcCIiInIVBk4e6GxRJerNAvx8NIgN8Vd7OERERB0GAycPtOl4AQAgWO8LrZbbrRAREbkKAycPU2Oqx+vrTwAAxveNU3k0REREHQsDJw/z/f4LKKsxISJIh4X/10ft4RAREXUoDJw8zA8HLgAAxvWJQYg/ezgRERG5EgMnD5JdWIltJy9BowEevq6n2sMhIiLqcBg4eZD/HbRkm67qHonEiECVR0NERNTxMHDyINtPXgIAXNc7VuWREBERdUwMnDyEIAg4lFMKwJJxIiIiItdz68Bp6dKlGD58OEJCQhATE4Obb74ZmZmZdueMGTMGGo3G7uvBBx+0Oyc7OxuTJ09GYGAgYmJiMH/+fJhMJle+lXYrKKtBWY0JWg3QLTpI7eEQERF1SL5qD6AlW7ZswezZszF8+HCYTCb89a9/xfjx43H06FEEBTUEDzNnzsSSJUuk+4GBDfU/9fX1mDx5MuLi4vDrr78iNzcX99xzD/z8/PDSSy+59P20x4FzJQCA7tHB0Pv6qDsYIiKiDsqtA6e1a9fa3f/www8RExODvXv3YtSoUdLjgYGBiItruhnkzz//jKNHj2L9+vWIjY3F4MGD8fzzz+PJJ5/E4sWLodPpGn1PTU0NampqpPtGo1Gmd+S8vdnFAIBhyeEqj4SIiKjjcuupusuVllpqfCIiIuweX7lyJaKiotC/f38sWLAAlZWV0rEdO3ZgwIABiI1tKKhOT0+H0WjEkSNHmnydpUuXwmAwSF+JiYkKvJu2OZ5bBgDo38mg8kiIiIg6LrfOONkym8147LHHcPXVV6N///7S43feeSeSkpKQkJCAgwcP4sknn0RmZia++eYbAEBeXp5d0ARAup+Xl9fkay1YsADz5s2T7huNRtWDpy2/XwQA9IwJUXUcREREHZnHBE6zZ8/G4cOHsW3bNrvHZ82aJd0eMGAA4uPjMXbsWJw6dQrdu3d36rX0ej30en27xiun4opa6XbPmGAVR0JERNSxecRU3Zw5c7Bq1Sps2rQJnTt3bvHc1NRUAMDJkycBAHFxccjPz7c7R7zfXF2UuzlfUiXdDg9qXJNFREREruHWgZMgCJgzZw6+/fZbbNy4EV27dm31ezIyMgAA8fHxAIC0tDQcOnQIBQUF0jnr1q1DaGgo+vbtq8i45XbBGjgN7Mz6JiIiIjW59VTd7Nmz8dlnn+H7779HSEiIVJNkMBgQEBCAU6dO4bPPPsOkSZMQGRmJgwcPYu7cuRg1ahQGDhwIABg/fjz69u2Lu+++G8uXL0deXh4WLlyI2bNnu9V0XEtyS6sBAPEGf5VHQkRE1LG5dcbp7bffRmlpKcaMGYP4+Hjp68svvwQA6HQ6rF+/HuPHj0fv3r3x+OOPY8qUKfjf//4nPYePjw9WrVoFHx8fpKWl4a677sI999xj1/fJ3V0otWScEsICVB4JERFRx+bWGSdBEFo8npiYiC1btrT6PElJSVizZo1cw3K5CyWWjFOCgYETERGRmtw640QWOcWWvlSdwhk4ERERqYmBkwc4V2SZquvMwImIiEhVDJzcXGF5DS6V10CjsexTR0REROph4OTmsgot03QJhgAE6d26JI2IiMjrMXByc2LzS9Y3ERERqY+Bk5sTC8M7sxUBERGR6hg4ubmcYmaciIiI3AUDJzcnBk5cUUdERKQ+Bk5u7rw4VRceqPJIiIiIiIGTG6s3C8w4ERERuREGTm7s1MVy1JjMCNT5MONERETkBhg4ubFDOaUAgH4JofDRalQeDRERETFwcmOHL4iBk0HlkRARERHAwMmtnSwoBwD0jgtReSREREQEMHBya6cvVgAAesRwjzoiIiJ3wMDJTVXWmqTtVrpxc18iIiK3wMDJTWVdsvRvCgv0Q0SQTuXREBEREcDAyW1dsGabEtmGgIiIyG0wcHJTuaWWwCne4K/ySIiIiEjEwMlN5VgzTglh7BhORETkLhg4uanz3GqFiIjI7TBwclPiijoGTkRERO6DgZObOldkWVXXKYzF4URERO6CgZMbyjdW41J5LbQaoHtMkNrDISIiIisGTm7ot6wiAECv2BAE6nxVHg0RERGJ+KnsRmpM9fjv3vNY8dNxAMA1PaJUHhERERHZYuDkRt7aeBJvbDwp3b9pcCcVR0NERESXY+DkRjJySgEA3aKD8ER6bwzobFB5RERERGSLgZMbOZFfBgBYPmUghiVHqDwaIiIiuhyLw92EsboOuaXVAICesSEqj4aIiIiawsDJTZzILwcAxIbqYQjwU3k0RERE1BQGTm5CnKbrxWwTERGR22Lg5CaO51kCp54xDJyIiIjcFQMnN7D3bBE+350NABiUyJV0RERE7oqBkxt4cfUx1JjMuK53DCYNiFd7OERERNSMDhU4vfXWW0hOToa/vz9SU1Oxe/dutYeE7MJK7Msuga9Wg2VTBsDPp0P9kxAREXmUDvMp/eWXX2LevHl49tlnsW/fPgwaNAjp6ekoKChQdVz7zxUDAPp3MiAmxF/VsRAREVHLOkzg9Morr2DmzJm499570bdvX7zzzjsIDAzE+++/r+q49mRZAqdB7BJORETk9jpE4FRbW4u9e/di3Lhx0mNarRbjxo3Djh07Gp1fU1MDo9Fo96WEQzml+GTnWQDAwM5hirwGERERyadDBE6XLl1CfX09YmNj7R6PjY1FXl5eo/OXLl0Kg8EgfSUmJioyrpS4EATpfNAvIRTj+sS2/g1ERESkqg4ROLXVggULUFpaKn2dO3dOkdfR+Wqx5YlrsfqRkTAEsls4ERGRu+sQm/xGRUXBx8cH+fn5do/n5+cjLi6u0fl6vR56vd41Ywt2zesQERFR+3WIjJNOp8PQoUOxYcMG6TGz2YwNGzYgLS1NxZERERGRJ+kQGScAmDdvHqZNm4Zhw4ZhxIgReO2111BRUYF7771X7aERERGRh+gwgdNtt92GixcvYtGiRcjLy8PgwYOxdu3aRgXjRERERM3RCIIgqD0Id2c0GmEwGFBaWorQ0FC1h0NEREQOUOLzu0PUOBERERHJgYETERERkYMYOBERERE5iIETERERkYMYOBERERE5iIETERERkYMYOBERERE5iIETERERkYMYOBERERE5qMNsudIeYnN1o9Go8kiIiIjIUeLntpybpDBwckBZWRkAIDExUeWREBERUVuVlZXBYDDI8lzcq84BZrMZFy5cQEhICDQajazPbTQakZiYiHPnznEfPBfg9XY9XnPX4vV2LV5v12vLNRcEAWVlZUhISIBWK091EjNODtBqtejcubOirxEaGsr/6VyI19v1eM1di9fbtXi9Xc/Ray5XpknE4nAiIiIiBzFwIiIiInIQAyeV6fV6PPvss9Dr9WoPpUPg9XY9XnPX4vV2LV5v11P7mrM4nIiIiMhBzDgREREROYiBExEREZGDGDgREREROYiBExEREZGDGDip6K233kJycjL8/f2RmpqK3bt3qz0kj7B48WJoNBq7r969e0vHq6urMXv2bERGRiI4OBhTpkxBfn6+3XNkZ2dj8uTJCAwMRExMDObPnw+TyWR3zubNm3HFFVdAr9ejR48e+PDDD13x9lS3detW3HDDDUhISIBGo8F3331nd1wQBCxatAjx8fEICAjAuHHjcOLECbtzioqKMHXqVISGhiIsLAwzZsxAeXm53TkHDx7EyJEj4e/vj8TERCxfvrzRWL7++mv07t0b/v7+GDBgANasWSP7+3UHrV3z6dOnN/qZnzBhgt05vOaOW7p0KYYPH46QkBDExMTg5ptvRmZmpt05rvw94u2fBY5c7zFjxjT6GX/wwQftznGb6y2QKr744gtBp9MJ77//vnDkyBFh5syZQlhYmJCfn6/20Nzes88+K/Tr10/Izc2Vvi5evCgdf/DBB4XExERhw4YNwp49e4Qrr7xSuOqqq6TjJpNJ6N+/vzBu3Dhh//79wpo1a4SoqChhwYIF0jmnT58WAgMDhXnz5glHjx4V3nzzTcHHx0dYu3atS9+rGtasWSM8/fTTwjfffCMAEL799lu748uWLRMMBoPw3XffCQcOHBBuvPFGoWvXrkJVVZV0zoQJE4RBgwYJO3fuFH755RehR48ewh133CEdLy0tFWJjY4WpU6cKhw8fFj7//HMhICBA+Ne//iWds337dsHHx0dYvny5cPToUWHhwoWCn5+fcOjQIcWvgau1ds2nTZsmTJgwwe5nvqioyO4cXnPHpaenCx988IFw+PBhISMjQ5g0aZLQpUsXoby8XDrHVb9HOsJngSPXe/To0cLMmTPtfsZLS0ul4+50vRk4qWTEiBHC7Nmzpfv19fVCQkKCsHTpUhVH5RmeffZZYdCgQU0eKykpEfz8/ISvv/5aeuzYsWMCAGHHjh2CIFg+pLRarZCXlyed8/bbbwuhoaFCTU2NIAiC8MQTTwj9+vWze+7bbrtNSE9Pl/nduLfLP8TNZrMQFxcnrFixQnqspKRE0Ov1wueffy4IgiAcPXpUACD89ttv0jk//vijoNFohPPnzwuCIAj//Oc/hfDwcOl6C4IgPPnkk0JKSop0/09/+pMwefJku/GkpqYKDzzwgKzv0d00FzjddNNNzX4Pr3n7FBQUCACELVu2CILg2t8jHfGz4PLrLQiWwOnRRx9t9nvc6Xpzqk4FtbW12Lt3L8aNGyc9ptVqMW7cOOzYsUPFkXmOEydOICEhAd26dcPUqVORnZ0NANi7dy/q6ursrm3v3r3RpUsX6dru2LEDAwYMQGxsrHROeno6jEYjjhw5Ip1j+xziOR393+fMmTPIy8uzuzYGgwGpqal21zcsLAzDhg2Tzhk3bhy0Wi127dolnTNq1CjodDrpnPT0dGRmZqK4uFg6h/8GDTZv3oyYmBikpKTgoYceQmFhoXSM17x9SktLAQAREREAXPd7pKN+Flx+vUUrV65EVFQU+vfvjwULFqCyslI65k7Xm5v8quDSpUuor6+3+wEAgNjYWBw/flylUXmO1NRUfPjhh0hJSUFubi6ee+45jBw5EocPH0ZeXh50Oh3CwsLsvic2NhZ5eXkAgLy8vCavvXispXOMRiOqqqoQEBCg0Ltzb+L1aera2F67mJgYu+O+vr6IiIiwO6dr166NnkM8Fh4e3uy/gfgcHcmECRNwyy23oGvXrjh16hT++te/YuLEidixYwd8fHx4zdvBbDbjsccew9VXX43+/fsDgMt+jxQXF3e4z4KmrjcA3HnnnUhKSkJCQgIOHjyIJ598EpmZmfjmm28AuNf1ZuBEHmfixInS7YEDByI1NRVJSUn46quvOmxAQ97t9ttvl24PGDAAAwcORPfu3bF582aMHTtWxZF5vtmzZ+Pw4cPYtm2b2kPpEJq73rNmzZJuDxgwAPHx8Rg7dixOnTqF7t27u3qYLeJUnQqioqLg4+PTaIVGfn4+4uLiVBqV5woLC0OvXr1w8uRJxMXFoba2FiUlJXbn2F7buLi4Jq+9eKylc0JDQzt0cCZen5Z+duPi4lBQUGB33GQyoaioSJZ/A/4/AnTr1g1RUVE4efIkAF5zZ82ZMwerVq3Cpk2b0LlzZ+lxV/0e6WifBc1d76akpqYCgN3PuLtcbwZOKtDpdBg6dCg2bNggPWY2m7FhwwakpaWpODLPVF5ejlOnTiE+Ph5Dhw6Fn5+f3bXNzMxEdna2dG3T0tJw6NAhuw+adevWITQ0FH379pXOsX0O8ZyO/u/TtWtXxMXF2V0bo9GIXbt22V3fkpIS7N27Vzpn48aNMJvN0i/DtLQ0bN26FXV1ddI569atQ0pKCsLDw6Vz+G/QtJycHBQWFiI+Ph4Ar3lbCYKAOXPm4Ntvv8XGjRsbTWG66vdIR/ksaO16NyUjIwMA7H7G3eZ6O1xGTrL64osvBL1eL3z44YfC0aNHhVmzZglhYWF2KwaoaY8//riwefNm4cyZM8L27duFcePGCVFRUUJBQYEgCJZlxF26dBE2btwo7NmzR0hLSxPS0tKk7xeXtY4fP17IyMgQ1q5dK0RHRze5rHX+/PnCsWPHhLfeeqvDtCMoKysT9u/fL+zfv18AILzyyivC/v37hbNnzwqCYGlHEBYWJnz//ffCwYMHhZtuuqnJdgRDhgwRdu3aJWzbtk3o2bOn3dL4kpISITY2Vrj77ruFw4cPC1988YUQGBjYaGm8r6+v8Pe//104duyY8Oyzz3rl0nhBaPmal5WVCX/5y1+EHTt2CGfOnBHWr18vXHHFFULPnj2F6upq6Tl4zR330EMPCQaDQdi8ebPd8vfKykrpHFf9HukInwWtXe+TJ08KS5YsEfbs2SOcOXNG+P7774Vu3boJo0aNkp7Dna43AycVvfnmm0KXLl0EnU4njBgxQti5c6faQ/IIt912mxAfHy/odDqhU6dOwm233SacPHlSOl5VVSX8+c9/FsLDw4XAwEDhD3/4g5Cbm2v3HFlZWcLEiROFgIAAISoqSnj88ceFuro6u3M2bdokDB48WNDpdEK3bt2EDz74wBVvT3WbNm0SADT6mjZtmiAIlpYEzzzzjBAbGyvo9Xph7NixQmZmpt1zFBYWCnfccYcQHBwshIaGCvfee69QVlZmd86BAweEa665RtDr9UKnTp2EZcuWNRrLV199JfTq1UvQ6XRCv379hNWrVyv2vtXU0jWvrKwUxo8fL0RHRwt+fn5CUlKSMHPmzEa/6HnNHdfUtQZg9/+4K3+PePtnQWvXOzs7Wxg1apQQEREh6PV6oUePHsL8+fPt+jgJgvtcb431TRERERFRK1jjREREROQgBk5EREREDmLgREREROQgBk5EREREDmLgREREROQgBk5EREREDmLgREREROQgBk5EREREDmLgREQdzpgxY/DYY4+pPQwi8kAMnIjILTUX3Hz44YcICwtz6Vg2b94MjUaDkpISl74uEbkfBk5EREREDmLgREQea/r06bj55pvx3HPPITo6GqGhoXjwwQdRW1srnVNRUYF77rkHwcHBiI+Px8svv9zoeT755BMMGzYMISEhiIuLw5133omCggIAQFZWFq699loAQHh4ODQaDaZPnw4AMJvNWLp0Kbp27YqAgAAMGjQI//nPf6TnLS4uxtSpUxEdHY2AgAD07NkTH3zwgYJXhIiU5qv2AIiI2mPDhg3w9/fH5s2bkZWVhXvvvReRkZF48cUXAQDz58/Hli1b8P333yMmJgZ//etfsW/fPgwePFh6jrq6Ojz//PNISUlBQUEB5s2bh+nTp2PNmjVITEzEf//7X0yZMgWZmZkIDQ1FQEAAAGDp0qX49NNP8c4776Bnz57YunUr7rrrLkRHR2P06NF45plncPToUfz444+IiorCyZMnUVVVpcZlIiKZMHAiIo+m0+nw/vvvIzAwEP369cOSJUswf/58PP/886isrMR7772HTz/9FGPHjgUAfPTRR+jcubPdc9x3333S7W7duuGNN97A8OHDUV5ejuDgYERERAAAYmJipPqqmpoavPTSS1i/fj3S0tKk7922bRv+9a9/YfTo0cjOzsaQIUMwbNgwAEBycrLCV4OIlMbAiYg82qBBgxAYGCjdT0tLQ3l5Oc6dO4eSkhLU1tYiNTVVOh4REYGUlBS759i7dy8WL16MAwcOoLi4GGazGQCQnZ2Nvn37Nvm6J0+eRGVlJa6//nq7x2trazFkyBAAwEMPPYQpU6Zg3759GD9+PG6++WZcddVVsrxvIlIHAycickuhoaEoLS1t9HhJSQkMBoNsr1NRUYH09HSkp6dj5cqViI6ORnZ2NtLT0+1qpS5XXl4OAFi9ejU6depkd0yv1wMAJk6ciLNnz2LNmjVYt24dxo4di9mzZ+Pvf/+7bOMnItdicTgRuaWUlBTs27ev0eP79u1Dr169pPsHDhywqxvauXMngoODkZiYiO7du8PPzw+7du2SjhcXF+P333+X7h8/fhyFhYVYtmwZRo4cid69e0uF4SKdTgcAqK+vlx7r27cv9Ho9srOz0aNHD7uvxMRE6bzo6GhMmzYNn376KV577TW8++677bgqRKQ2ZpyIyC099NBD+Mc//oFHHnkE999/P/R6PVavXo3PP/8c//vf/6TzamtrMWPGDCxcuBBZWVl49tlnMWfOHGi1WgQHB2PGjBmYP38+IiMjERMTg6effhpabcPfjF26dIFOp8Obb76JBx98EIcPH8bzzz9vN5akpCRoNBqsWrUKkyZNQkBAAEJCQvCXv/wFc+fOhdlsxjXXXIPS0lJs374doaGhmDZtGhYtWoShQ4eiX79+qKmpwapVq9CnTx+XXUMiUoBAROSmdu/eLVx//fVCdHS0YDAYhNTUVOHbb7+Vjk+bNk246aabhEWLFgmRkZFCcHCwMHPmTKG6ulo6p6ysTLjrrruEwMBAITY2Vli+fLkwevRo4dFHH5XO+eyzz4Tk5GRBr9cLaWlpwg8//CAAEPbv3y+ds2TJEiEuLk7QaDTCtGnTBEEQBLPZLLz22mtCSkqK4OfnJ0RHRwvp6enCli1bBEEQhOeff17o06ePEBAQIERERAg33XSTcPr0aSUvGREpTCMIgqB28EZE5Izp06ejpKQE3333ndpDIaIOgjVORERERA5i4ERERETkIE7VERERETmIGSciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInIQAyciIiIiBzFwIiIiInLQ/wd+ND1Dn40eFQAAAABJRU5ErkJggg==", + "image/png": "iVBORw0KGgoAAAANSUhEUgAAAk4AAAGwCAYAAABfKeoBAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/OQEPoAAAACXBIWXMAAA9hAAAPYQGoP6dpAABYrElEQVR4nO3dd3xT5f4H8E86kra0SVu6oS0to1C2BUpBQKVSxnXyu4qiAiJcEBygKCgCggoXXLiueq/i3goqSzYIMmSUTVktZXQAHekeyfP7I81pQwehTXKS9PN+vfp6Jec8OXlyqM3H5zzn+yiEEAJEREREdF0ucneAiIiIyFEwOBERERGZicGJiIiIyEwMTkRERERmYnAiIiIiMhODExEREZGZGJyIiIiIzOQmdwccgV6vx6VLl+Dj4wOFQiF3d4iIiMgMQggUFBQgLCwMLi6WGSticDLDpUuXEB4eLnc3iIiIqBHOnz+P1q1bW+RYDE5m8PHxAWA48Wq1WubeEBERkTm0Wi3Cw8Ol73FLYHAyg/HynFqtZnAiIiJyMJacZsPJ4URERERmYnAiIiIiMhODExEREZGZGJyIiIiIzMTgRERERGQmBiciIiIiMzE4EREREZmJwYmIiIjITAxORERERGZicCIiIiIyE4MTERERkZkYnIiIiIjMxOBEREREVlVQWoHySr3c3bAIBiciIiKyCiEEPv8rDV3nrUOH2WtwMqtA7i41GYMTERGRExJCQAiBr3adw5vrUpBfUmHz94+atRpzfzsqbXtjXYpN+2ANbnJ3gIiIiCwr+Xwe7n5/h8m2dzadlh73aeOP7//VFwqFwirvn19Sge4vr6u1/Y+jWcgtKodfC6VV3tcWOOJERETkRPKKy2uFpmvtScvBgMWbIYSw+Psfu6StFZoOzhkiPe65YD3azFyFpRtOYX96LvR6y/fBmhiciIiInMijn/1da9vBuUMQHdjCZNuF3BK8veGURd+7x/x1GP7Onybbtj9/KzRe7kjsFGSy/a0NJ3HvB38h+oXVeOaHg0i9UmTRvliLQlgjbjoZrVYLjUaD/Px8qNVqubtDRERUr34LN+JSfin+NSgas4Z1qrNNm5mrpMdHXk6Ct6rpM3fe3nDSJIiNjo/Aq/d0lZ4LIbBwzQl8vO1sna9Xurpg9wuDLXoZzxrf3xxxIiIisqH1x7LQ65X1OJ6htfix064U4VJ+KQBg8qC29bY7sWCo9LjL3D9wIbe4Se+bX1KBD7ackZ7/+dytJqEJABQKBV4Y3gmnXx2GddMG4uCcIXhuaAxign3g4e6CwZ2CHGLuE0eczMARJyIisoRblmxG2tXqkJK2aIRFj79sRype/v0YEqJb4tuJfRtsu/ZIBiZ9tV96/vPkfoiL9GvU+778+1Es25GGMI0Htj9/G1xcbnzSeaVODzdXy47nON2I08KFC9G7d2/4+PggKCgId999N1JSTG9VLC0txZQpU9CyZUt4e3tj5MiRyMrKMmmTnp6OESNGwMvLC0FBQZgxYwYqKytN2mzZsgU33XQTVCoV2rVrh88++8zaH4+IiEhyKqvAJDQBaPJIz7W+//s8AGBQTOB12w7tEoqJA6Ol5yP/8xe+3HXuht/zYl4Jlu1IAwA80CeiUaEJgMVDk7XI2sutW7diypQp2LVrF9avX4+KigoMGTIERUXVE8SmTZuG33//HT/++CO2bt2KS5cu4d5775X263Q6jBgxAuXl5fjrr7/w+eef47PPPsOcOXOkNqmpqRgxYgRuvfVWJCcn4+mnn8Zjjz2GP/74w6afl4iI7M/xDC2e/u4AnvrugNWqW+cXV+BfX+2rtf3mf2+22Hvo9QInMg0FJru20pj1mheGd8I3j8VLz19aceSG6j1dLihD/0WbpOeTbqn/8qCzsKtLdZcvX0ZQUBC2bt2KgQMHIj8/H4GBgfjmm2/wf//3fwCAEydOoFOnTti5cyf69u2LNWvW4B//+AcuXbqE4OBgAMCHH36I559/HpcvX4ZSqcTzzz+PVatW4ciRI9J7jRo1Cnl5eVi7du11+8VLdUREzmntkUxMqhFoHugTjoX3drPoe5zPKcbgN7dKoWzVkzfjg81nsOpwBgBg3h2xGNs/qsnvsz89F/d+8BcA4OjLSWhxAxO+v9mdjheWHzbZdr3LiJtOZOHRz/ZKzxfe2xUP9Im4gR5bn9NdqrtWfn4+AMDf3x8AsG/fPlRUVCAxMVFq07FjR0RERGDnzp0AgJ07d6Jr165SaAKApKQkaLVaHD16VGpT8xjGNsZjXKusrAxardbkh4iInMuqQxkmoQkAvt1zHrFz1lqsvtGVwjIMWLxZCk1LR/VA5zAN3nuwp9Rm3u/HUFRWWd8hzLYvLRcA4OflfkOhCQAejI/A3DtiTbY9/vU+5BWX46d9F3DLks1oM3MV2sxchc5z1uLhT3abhCYAGNU7vGkfwEHYTXDS6/V4+umn0b9/f3Tp0gUAkJmZCaVSCV9fX5O2wcHByMzMlNrUDE3G/cZ9DbXRarUoKSmp1ZeFCxdCo9FIP+HhzeOXgcgRCCHw4vLD0h/xFQcuyt0lckCnswsx5ZvqidGfP9pHelxcrkPUrNX4ce/5Jr3Hm+tPotcrG6TnS0f1wF09WgEw3GH265T+0r7NKdlNei8A+GnfBQDAIwltGvX6cf2jMP32DtLz1Ycz0WP+ejz740GTuVlF5Tr8eeqK9PzDh25C6sLhVqtCbm/sZsmVKVOm4MiRI9i+fbvcXcGsWbMwffp06blWq2V4IrITT32XjN8OXpKeP/19Mp7+PhkA8O2Evkho21KmntmvwrJKdJlrmNPprXJDl1Zq7Dqbg/8+0gu3xwZf59XO55FP92DbycvS8+WP90PPCD9snXELBi3ZIm2f8dMhKBQKzPvtKGLD1PjhXwlmv8eus1fxzsbqmkZhGg8pNBl1D/dFdEALnL1ShK92ncM/uoU1/kMBMOaWcH+vRh/jycHtodMLLN14/cKYMcE++HJ8HwSpPRr9fo7ILkacpk6dipUrV2Lz5s1o3bq1tD0kJATl5eXIy8szaZ+VlYWQkBCpzbV32RmfX6+NWq2Gp6dnrf6oVCqo1WqTHyKSX0Z+CdYcyah3/wP/3WWRSx7ORAghhSbAEKJ2nc0BAEz4Yq9VagnZs4+3nTEJTQHeKvSMMNyCH9myBU6/OgxPDm4v7X/2x4MoLKvEntQcTK0xQtWQtCtFGPXxLun5IwmR+GvW4Drbju4bCQDILii74c9SU4VOj1PZhQDQ5P95ePTm6vlWMcE++H5iXxycOwQnFgxF2qIR0s8f0wY2u9AEyBychBCYOnUqli9fjk2bNiEqynRyXFxcHNzd3bFx40ZpW0pKCtLT05GQYEj+CQkJOHz4MLKzq4c5169fD7VajdjYWKlNzWMY2xiPQUSO4e31p1ChM8w9SXllKM6+Nhyj4yPQN9pfanPHe/KPWtuTqFmrG9w/bOmf0JaafxeVo/rz1GV8uPUMXlt9Qto25x+x2DvbdP6rm6sLpt/eAYM7Bl17CKw8lIHi8trBXFtaga93n8NfZ65g4OLNuOX1LdK+/S/djvl3dam3X7dWlQ24kFvSpDXbLuaWQKcX8HB3QZimaWFG4+luEo7io1tC4+kOD3fXJh3XWch6qW7KlCn45ptv8Ouvv8LHx0eak6TRaODp6QmNRoPx48dj+vTp8Pf3h1qtxhNPPIGEhAT07Wso7DVkyBDExsbi4YcfxuLFi5GZmYnZs2djypQpUKlUAIBJkybhvffew3PPPYdHH30UmzZtwg8//IBVq1bV2zcisj8HL+QBAF69pwtUbq5Vjw3Vief+egSf7zyHs5eLIIRoNvMtGvLtnnST52dfGw4B4Of9F3D2chE+3Gqo9Nxt3jqnnqPy3Z50zPzF9I6xfbMT0dJbVe9rPhnbGyezCvDL/ouo0OnxyfZUAMBNC9Zj6aieCNV4oGsrDV5ZdVzad61Jg9rC/zqVsCP8vaB0dUF5pR4X80oafZntpV8Nd427KBRO++9oL2QNTv/5z38AALfccovJ9mXLlmHs2LEAgLfeegsuLi4YOXIkysrKkJSUhA8++EBq6+rqipUrV2Ly5MlISEhAixYtMGbMGMyfP19qExUVhVWrVmHatGlYunQpWrdujf/9739ISkqy+mckIsu4kFss1ajp1zag1v5Zwzvh852G4n0/7r2A+5rJHT51EUIgPacYs2qEhX2zE6XChPf1MpybpM7BuKfq9vWaI1MjuoZi1eEM/Dw5AXGR/rCmC7nFqNAJRAW0uH7jRiiv1NcKTTOSYhoMTUYdgn0wc1hHAIACwP+2p6K0Qo9/fVm7HtO11k0biA7BPtdt5+bqgujAFjiRWYBjGdpGBaeTWQXSZO26/tsgy7KrOk72inWciOR353vbceiCoWRJffVljAuXRvh7Ydtzt9qsb/akoLQCXeetM9k2e0QnPDYgus72NRd7rYullwQx6vvaRmRqS022PdAnAgvv7YrySj1eXH4Yrfw8sfXkZfxrYFsMiQ1uVEXqgYs3Iz3HcEdYp1A15t4Ri77RjZsDdOySFsPf+bPOfXf3CMOaI5n4a+ZtZoWyml5Yfhjf7E5HxxAfrH164A33q+a/4YkFQ3lJrQZrfH/bzV11RET1Ka/US6HpmRq3S19r2djeGPfZ30jPKUZ+cQU0Xu626qJd+GX/BUz/4aDJtqGdQ+oNTQBw+tVh6DRnrTR37FptZq7CyVeGQenW9CmxlTo9NhzPMlkfraZv96Tjju6hePC/u02216y1tP35W9Haz7xRmbzicik09Yr0w0+T+zWy5waxYWqcWDAUe1Jz8PP+Cygp10Hl7op3RvWAQqHA2408bkzVyFRhE29s6Bjiw9BkAwxORGT3bq0x2fZfDaz4PrBD9fpcqw5n4MF4+6pibG3XhqY/n7v1upd+3FxdcOrV4dLzh/63G9tPXzFp02H2Grx1f3f8dfoqfqyqFfTH0wMRE+IDbWkFulWNcI2Oj5DmnF3rZFYBhry17bqf4drQdK2b/73Z7Orem05U3zT09YT4Blqaz8PdFQM7BJr8rjXV0C4hmPvbUVzILcGlvBKE+da+27s+2QXVo3ZfjO/TQEuyFAYnIrJ7l/KrC9U2NPLh6qJAnzb+2JOWg3+vPdGsgtOoj6tXQgjwVuLvFxMbNUn4q6p1y7advIxHPt0jbZ/2vWkoS3q7dgj6enc6hnUJxc3tTefZlFXqaoWmnhG++GlSP7hWXX5bfTgDj39tOhI1JDYYA9oHYN2xLJOCi9/uOY9X7+563Ut3m1MMZQcmDWor3Uxgj4Jr3NK/JeXyDf3e/nEkU3oc5NP8SgPIwS7qOBERNcR4KePjh+Ou23bWcMNk3vySCpyuqmvj7GavOCzVZgKAvbNvb/KdVQM7BCJ14fDrN7zGQ5+Yjhjp9QIxs6vXBG3l64m0RSOw/PH+UmgCgOFdQ3F8/lD4eBj+f/6Xx/vh40d64eGENvhyfDxSFw7HvBpLgsz+tXrt0ZqOXMyXqsr/XlUotXcbvxv+HLZmHMFatqPuO/TqUlqhw0u/GpYWC/S5sXlV1HgMTkRk1yp0epy5bAhAsWHXn9zZI9xXejx7xeH6G8po37kc9Hplg/TF3lRf7aouO7CrnkKLjaFQKJC2aAROvjIMs0d0wqv3dMG2GbfiydvambS7o3uYSTh5Z+Mp6PUCbWauQvQL1XfrtQvyxo6Zt9X7fp5KVxyel4S0RSNwU4Rp2FEoFBjbPwpxkYbt3+xOx8pDpufvdHYB/vFu7TpeA9pb7rKatYy8yVBV/FR2ITLyay8Fdq3SCh2e/bF6FPDVu+uvFUWWxbvqzMC76ojkcyqrALe/tQ0tlK448nKSWSMp728+jSV/pAAAEqJb4tuJfa3dTbOtOpRhskbajKQYTLm1XQOvaFhZpU4a0Xn7/h64u2er67zCOkrKdeg0Z22DbSxxh96172OsP5V+tRgDl2yu1f6LR/tYdD6StVTo9Gj/4hrp+YGXbodfPTWglh+4YHLptF2QNzZMH2T1Pjoia3x/c8SJiOya8XJbu2Afsy8/TRrUVlq3a+fZq1jyx4mGX2Ajo/+3yyQ0AZACXmP9deYqACDIR4U7uzdtrbOm8FQ2PIeo5oK2TX2fn2vcHRc1azV6vbLBJDQlRLeUKl87QmgCAHdXF7x6T/WoUd+FG3G5jmVYlvxxotZ8s/XTbryEATUeJ4cTkV0zrsoefQMFEl1dFFg/bRAS39wKAHh/8xl8t+c8lo3rjW6tfa3Rzev6Zf8F7Dh9VXqucnNBWaUeAHA+pxgbj2dh3u/HoPZww6F55hfnHbfsbwBAl1aaRtU5sqS0RSOQpS1F/GuGJa7aBXnj50n94KVyhbur5f4/3Xi5zuhKYXXAaKhmlb0bHR+J1/9IQW5xBcoq9ej96gZ0a63B1cJyXMwzvXyX1DkYPSP8MCahDSuF2xhHnIjIrv1x1HDXULif+bdoA4Yv7dOvDpOeXy0qx53v7UB6VRCztb3ncqXHa54agOPzh0rPByzejHm/HwMAaEsr0WbmKhw8n3fdY5ZV6qTHXVtpLNfZJghWe0ijPRumD4LGy92iocno+PyhtZYz8fNyd9jQZHRgzhB8X+PS8qEL+bVCU3yUPz58KA6TBrW97kgfWR6DExHZteSqAJGSVXDDr3VzdcFL/4g12TZwyWa0mbkKvyZfvO7rv9yZhjYzV2HyV9dfYqMhQghsr7qd/r0He6JTqBouLooGLyNN/HJvg8fck5pjcrdazRXtmwNPpSv2v3S7FNKOzU/C/pdul7tbFhEf3RJj+7UBALi7KhCsrr5jLqlzML6d0JejTDLi5HAzcHI4kXyMy0l8MqYXBncKbtQx9qbl4P8+3FnnvvoqUde85AQAt8cG4+OH4xr1hVVzQvix+UnwUhpmSVTo9JjwxV5sqao39M1j8Vi68RR2pxpKC/w187Y6iyGezynGgMXVc3qGdw3BB6OvX6qBHFtphY6VwW+QNb6/GZzMwOBEJI/Cskp0mfsHAGD/S7dfd6X56zl3tQiDlmyptX1Et1CsOpSBuXfEYlz/KOQUleOmBevrPMbHD8dhSOcQs9/zckEZer+6AQAQFdACm5+9pVabknId3FwVcHd1gRBCWnD3n3GtseSf3Wu1f+6ng/hh7wXpufHOMiIyxeAkEwYnInlsPJ6F8Z/vhdLVBSmvDLVYOKjU6TH9h4P4rZF1lG7rGIT7eoVjaJfrB6iaC7BufGYQ2gZ6X/c1//vzLF5ZdRwA8N9HeuH22OqRtprhb9Kgtnh+aAxDE1E9uMgvETUrb6w7CQAo1+ktGg7cXF3wzgM9oXRzwU/7LjTYNm3RCBSXVyJ2zh/Stk0nsrHpRDaeHdIBU29rX+9rF6+tLoNw702tzApNAPB/ca2l4DThC8Ncpz5R/tiTmmPS7rEBUQxNRDbG4EREdktfNSA+vKv5l8ZuxOv/7I6X/hGLtCtF6NpKg5WHM/Dktwek/SmvGO5881K6IW3RCJPRIwB4fd1J3Nm9FSJaGuZIlZTr8M6mU3BRGCa11yw/8OZ9Pczul6+XEm/f3wNPf58sbbs2NLUL8kaAN5fZILI1XqozAy/VEcnDGFQ+G9cbt8QEydwboLi8Ev0WbUJecYXJ9rRFI/Br8kU89V1yna9r7MT2JX+cwPubz9TavvzxfugZYf/rrxHJjXOcZMLgRGR7NefybJtxqzSqYy/eWn8SSzeeAgC09vPEhdza64v1jfbHf0bH1bt0hjmuFpbBv4USFTqBorJKeCpdeWcVkZk4x4mImo0jF7XS4xCNh4w9qdu02ztgRfJFnLtabBKa1k0biABvFXw83CxS+LFl1eU4pZsCSrem3VVIRE3HAphEZJf21ai0rXSzzz9VP03qZ/L8z+duRYdgH/i3UFqlWjYRyY8jTkR2pEKnx/L9F+Hr5Y5fky9h1eEM/DqlP7qH+8rdNZvLKykHAHRrbR9LidQl0EeFEwuGIu1qETqG8DI+UXPA4ERkJ3KKyjHq4504mVVosv2u93fgyMtJ8FY1r/9cdXrD9Ms7uoXJ3JOGebi7MjQRNSMcSyayE/0XbaoVmoxmLz9s497ILyOvFIB9zm8iouaref0vLJEdEkJg5s+HUVJhWOl+3bSB6BDsAwB4bfVxfLztLFYkX8Ib9/WAq4vtix1eW/xx7dMDbDLCkqE1TLgOZXAiIjvCESciGZVW6NB/0SZ8v/c8AKBHuK8UmgBg4sBo6fGkr/bZvH/ZBaUmoQkAhr79J1KvFFn1ffV6gfM5VcGpjkVuiYjkwuBEJJNKnR4dX1qLS/mGS1JP3tYOK6b0N2kT4K1CUmdD4cT1x7KQV1xu0z7WtxzJ+M//tur7ZheUSY+DfFgdm4jsB4MTkQzKK/UmIzk9I3wxfUhMnW0X/1936fG7m05bvW81bTlxGYChwOPx+UOl7WcvF+FyjXBjaRdyi6XHvK2fiOwJ/yIRyeCxL/aiXKcHAMxIisHyx/vX21bj6Y75d3UGAHyyPVW628zaKnR67EkzrI/25fh4eCpd8feLidL+11Yft9p7Z2oNo3A+HpyGSUT2hcGJyMYOpOdi20nDSM6MpBhMubXddV8zqneE9PjopXyr9a2mv85UL1Dbpmq5k8Aal82WH7hotRBnvKOuayv7reFERM0TgxORjc1ecQQA0DlMbVZoAgyVswd1CAQAHLpgm+B0Pqf6cplCUX0335/P3So9jpm9xirvnVU14tSFwYmI7AyDE5EN7U/PxdFLhjXY/j2y2w29NiqgBQDgfI35P9Z07qrhzrlx/duYbA/398LYfoZtlXqBwrJKi7+38VIdJ4YTkb1hcCKyoWU70gAA9/RsdcOjKcbg9N9tZy3drTr9989UAEDbQO9a++b8I1Z6/MFmy09YNy6a29qPpQiIyL4wOBHZSH5JBX4/eAkA8Gj/qBt+vTHAtPRWQQjrThAvKddJjyOr5jfV5OKiQFhVYcoPtpyx+PtnVpVoCNUwOBGRfWFwIrKRH6uKXLb280SXVjdeefumSF8AwOWCMlzMK7Fk12qZ+OVe6XH/tgF1tllwdxfp8ZnLdS8V0xh6vcCVQkOpgyA1L9URkX1hcCKygdyicixemwIAGBIbYjLZ2lxeSjd0DjMErgPpeZbsnomiskr8eeoKACBM4wGXepZ5GdwpGD5VCw8b7xK0hJziclTqBRQKQwFQIiJ7wuBEZAM9F6yX6jZNH9Kh0cfpEmaYF3U623IjPADw3Z50tJm5Crcs2YzOc6sLc/4wKaHB1z02wLAkjCVrOmVrDaNN/l5KFr8kIrvDv0pEViSEwL/XnpCeT721HbxVjS/q2DbIMEHckpfGjlzMx8xfDgMA0q5W37F3f69wtParPb+ppkExhhIJFTqB8kq9RfpjLEUQpObivkRkf1iWl8iKOs1Zi9KK6kDxTBNGmwAgOsAwQfzMZcstsvuPd7fX2jawQyD+/X/XL5fQvXX1nYHHM7ToHu7b5P6czCoAAEQHtmjysYiILI3BichKVhy4KIWm54bG4PFbzCt22ZCoqjBxPEMLIUSj5krVdPB8nvT45nYBmHdnZ7QLql1+oD4KhQK3xARiS8plHLqQZ5HgdCLTEJw6hfg0+VhERJbGS3VEVpCtLcULyw2Xv7q11lgkNAGmdY1qXlZrLGMfAeCrx+JvKDQZ+Xi4AwB+qyq10FTG4BQTcuN3HhIRWRuDE5EVvLHuJIrLdegR7osVDSzge6NUbq5Quhn+s03J1DbpWOWVemRU1Uv63yO9Gn0c4013f6flNqk/gKEUgXH+VkwwR5yIyP4wOBFZWGFZJVYkXwQAvDiiU7238zfWXd3DAADHMwqadJyjl/KRU1QOABjQoe5aTeaYWmO9PX0TF/29UlQmTTIP9eXkcCKyPwxORBb26fZUlFXqERXQAr0i/Sx+/I6hhktYJ5o44pRetYhvr0g/qNxcG32cNgEtYJxqlVF1R1xjncysvluQpQiIyB7xLxORBVXo9Hhz/UkAwMD2AU2evF0X46TpdceymnScYxmG4NWhiZOw3V1dYFwBJu1K0+72O5djubsFiYisgcGJyIImf7VPevzk4PZWeQ/jiJMQkC61NcZHWw2LBXe9wcWG6zK4YxCAphfmzCuuAACMvKl1k/tERGQNDE5EFrLy0CVsOJ4NAJg9ohNaWmm5EP8WSunxgfTGTcguq6xexDc2tOl3r7Wvmsi991zTJohfqlqDL4zzm4jITjE4EVnIC1XVtxOiW0pLkVjL/b3CAQB70nIa9fpTWdUjQ91aN33EKSrAUGH89yaWJDDe5Rfm63mdlkRE8mBwIrKA7IJSFJZVAgD+PfL6FbebqmeEL4Dqy2036tCFfACGopeWmIfVI7x6EnxJua6Blg27mGsYcQrVcMSJiOwTgxORBaw5nAm9ALqH+yKiZcPru1nCTVV367m5KFBQWnHDrzcWvmxMwcu6dAj2li4hnspuXJkEIYQ0OTyyJZdbISL7xOBEZAHbTl4GAAyJDbbJ+3UI9oGflzsq9QL7bnBe0fmc6orjxpGrplIoFFLBSmPl7xuVXVCG0go9XBRAK16qIyI7xeBEVA+dXmDeb0ex++zVBtvlFpVj2ynbBifAUD8JAHadvbF5Tn+duSI9vqNbmMX6E1NV1iClkcHpgnSZzlOqjk5EZG/414kIhi/7ml/45ZV6xM5Zi8/+SsP9H+9Cm5mr6q2KvSL5Iip0Ap3D1NLdZbZwe1VIW7YjFZcLysx+3Y7ThiD45G3tLFrVvGNVcDqZ1bjgxDvqiMgRMDhRs/fL/gsYunQbkt7ehoSFGwEA/9t+FmVVS38YTf8hudZrhRD4/u/zAID7e4dbva81jesXBTcXBcoq9ej96gazwpMQAn+dMQSnfu0av8xKXYwjTo29VHexKjiFaHiZjojsF4MTNWu/HbyEZ348KFW+zsgvxcpDl7B4bQoA4B/dQqW2K5IvYfjSP01evyL5ohQU7uxuucte5vBUuuLL8fHS896vbrjuRPHjGQW4UlgGD3cXi81vMjJONL9cUIbsghtfemXRmhMAgNZ+DE5EZL8YnKjZytaW4vmfDkEI4J9x1ZWqp35zQHr85n09cHz+UOn5sQwt2sxchReXH8bSDacw7fuDAIBbYwLh61VdmNJWEtq2xH8f6SU9n/Z9coML7X73dzoAID6qZZPWp6uLj4e79Lix85wAIC7C8uv7ERFZCoMTNVufbE9FSYUOPcJ9sWhkN7wwvKPJ/k/H9oLSzQWeSleceW24yb6vd6fjrQ0npefvPXiTTfpcl9tjg7FiSn8oXV2w4Xg2Pt2RWme70godvth5DgDQr21Lq/QlIdpw3LVHMm/odeU1Lot2C296QU4iImthcKJmqaRch693G0ZfnhzcDq4uCozp10ba/8mYXritY/Udcq4uCqQtGoE3/tkd/du1hJ9X9ejKV+Pj0ULlZrO+16VHuC9G940AALyy6jjyS2pfsvutRlXvB+IjrNKP2DDD8i3Gc2uu9KoSCV5KVwRaaakaIiJLkPevPZFMtqRko7CsEq39PHFrjGGBWpWbK9IWjWjwdSPjWmNknH0uQDvt9g5YtiMNAPDW+pOYd2dnk/2v/5EiPVbXuKxmScO6hOCT7XWPeDVkT6qhpEJsqNoilcyJiKyFI07ULK2uupQ0vGuo03xRqz3c8eRt7QAARy7mm+yr1OmRXXXX3dv397BaH4wjTgBw7mqR2a/7YmcaAKC/he/0IyKyNAYnanZKK3TYdDwLgGGExJnc2cNwZ9/ec7kmk8TveG+H9Ph2Kxbp9FJWD2IfvJDfQMtqqVeKpDsT46P8rdIvIiJLYXCiZmdLSjaKynUI03igR7iv3N2xqDY11ngz1mvq/vI6HM/QStutPR/r3p6tAADJ6XlmtX/y2+q7GOOjrTNpnYjIUhicqNkxTlwe5kSX6YzcXF1gLAb+0Ce78WvyRZOJ4icWDK3nlZZjLKx5+GLeddsWlFbgcNVlxTEJkXC1YCVzIiJrYHCiZiUjvwR/nroChQIYk9BG7u5YxRO3tZceP/VdsvR42bje8HC3bO2munRrbSgn8HdaLq4UNlzNfGFV0UsAmDG0YwMtiYjsA4MTNSu/7L8IAOgV6YeIll4y98Y6JgyMrrVtwV2dpbsHra1toLf0+Iu/0uptV6HT45uq0b+OIT7wlrmkAxGRORicqNmo0Omlu7fu722dOkb2wFvlhrVPD5CCyMonbsbDNhxdc3VRQOlq+NPyvwZKE/y874L0+H9jetXbjojInvB/8ajZWHMkE1naMgR4q3BH99Drv8CBdQxR48jLSbK9//ujb8KEL/bC1UUBvV7A5Zq5S3q9kOo9JXYKRms/5xz9IyLnwxEnahaytaXS3VsP9gm3+DptZGpAe8ME8YLSSmxOyTbZV6HTI/qF1TiVXQhPd1e8cV93ObpIRNQoDE7kFErKdWgzc5X0k1dcDsBw19bEL/aiz2sbAQAuCuCRGkurkHV4uLtiYtVcq89qzHMSQqBv1b8FAMwc1hEaT+tUMScisgZeqiOHdz6nGAMWbzbZ1mP++jrbvjC8EwK4FppNPNw3Ev/98yz+PHUF209dwZ60HLyz8ZRJmzEMsUTkYBicyOFN/nrfdds83DcSL/0jFko3DrLaSri/F7qEaXD4Yj4e+mS3yb4R3ULx/oM3ydQzIqLGY3Aih5ZfXIEjFw1VsUf1Dseikd2g0wskn89Dek4RIvy9cFOEn9MVunQUzw2NwcOf7DHZNveOWIzrHyVTj4iImkbW//3etm0b7rjjDoSFhUGhUGDFihUm+8eOHQuFQmHyM3SoaeXjnJwcjB49Gmq1Gr6+vhg/fjwKCwtN2hw6dAgDBgyAh4cHwsPDsXjxYmt/NLKRXw4YbmnvEOyNhfd2BWC4HT4u0g/39GyNuEh/hiYZDWgfiD0vDsb/HumFXbMG49j8JIYmInJosganoqIidO/eHe+//369bYYOHYqMjAzp59tvvzXZP3r0aBw9ehTr16/HypUrsW3bNkycOFHar9VqMWTIEERGRmLfvn1YsmQJ5s2bh48//thqn4tsZ0XyJQDAfb3CGZDsVJCPBxJjgxGi8TBZBJiIyBHJ+lds2LBhGDZsWINtVCoVQkLqXsH++PHjWLt2Lf7++2/06mUooPfuu+9i+PDheP311xEWFoavv/4a5eXl+PTTT6FUKtG5c2ckJyfjzTffNAlY5HhKK3Q4WrXO2dAudf+OEBERWZLdz5TdsmULgoKCEBMTg8mTJ+Pq1avSvp07d8LX11cKTQCQmJgIFxcX7N69W2ozcOBAKJVKqU1SUhJSUlKQm5tb53uWlZVBq9Wa/JD9OXwxH5V6gUAfFVr5esrdHSIiagbsOjgNHToUX3zxBTZu3Ih///vf2Lp1K4YNGwadTgcAyMzMRFCQ6fpbbm5u8Pf3R2ZmptQmODjYpI3xubHNtRYuXAiNRiP9hIeHW/qjkQXsO2cIvnGc/E1ERDZi1xMORo0aJT3u2rUrunXrhrZt22LLli0YPHiw1d531qxZmD59uvRcq9UyPNmhExmGkcAurdQy94SIiJoLux5xulZ0dDQCAgJw+vRpAEBISAiys02Xc6isrEROTo40LyokJARZWVkmbYzP65s7pVKpoFarTX7I/lzKKwVgqBdERERkCw4VnC5cuICrV68iNNSwQGtCQgLy8vKwb191AcRNmzZBr9cjPj5earNt2zZUVFRIbdavX4+YmBj4+fnZ9gOQRaVeLQIAtGnZQuaeEBFRcyFrcCosLERycjKSk5MBAKmpqUhOTkZ6ejoKCwsxY8YM7Nq1C2lpadi4cSPuuusutGvXDklJhlXfO3XqhKFDh2LChAnYs2cPduzYgalTp2LUqFEICwsDADz44INQKpUYP348jh49iu+//x5Lly41uRRHjqekXIfLBWUAgMiWHHEiIiLbkDU47d27Fz179kTPnj0BANOnT0fPnj0xZ84cuLq64tChQ7jzzjvRoUMHjB8/HnFxcfjzzz+hUlWvNfb111+jY8eOGDx4MIYPH46bb77ZpEaTRqPBunXrkJqairi4ODzzzDOYM2cOSxE4uLSq0SYflRsXiSUiIptRCCGE3J2wd1qtFhqNBvn5+ZzvZCe2pGRj7LK/0SlUjTVPDZC7O0REZIes8f3tUHOciIyytYbLdMFq1XVaEhERWQ6DEzmkLK3hjrpgHw+Ze0JERM0JgxM5pKwCQ3AK4ogTERHZEIMTOaSsqkt1QWqOOBERke0wOJFDyq4qRRDswxEnIiKyHQYnckhXCw3BqaU3gxMREdkOgxM5JG2JoRI8azgREZEtMTiRw9HrBQrKKgEwOBERkW0xOJHDKSithLFsK4MTERHZEoMTOZz8qst0nu6uULrxV5iIiGyH3zrkcIzBSe3pJnNPiIiouWFwIoejLeXEcCIikgeDEzmcfN5RR0REMmFwIofD4ERERHJhcCKHUz3HicGJiIhsi8GJHA5HnIiISC4MTuRwjFXD1R4MTkREZFsMTuRwCkoNVcN9PFiOgIiIbIvBiRxOYRmDExERyYPBiRyOMTi1UDE4ERGRbTE4kcMpLGVwIiIieTA4kcMpKq+6VMfgRERENsbgRA6niJfqiIhIJgxO5HCMd9V5MzgREZGNMTiRQ6nU6VFWqQfA4ERERLbH4EQOpahMJz3mpToiIrI1BidyKAVlhqrhSjcXKN3460tERLbFbx5yKMYRJ16mIyIiOTA4kUMprBpxYnAiIiI5MDiRQymsGnHi/CYiIpIDgxM5FGMNJxa/JCIiOTA4kUOpXm7FVeaeEBFRc8TgRA6FC/wSEZGcGJzIoRiDk48HgxMREdkegxM5FGmdOiWDExER2R6DEzkU44iTN0eciIhIBgxO5FCk4MQ5TkREJAMGJ3IoRZwcTkREMmJwIodSUMoRJyIikg+DEzmUonIGJyIikg+DEzkUaZFfTg4nIiIZMDiRQzFeqmM5AiIikgODEzmUIhbAJCIiGTE4kcOo1OlRUmG4VMe76oiISA4MTuQwisp10mMu8ktERHJgcCKHYbxMp3R1gcqNwYmIiGyPwYkcRqFU/JKhiYiI5MHgRA6D69QREZHcGJzIYRSyFAEREcmMwYkcRhEX+CUiIpkxOJHD4KU6IiKSW6O+gYqKirBo0SJs3LgR2dnZ0Ov1JvvPnj1rkc4R1VQ9OZzBiYiI5NGob6DHHnsMW7duxcMPP4zQ0FAoFApL94uoFqlqOIMTERHJpFHfQGvWrMGqVavQv39/S/eHqF6FZawaTkRE8mrUHCc/Pz/4+/tbui9EDSosqwDA4ERERPJpVHBasGAB5syZg+LiYkv3h6heRVUjTrxUR0REcmnUN9Abb7yBM2fOIDg4GG3atIG7u7vJ/v3791ukc0Q1aUsMI04+vKuOiIhk0qhvoLvvvtvC3SC6vpzicgCAXwulzD0hIqLm6oaDU2VlJRQKBR599FG0bt3aGn0iqlNukSE4+TM4ERGRTG54jpObmxuWLFmCyspKa/SHqF45VcHJz4vBiYiI5NGoyeG33XYbtm7daum+ENWrUqeHtmqtOo44ERGRXBo1x2nYsGGYOXMmDh8+jLi4OLRo0cJk/5133mmRzhEZ5VVNDFcoAI2n+3VaExERWUejgtPjjz8OAHjzzTdr7VMoFNDpdE3rFdE1jPObNJ7ucHVhpXoiIpJHo4LTtWvTEVmbcX6TP+c3ERGRjBo1x4nI1nJZioCIiOxAo0ac5s+f3+D+OXPmNKozRPXJLTbMceIddUREJKdGBafly5ebPK+oqEBqairc3NzQtm1bBieyuMz8UgBAoA+DExERyadRwenAgQO1tmm1WowdOxb33HNPkztFdK30HMO6iOH+XjL3hIiImjOLzXFSq9V4+eWX8dJLL1nqkESSc1eLAACR/i2u05KIiMh6LDo5PD8/H/n5+ZY8JBGA6hGnCI44ERGRjBp1qe6dd94xeS6EQEZGBr788ksMGzbMIh0jMiosq8SVQsNddREtGZyIiEg+jRpxeuutt0x+3nnnHWzZsgVjxozBRx99ZPZxtm3bhjvuuANhYWFQKBRYsWKFyX4hBObMmYPQ0FB4enoiMTERp06dMmmTk5OD0aNHQ61Ww9fXF+PHj0dhYaFJm0OHDmHAgAHw8PBAeHg4Fi9e3JiPTTJJu2K4TOffQsmq4UREJKtGjTilpqZa5M2LiorQvXt3PProo7j33ntr7V+8eDHeeecdfP7554iKisJLL72EpKQkHDt2DB4eHgCA0aNHIyMjA+vXr0dFRQXGjRuHiRMn4ptvvgFgmLQ+ZMgQJCYm4sMPP8Thw4fx6KOPwtfXFxMnTrTI5yDrOpCeCwCI5GgTERHJTTTCuHHjhFarrbW9sLBQjBs3rjGHFADE8uXLped6vV6EhISIJUuWSNvy8vKESqUS3377rRBCiGPHjgkA4u+//5barFmzRigUCnHx4kUhhBAffPCB8PPzE2VlZVKb559/XsTExNTbl9LSUpGfny/9nD9/XgAQ+fn5jfps1DSvrT4mIp9fKUb/d5fcXSEiIgeSn59v8e/vRl2q+/zzz1FSUlJre0lJCb744osmBTmj1NRUZGZmIjExUdqm0WgQHx+PnTt3AgB27twJX19f9OrVS2qTmJgIFxcX7N69W2ozcOBAKJXV9X+SkpKQkpKC3NzcOt974cKF0Gg00k94eLhFPhM1zuELhhsORnQLlbknRETU3N1QcNJqtcjPz4cQAgUFBdBqtdJPbm4uVq9ejaCgIIt0LDMzEwAQHBxssj04OFjal5mZWev93Nzc4O/vb9KmrmPUfI9rzZo1S7pDMD8/H+fPn2/6B6JG0euFFJy6t/aVtzNERNTs3dAcJ19fXygUCigUCnTo0KHWfoVCgZdfftlinZOLSqWCSqWSuxsE4GJeCQrKKqF0dUH7YG+5u0NERM3cDQWnzZs3QwiB2267DT///DP8/f2lfUqlEpGRkQgLC7NIx0JCQgAAWVlZCA2tvkSTlZWFHj16SG2ys7NNXldZWYmcnBzp9SEhIcjKyjJpY3xubEP2a3/VxPC2Qd5wd+Wa1EREJK8bCk6DBg0CYJh/FBERAYVCYZVOAUBUVBRCQkKwceNGKShptVrs3r0bkydPBgAkJCQgLy8P+/btQ1xcHABg06ZN0Ov1iI+Pl9q8+OKLqKiogLu74Vb29evXIyYmBn5+flbrv1yWbjiFXw9exIop/aH2cPxb91ceygAA3NYxUOaeEBERNbKOU2RkJLZv346HHnoI/fr1w8WLFwEAX375JbZv3272cQoLC5GcnIzk5GQAhkCWnJyM9PR0KBQKPP3003jllVfw22+/4fDhw3jkkUcQFhaGu+++GwDQqVMnDB06FBMmTMCePXuwY8cOTJ06FaNGjZJGvh588EEolUqMHz8eR48exffff4+lS5di+vTpjfnodi2vuBxvbTiJs5eL0G3eOuj0Qu4uNcn5nGKsP2YYHRzWhRPDiYhIfo0KTj///DOSkpLg6emJ/fv3o6ysDIBhyZXXXnvN7OPs3bsXPXv2RM+ePQEA06dPR8+ePTFnzhwAwHPPPYcnnngCEydORO/evVFYWIi1a9dKNZwA4Ouvv0bHjh0xePBgDB8+HDfffDM+/vhjab9Go8G6deuQmpqKuLg4PPPMM5gzZ45T1nC6kGt6p+OT3x1AYVklhHDMAPXNnnQAQFykH7q00sjcGyIiIkAhGvGt2rNnT0ybNg2PPPIIfHx8cPDgQURHR+PAgQMYNmxYvXerOSqtVguNRoP8/Hyo1Wq5u1Ovv85cwYP/3V1re4jaA7OGd8RdPVrJ0KvG0esFBizejIt5JVg6qodD9Z2IiOyDNb6/GzXilJKSgoEDB9bartFokJeX19Q+USMVlFYCAHpG+OKjh+MQ4G2oXZWpLcXSjacaeqnd2XQiGxfzSuCtcsOQWE7iJyIi+9Co4BQSEoLTp0/X2r59+3ZER0c3uVPUOMbgpPZwR1LnEOx+IRHfTewLAMjML3WoS3Y/7jPUzrqnZyt4Kl1l7g0REZFBo4LThAkT8NRTT2H37t1QKBS4dOkSvv76azzzzDPSHW9ke9qSCgCAj4fhZklXFwU6hxmGJovLdSit0MvWtxuRrS3FuqpJ4Q8nRMrcGyIiomqNWuR35syZ0Ov1GDx4MIqLizFw4ECoVCrMmDEDjz32mKX7SGYyjjj51ChD4OFePVpTVqlziNGbTSeyIQTQPdwXHYJ95O4OERGRpFEjTgqFAi+++CJycnJw5MgR7Nq1C5cvX4ZGo0FUVJSl+0hmKig1jDipParzsJuLAsZyW+WVjjHitOG4YbTpthjLLN9DRERkKTcUnMrKyjBr1iz06tUL/fv3x+rVqxEbG4ujR48iJiYGS5cuxbRp06zVV7qO6hGn6uCkUCigrKq4Xa6z/+BUodNjx+mrAIBbYlj0koiI7MsNXaqbM2cOPvroIyQmJuKvv/7CP//5T4wbNw67du3CG2+8gX/+859wdbX/S0HOqqRCBwDwVJr+syrdXFBWqXeIEactKZdRUqGDfwslazcREZHduaHg9OOPP+KLL77AnXfeiSNHjqBbt26orKzEwYMHrbr8CpmnUm8IRu6upv8WKjcXFMAxRpy+/9tQ9DLC3wuuLvydIiIi+3JDl+ouXLggrQnXpUsXqFQqTJs2jaHJTlTqDOUGrg0cxsVx7X3E6e+0HGw4bli0eVTvcJl7Q0REVNsNBSedTgelUik9d3Nzg7e3t8U7RY1jXJvO7ZrgpHQz/DNX2PGIU3mlHs/+eBAA0KeNP+69qbXMPSIiIqrthi7VCSEwduxYqFQqAEBpaSkmTZqEFi1amLT75ZdfLNdDMlulFJxM87BxcniZHY84ff5XGs5dLQYAvPtgTynsERER2ZMbCk5jxowxef7QQw9ZtDPUNNKIk2vdl+oqdPZZOfxCbjHeqVoSZsFdnRGs9rjOK4iIiORxQ8Fp2bJl1uoHWYDxUlztOU6G55V2eqlu/u/HUFBWiS6t1Bgdz0rhRERkv3g9xInUN8epesTJ/oLTkYv50vIqc+/oDBfeSUdERHaMwcmJGOc4uV4zx8l46c4eL9W9uf4kAGBo5xD0buMvc2+IiIgaxuDkRBxtxKmgtAI7zxiqhN/Xm3fRERGR/WNwciLVI051B6dKOxtxWnUoAyUVOkQHtMAtHbguHRER2T8GJyeiq6ocfu1ddcYRqAq9fY04/bz/AgDgvt7hnNtEREQOgcHJiRhHlK6t4+RuLIBpR3Wcjmdo8XdaLlxdFLi7Ryu5u0NERGQWBicnUu+luqrnxv324Ns9hjXpkjoHI0TDuk1EROQYGJycyPUmh9vLIr8l5TqsPJQBALivF9ekIyIix8Hg5EQq9XUXwHSzs8nhG45nIaeoHK18PdG/XYDc3SEiIjIbg5MTqW/JFaWdVQ7feNxQ8PIf3UOl0TAiIiJHwG8tJ1LfIr9u0qU6+UecKnV6bDl5GQBwWwxLEBARkWNhcHIi1XfVXXupzn5GnM5cLkJecQVaKF0RF+knd3eIiIhuCIOTE6lvjpPSjiqH70/PBQB0aaWRRsKIiIgcBb+5nEh9c5yMl+4q7KAcwaEL+QCAnhEcbSIiIsfD4ORE6q3j5FZVOdwOCmAevpgHAOjWWiNvR4iIiBqBwclJ6PUCompAqVbl8KrnchfALK3Q4URGAQCgaysGJyIicjwMTk6i5jp0tS7VVT2Xe47TicwCVOoF/Fso0drPU9a+EBERNQaDk5PQ1RhNqq9yuNzB6WSWYbSpU6gPFAou6ktERI6HwclJ1LwMV2uOk1SOQN5LdalXigAAbQO9Ze0HERFRYzE4OQmdruaI0zVznOxkrbqzlwsBAFEBLWTtBxERUWMxODmJmiNO1ww42c1adcYRJwYnIiJyVAxOTkKq4eSiqDV/SFqrTi/fiJNeL5B2tRgAEB3AS3VEROSYGJychHHi97Xzm4DqS3dyrlV3Kb8E5ZV6uLsq0Ip31BERkYNicHISxhEn9zqWMbGHterSrhhGmyL8veoMd0RERI6AwclJ1Fc1HLCPtepSrxgnhvMyHREROS4GJydRc47TtexhcviZy8aJ4V6y9YGIiKipGJychHHid10jTsY6TnKWIzieoQUAxISoZesDERFRUzE4OQnjaFJdI07uMo84CSFwIrO6ajgREZGjYnByEsY5Ti51XqqTtxxBlrYM+SUVcHVRoF0Q5zgREZHjYnByEnpR/111UuXwSnmC0/FMw2W66IAWULm5ytIHIiIiS2BwchLGy3B1znGqquNUs7q4LaVUXaaLCeFlOiIicmwMTk6iobvq3N0M2+QqR7DvXC4AoHOYRpb3JyIishQGJyfR0F11xsrhFToBIWw76lSp02PXmasAgP7tWtr0vYmIiCyNwclJNDTipKwx78nWl+t2nr2KgrJK+Hq5c8SJiIgcHoOTk9CZcVcdYNuSBEcu5mPOr0cBAHd2D+NSK0RE5PDc5O4AWUbDlcOrt1Xo9fCEde5sy8gvwU97L+DghXwcvZSPjPxSAECAtxJPDm5vlfckIiKyJQYnJ9HQWnXGu+oAoMJKJQl+2ncBs1ccRmlF9fHdXBQY0jkYs0fEIsBbZZX3JSIisiUGJydRPeJU++qri4sCri4K6PTCKnOc0q8WY+bPh1CpF+gV6YcR3UIRG6pGl1YatFDxV4yIiJwHv9WchK6BESfAsF6dTi+sUgTzP1tPo1IvMKB9AL54tA8UCs5lIiIi58TJ4U6ioTlOAODpbpjXVFqhs+j7XswrwU/7LgAAnk5sz9BEREROjcHJSVRU1XGq6646APBSGgYXi8otG5w+3noGFTqBhOiWiIv0t+ixiYiI7A0v1TmJKwXlAAx3sNXFS2kYcSour7zhY1/KK8H6Y1lQKAAhACEESir00JZW4Ns95wEAT9zWrpE9JyIichwMTk6ipOoSXAtl3f+kXlWTtIvLGh5xKiyrRGZ+CbK1ZcjUluLvtFz8vO8CyhtYriUhuiUS2rIqOBEROT8Gp2bCW2UYcSosq3vEqaisEi+tOIIVyRdR1413ncPUiPD3gotCASgADzdXeCldEeHvhQfiIzi3iYiImgUGJych0HCZAbWHOwBAW1pR5/4lf6TglwMXq9q6IdBHhSAfD0QHtsCIbqHo1zbAsh0mIiJyQAxOTqa+gR8pOJXUDk5llTp893c6AODDh+IwtEuI1fpHRETkyHhXnbO4Tl1LtachI+fXEZwOX8hHaYUeAd5KJHUOtkbviIiInAKDk5Opb65Ry6olT7ILymrt252aAwDo3cafc5WIiIgawODkJK63kEorX08AhtIC19pTFZz6RLEOExERUUMYnJxMfeNFrfwMwelirmlw0ukF9p3LBWAYcSIiIqL6MTg5CSEaHnNqbRxxyi81WXbleIYWhWWV8FG5oVOo2qp9JCIicnS8q87Z1DPkFOCtQoC3ElcKy/HIJ3vQIcQbOUXl2HbyCgCgVxu/ehcIJiIiIgMGJydxnQEnuLgo0K9tAH47eAl70nKwJy1H2ufqosCD8ZFW7iEREZHjY3ByMop6ZzkBS0f1wE0Rvki9UgSNlxItlK5ooXLDgPYBiGzZwoa9JCIickwMTk7ienfVAYZSBWP7R1m9L0RERM6Kk8OdDMswERERWQ+Dk5O43hwnIiIiajq7Dk7z5s2DQqEw+enYsaO0v7S0FFOmTEHLli3h7e2NkSNHIisry+QY6enpGDFiBLy8vBAUFIQZM2agsrLS1h+FiIiInIDdz3Hq3LkzNmzYID13c6vu8rRp07Bq1Sr8+OOP0Gg0mDp1Ku69917s2LEDAKDT6TBixAiEhITgr7/+QkZGBh555BG4u7vjtddes/lnsQVeqSMiIrIeuw9Obm5uCAkJqbU9Pz8fn3zyCb755hvcdtttAIBly5ahU6dO2LVrF/r27Yt169bh2LFj2LBhA4KDg9GjRw8sWLAAzz//PObNmwelUmnrj2M1wqzp4URERNQUdn2pDgBOnTqFsLAwREdHY/To0UhPTwcA7Nu3DxUVFUhMTJTaduzYEREREdi5cycAYOfOnejatSuCg4OlNklJSdBqtTh69Gi971lWVgatVmvy4yg4OZyIiMh67Do4xcfH47PPPsPatWvxn//8B6mpqRgwYAAKCgqQmZkJpVIJX19fk9cEBwcjMzMTAJCZmWkSmoz7jfvqs3DhQmg0GuknPDzcsh/MCjg5nIiIyPrs+lLdsGHDpMfdunVDfHw8IiMj8cMPP8DT09Nq7ztr1ixMnz5deq7Vah0iPAENF8AkIiKiprHrEadr+fr6okOHDjh9+jRCQkJQXl6OvLw8kzZZWVnSnKiQkJBad9kZn9c1b8pIpVJBrVab/BARERE5VHAqLCzEmTNnEBoairi4OLi7u2Pjxo3S/pSUFKSnpyMhIQEAkJCQgMOHDyM7O1tqs379eqjVasTGxtq8/7bAOU5ERETWY9eX6p599lnccccdiIyMxKVLlzB37ly4urrigQcegEajwfjx4zF9+nT4+/tDrVbjiSeeQEJCAvr27QsAGDJkCGJjY/Hwww9j8eLFyMzMxOzZszFlyhSoVCqZP51lCU5yIiIisjq7Dk4XLlzAAw88gKtXryIwMBA333wzdu3ahcDAQADAW2+9BRcXF4wcORJlZWVISkrCBx98IL3e1dUVK1euxOTJk5GQkIAWLVpgzJgxmD9/vlwfyeo44ERERGQ9CsGhiuvSarXQaDTIz8+32/lOc349gi92nsOTt7XD9CExcneHiIhIdtb4/naoOU5kBk5yIiIishoGJyfBcUMiIiLrY3ByMhxvIiIish4GJyIiIiIzMTg5CS7yS0REZH0MTk6Gc8OJiIish8HJSXByOBERkfUxODkZLvJLRERkPQxOToIDTkRERNbH4ORkOMeJiIjIehicnATnOBEREVkfg5OT4YATERGR9TA4OQ0OOREREVkbg5OT4RwnIiIi62FwchKc40RERGR9DE5ORsEhJyIiIqthcHISHHEiIiKyPgYnIiIiIjMxOBERERGZicHJSQiWIyAiIrI6Bicnw7nhRERE1sPg5CQ4OZyIiMj6GJycjIKLrhAREVkNg5OT4IATERGR9TE4ORnOcSIiIrIeBicnwTlORERE1sfg5GQ44ERERGQ9DE5OgnWciIiIrI/ByclwjhMREZH1MDg5Cw44ERERWR2Dk5NhHSciIiLrYXAiIiIiMhODk5PglToiIiLrY3ByMpwcTkREZD0MTk5CsAImERGR1TE4EREREZmJwclJcLyJiIjI+hicnIyCk5yIiIishsHJSXCKExERkfUxODkZjjcRERFZD4OTk+CAExERkfUxODkZTnEiIiKyHgYnJ8E6TkRERNbH4ORkOOBERERkPQxOToLjTURERNbnJncHqGmEENidmoNVhzIAAD4e7jL3iIiIyHkxODkwnV5g8BtbkHa1WNrWMdRHxh4RERE5N16qc2BrjmSYhCYA6BSilqk3REREzo8jTg7snY2nAAD39wrH5Fvaok1AC5l7RERE5NwYnBzU+ZxinMwqhIsCeGF4J2i8OLeJiIjI2nipzkF993c6AKBXpD9DExERkY0wODmo3WdzAAB9o/1l7gkREVHzweDkgK4UlmFfei4A4IH4CJl7Q0RE1HwwODmgbScvQwigc5gaoRpPubtDRETUbDA4OaDtp68AAAa0D5S5J0RERM0Lg5ODEUJg+yljcAqQuTdERETNC4OTgzlzuRDZBWVQubkgLtJP7u4QERE1KwxODib5fD4AoHtrX3i4u8rcGyIiouaFwcnBrDlsWMy3cysurUJERGRrDE4OJr+kAgAQ7uclc0+IiIiaHwYnB1JWqcPRS1oAnBhOREQkBwYnB3I8owAlFTr4ebmjXZC33N0hIiJqdhicHMihC3kAgC6tNFAoFPJ2hoiIqBlicHIg+84ZllnpFcn16YiIiOTA4ORA9letT3dTpK+8HSEiImqmGJwcxOWCMpzPKYFCAXQP95W7O0RERM0Sg5OD2JOaAwDoGKKG2sNd5t4QERE1TwxODmLTiWwAQHwU5zcRERHJhcHJARSUVmB1VcXwEd1CZe4NERFR8+UmdweoWlmlDgWllSgqq8SprEL8uO889qfn4XJBGQCgtZ8n4iK4sC8REZFcmlVwev/997FkyRJkZmaie/fuePfdd9GnTx+5u4XfDl7C2xtOIu1KEfSi7jae7q7498hucHFh/SYiIiK5NJvg9P3332P69On48MMPER8fj7fffhtJSUlISUlBUFCQbP3K1pbimR+SUaGrTkxeSlcE+qgQF+mHu3q0QlTLFgj0UcFT6SpbP4mIiAhQCCHqGeNwLvHx8ejduzfee+89AIBer0d4eDieeOIJzJw5s8HXarVaaDQa5OfnQ61WW7RfH287g9dWn0B0QAt8N7EvArxVHFUiIiKyAGt8fzeLyeHl5eXYt28fEhMTpW0uLi5ITEzEzp07a7UvKyuDVqs1+bGGg+fz8NrqEwCAB+MjEKT2YGgiIiKyY80iOF25cgU6nQ7BwcEm24ODg5GZmVmr/cKFC6HRaKSf8PBwq/SrY6gPfFRuuCnCF/+Ms857EBERkeU0i+B0o2bNmoX8/Hzp5/z581Z5H5WbKzY+Mwi/PN4fGi8WtSQiIrJ3zWJyeEBAAFxdXZGVlWWyPSsrCyEhIbXaq1QqqFQqm/QtSO1hk/chIiKipmsWI05KpRJxcXHYuHGjtE2v12Pjxo1ISEiQsWdERETkSJrFiBMATJ8+HWPGjEGvXr3Qp08fvP322ygqKsK4cePk7hoRERE5iGYTnO6//35cvnwZc+bMQWZmJnr06IG1a9fWmjBOREREVJ9mU8epKaxZx4mIiIisg3WciIiIiGTE4ERERERkJgYnIiIiIjMxOBERERGZicGJiIiIyEwMTkRERERmYnAiIiIiMhODExEREZGZGJyIiIiIzNRsllxpCmNxda1WK3NPiIiIyFzG721LLpLC4GSGgoICAEB4eLjMPSEiIqIbVVBQAI1GY5Fjca06M+j1ely6dAk+Pj5QKBQWPbZWq0V4eDjOnz/PdfBsgOfb9njObYvn27Z4vm3vRs65EAIFBQUICwuDi4tlZidxxMkMLi4uaN26tVXfQ61W8z86G+L5tj2ec9vi+bYtnm/bM/ecW2qkyYiTw4mIiIjMxOBEREREZCYGJ5mpVCrMnTsXKpVK7q40Czzftsdzbls837bF8217cp9zTg4nIiIiMhNHnIiIiIjMxOBEREREZCYGJyIiIiIzMTgRERERmYnBSUbvv/8+2rRpAw8PD8THx2PPnj1yd8khzJs3DwqFwuSnY8eO0v7S0lJMmTIFLVu2hLe3N0aOHImsrCyTY6Snp2PEiBHw8vJCUFAQZsyYgcrKSpM2W7ZswU033QSVSoV27drhs88+s8XHk922bdtwxx13ICwsDAqFAitWrDDZL4TAnDlzEBoaCk9PTyQmJuLUqVMmbXJycjB69Gio1Wr4+vpi/PjxKCwsNGlz6NAhDBgwAB4eHggPD8fixYtr9eXHH39Ex44d4eHhga5du2L16tUW/7z24HrnfOzYsbV+54cOHWrShufcfAsXLkTv3r3h4+ODoKAg3H333UhJSTFpY8u/I87+XWDO+b7llltq/Y5PmjTJpI3dnG9Bsvjuu++EUqkUn376qTh69KiYMGGC8PX1FVlZWXJ3ze7NnTtXdO7cWWRkZEg/ly9flvZPmjRJhIeHi40bN4q9e/eKvn37in79+kn7KysrRZcuXURiYqI4cOCAWL16tQgICBCzZs2S2pw9e1Z4eXmJ6dOni2PHjol3331XuLq6irVr19r0s8ph9erV4sUXXxS//PKLACCWL19usn/RokVCo9GIFStWiIMHD4o777xTREVFiZKSEqnN0KFDRffu3cWuXbvEn3/+Kdq1ayceeOABaX9+fr4IDg4Wo0ePFkeOHBHffvut8PT0FB999JHUZseOHcLV1VUsXrxYHDt2TMyePVu4u7uLw4cPW/0c2Nr1zvmYMWPE0KFDTX7nc3JyTNrwnJsvKSlJLFu2TBw5ckQkJyeL4cOHi4iICFFYWCi1sdXfkebwXWDO+R40aJCYMGGCye94fn6+tN+ezjeDk0z69OkjpkyZIj3X6XQiLCxMLFy4UMZeOYa5c+eK7t2717kvLy9PuLu7ix9//FHadvz4cQFA7Ny5Uwhh+JJycXERmZmZUpv//Oc/Qq1Wi7KyMiGEEM8995zo3LmzybHvv/9+kZSUZOFPY9+u/RLX6/UiJCRELFmyRNqWl5cnVCqV+Pbbb4UQQhw7dkwAEH///bfUZs2aNUKhUIiLFy8KIYT44IMPhJ+fn3S+hRDi+eefFzExMdLz++67T4wYMcKkP/Hx8eJf//qXRT+jvakvON111131vobnvGmys7MFALF161YhhG3/jjTH74Jrz7cQhuD01FNP1fsaezrfvFQng/Lycuzbtw+JiYnSNhcXFyQmJmLnzp0y9sxxnDp1CmFhYYiOjsbo0aORnp4OANi3bx8qKipMzm3Hjh0REREhndudO3eia9euCA4OltokJSVBq9Xi6NGjUpuaxzC2ae7/PqmpqcjMzDQ5NxqNBvHx8Sbn19fXF7169ZLaJCYmwsXFBbt375baDBw4EEqlUmqTlJSElJQU5ObmSm34b1Bty5YtCAoKQkxMDCZPnoyrV69K+3jOmyY/Px8A4O/vD8B2f0ea63fBtefb6Ouvv0ZAQAC6dOmCWbNmobi4WNpnT+ebi/zK4MqVK9DpdCa/AAAQHByMEydOyNQrxxEfH4/PPvsMMTExyMjIwMsvv4wBAwbgyJEjyMzMhFKphK+vr8lrgoODkZmZCQDIzMys89wb9zXURqvVoqSkBJ6enlb6dPbNeH7qOjc1z11QUJDJfjc3N/j7+5u0iYqKqnUM4z4/P796/w2Mx2hOhg4dinvvvRdRUVE4c+YMXnjhBQwbNgw7d+6Eq6srz3kT6PV6PP300+jfvz+6dOkCADb7O5Kbm9vsvgvqOt8A8OCDDyIyMhJhYWE4dOgQnn/+eaSkpOCXX34BYF/nm8GJHM6wYcOkx926dUN8fDwiIyPxww8/NNtAQ85t1KhR0uOuXbuiW7duaNu2LbZs2YLBgwfL2DPHN2XKFBw5cgTbt2+XuyvNQn3ne+LEidLjrl27IjQ0FIMHD8aZM2fQtm1bW3ezQbxUJ4OAgAC4urrWukMjKysLISEhMvXKcfn6+qJDhw44ffo0QkJCUF5ejry8PJM2Nc9tSEhInefeuK+hNmq1ulmHM+P5aeh3NyQkBNnZ2Sb7KysrkZOTY5F/A/43AkRHRyMgIACnT58GwHPeWFOnTsXKlSuxefNmtG7dWtpuq78jze27oL7zXZf4+HgAMPkdt5fzzeAkA6VSibi4OGzcuFHaptfrsXHjRiQkJMjYM8dUWFiIM2fOIDQ0FHFxcXB3dzc5tykpKUhPT5fObUJCAg4fPmzyRbN+/Xqo1WrExsZKbWoew9imuf/7REVFISQkxOTcaLVa7N692+T85uXlYd++fVKbTZs2Qa/XS38MExISsG3bNlRUVEht1q9fj5iYGPj5+Ult+G9QtwsXLuDq1asIDQ0FwHN+o4QQmDp1KpYvX45NmzbVuoRpq78jzeW74Hrnuy7JyckAYPI7bjfn2+xp5GRR3333nVCpVOKzzz4Tx44dExMnThS+vr4mdwxQ3Z555hmxZcsWkZqaKnbs2CESExNFQECAyM7OFkIYbiOOiIgQmzZtEnv37hUJCQkiISFBer3xttYhQ4aI5ORksXbtWhEYGFjnba0zZswQx48fF++//36zKUdQUFAgDhw4IA4cOCAAiDfffFMcOHBAnDt3TghhKEfg6+srfv31V3Ho0CFx11131VmOoGfPnmL37t1i+/bton379ia3xufl5Yng4GDx8MMPiyNHjojvvvtOeHl51bo13s3NTbz++uvi+PHjYu7cuU55a7wQDZ/zgoIC8eyzz4qdO3eK1NRUsWHDBnHTTTeJ9u3bi9LSUukYPOfmmzx5stBoNGLLli0mt78XFxdLbWz1d6Q5fBdc73yfPn1azJ8/X+zdu1ekpqaKX3/9VURHR4uBAwdKx7Cn883gJKN3331XRERECKVSKfr06SN27dold5ccwv333y9CQ0OFUqkUrVq1Evfff784ffq0tL+kpEQ8/vjjws/PT3h5eYl77rlHZGRkmBwjLS1NDBs2THh6eoqAgADxzDPPiIqKCpM2mzdvFj169BBKpVJER0eLZcuW2eLjyW7z5s0CQK2fMWPGCCEMJQleeuklERwcLFQqlRg8eLBISUkxOcbVq1fFAw88ILy9vYVarRbjxo0TBQUFJm0OHjwobr75ZqFSqUSrVq3EokWLavXlhx9+EB06dBBKpVJ07txZrFq1ymqfW04NnfPi4mIxZMgQERgYKNzd3UVkZKSYMGFCrT/0POfmq+tcAzD5b9yWf0ec/bvgeuc7PT1dDBw4UPj7+wuVSiXatWsnZsyYYVLHSQj7Od+Kqg9FRERERNfBOU5EREREZmJwIiIiIjITgxMRERGRmRiciIiIiMzE4ERERERkJgYnIiIiIjMxOBERERGZicGJiIiIyEwMTkTU7Nxyyy14+umn5e4GETkgBiciskv1hZvPPvsMvr6+Nu3Lli1boFAokJeXZ9P3JSL7w+BEREREZCYGJyJyWGPHjsXdd9+Nl19+GYGBgVCr1Zg0aRLKy8ulNkVFRXjkkUfg7e2N0NBQvPHGG7WO8+WXX6JXr17w8fFBSEgIHnzwQWRnZwMA0tLScOuttwIA/Pz8oFAoMHbsWACAXq/HwoULERUVBU9PT3Tv3h0//fSTdNzc3FyMHj0agYGB8PT0RPv27bFs2TIrnhEisjY3uTtARNQUGzduhIeHB7Zs2YK0tDSMGzcOLVu2xKuvvgoAmDFjBrZu3Ypff/0VQUFBeOGFF7B//3706NFDOkZFRQUWLFiAmJgYZGdnY/r06Rg7dixWr16N8PBw/Pzzzxg5ciRSUlKgVqvh6ekJAFi4cCG++uorfPjhh2jfvj22bduGhx56CIGBgRg0aBBeeuklHDt2DGvWrEFAQABOnz6NkpISOU4TEVkIgxMROTSlUolPP/0UXl5e6Ny5M+bPn48ZM2ZgwYIFKC4uxieffIKvvvoKgwcPBgB8/vnnaN26tckxHn30UelxdHQ03nnnHfTu3RuFhYXw9vaGv78/ACAoKEiaX1VWVobXXnsNGzZsQEJCgvTa7du346OPPsKgQYOQnp6Onj17olevXgCANm3aWPlsEJG1MTgRkUPr3r07vLy8pOcJCQkoLCzE+fPnkZeXh/LycsTHx0v7/f39ERMTY3KMffv2Yd68eTh48CByc3Oh1+sBAOnp6YiNja3zfU+fPo3i4mLcfvvtJtvLy8vRs2dPAMDkyZMxcuRI7N+/H0OGDMHdd9+Nfv36WeRzE5E8GJyIyC6p1Wrk5+fX2p6XlweNRmOx9ykqKkJSUhKSkpLw9ddfIzAwEOnp6UhKSjKZK3WtwsJCAMCqVavQqlUrk30qlQoAMGzYMJw7dw6rV6/G+vXrMXjwYEyZMgWvv/66xfpPRLbFyeFEZJdiYmKwf//+Wtv379+PDh06SM8PHjxoMm9o165d8Pb2Rnh4ONq2bQt3d3fs3r1b2p+bm4uTJ09Kz0+cOIGrV69i0aJFGDBgADp27ChNDDdSKpUAAJ1OJ22LjY2FSqVCeno62rVrZ/ITHh4utQsMDMSYMWPw1Vdf4e2338bHH3/chLNCRHLjiBMR2aXJkyfjvffew5NPPonHHnsMKpUKq1atwrfffovff/9daldeXo7x48dj9uzZSEtLw9y5czF16lS4uLjA29sb48ePx4wZM9CyZUsEBQXhxRdfhItL9f8zRkREQKlU4t1338WkSZNw5MgRLFiwwKQvkZGRUCgUWLlyJYYPHw5PT0/4+Pjg2WefxbRp06DX63HzzTcjPz8fO3bsgFqtxpgxYzBnzhzExcWhc+fOKCsrw8qVK9GpUyebnUMisgJBRGSn9uzZI26//XYRGBgoNBqNiI+PF8uXL5f2jxkzRtx1111izpw5omXLlsLb21tMmDBBlJaWSm0KCgrEQw89JLy8vERwcLBYvHixGDRokHjqqaekNt98841o06aNUKlUIiEhQfz2228CgDhw4IDUZv78+SIkJEQoFAoxZswYIYQQer1evP322yImJka4u7uLwMBAkZSUJLZu3SqEEGLBggWiU6dOwtPTU/j7+4u77rpLnD171pqnjIisTCGEEHKHNyKixhg7dizy8vKwYsUKubtCRM0E5zgRERERmYnBiYiIiMhMvFRHREREZCaOOBERERGZicGJiIiIyEwMTkRERERmYnAiIiIiMhODExEREZGZGJyIiIiIzMTgRERERGQmBiciIiIiM/0/E6/f86HRTsEAAAAASUVORK5CYII=", "text/plain": [ "
" ] @@ -953,7 +60289,7 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 8, "metadata": {}, "outputs": [], "source": [ @@ -1229,9 +60565,64826 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 9, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "global step=20480, episodic return=10.685626029968262\n", + "global step=20480, episodic return=10.193774223327637\n", + "global step=22528, episodic return=13.862997055053711\n", + "global step=22528, episodic return=13.111021041870117\n", + "global step=22528, episodic return=13.216498374938965\n", + "global step=24576, episodic return=12.755274772644043\n", + "global step=24576, episodic return=12.168931007385254\n", + "global step=24576, episodic return=12.085883140563965\n", + "global step=24576, episodic return=16.486862182617188\n", + "global step=24576, episodic return=13.509774208068848\n", + "global step=24576, episodic return=15.041342735290527\n", + "global step=26624, episodic return=14.58952522277832\n", + "global step=26624, episodic return=13.968184471130371\n", + "global step=26624, episodic return=16.78065299987793\n", + "global step=26624, episodic return=16.798933029174805\n", + "global step=26624, episodic return=13.300312042236328\n", + "global step=26624, episodic return=15.648542404174805\n", + "global step=28672, episodic return=14.816431045532227\n", + "global step=28672, episodic return=9.30502700805664\n", + "global step=28672, episodic return=16.238021850585938\n", + "global step=28672, episodic return=14.47935962677002\n", + "global step=28672, episodic return=18.306787490844727\n", + "global step=28672, episodic return=16.879650115966797\n", + "global step=28672, episodic return=14.0133056640625\n", + "global step=28672, episodic return=18.67565155029297\n", + "global step=28672, episodic return=15.464290618896484\n", + "global step=28672, episodic return=19.586584091186523\n", + "global step=28672, episodic return=12.130935668945312\n", + "global step=28672, episodic return=10.37759780883789\n", + "global step=28672, episodic return=16.13807487487793\n", + "global step=28672, episodic return=15.746725082397461\n", + "global step=28672, episodic return=15.662576675415039\n", + "global step=30720, episodic return=19.113067626953125\n", + "global step=30720, episodic return=15.267061233520508\n", + "global step=30720, episodic return=16.448524475097656\n", + "global step=30720, episodic return=15.873930931091309\n", + "global step=30720, episodic return=16.192079544067383\n", + "global step=30720, episodic return=18.9825439453125\n", + "global step=30720, episodic return=19.622594833374023\n", + "global step=30720, episodic return=19.242406845092773\n", + "global step=30720, episodic return=16.33126449584961\n", + "global step=30720, episodic return=19.791839599609375\n", + "global step=30720, episodic return=19.24631118774414\n", + "global step=30720, episodic return=20.156370162963867\n", + "global step=30720, episodic return=15.377619743347168\n", + "global step=30720, episodic return=15.005711555480957\n", + "global step=30720, episodic return=18.98312759399414\n", + "global step=30720, episodic return=17.40888023376465\n", + "global step=30720, episodic return=19.751279830932617\n", + "global step=30720, episodic return=17.853120803833008\n", + "global step=30720, episodic return=12.203845977783203\n", + "global step=32768, episodic return=15.948822975158691\n", + "global step=32768, episodic return=21.236677169799805\n", + "global step=32768, episodic return=21.568363189697266\n", + "global step=32768, episodic return=15.271697044372559\n", + "global step=32768, episodic return=23.804546356201172\n", + "global step=32768, episodic return=15.296197891235352\n", + "global step=32768, episodic return=16.12153434753418\n", + "global step=32768, episodic return=23.26031494140625\n", + "global step=32768, episodic return=17.3221435546875\n", + "global step=32768, episodic return=23.213592529296875\n", + "global step=32768, episodic return=21.842573165893555\n", + "global step=32768, episodic return=15.50980281829834\n", + "global step=32768, episodic return=20.27387809753418\n", + "global step=32768, episodic return=22.095239639282227\n", + "global step=32768, episodic return=25.220134735107422\n", + "global step=32768, episodic return=18.846494674682617\n", + "global step=32768, episodic return=20.86046600341797\n", + "global step=32768, episodic return=21.02619743347168\n", + "global step=32768, episodic return=19.326766967773438\n", + "global step=32768, episodic return=25.247217178344727\n", + "global step=32768, episodic return=16.62986946105957\n", + "global step=32768, episodic return=16.854896545410156\n", + "global step=32768, episodic return=16.62242889404297\n", + "global step=32768, episodic return=19.233671188354492\n", + "global step=32768, episodic return=14.573034286499023\n", + "global step=32768, episodic return=17.126266479492188\n", + "global step=32768, episodic return=18.492374420166016\n", + "global step=32768, episodic return=21.964597702026367\n", + "global step=32768, episodic return=20.307409286499023\n", + "global step=32768, episodic return=21.258731842041016\n", + "global step=34816, episodic return=26.07814598083496\n", + "global step=34816, episodic return=25.143779754638672\n", + "global step=34816, episodic return=18.546335220336914\n", + "global step=34816, episodic return=22.0814208984375\n", + "global step=34816, episodic return=13.455410957336426\n", + "global step=34816, episodic return=12.343990325927734\n", + "global step=34816, episodic return=13.090307235717773\n", + "global step=34816, episodic return=24.189149856567383\n", + "global step=34816, episodic return=21.594287872314453\n", + "global step=34816, episodic return=19.4904842376709\n", + "global step=34816, episodic return=19.099559783935547\n", + "global step=34816, episodic return=22.683639526367188\n", + "global step=34816, episodic return=17.64152717590332\n", + "global step=34816, episodic return=19.618349075317383\n", + "global step=34816, episodic return=23.31962013244629\n", + "global step=34816, episodic return=20.493297576904297\n", + "global step=34816, episodic return=20.890623092651367\n", + "global step=34816, episodic return=19.99296760559082\n", + "global step=34816, episodic return=12.76456069946289\n", + "global step=34816, episodic return=25.585872650146484\n", + "global step=34816, episodic return=20.08085060119629\n", + "global step=34816, episodic return=21.46092414855957\n", + "global step=34816, episodic return=20.62333869934082\n", + "global step=34816, episodic return=20.93645668029785\n", + "global step=34816, episodic return=19.64623260498047\n", + "global step=34816, episodic return=22.107240676879883\n", + "global step=34816, episodic return=23.434406280517578\n", + "global step=34816, episodic return=25.02103614807129\n", + "global step=34816, episodic return=19.325531005859375\n", + "global step=34816, episodic return=18.188039779663086\n", + "global step=36864, episodic return=15.888263702392578\n", + "global step=36864, episodic return=17.350826263427734\n", + "global step=36864, episodic return=24.601350784301758\n", + "global step=36864, episodic return=16.34798812866211\n", + "global step=36864, episodic return=16.068286895751953\n", + "global step=36864, episodic return=22.719661712646484\n", + "global step=36864, episodic return=17.879945755004883\n", + "global step=36864, episodic return=24.03203582763672\n", + "global step=36864, episodic return=25.820476531982422\n", + "global step=36864, episodic return=21.861312866210938\n", + "global step=36864, episodic return=21.704524993896484\n", + "global step=36864, episodic return=23.970108032226562\n", + "global step=36864, episodic return=26.023258209228516\n", + "global step=36864, episodic return=23.086729049682617\n", + "global step=36864, episodic return=24.62099838256836\n", + "global step=36864, episodic return=22.179521560668945\n", + "global step=36864, episodic return=19.657072067260742\n", + "global step=36864, episodic return=26.47727394104004\n", + "global step=36864, episodic return=26.5252628326416\n", + "global step=36864, episodic return=26.571453094482422\n", + "global step=36864, episodic return=24.16948699951172\n", + "global step=36864, episodic return=23.487756729125977\n", + "global step=36864, episodic return=17.857351303100586\n", + "global step=36864, episodic return=22.53635025024414\n", + "global step=36864, episodic return=17.964702606201172\n", + "global step=36864, episodic return=21.23839569091797\n", + "global step=36864, episodic return=23.635099411010742\n", + "global step=36864, episodic return=17.410749435424805\n", + "global step=36864, episodic return=20.661659240722656\n", + "global step=36864, episodic return=21.11369514465332\n", + "global step=36864, episodic return=20.83139419555664\n", + "global step=36864, episodic return=29.771085739135742\n", + "global step=38912, episodic return=22.322837829589844\n", + "global step=38912, episodic return=17.474945068359375\n", + "global step=38912, episodic return=22.8243408203125\n", + "global step=38912, episodic return=18.791494369506836\n", + "global step=38912, episodic return=14.307672500610352\n", + "global step=38912, episodic return=16.70865821838379\n", + "global step=38912, episodic return=21.35920524597168\n", + "global step=38912, episodic return=20.09821128845215\n", + "global step=38912, episodic return=25.9715576171875\n", + "global step=38912, episodic return=26.005271911621094\n", + "global step=38912, episodic return=24.097427368164062\n", + "global step=38912, episodic return=19.476709365844727\n", + "global step=38912, episodic return=21.53476905822754\n", + "global step=38912, episodic return=20.17954444885254\n", + "global step=38912, episodic return=23.165359497070312\n", + "global step=38912, episodic return=25.287288665771484\n", + "global step=38912, episodic return=22.966028213500977\n", + "global step=38912, episodic return=24.18596076965332\n", + "global step=38912, episodic return=17.42842674255371\n", + "global step=38912, episodic return=18.70058250427246\n", + "global step=38912, episodic return=16.5830020904541\n", + "global step=38912, episodic return=20.200153350830078\n", + "global step=38912, episodic return=26.4517765045166\n", + "global step=38912, episodic return=23.333688735961914\n", + "global step=38912, episodic return=23.068788528442383\n", + "global step=38912, episodic return=23.003175735473633\n", + "global step=38912, episodic return=17.184730529785156\n", + "global step=38912, episodic return=27.01006507873535\n", + "global step=38912, episodic return=26.693843841552734\n", + "global step=38912, episodic return=20.364116668701172\n", + "global step=38912, episodic return=19.23419952392578\n", + "global step=38912, episodic return=26.38164520263672\n", + "global step=38912, episodic return=20.944368362426758\n", + "global step=38912, episodic return=25.841890335083008\n", + "global step=38912, episodic return=25.759130477905273\n", + "global step=38912, episodic return=22.64849281311035\n", + "global step=40960, episodic return=29.919479370117188\n", + "global step=40960, episodic return=23.096113204956055\n", + "global step=40960, episodic return=22.193023681640625\n", + "global step=40960, episodic return=21.85791015625\n", + "global step=40960, episodic return=27.696041107177734\n", + "global step=40960, episodic return=14.506354331970215\n", + "global step=40960, episodic return=18.089427947998047\n", + "global step=40960, episodic return=26.85946273803711\n", + "global step=40960, episodic return=28.299514770507812\n", + "global step=40960, episodic return=14.913564682006836\n", + "global step=40960, episodic return=17.161216735839844\n", + "global step=40960, episodic return=25.422468185424805\n", + "global step=40960, episodic return=18.041929244995117\n", + "global step=40960, episodic return=18.991044998168945\n", + "global step=40960, episodic return=34.07667922973633\n", + "global step=40960, episodic return=21.90232276916504\n", + "global step=40960, episodic return=19.611366271972656\n", + "global step=40960, episodic return=15.97276496887207\n", + "global step=40960, episodic return=26.563596725463867\n", + "global step=40960, episodic return=20.813892364501953\n", + "global step=40960, episodic return=29.75150489807129\n", + "global step=40960, episodic return=28.404239654541016\n", + "global step=40960, episodic return=23.689077377319336\n", + "global step=40960, episodic return=28.498165130615234\n", + "global step=40960, episodic return=26.619150161743164\n", + "global step=40960, episodic return=23.299728393554688\n", + "global step=40960, episodic return=25.549781799316406\n", + "global step=40960, episodic return=18.903560638427734\n", + "global step=40960, episodic return=23.377582550048828\n", + "global step=40960, episodic return=21.901538848876953\n", + "global step=40960, episodic return=25.59771728515625\n", + "global step=40960, episodic return=22.727575302124023\n", + "global step=40960, episodic return=19.052228927612305\n", + "global step=40960, episodic return=18.663436889648438\n", + "global step=40960, episodic return=30.585237503051758\n", + "global step=40960, episodic return=26.881757736206055\n", + "global step=40960, episodic return=31.621644973754883\n", + "global step=40960, episodic return=26.172407150268555\n", + "global step=40960, episodic return=29.249147415161133\n", + "global step=40960, episodic return=25.73979377746582\n", + "global step=40960, episodic return=18.22746467590332\n", + "global step=40960, episodic return=23.35649871826172\n", + "global step=40960, episodic return=18.59523582458496\n", + "global step=40960, episodic return=16.11913299560547\n", + "global step=40960, episodic return=22.403100967407227\n", + "global step=43008, episodic return=26.60719108581543\n", + "global step=43008, episodic return=20.60343360900879\n", + "global step=43008, episodic return=13.388297080993652\n", + "global step=43008, episodic return=31.15321159362793\n", + "global step=43008, episodic return=32.11737823486328\n", + "global step=43008, episodic return=26.688377380371094\n", + "global step=43008, episodic return=16.19448471069336\n", + "global step=43008, episodic return=29.91498565673828\n", + "global step=43008, episodic return=25.19228172302246\n", + "global step=43008, episodic return=23.63447380065918\n", + "global step=43008, episodic return=22.994089126586914\n", + "global step=43008, episodic return=29.773406982421875\n", + "global step=43008, episodic return=25.04718017578125\n", + "global step=43008, episodic return=27.646556854248047\n", + "global step=43008, episodic return=19.2043399810791\n", + "global step=43008, episodic return=20.00860595703125\n", + "global step=43008, episodic return=34.68053436279297\n", + "global step=43008, episodic return=24.666128158569336\n", + "global step=43008, episodic return=27.901260375976562\n", + "global step=43008, episodic return=26.396711349487305\n", + "global step=43008, episodic return=23.53118896484375\n", + "global step=43008, episodic return=21.835277557373047\n", + "global step=43008, episodic return=29.01555824279785\n", + "global step=43008, episodic return=24.64219856262207\n", + "global step=43008, episodic return=17.607269287109375\n", + "global step=43008, episodic return=30.14082908630371\n", + "global step=43008, episodic return=24.165210723876953\n", + "global step=43008, episodic return=23.930130004882812\n", + "global step=43008, episodic return=17.755374908447266\n", + "global step=43008, episodic return=23.707178115844727\n", + "global step=43008, episodic return=31.121503829956055\n", + "global step=43008, episodic return=23.94955825805664\n", + "global step=43008, episodic return=26.775266647338867\n", + "global step=43008, episodic return=20.636924743652344\n", + "global step=43008, episodic return=15.82851791381836\n", + "global step=43008, episodic return=19.13637924194336\n", + "global step=43008, episodic return=23.44654655456543\n", + "global step=43008, episodic return=20.624488830566406\n", + "global step=45056, episodic return=29.2801456451416\n", + "global step=45056, episodic return=32.49616241455078\n", + "global step=45056, episodic return=19.205833435058594\n", + "global step=45056, episodic return=21.119953155517578\n", + "global step=45056, episodic return=24.176124572753906\n", + "global step=45056, episodic return=15.732726097106934\n", + "global step=45056, episodic return=21.12533950805664\n", + "global step=45056, episodic return=20.201099395751953\n", + "global step=45056, episodic return=23.63348388671875\n", + "global step=45056, episodic return=29.14267921447754\n", + "global step=45056, episodic return=30.088533401489258\n", + "global step=45056, episodic return=22.82731056213379\n", + "global step=45056, episodic return=25.711824417114258\n", + "global step=45056, episodic return=19.044979095458984\n", + "global step=45056, episodic return=35.05485534667969\n", + "global step=45056, episodic return=30.79153060913086\n", + "global step=45056, episodic return=35.370330810546875\n", + "global step=45056, episodic return=19.740612030029297\n", + "global step=45056, episodic return=20.588790893554688\n", + "global step=45056, episodic return=35.57583999633789\n", + "global step=45056, episodic return=22.88033676147461\n", + "global step=45056, episodic return=21.58322525024414\n", + "global step=45056, episodic return=32.0198860168457\n", + "global step=47104, episodic return=22.014137268066406\n", + "global step=47104, episodic return=32.477962493896484\n", + "global step=47104, episodic return=35.10758972167969\n", + "global step=47104, episodic return=24.1484432220459\n", + "global step=47104, episodic return=18.805227279663086\n", + "global step=47104, episodic return=32.22917938232422\n", + "global step=47104, episodic return=18.402462005615234\n", + "global step=47104, episodic return=23.266616821289062\n", + "global step=47104, episodic return=18.930389404296875\n", + "global step=47104, episodic return=37.65076446533203\n", + "global step=47104, episodic return=28.789188385009766\n", + "global step=47104, episodic return=32.13389587402344\n", + "global step=47104, episodic return=23.881643295288086\n", + "global step=47104, episodic return=33.835941314697266\n", + "global step=47104, episodic return=23.68648910522461\n", + "global step=47104, episodic return=13.46132755279541\n", + "global step=47104, episodic return=36.839054107666016\n", + "global step=47104, episodic return=30.15591812133789\n", + "global step=47104, episodic return=20.60746955871582\n", + "global step=47104, episodic return=36.33998107910156\n", + "global step=47104, episodic return=21.602489471435547\n", + "global step=47104, episodic return=21.341028213500977\n", + "global step=47104, episodic return=27.77771759033203\n", + "global step=47104, episodic return=27.06563949584961\n", + "global step=47104, episodic return=27.83075523376465\n", + "global step=47104, episodic return=37.874046325683594\n", + "global step=47104, episodic return=22.26683235168457\n", + "global step=47104, episodic return=32.83150100708008\n", + "global step=47104, episodic return=29.451156616210938\n", + "global step=47104, episodic return=28.25373077392578\n", + "global step=47104, episodic return=34.03121566772461\n", + "global step=47104, episodic return=29.83963394165039\n", + "global step=49152, episodic return=21.972537994384766\n", + "global step=49152, episodic return=27.19129180908203\n", + "global step=49152, episodic return=31.778051376342773\n", + "global step=49152, episodic return=35.94757843017578\n", + "global step=49152, episodic return=21.402442932128906\n", + "global step=49152, episodic return=20.875097274780273\n", + "global step=49152, episodic return=27.23818016052246\n", + "global step=49152, episodic return=27.498302459716797\n", + "global step=49152, episodic return=33.7257194519043\n", + "global step=49152, episodic return=34.011165618896484\n", + "global step=49152, episodic return=24.13824462890625\n", + "global step=49152, episodic return=25.665620803833008\n", + "global step=49152, episodic return=23.418027877807617\n", + "global step=49152, episodic return=21.179319381713867\n", + "global step=49152, episodic return=38.70277404785156\n", + "global step=49152, episodic return=24.964509963989258\n", + "global step=49152, episodic return=39.456451416015625\n", + "global step=49152, episodic return=17.831499099731445\n", + "global step=49152, episodic return=25.218923568725586\n", + "global step=49152, episodic return=17.054107666015625\n", + "global step=49152, episodic return=17.26604652404785\n", + "global step=49152, episodic return=30.939800262451172\n", + "global step=49152, episodic return=20.30050277709961\n", + "global step=49152, episodic return=32.494964599609375\n", + "global step=49152, episodic return=31.434247970581055\n", + "global step=49152, episodic return=13.3364896774292\n", + "global step=49152, episodic return=28.446918487548828\n", + "global step=49152, episodic return=28.532651901245117\n", + "global step=49152, episodic return=34.32109832763672\n", + "global step=49152, episodic return=30.061206817626953\n", + "global step=49152, episodic return=28.47221565246582\n", + "global step=49152, episodic return=24.637680053710938\n", + "global step=49152, episodic return=42.107322692871094\n", + "global step=49152, episodic return=31.37442398071289\n", + "global step=51200, episodic return=40.324581146240234\n", + "global step=51200, episodic return=35.27247619628906\n", + "global step=51200, episodic return=19.809843063354492\n", + "global step=51200, episodic return=35.41462326049805\n", + "global step=51200, episodic return=28.19139289855957\n", + "global step=51200, episodic return=47.68304443359375\n", + "global step=51200, episodic return=27.79193878173828\n", + "global step=51200, episodic return=32.25347137451172\n", + "global step=51200, episodic return=25.006515502929688\n", + "global step=51200, episodic return=32.807350158691406\n", + "global step=51200, episodic return=23.282649993896484\n", + "global step=51200, episodic return=22.832571029663086\n", + "global step=51200, episodic return=26.44551658630371\n", + "global step=51200, episodic return=22.299175262451172\n", + "global step=51200, episodic return=36.06993103027344\n", + "global step=51200, episodic return=26.716705322265625\n", + "global step=51200, episodic return=37.060997009277344\n", + "global step=51200, episodic return=29.47885513305664\n", + "global step=51200, episodic return=23.417871475219727\n", + "global step=51200, episodic return=26.485313415527344\n", + "global step=51200, episodic return=25.501630783081055\n", + "global step=51200, episodic return=32.620704650878906\n", + "global step=51200, episodic return=36.121734619140625\n", + "global step=51200, episodic return=29.47364616394043\n", + "global step=51200, episodic return=32.042694091796875\n", + "global step=51200, episodic return=17.35140037536621\n", + "global step=51200, episodic return=25.019102096557617\n", + "global step=51200, episodic return=40.01663589477539\n", + "global step=51200, episodic return=34.182945251464844\n", + "global step=51200, episodic return=30.239261627197266\n", + "global step=51200, episodic return=30.6264591217041\n", + "global step=51200, episodic return=20.494369506835938\n", + "global step=51200, episodic return=33.106754302978516\n", + "global step=53248, episodic return=23.599428176879883\n", + "global step=53248, episodic return=31.440122604370117\n", + "global step=53248, episodic return=33.5274658203125\n", + "global step=53248, episodic return=39.26490020751953\n", + "global step=53248, episodic return=27.326065063476562\n", + "global step=53248, episodic return=31.91419792175293\n", + "global step=53248, episodic return=26.7977237701416\n", + "global step=53248, episodic return=36.43610763549805\n", + "global step=53248, episodic return=30.221542358398438\n", + "global step=53248, episodic return=28.664644241333008\n", + "global step=53248, episodic return=24.338899612426758\n", + "global step=53248, episodic return=32.64944839477539\n", + "global step=53248, episodic return=40.06855010986328\n", + "global step=53248, episodic return=23.11383628845215\n", + "global step=53248, episodic return=27.50962257385254\n", + "global step=53248, episodic return=23.10696029663086\n", + "global step=53248, episodic return=48.16728210449219\n", + "global step=53248, episodic return=17.057464599609375\n", + "global step=53248, episodic return=12.763357162475586\n", + "global step=53248, episodic return=21.815629959106445\n", + "global step=53248, episodic return=22.265899658203125\n", + "global step=53248, episodic return=27.63530158996582\n", + "global step=53248, episodic return=29.975383758544922\n", + "global step=53248, episodic return=31.067096710205078\n", + "global step=53248, episodic return=21.816593170166016\n", + "global step=53248, episodic return=28.11136817932129\n", + "global step=53248, episodic return=34.488182067871094\n", + "global step=53248, episodic return=27.093669891357422\n", + "global step=53248, episodic return=19.178720474243164\n", + "global step=53248, episodic return=34.212196350097656\n", + "global step=53248, episodic return=28.822731018066406\n", + "global step=53248, episodic return=34.49234390258789\n", + "global step=53248, episodic return=38.54258346557617\n", + "global step=53248, episodic return=32.38159942626953\n", + "global step=53248, episodic return=30.961536407470703\n", + "global step=53248, episodic return=35.82438278198242\n", + "global step=55296, episodic return=43.556922912597656\n", + "global step=55296, episodic return=43.3780632019043\n", + "global step=55296, episodic return=28.32101058959961\n", + "global step=55296, episodic return=30.421531677246094\n", + "global step=55296, episodic return=42.90152359008789\n", + "global step=55296, episodic return=36.64848327636719\n", + "global step=55296, episodic return=37.91331100463867\n", + "global step=55296, episodic return=39.04945373535156\n", + "global step=55296, episodic return=39.706268310546875\n", + "global step=55296, episodic return=29.048114776611328\n", + "global step=55296, episodic return=24.06964683532715\n", + "global step=55296, episodic return=32.977901458740234\n", + "global step=55296, episodic return=29.849903106689453\n", + "global step=55296, episodic return=40.23270797729492\n", + "global step=55296, episodic return=29.562986373901367\n", + "global step=55296, episodic return=43.30176544189453\n", + "global step=55296, episodic return=41.32533264160156\n", + "global step=55296, episodic return=30.75836181640625\n", + "global step=55296, episodic return=30.22123908996582\n", + "global step=55296, episodic return=22.903133392333984\n", + "global step=55296, episodic return=22.92827796936035\n", + "global step=55296, episodic return=33.41475296020508\n", + "global step=55296, episodic return=32.50667953491211\n", + "global step=55296, episodic return=43.93793869018555\n", + "global step=55296, episodic return=27.50735855102539\n", + "global step=55296, episodic return=35.46600341796875\n", + "global step=55296, episodic return=29.471332550048828\n", + "global step=57344, episodic return=23.33477210998535\n", + "global step=57344, episodic return=30.741655349731445\n", + "global step=57344, episodic return=43.530181884765625\n", + "global step=57344, episodic return=25.26786994934082\n", + "global step=57344, episodic return=23.745405197143555\n", + "global step=57344, episodic return=35.24462890625\n", + "global step=57344, episodic return=34.75638961791992\n", + "global step=57344, episodic return=31.22513771057129\n", + "global step=57344, episodic return=24.004558563232422\n", + "global step=57344, episodic return=32.83899688720703\n", + "global step=57344, episodic return=31.57103729248047\n", + "global step=57344, episodic return=28.337757110595703\n", + "global step=57344, episodic return=41.87666702270508\n", + "global step=57344, episodic return=38.728694915771484\n", + "global step=57344, episodic return=27.609045028686523\n", + "global step=57344, episodic return=28.469200134277344\n", + "global step=57344, episodic return=46.84233474731445\n", + "global step=57344, episodic return=36.78741455078125\n", + "global step=57344, episodic return=26.923158645629883\n", + "global step=57344, episodic return=23.471778869628906\n", + "global step=57344, episodic return=33.89580535888672\n", + "global step=59392, episodic return=32.64129638671875\n", + "global step=59392, episodic return=38.79492950439453\n", + "global step=59392, episodic return=21.3992919921875\n", + "global step=59392, episodic return=17.711423873901367\n", + "global step=59392, episodic return=33.03112030029297\n", + "global step=59392, episodic return=36.23295593261719\n", + "global step=59392, episodic return=37.524166107177734\n", + "global step=59392, episodic return=34.43894958496094\n", + "global step=59392, episodic return=32.29601287841797\n", + "global step=59392, episodic return=26.3609676361084\n", + "global step=59392, episodic return=30.677921295166016\n", + "global step=59392, episodic return=36.079647064208984\n", + "global step=59392, episodic return=35.961273193359375\n", + "global step=59392, episodic return=37.3857536315918\n", + "global step=59392, episodic return=50.233951568603516\n", + "global step=59392, episodic return=31.163272857666016\n", + "global step=59392, episodic return=35.03112030029297\n", + "global step=59392, episodic return=41.64775848388672\n", + "global step=59392, episodic return=38.43195724487305\n", + "global step=59392, episodic return=24.290979385375977\n", + "global step=59392, episodic return=28.415956497192383\n", + "global step=59392, episodic return=42.029754638671875\n", + "global step=59392, episodic return=17.14310073852539\n", + "global step=59392, episodic return=45.33768081665039\n", + "global step=59392, episodic return=37.640655517578125\n", + "global step=59392, episodic return=40.19703674316406\n", + "global step=59392, episodic return=28.752845764160156\n", + "global step=59392, episodic return=17.630678176879883\n", + "global step=59392, episodic return=29.78522491455078\n", + "global step=59392, episodic return=39.60382843017578\n", + "global step=59392, episodic return=30.083585739135742\n", + "global step=59392, episodic return=42.97254180908203\n", + "global step=59392, episodic return=27.813461303710938\n", + "global step=59392, episodic return=36.354576110839844\n", + "global step=59392, episodic return=23.135351181030273\n", + "global step=59392, episodic return=47.05964660644531\n", + "global step=59392, episodic return=27.670549392700195\n", + "global step=61440, episodic return=24.8732967376709\n", + "global step=61440, episodic return=17.102998733520508\n", + "global step=61440, episodic return=27.00011444091797\n", + "global step=61440, episodic return=26.029296875\n", + "global step=61440, episodic return=25.54511260986328\n", + "global step=61440, episodic return=28.742258071899414\n", + "global step=61440, episodic return=30.388031005859375\n", + "global step=61440, episodic return=23.160987854003906\n", + "global step=61440, episodic return=33.336978912353516\n", + "global step=61440, episodic return=17.555450439453125\n", + "global step=61440, episodic return=48.9958381652832\n", + "global step=61440, episodic return=40.75395584106445\n", + "global step=61440, episodic return=33.16611099243164\n", + "global step=61440, episodic return=43.69021987915039\n", + "global step=61440, episodic return=47.02669906616211\n", + "global step=61440, episodic return=46.81705093383789\n", + "global step=61440, episodic return=20.045429229736328\n", + "global step=61440, episodic return=34.51163101196289\n", + "global step=61440, episodic return=10.591362953186035\n", + "global step=61440, episodic return=40.7078857421875\n", + "global step=61440, episodic return=33.21810531616211\n", + "global step=61440, episodic return=50.673274993896484\n", + "global step=61440, episodic return=42.054344177246094\n", + "global step=61440, episodic return=44.91413116455078\n", + "global step=61440, episodic return=32.89101028442383\n", + "global step=61440, episodic return=25.927719116210938\n", + "global step=61440, episodic return=45.44009780883789\n", + "global step=61440, episodic return=21.850875854492188\n", + "global step=61440, episodic return=38.101959228515625\n", + "global step=61440, episodic return=32.528324127197266\n", + "global step=61440, episodic return=20.563934326171875\n", + "global step=61440, episodic return=32.64952850341797\n", + "global step=61440, episodic return=23.909639358520508\n", + "global step=61440, episodic return=19.588354110717773\n", + "global step=61440, episodic return=22.18895721435547\n", + "global step=61440, episodic return=24.79281997680664\n", + "global step=61440, episodic return=27.933868408203125\n", + "global step=63488, episodic return=19.775163650512695\n", + "global step=63488, episodic return=22.244853973388672\n", + "global step=63488, episodic return=37.10668182373047\n", + "global step=63488, episodic return=33.6156120300293\n", + "global step=63488, episodic return=24.108428955078125\n", + "global step=63488, episodic return=42.15652847290039\n", + "global step=63488, episodic return=40.155479431152344\n", + "global step=63488, episodic return=28.38457679748535\n", + "global step=63488, episodic return=31.434328079223633\n", + "global step=63488, episodic return=40.920711517333984\n", + "global step=63488, episodic return=23.677528381347656\n", + "global step=63488, episodic return=40.36705017089844\n", + "global step=63488, episodic return=41.33974075317383\n", + "global step=63488, episodic return=31.296409606933594\n", + "global step=63488, episodic return=36.78269958496094\n", + "global step=63488, episodic return=37.151885986328125\n", + "global step=63488, episodic return=41.44036865234375\n", + "global step=63488, episodic return=39.76520538330078\n", + "global step=63488, episodic return=21.10346221923828\n", + "global step=63488, episodic return=32.82506561279297\n", + "global step=63488, episodic return=23.921491622924805\n", + "global step=63488, episodic return=29.68862533569336\n", + "global step=63488, episodic return=41.41019821166992\n", + "global step=63488, episodic return=46.37157440185547\n", + "global step=63488, episodic return=40.964599609375\n", + "global step=63488, episodic return=22.10065460205078\n", + "global step=63488, episodic return=19.096729278564453\n", + "global step=63488, episodic return=31.924713134765625\n", + "global step=63488, episodic return=34.444488525390625\n", + "global step=63488, episodic return=38.88795471191406\n", + "global step=63488, episodic return=48.460472106933594\n", + "global step=63488, episodic return=36.62739562988281\n", + "global step=65536, episodic return=29.963878631591797\n", + "global step=65536, episodic return=28.38062858581543\n", + "global step=65536, episodic return=25.366905212402344\n", + "global step=65536, episodic return=37.73073959350586\n", + "global step=65536, episodic return=41.66951370239258\n", + "global step=65536, episodic return=43.595523834228516\n", + "global step=65536, episodic return=34.41621017456055\n", + "global step=65536, episodic return=25.150325775146484\n", + "global step=65536, episodic return=39.37854766845703\n", + "global step=65536, episodic return=28.939725875854492\n", + "global step=65536, episodic return=39.73712158203125\n", + "global step=65536, episodic return=32.63548278808594\n", + "global step=65536, episodic return=35.156429290771484\n", + "global step=65536, episodic return=17.305143356323242\n", + "global step=65536, episodic return=41.84230041503906\n", + "global step=65536, episodic return=29.669178009033203\n", + "global step=65536, episodic return=48.590553283691406\n", + "global step=65536, episodic return=31.12736701965332\n", + "global step=65536, episodic return=49.6066780090332\n", + "global step=65536, episodic return=45.5369987487793\n", + "global step=67584, episodic return=16.414873123168945\n", + "global step=67584, episodic return=13.513010025024414\n", + "global step=67584, episodic return=43.67506790161133\n", + "global step=67584, episodic return=30.087295532226562\n", + "global step=67584, episodic return=32.09419631958008\n", + "global step=67584, episodic return=27.468481063842773\n", + "global step=67584, episodic return=45.88126754760742\n", + "global step=67584, episodic return=31.82588768005371\n", + "global step=67584, episodic return=37.049476623535156\n", + "global step=67584, episodic return=25.72000503540039\n", + "global step=67584, episodic return=33.435550689697266\n", + "global step=67584, episodic return=49.065704345703125\n", + "global step=67584, episodic return=47.330570220947266\n", + "global step=67584, episodic return=19.92838478088379\n", + "global step=67584, episodic return=31.22222137451172\n", + "global step=67584, episodic return=39.06159973144531\n", + "global step=67584, episodic return=32.50255584716797\n", + "global step=69632, episodic return=35.047428131103516\n", + "global step=69632, episodic return=36.61073684692383\n", + "global step=69632, episodic return=18.424789428710938\n", + "global step=69632, episodic return=34.81132125854492\n", + "global step=69632, episodic return=40.37179946899414\n", + "global step=69632, episodic return=35.7234001159668\n", + "global step=69632, episodic return=45.26803970336914\n", + "global step=69632, episodic return=56.41979217529297\n", + "global step=69632, episodic return=41.80558776855469\n", + "global step=69632, episodic return=28.819032669067383\n", + "global step=69632, episodic return=42.525760650634766\n", + "global step=69632, episodic return=40.38479995727539\n", + "global step=69632, episodic return=38.21812438964844\n", + "global step=69632, episodic return=29.16378402709961\n", + "global step=69632, episodic return=39.294925689697266\n", + "global step=69632, episodic return=55.404972076416016\n", + "global step=69632, episodic return=26.275846481323242\n", + "global step=69632, episodic return=40.069725036621094\n", + "global step=69632, episodic return=36.40768051147461\n", + "global step=69632, episodic return=36.074459075927734\n", + "global step=69632, episodic return=39.931312561035156\n", + "global step=71680, episodic return=43.9879035949707\n", + "global step=71680, episodic return=39.630855560302734\n", + "global step=71680, episodic return=42.36688995361328\n", + "global step=71680, episodic return=38.12669372558594\n", + "global step=71680, episodic return=41.74871826171875\n", + "global step=71680, episodic return=29.347875595092773\n", + "global step=71680, episodic return=41.015342712402344\n", + "global step=71680, episodic return=49.13765335083008\n", + "global step=71680, episodic return=25.307422637939453\n", + "global step=71680, episodic return=41.13608169555664\n", + "global step=71680, episodic return=33.57915115356445\n", + "global step=71680, episodic return=42.341949462890625\n", + "global step=71680, episodic return=36.84063720703125\n", + "global step=71680, episodic return=29.21430778503418\n", + "global step=71680, episodic return=37.54401397705078\n", + "global step=71680, episodic return=51.07563018798828\n", + "global step=71680, episodic return=35.5811882019043\n", + "global step=71680, episodic return=23.337308883666992\n", + "global step=71680, episodic return=40.43110656738281\n", + "global step=71680, episodic return=41.52348709106445\n", + "global step=71680, episodic return=50.4156494140625\n", + "global step=73728, episodic return=45.234580993652344\n", + "global step=73728, episodic return=27.592529296875\n", + "global step=73728, episodic return=28.457653045654297\n", + "global step=73728, episodic return=27.499589920043945\n", + "global step=73728, episodic return=39.019596099853516\n", + "global step=73728, episodic return=23.75309181213379\n", + "global step=73728, episodic return=49.163185119628906\n", + "global step=73728, episodic return=43.70582962036133\n", + "global step=73728, episodic return=61.81626892089844\n", + "global step=73728, episodic return=41.293190002441406\n", + "global step=73728, episodic return=53.2148323059082\n", + "global step=73728, episodic return=32.86955261230469\n", + "global step=73728, episodic return=53.544071197509766\n", + "global step=73728, episodic return=29.632081985473633\n", + "global step=73728, episodic return=27.935382843017578\n", + "global step=73728, episodic return=59.86347198486328\n", + "global step=73728, episodic return=53.58794403076172\n", + "global step=73728, episodic return=47.185829162597656\n", + "global step=73728, episodic return=27.792057037353516\n", + "global step=73728, episodic return=36.16303253173828\n", + "global step=73728, episodic return=37.138065338134766\n", + "global step=73728, episodic return=48.49467849731445\n", + "global step=73728, episodic return=45.758880615234375\n", + "global step=75776, episodic return=59.19168472290039\n", + "global step=75776, episodic return=46.27216339111328\n", + "global step=75776, episodic return=41.82351303100586\n", + "global step=75776, episodic return=34.73821258544922\n", + "global step=75776, episodic return=29.81737518310547\n", + "global step=75776, episodic return=30.51295280456543\n", + "global step=75776, episodic return=36.13877487182617\n", + "global step=75776, episodic return=36.337860107421875\n", + "global step=75776, episodic return=63.35515594482422\n", + "global step=75776, episodic return=45.732337951660156\n", + "global step=75776, episodic return=48.402950286865234\n", + "global step=75776, episodic return=62.757591247558594\n", + "global step=75776, episodic return=32.921077728271484\n", + "global step=75776, episodic return=58.23837661743164\n", + "global step=75776, episodic return=47.33240509033203\n", + "global step=75776, episodic return=26.732196807861328\n", + "global step=75776, episodic return=21.822328567504883\n", + "global step=75776, episodic return=55.87602996826172\n", + "global step=75776, episodic return=30.700359344482422\n", + "global step=77824, episodic return=41.033721923828125\n", + "global step=77824, episodic return=31.024906158447266\n", + "global step=77824, episodic return=31.122333526611328\n", + "global step=77824, episodic return=29.56723403930664\n", + "global step=77824, episodic return=25.23345947265625\n", + "global step=77824, episodic return=42.894474029541016\n", + "global step=77824, episodic return=33.34068298339844\n", + "global step=77824, episodic return=32.451629638671875\n", + "global step=77824, episodic return=32.977996826171875\n", + "global step=77824, episodic return=50.828216552734375\n", + "global step=77824, episodic return=31.937782287597656\n", + "global step=77824, episodic return=48.275821685791016\n", + "global step=77824, episodic return=28.134456634521484\n", + "global step=77824, episodic return=23.104265213012695\n", + "global step=77824, episodic return=32.432579040527344\n", + "global step=77824, episodic return=37.27013397216797\n", + "global step=77824, episodic return=51.219852447509766\n", + "global step=77824, episodic return=35.89955139160156\n", + "global step=77824, episodic return=49.5960807800293\n", + "global step=77824, episodic return=46.37650680541992\n", + "global step=77824, episodic return=49.2750358581543\n", + "global step=77824, episodic return=33.28706741333008\n", + "global step=79872, episodic return=26.742748260498047\n", + "global step=79872, episodic return=16.240432739257812\n", + "global step=79872, episodic return=46.87914276123047\n", + "global step=79872, episodic return=37.344146728515625\n", + "global step=79872, episodic return=38.99457931518555\n", + "global step=79872, episodic return=49.664608001708984\n", + "global step=79872, episodic return=54.21589660644531\n", + "global step=79872, episodic return=40.30338668823242\n", + "global step=79872, episodic return=22.409753799438477\n", + "global step=79872, episodic return=41.41996383666992\n", + "global step=79872, episodic return=59.92729949951172\n", + "global step=79872, episodic return=25.160398483276367\n", + "global step=79872, episodic return=19.736745834350586\n", + "global step=79872, episodic return=30.898456573486328\n", + "global step=79872, episodic return=25.791040420532227\n", + "global step=81920, episodic return=46.94880676269531\n", + "global step=81920, episodic return=53.60682678222656\n", + "global step=81920, episodic return=62.49507522583008\n", + "global step=81920, episodic return=62.45404052734375\n", + "global step=81920, episodic return=30.819311141967773\n", + "global step=81920, episodic return=48.387760162353516\n", + "global step=81920, episodic return=44.530757904052734\n", + "global step=81920, episodic return=26.301998138427734\n", + "global step=81920, episodic return=53.76435852050781\n", + "global step=81920, episodic return=46.730655670166016\n", + "global step=81920, episodic return=61.6614875793457\n", + "global step=81920, episodic return=39.04419708251953\n", + "global step=81920, episodic return=37.16636657714844\n", + "global step=83968, episodic return=38.66499328613281\n", + "global step=83968, episodic return=59.506553649902344\n", + "global step=83968, episodic return=64.71761322021484\n", + "global step=83968, episodic return=26.900352478027344\n", + "global step=83968, episodic return=38.777339935302734\n", + "global step=83968, episodic return=39.998382568359375\n", + "global step=83968, episodic return=50.69198989868164\n", + "global step=83968, episodic return=22.410741806030273\n", + "global step=83968, episodic return=33.796390533447266\n", + "global step=83968, episodic return=33.61622619628906\n", + "global step=83968, episodic return=47.48139572143555\n", + "global step=83968, episodic return=35.97242736816406\n", + "global step=83968, episodic return=27.130464553833008\n", + "global step=83968, episodic return=29.29252052307129\n", + "global step=86016, episodic return=41.49664306640625\n", + "global step=86016, episodic return=64.96531677246094\n", + "global step=86016, episodic return=39.558536529541016\n", + "global step=86016, episodic return=24.383831024169922\n", + "global step=86016, episodic return=36.06500244140625\n", + "global step=86016, episodic return=46.82363510131836\n", + "global step=86016, episodic return=30.256807327270508\n", + "global step=86016, episodic return=40.03403854370117\n", + "global step=86016, episodic return=33.36799621582031\n", + "global step=86016, episodic return=40.06179428100586\n", + "global step=86016, episodic return=64.43327331542969\n", + "global step=86016, episodic return=63.43315124511719\n", + "global step=86016, episodic return=25.554439544677734\n", + "global step=86016, episodic return=51.75100326538086\n", + "global step=88064, episodic return=35.82758712768555\n", + "global step=88064, episodic return=34.704437255859375\n", + "global step=88064, episodic return=34.639015197753906\n", + "global step=88064, episodic return=43.68189239501953\n", + "global step=88064, episodic return=44.555023193359375\n", + "global step=88064, episodic return=43.83619689941406\n", + "global step=88064, episodic return=30.47544288635254\n", + "global step=88064, episodic return=37.521209716796875\n", + "global step=88064, episodic return=51.70195007324219\n", + "global step=90112, episodic return=54.69490432739258\n", + "global step=90112, episodic return=38.77302169799805\n", + "global step=90112, episodic return=41.18825912475586\n", + "global step=90112, episodic return=40.87145233154297\n", + "global step=90112, episodic return=54.36749267578125\n", + "global step=90112, episodic return=20.32790756225586\n", + "global step=90112, episodic return=26.3938045501709\n", + "global step=92160, episodic return=45.218650817871094\n", + "global step=92160, episodic return=46.92091369628906\n", + "global step=92160, episodic return=56.94972610473633\n", + "global step=92160, episodic return=56.0788459777832\n", + "global step=92160, episodic return=40.39076614379883\n", + "global step=92160, episodic return=47.04146194458008\n", + "global step=92160, episodic return=35.040714263916016\n", + "global step=92160, episodic return=28.632789611816406\n", + "global step=92160, episodic return=39.79912567138672\n", + "global step=94208, episodic return=48.268402099609375\n", + "global step=94208, episodic return=53.35745620727539\n", + "global step=94208, episodic return=48.100746154785156\n", + "global step=94208, episodic return=44.57422637939453\n", + "global step=94208, episodic return=47.65334701538086\n", + "global step=94208, episodic return=55.357383728027344\n", + "global step=94208, episodic return=37.06541061401367\n", + "global step=94208, episodic return=15.871842384338379\n", + "global step=94208, episodic return=30.281673431396484\n", + "global step=94208, episodic return=40.06535720825195\n", + "global step=94208, episodic return=30.947711944580078\n", + "global step=96256, episodic return=20.650419235229492\n", + "global step=96256, episodic return=47.46186065673828\n", + "global step=96256, episodic return=43.879417419433594\n", + "global step=96256, episodic return=42.464881896972656\n", + "global step=96256, episodic return=63.00265884399414\n", + "global step=96256, episodic return=27.343029022216797\n", + "global step=96256, episodic return=46.546478271484375\n", + "global step=98304, episodic return=58.98223114013672\n", + "global step=98304, episodic return=21.227645874023438\n", + "global step=98304, episodic return=53.93490219116211\n", + "global step=98304, episodic return=63.141693115234375\n", + "global step=98304, episodic return=37.11767578125\n", + "global step=98304, episodic return=41.82394790649414\n", + "global step=98304, episodic return=56.3598518371582\n", + "global step=98304, episodic return=64.49360656738281\n", + "global step=100352, episodic return=84.22029876708984\n", + "global step=100352, episodic return=36.402103424072266\n", + "global step=100352, episodic return=44.222530364990234\n", + "global step=100352, episodic return=42.603416442871094\n", + "global step=100352, episodic return=23.083648681640625\n", + "global step=100352, episodic return=27.501617431640625\n", + "global step=100352, episodic return=31.019752502441406\n", + "global step=100352, episodic return=50.502262115478516\n", + "global step=100352, episodic return=56.531646728515625\n", + "global step=100352, episodic return=28.00925064086914\n", + "global step=100352, episodic return=29.154420852661133\n", + "global step=100352, episodic return=31.316844940185547\n", + "global step=100352, episodic return=52.55891036987305\n", + "global step=100352, episodic return=36.27490997314453\n", + "global step=102400, episodic return=27.69013214111328\n", + "global step=102400, episodic return=52.25016403198242\n", + "global step=102400, episodic return=45.92274475097656\n", + "global step=102400, episodic return=37.91429138183594\n", + "global step=102400, episodic return=46.05149459838867\n", + "global step=102400, episodic return=69.58612060546875\n", + "global step=102400, episodic return=37.15596008300781\n", + "global step=102400, episodic return=45.26150894165039\n", + "global step=102400, episodic return=58.50212860107422\n", + "global step=102400, episodic return=48.20669937133789\n", + "global step=102400, episodic return=32.983306884765625\n", + "global step=102400, episodic return=31.94644546508789\n", + "global step=104448, episodic return=37.892845153808594\n", + "global step=104448, episodic return=36.93697738647461\n", + "global step=104448, episodic return=57.37682342529297\n", + "global step=104448, episodic return=61.18681335449219\n", + "global step=104448, episodic return=44.84785079956055\n", + "global step=104448, episodic return=27.947141647338867\n", + "global step=104448, episodic return=58.06144332885742\n", + "global step=104448, episodic return=35.415061950683594\n", + "global step=104448, episodic return=46.06499481201172\n", + "global step=104448, episodic return=35.68959045410156\n", + "global step=106496, episodic return=16.209941864013672\n", + "global step=106496, episodic return=65.79141998291016\n", + "global step=106496, episodic return=45.47224807739258\n", + "global step=106496, episodic return=59.634883880615234\n", + "global step=106496, episodic return=49.3217658996582\n", + "global step=106496, episodic return=28.072771072387695\n", + "global step=106496, episodic return=67.49856567382812\n", + "global step=106496, episodic return=49.18596649169922\n", + "global step=106496, episodic return=17.623382568359375\n", + "global step=106496, episodic return=35.8798828125\n", + "global step=106496, episodic return=42.14741516113281\n", + "global step=106496, episodic return=22.043596267700195\n", + "global step=106496, episodic return=39.27588653564453\n", + "global step=108544, episodic return=42.131229400634766\n", + "global step=108544, episodic return=58.681922912597656\n", + "global step=108544, episodic return=52.140411376953125\n", + "global step=108544, episodic return=86.65278625488281\n", + "global step=110592, episodic return=46.593116760253906\n", + "global step=110592, episodic return=39.232608795166016\n", + "global step=110592, episodic return=63.43902587890625\n", + "global step=110592, episodic return=63.063232421875\n", + "global step=110592, episodic return=15.948498725891113\n", + "global step=110592, episodic return=69.40281677246094\n", + "global step=110592, episodic return=47.037899017333984\n", + "global step=110592, episodic return=55.604854583740234\n", + "global step=112640, episodic return=38.32136535644531\n", + "global step=112640, episodic return=40.47351837158203\n", + "global step=112640, episodic return=47.05180740356445\n", + "global step=112640, episodic return=61.425960540771484\n", + "global step=114688, episodic return=68.64122772216797\n", + "global step=114688, episodic return=39.69089126586914\n", + "global step=114688, episodic return=33.37922668457031\n", + "global step=114688, episodic return=60.43265914916992\n", + "global step=114688, episodic return=80.17081451416016\n", + "global step=114688, episodic return=51.013031005859375\n", + "global step=116736, episodic return=63.08150100708008\n", + "global step=116736, episodic return=47.180824279785156\n", + "global step=116736, episodic return=54.80501174926758\n", + "global step=116736, episodic return=87.5135269165039\n", + "global step=116736, episodic return=62.1661262512207\n", + "global step=116736, episodic return=75.21945190429688\n", + "global step=116736, episodic return=37.53921127319336\n", + "global step=118784, episodic return=40.51042556762695\n", + "global step=118784, episodic return=34.051231384277344\n", + "global step=118784, episodic return=72.1152572631836\n", + "global step=118784, episodic return=55.1748161315918\n", + "global step=120832, episodic return=38.17837905883789\n", + "global step=120832, episodic return=45.6447639465332\n", + "global step=120832, episodic return=85.76481628417969\n", + "global step=120832, episodic return=41.436824798583984\n", + "global step=120832, episodic return=34.9296875\n", + "global step=120832, episodic return=62.610076904296875\n", + "global step=120832, episodic return=68.82913970947266\n", + "global step=120832, episodic return=89.59623718261719\n", + "global step=120832, episodic return=42.24098205566406\n", + "global step=120832, episodic return=38.96406936645508\n", + "global step=122880, episodic return=43.20943832397461\n", + "global step=122880, episodic return=83.50460052490234\n", + "global step=122880, episodic return=26.577350616455078\n", + "global step=122880, episodic return=35.011749267578125\n", + "global step=122880, episodic return=22.946531295776367\n", + "global step=122880, episodic return=39.51025390625\n", + "global step=122880, episodic return=79.57839965820312\n", + "global step=122880, episodic return=29.44278907775879\n", + "global step=122880, episodic return=57.69949722290039\n", + "global step=122880, episodic return=41.594146728515625\n", + "global step=124928, episodic return=47.447715759277344\n", + "global step=124928, episodic return=58.782081604003906\n", + "global step=124928, episodic return=51.171630859375\n", + "global step=126976, episodic return=70.09893035888672\n", + "global step=126976, episodic return=63.14374542236328\n", + "global step=126976, episodic return=43.29539108276367\n", + "global step=129024, episodic return=90.20783996582031\n", + "global step=129024, episodic return=33.17387008666992\n", + "global step=129024, episodic return=90.58895874023438\n", + "global step=129024, episodic return=67.01481628417969\n", + "global step=131072, episodic return=38.31919479370117\n", + "global step=131072, episodic return=59.582401275634766\n", + "global step=131072, episodic return=33.43230056762695\n", + "global step=131072, episodic return=82.40161895751953\n", + "global step=131072, episodic return=38.3818244934082\n", + "global step=131072, episodic return=37.37102127075195\n", + "global step=133120, episodic return=68.14043426513672\n", + "global step=133120, episodic return=72.31755065917969\n", + "global step=133120, episodic return=51.89580154418945\n", + "global step=133120, episodic return=52.108009338378906\n", + "global step=133120, episodic return=35.64455795288086\n", + "global step=135168, episodic return=44.96137237548828\n", + "global step=135168, episodic return=50.90278625488281\n", + "global step=135168, episodic return=51.26713943481445\n", + "global step=135168, episodic return=45.86351013183594\n", + "global step=135168, episodic return=63.46293640136719\n", + "global step=137216, episodic return=42.631771087646484\n", + "global step=137216, episodic return=49.636600494384766\n", + "global step=137216, episodic return=50.60579299926758\n", + "global step=137216, episodic return=45.8665885925293\n", + "global step=137216, episodic return=76.13484191894531\n", + "global step=137216, episodic return=53.098907470703125\n", + "global step=137216, episodic return=53.46175003051758\n", + "global step=137216, episodic return=40.622459411621094\n", + "global step=137216, episodic return=74.60579681396484\n", + "global step=137216, episodic return=87.17839813232422\n", + "global step=137216, episodic return=106.37799835205078\n", + "global step=139264, episodic return=55.2501220703125\n", + "global step=139264, episodic return=73.40062713623047\n", + "global step=139264, episodic return=111.43850708007812\n", + "global step=139264, episodic return=51.42948532104492\n", + "global step=139264, episodic return=42.5325813293457\n", + "global step=139264, episodic return=37.05488204956055\n", + "global step=141312, episodic return=84.57877349853516\n", + "global step=141312, episodic return=104.56330871582031\n", + "global step=141312, episodic return=45.521636962890625\n", + "global step=141312, episodic return=46.87112045288086\n", + "global step=141312, episodic return=92.73745727539062\n", + "global step=141312, episodic return=109.61830139160156\n", + "global step=141312, episodic return=42.900291442871094\n", + "global step=141312, episodic return=85.89777374267578\n", + "global step=143360, episodic return=59.90574264526367\n", + "global step=143360, episodic return=60.32670974731445\n", + "global step=143360, episodic return=41.7455940246582\n", + "global step=145408, episodic return=44.779842376708984\n", + "global step=145408, episodic return=40.32294464111328\n", + "global step=145408, episodic return=45.8817138671875\n", + "global step=145408, episodic return=51.94440460205078\n", + "global step=145408, episodic return=58.24027633666992\n", + "global step=145408, episodic return=72.81160736083984\n", + "global step=147456, episodic return=71.70064544677734\n", + "global step=147456, episodic return=46.91438293457031\n", + "global step=147456, episodic return=51.316951751708984\n", + "global step=147456, episodic return=60.1756706237793\n", + "global step=147456, episodic return=53.8877067565918\n", + "global step=149504, episodic return=44.50818634033203\n", + "global step=149504, episodic return=80.44825744628906\n", + "global step=149504, episodic return=122.74909210205078\n", + "global step=151552, episodic return=39.31430435180664\n", + "global step=151552, episodic return=61.04465103149414\n", + "global step=153600, episodic return=67.21540832519531\n", + "global step=153600, episodic return=50.56442642211914\n", + "global step=153600, episodic return=59.275108337402344\n", + "global step=155648, episodic return=60.76979446411133\n", + "global step=155648, episodic return=32.284053802490234\n", + "global step=155648, episodic return=66.3298110961914\n", + "global step=155648, episodic return=65.49089050292969\n", + "global step=155648, episodic return=26.79986000061035\n", + "global step=157696, episodic return=37.37022399902344\n", + "global step=159744, episodic return=60.30565643310547\n", + "global step=159744, episodic return=34.297874450683594\n", + "global step=159744, episodic return=67.82832336425781\n", + "global step=159744, episodic return=34.57111358642578\n", + "global step=161792, episodic return=66.70235443115234\n", + "global step=161792, episodic return=47.78519821166992\n", + "global step=161792, episodic return=54.8440055847168\n", + "global step=161792, episodic return=41.00780487060547\n", + "global step=163840, episodic return=63.504642486572266\n", + "global step=165888, episodic return=43.1008186340332\n", + "global step=165888, episodic return=60.23554992675781\n", + "global step=165888, episodic return=28.864744186401367\n", + "global step=165888, episodic return=13.252824783325195\n", + "global step=165888, episodic return=34.36622619628906\n", + "global step=165888, episodic return=101.4488754272461\n", + "global step=169984, episodic return=43.90150451660156\n", + "global step=176128, episodic return=41.464752197265625\n", + "global step=176128, episodic return=138.73011779785156\n", + "global step=178176, episodic return=128.70091247558594\n", + "global step=178176, episodic return=71.45203399658203\n", + "global step=180224, episodic return=46.65652847290039\n", + "global step=180224, episodic return=54.31837463378906\n", + "global step=184320, episodic return=46.881431579589844\n", + "global step=186368, episodic return=137.102783203125\n", + "global step=190464, episodic return=138.06141662597656\n", + "global step=190464, episodic return=63.28990173339844\n", + "global step=192512, episodic return=77.94332885742188\n", + "global step=194560, episodic return=151.3710479736328\n", + "global step=196608, episodic return=146.5582275390625\n", + "global step=196608, episodic return=147.09201049804688\n", + "global step=196608, episodic return=154.1157684326172\n", + "global step=198656, episodic return=57.58338165283203\n", + "global step=198656, episodic return=154.1350860595703\n", + "global step=200704, episodic return=161.06187438964844\n", + "global step=200704, episodic return=149.78350830078125\n", + "global step=200704, episodic return=152.90286254882812\n", + "global step=200704, episodic return=135.00115966796875\n", + "global step=200704, episodic return=53.5263786315918\n", + "global step=202752, episodic return=58.78365707397461\n", + "global step=202752, episodic return=154.1245880126953\n", + "global step=204800, episodic return=157.44338989257812\n", + "global step=206848, episodic return=156.49473571777344\n", + "global step=206848, episodic return=156.94451904296875\n", + "global step=206848, episodic return=163.16452026367188\n", + "global step=210944, episodic return=108.64376068115234\n", + "global step=210944, episodic return=137.9818572998047\n", + "global step=210944, episodic return=149.6338348388672\n", + "global step=215040, episodic return=160.8560028076172\n", + "global step=219136, episodic return=161.89002990722656\n", + "global step=219136, episodic return=164.17335510253906\n", + "global step=219136, episodic return=160.12991333007812\n", + "global step=219136, episodic return=161.0789337158203\n", + "global step=221184, episodic return=168.89041137695312\n", + "global step=221184, episodic return=105.61023712158203\n", + "global step=221184, episodic return=145.97991943359375\n", + "global step=223232, episodic return=150.5813446044922\n", + "global step=225280, episodic return=154.4490509033203\n", + "global step=225280, episodic return=167.52806091308594\n", + "global step=225280, episodic return=174.717041015625\n", + "global step=225280, episodic return=128.07823181152344\n", + "global step=225280, episodic return=171.1519775390625\n", + "global step=227328, episodic return=148.23069763183594\n", + "global step=227328, episodic return=175.61264038085938\n", + "global step=227328, episodic return=169.77801513671875\n", + "global step=227328, episodic return=176.75991821289062\n", + "global step=227328, episodic return=165.942138671875\n", + "global step=229376, episodic return=169.86129760742188\n", + "global step=229376, episodic return=168.4230194091797\n", + "global step=231424, episodic return=169.86801147460938\n", + "global step=235520, episodic return=176.34141540527344\n", + "global step=237568, episodic return=173.56419372558594\n", + "global step=237568, episodic return=170.11720275878906\n", + "global step=241664, episodic return=174.729736328125\n", + "global step=241664, episodic return=180.59011840820312\n", + "global step=241664, episodic return=167.99806213378906\n", + "global step=266240, episodic return=162.90625\n", + "global step=315392, episodic return=168.74301147460938\n", + "global step=317440, episodic return=174.40951538085938\n", + "global step=335872, episodic return=178.32513427734375\n", + "global step=571392, episodic return=367.96771240234375\n", + "global step=583680, episodic return=363.2542724609375\n", + "global step=632832, episodic return=423.2063293457031\n", + "global step=679936, episodic return=419.0096435546875\n", + "global step=843776, episodic return=579.972900390625\n", + "global step=845824, episodic return=581.6038818359375\n", + "global step=849920, episodic return=543.1802368164062\n", + "global step=858112, episodic return=560.982177734375\n", + "global step=862208, episodic return=591.4420166015625\n", + "global step=872448, episodic return=578.9880981445312\n", + "global step=878592, episodic return=597.5503540039062\n", + "global step=880640, episodic return=588.4666748046875\n", + "global step=888832, episodic return=578.1660766601562\n", + "global step=890880, episodic return=558.8857421875\n", + "global step=890880, episodic return=578.8236694335938\n", + "global step=892928, episodic return=575.240234375\n", + "global step=894976, episodic return=597.579345703125\n", + "global step=894976, episodic return=599.1968994140625\n", + "global step=899072, episodic return=580.4532470703125\n", + "global step=907264, episodic return=613.4754638671875\n", + "global step=907264, episodic return=610.5592041015625\n", + "global step=907264, episodic return=612.2245483398438\n", + "global step=913408, episodic return=622.3123168945312\n", + "global step=925696, episodic return=617.1470336914062\n", + "global step=925696, episodic return=609.5158081054688\n", + "global step=927744, episodic return=599.7464599609375\n", + "global step=933888, episodic return=613.5162353515625\n", + "global step=933888, episodic return=605.5755004882812\n", + "global step=933888, episodic return=566.6063232421875\n", + "global step=937984, episodic return=633.2437744140625\n", + "global step=948224, episodic return=598.0548706054688\n", + "global step=950272, episodic return=614.8883056640625\n", + "global step=956416, episodic return=648.595458984375\n", + "global step=958464, episodic return=620.99365234375\n", + "global step=962560, episodic return=625.9940795898438\n", + "global step=962560, episodic return=642.1310424804688\n", + "global step=966656, episodic return=635.9957275390625\n", + "global step=966656, episodic return=623.8677368164062\n", + "global step=968704, episodic return=638.6142578125\n", + "global step=970752, episodic return=643.8880004882812\n", + "global step=970752, episodic return=627.186767578125\n", + "global step=972800, episodic return=638.13671875\n", + "global step=972800, episodic return=646.07763671875\n", + "global step=978944, episodic return=648.240478515625\n", + "global step=980992, episodic return=647.6401977539062\n", + "global step=983040, episodic return=620.5208740234375\n", + "global step=983040, episodic return=614.4652099609375\n", + "global step=985088, episodic return=645.2787475585938\n", + "global step=985088, episodic return=597.9407958984375\n", + "global step=987136, episodic return=645.0791625976562\n", + "global step=989184, episodic return=638.9862060546875\n", + "global step=991232, episodic return=622.164794921875\n", + "global step=993280, episodic return=633.7595825195312\n", + "global step=993280, episodic return=651.16162109375\n", + "global step=995328, episodic return=649.7145385742188\n", + "global step=997376, episodic return=621.6094970703125\n", + "global step=1001472, episodic return=632.5254516601562\n", + "global step=1003520, episodic return=616.418701171875\n", + "global step=1003520, episodic return=666.5681762695312\n", + "global step=1009664, episodic return=656.4578247070312\n", + "global step=1011712, episodic return=615.6629638671875\n", + "global step=1011712, episodic return=639.7477416992188\n", + "global step=1015808, episodic return=653.0908203125\n", + "global step=1019904, episodic return=655.5786743164062\n", + "global step=1021952, episodic return=643.9706420898438\n", + "global step=1021952, episodic return=671.2584228515625\n", + "global step=1021952, episodic return=653.6513061523438\n", + "global step=1026048, episodic return=660.5968017578125\n", + "global step=1030144, episodic return=660.98095703125\n", + "global step=1038336, episodic return=597.8289794921875\n", + "global step=1040384, episodic return=636.6314697265625\n", + "global step=1040384, episodic return=671.89453125\n", + "global step=1042432, episodic return=661.125732421875\n", + "global step=1042432, episodic return=663.9360961914062\n", + "global step=1044480, episodic return=680.320556640625\n", + "global step=1044480, episodic return=669.212646484375\n", + "global step=1050624, episodic return=643.2662353515625\n", + "global step=1050624, episodic return=678.7413330078125\n", + "global step=1052672, episodic return=688.4995727539062\n", + "global step=1054720, episodic return=627.0408325195312\n", + "global step=1054720, episodic return=655.9122924804688\n", + "global step=1054720, episodic return=659.7842407226562\n", + "global step=1058816, episodic return=680.6004028320312\n", + "global step=1058816, episodic return=649.0083618164062\n", + "global step=1058816, episodic return=669.2627563476562\n", + "global step=1060864, episodic return=647.78662109375\n", + "global step=1062912, episodic return=671.6520385742188\n", + "global step=1062912, episodic return=673.3703002929688\n", + "global step=1064960, episodic return=666.533447265625\n", + "global step=1064960, episodic return=687.07568359375\n", + "global step=1064960, episodic return=692.2839965820312\n", + "global step=1067008, episodic return=642.2770385742188\n", + "global step=1069056, episodic return=695.217041015625\n", + "global step=1071104, episodic return=648.2279663085938\n", + "global step=1073152, episodic return=657.8663940429688\n", + "global step=1073152, episodic return=688.1314086914062\n", + "global step=1073152, episodic return=683.1500854492188\n", + "global step=1075200, episodic return=666.513916015625\n", + "global step=1077248, episodic return=695.6226806640625\n", + "global step=1077248, episodic return=661.1213989257812\n", + "global step=1079296, episodic return=685.8524780273438\n", + "global step=1081344, episodic return=668.82958984375\n", + "global step=1081344, episodic return=694.0424194335938\n", + "global step=1081344, episodic return=679.5740966796875\n", + "global step=1083392, episodic return=684.260498046875\n", + "global step=1083392, episodic return=652.2133178710938\n", + "global step=1085440, episodic return=679.3624877929688\n", + "global step=1089536, episodic return=687.7076416015625\n", + "global step=1089536, episodic return=676.958251953125\n", + "global step=1091584, episodic return=685.0029907226562\n", + "global step=1095680, episodic return=671.4969482421875\n", + "global step=1097728, episodic return=641.6763305664062\n", + "global step=1097728, episodic return=667.6993408203125\n", + "global step=1097728, episodic return=686.3915405273438\n", + "global step=1099776, episodic return=682.0673828125\n", + "global step=1099776, episodic return=698.507568359375\n", + "global step=1101824, episodic return=657.3947143554688\n", + "global step=1101824, episodic return=670.5476684570312\n", + "global step=1101824, episodic return=691.7125854492188\n", + "global step=1101824, episodic return=666.6927490234375\n", + "global step=1101824, episodic return=706.3478393554688\n", + "global step=1105920, episodic return=694.6350708007812\n", + "global step=1107968, episodic return=703.580322265625\n", + "global step=1107968, episodic return=686.3291625976562\n", + "global step=1110016, episodic return=711.3656616210938\n", + "global step=1110016, episodic return=691.3867797851562\n", + "global step=1112064, episodic return=679.1661376953125\n", + "global step=1112064, episodic return=685.7962646484375\n", + "global step=1112064, episodic return=702.2862548828125\n", + "global step=1114112, episodic return=696.9452514648438\n", + "global step=1116160, episodic return=642.8536987304688\n", + "global step=1120256, episodic return=688.2894897460938\n", + "global step=1122304, episodic return=718.162109375\n", + "global step=1124352, episodic return=709.867431640625\n", + "global step=1124352, episodic return=703.6770629882812\n", + "global step=1124352, episodic return=696.4976806640625\n", + "global step=1126400, episodic return=682.7080078125\n", + "global step=1126400, episodic return=675.0040283203125\n", + "global step=1126400, episodic return=681.0685424804688\n", + "global step=1128448, episodic return=678.3713989257812\n", + "global step=1130496, episodic return=674.415771484375\n", + "global step=1130496, episodic return=711.0013427734375\n", + "global step=1130496, episodic return=675.3718872070312\n", + "global step=1130496, episodic return=708.2332763671875\n", + "global step=1130496, episodic return=697.4801635742188\n", + "global step=1132544, episodic return=696.33251953125\n", + "global step=1132544, episodic return=717.4933471679688\n", + "global step=1134592, episodic return=722.1004638671875\n", + "global step=1134592, episodic return=663.8062744140625\n", + "global step=1134592, episodic return=713.95166015625\n", + "global step=1136640, episodic return=715.354736328125\n", + "global step=1140736, episodic return=719.2326049804688\n", + "global step=1142784, episodic return=715.0787353515625\n", + "global step=1144832, episodic return=695.8818969726562\n", + "global step=1146880, episodic return=692.5625610351562\n", + "global step=1148928, episodic return=735.9161376953125\n", + "global step=1148928, episodic return=694.825927734375\n", + "global step=1150976, episodic return=695.5986938476562\n", + "global step=1153024, episodic return=702.96240234375\n", + "global step=1153024, episodic return=720.1973876953125\n", + "global step=1155072, episodic return=690.8143920898438\n", + "global step=1155072, episodic return=698.2362670898438\n", + "global step=1155072, episodic return=723.9300537109375\n", + "global step=1155072, episodic return=671.7969970703125\n", + "global step=1157120, episodic return=725.2667846679688\n", + "global step=1157120, episodic return=720.4403076171875\n", + "global step=1159168, episodic return=665.7820434570312\n", + "global step=1161216, episodic return=728.5891723632812\n", + "global step=1161216, episodic return=709.7609252929688\n", + "global step=1163264, episodic return=625.7491455078125\n", + "global step=1163264, episodic return=717.8209838867188\n", + "global step=1163264, episodic return=716.331787109375\n", + "global step=1165312, episodic return=714.3772583007812\n", + "global step=1167360, episodic return=716.2612915039062\n", + "global step=1169408, episodic return=682.8538208007812\n", + "global step=1169408, episodic return=729.193115234375\n", + "global step=1173504, episodic return=726.0584716796875\n", + "global step=1177600, episodic return=699.32373046875\n", + "global step=1181696, episodic return=677.950927734375\n", + "global step=1181696, episodic return=741.2090454101562\n", + "global step=1185792, episodic return=724.2969360351562\n", + "global step=1185792, episodic return=721.1875610351562\n", + "global step=1185792, episodic return=705.1922607421875\n", + "global step=1187840, episodic return=737.7083129882812\n", + "global step=1189888, episodic return=725.994384765625\n", + "global step=1191936, episodic return=714.7711181640625\n", + "global step=1193984, episodic return=740.8325805664062\n", + "global step=1200128, episodic return=705.7061767578125\n", + "global step=1200128, episodic return=720.6642456054688\n", + "global step=1200128, episodic return=740.7661743164062\n", + "global step=1202176, episodic return=745.7254638671875\n", + "global step=1204224, episodic return=737.1087646484375\n", + "global step=1206272, episodic return=735.7978515625\n", + "global step=1206272, episodic return=711.961669921875\n", + "global step=1208320, episodic return=716.267822265625\n", + "global step=1212416, episodic return=768.5804443359375\n", + "global step=1212416, episodic return=742.4256591796875\n", + "global step=1216512, episodic return=761.004638671875\n", + "global step=1216512, episodic return=721.7027587890625\n", + "global step=1216512, episodic return=754.9728393554688\n", + "global step=1218560, episodic return=755.904296875\n", + "global step=1220608, episodic return=737.986083984375\n", + "global step=1222656, episodic return=736.4888305664062\n", + "global step=1222656, episodic return=726.8009643554688\n", + "global step=1224704, episodic return=721.7714233398438\n", + "global step=1226752, episodic return=714.5411987304688\n", + "global step=1228800, episodic return=759.7028198242188\n", + "global step=1230848, episodic return=747.7920532226562\n", + "global step=1232896, episodic return=723.5299072265625\n", + "global step=1232896, episodic return=756.98095703125\n", + "global step=1234944, episodic return=710.4832763671875\n", + "global step=1236992, episodic return=732.7086181640625\n", + "global step=1236992, episodic return=761.0328369140625\n", + "global step=1236992, episodic return=728.9818725585938\n", + "global step=1239040, episodic return=732.1345825195312\n", + "global step=1241088, episodic return=735.6463012695312\n", + "global step=1243136, episodic return=738.5486450195312\n", + "global step=1243136, episodic return=751.336181640625\n", + "global step=1245184, episodic return=761.630126953125\n", + "global step=1247232, episodic return=784.2854614257812\n", + "global step=1249280, episodic return=769.1741333007812\n", + "global step=1251328, episodic return=670.7730102539062\n", + "global step=1251328, episodic return=729.7227172851562\n", + "global step=1253376, episodic return=770.55322265625\n", + "global step=1255424, episodic return=757.2511596679688\n", + "global step=1255424, episodic return=761.4788208007812\n", + "global step=1255424, episodic return=769.4991455078125\n", + "global step=1259520, episodic return=781.053955078125\n", + "global step=1259520, episodic return=747.9056396484375\n", + "global step=1261568, episodic return=706.7041625976562\n", + "global step=1261568, episodic return=770.8553466796875\n", + "global step=1265664, episodic return=732.947998046875\n", + "global step=1267712, episodic return=755.7219848632812\n", + "global step=1267712, episodic return=768.809326171875\n", + "global step=1271808, episodic return=765.4150390625\n", + "global step=1271808, episodic return=746.3438110351562\n", + "global step=1273856, episodic return=759.9690551757812\n", + "global step=1273856, episodic return=751.5247802734375\n", + "global step=1273856, episodic return=785.0709228515625\n", + "global step=1275904, episodic return=777.2500610351562\n", + "global step=1280000, episodic return=763.1504516601562\n", + "global step=1280000, episodic return=796.6116943359375\n", + "global step=1282048, episodic return=790.3809204101562\n", + "global step=1282048, episodic return=743.7374877929688\n", + "global step=1282048, episodic return=765.714111328125\n", + "global step=1286144, episodic return=728.8591918945312\n", + "global step=1286144, episodic return=681.48388671875\n", + "global step=1288192, episodic return=723.9417114257812\n", + "global step=1288192, episodic return=761.8154907226562\n", + "global step=1290240, episodic return=778.74267578125\n", + "global step=1290240, episodic return=755.0892333984375\n", + "global step=1292288, episodic return=778.5253295898438\n", + "global step=1292288, episodic return=751.5311889648438\n", + "global step=1294336, episodic return=794.128662109375\n", + "global step=1296384, episodic return=745.1168823242188\n", + "global step=1296384, episodic return=752.7044677734375\n", + "global step=1298432, episodic return=785.6912231445312\n", + "global step=1298432, episodic return=792.1276245117188\n", + "global step=1300480, episodic return=781.4320678710938\n", + "global step=1300480, episodic return=792.6929321289062\n", + "global step=1302528, episodic return=807.1170043945312\n", + "global step=1304576, episodic return=754.5717163085938\n", + "global step=1306624, episodic return=797.241455078125\n", + "global step=1306624, episodic return=764.240478515625\n", + "global step=1310720, episodic return=740.9877319335938\n", + "global step=1310720, episodic return=784.0381469726562\n", + "global step=1310720, episodic return=763.17724609375\n", + "global step=1312768, episodic return=736.6986083984375\n", + "global step=1312768, episodic return=774.7506103515625\n", + "global step=1316864, episodic return=777.0466918945312\n", + "global step=1316864, episodic return=787.7073974609375\n", + "global step=1316864, episodic return=797.7395629882812\n", + "global step=1318912, episodic return=803.63818359375\n", + "global step=1318912, episodic return=804.1406860351562\n", + "global step=1318912, episodic return=799.5927124023438\n", + "global step=1318912, episodic return=759.2215576171875\n", + "global step=1320960, episodic return=802.1038208007812\n", + "global step=1320960, episodic return=806.2832641601562\n", + "global step=1323008, episodic return=803.0804443359375\n", + "global step=1327104, episodic return=683.4583740234375\n", + "global step=1327104, episodic return=787.040283203125\n", + "global step=1327104, episodic return=721.5540771484375\n", + "global step=1327104, episodic return=811.6412353515625\n", + "global step=1327104, episodic return=782.0636596679688\n", + "global step=1329152, episodic return=797.5987548828125\n", + "global step=1329152, episodic return=799.2337036132812\n", + "global step=1329152, episodic return=770.8925170898438\n", + "global step=1331200, episodic return=768.7965698242188\n", + "global step=1333248, episodic return=746.72314453125\n", + "global step=1335296, episodic return=801.6878051757812\n", + "global step=1335296, episodic return=794.0134887695312\n", + "global step=1335296, episodic return=783.723876953125\n", + "global step=1339392, episodic return=808.4999389648438\n", + "global step=1341440, episodic return=812.1637573242188\n", + "global step=1341440, episodic return=806.9855346679688\n", + "global step=1345536, episodic return=786.9840087890625\n", + "global step=1345536, episodic return=803.052490234375\n", + "global step=1347584, episodic return=801.9910888671875\n", + "global step=1355776, episodic return=797.3186645507812\n", + "global step=1355776, episodic return=802.0554809570312\n", + "global step=1355776, episodic return=803.5721435546875\n", + "global step=1359872, episodic return=796.23583984375\n", + "global step=1363968, episodic return=795.8710327148438\n", + "global step=1368064, episodic return=779.1900024414062\n", + "global step=1374208, episodic return=753.2473754882812\n", + "global step=1386496, episodic return=844.4141235351562\n", + "global step=1388544, episodic return=809.4304809570312\n", + "global step=1390592, episodic return=828.0018920898438\n", + "global step=1390592, episodic return=819.3648681640625\n", + "global step=1394688, episodic return=843.8408203125\n", + "global step=1398784, episodic return=821.8780517578125\n", + "global step=1398784, episodic return=788.5318603515625\n", + "global step=1400832, episodic return=843.8582153320312\n", + "global step=1400832, episodic return=818.4611206054688\n", + "global step=1400832, episodic return=812.8740234375\n", + "global step=1400832, episodic return=837.6611938476562\n", + "global step=1400832, episodic return=767.3792724609375\n", + "global step=1400832, episodic return=799.4617309570312\n", + "global step=1404928, episodic return=816.2477416992188\n", + "global step=1406976, episodic return=824.013916015625\n", + "global step=1411072, episodic return=848.7312622070312\n", + "global step=1413120, episodic return=845.180419921875\n", + "global step=1413120, episodic return=838.9747924804688\n", + "global step=1415168, episodic return=843.956298828125\n", + "global step=1417216, episodic return=729.7599487304688\n", + "global step=1419264, episodic return=801.650390625\n", + "global step=1423360, episodic return=828.4008178710938\n", + "global step=1423360, episodic return=803.6572265625\n", + "global step=1429504, episodic return=795.923095703125\n", + "global step=1429504, episodic return=761.589599609375\n", + "global step=1435648, episodic return=791.5935668945312\n", + "global step=1439744, episodic return=832.1698608398438\n", + "global step=1439744, episodic return=866.6832885742188\n", + "global step=1441792, episodic return=852.2127075195312\n", + "global step=1441792, episodic return=861.4512939453125\n", + "global step=1443840, episodic return=850.3111572265625\n", + "global step=1443840, episodic return=817.3602294921875\n", + "global step=1447936, episodic return=853.30712890625\n", + "global step=1449984, episodic return=864.469482421875\n", + "global step=1452032, episodic return=850.7129516601562\n", + "global step=1454080, episodic return=834.42529296875\n", + "global step=1454080, episodic return=858.5123901367188\n", + "global step=1456128, episodic return=871.1757202148438\n", + "global step=1456128, episodic return=834.7794799804688\n", + "global step=1458176, episodic return=862.20263671875\n", + "global step=1462272, episodic return=852.6531982421875\n", + "global step=1464320, episodic return=828.1405639648438\n", + "global step=1466368, episodic return=798.1303100585938\n", + "global step=1466368, episodic return=857.9259033203125\n", + "global step=1468416, episodic return=837.261474609375\n", + "global step=1470464, episodic return=885.6328125\n", + "global step=1470464, episodic return=846.987548828125\n", + "global step=1472512, episodic return=841.3796997070312\n", + "global step=1474560, episodic return=857.9771728515625\n", + "global step=1478656, episodic return=860.6751098632812\n", + "global step=1480704, episodic return=884.9285278320312\n", + "global step=1486848, episodic return=844.4725341796875\n", + "global step=1488896, episodic return=885.9674072265625\n", + "global step=1490944, episodic return=890.6778564453125\n", + "global step=1497088, episodic return=799.0360717773438\n", + "global step=1499136, episodic return=848.7952270507812\n", + "global step=1501184, episodic return=871.0232543945312\n", + "global step=1501184, episodic return=858.6503295898438\n", + "global step=1501184, episodic return=880.372802734375\n", + "global step=1503232, episodic return=887.9495849609375\n", + "global step=1505280, episodic return=900.8396606445312\n", + "global step=1509376, episodic return=883.9817504882812\n", + "global step=1509376, episodic return=880.795654296875\n", + "global step=1519616, episodic return=831.7514038085938\n", + "global step=1519616, episodic return=889.0324096679688\n", + "global step=1519616, episodic return=900.5455932617188\n", + "global step=1523712, episodic return=876.6583862304688\n", + "global step=1529856, episodic return=867.9686279296875\n", + "global step=1529856, episodic return=882.78515625\n", + "global step=1529856, episodic return=889.65185546875\n", + "global step=1529856, episodic return=866.1290893554688\n", + "global step=1533952, episodic return=878.16357421875\n", + "global step=1538048, episodic return=860.2936401367188\n", + "global step=1542144, episodic return=923.03515625\n", + "global step=1542144, episodic return=886.16357421875\n", + "global step=1550336, episodic return=906.2186889648438\n", + "global step=1552384, episodic return=904.5888671875\n", + "global step=1554432, episodic return=888.1719360351562\n", + "global step=1562624, episodic return=878.7754516601562\n", + "global step=1564672, episodic return=889.280029296875\n", + "global step=1570816, episodic return=880.5701293945312\n", + "global step=1572864, episodic return=916.0614013671875\n", + "global step=1574912, episodic return=920.9122314453125\n", + "global step=1579008, episodic return=899.2140502929688\n", + "global step=1581056, episodic return=902.1061401367188\n", + "global step=1585152, episodic return=934.6087646484375\n", + "global step=1585152, episodic return=903.9749145507812\n", + "global step=1585152, episodic return=908.8391723632812\n", + "global step=1587200, episodic return=928.7642822265625\n", + "global step=1595392, episodic return=926.6392211914062\n", + "global step=1599488, episodic return=933.5670776367188\n", + "global step=1609728, episodic return=939.6754150390625\n", + "global step=1609728, episodic return=920.005615234375\n", + "global step=1617920, episodic return=936.5748901367188\n", + "global step=1624064, episodic return=936.3043823242188\n", + "global step=1630208, episodic return=639.2200317382812\n", + "global step=1630208, episodic return=936.2410888671875\n", + "global step=1638400, episodic return=532.1265258789062\n", + "global step=1640448, episodic return=944.8831787109375\n", + "global step=1648640, episodic return=947.1702270507812\n", + "global step=1652736, episodic return=941.49169921875\n", + "global step=1652736, episodic return=861.1060791015625\n", + "global step=1669120, episodic return=550.2951049804688\n", + "global step=1679360, episodic return=917.7505493164062\n", + "global step=1681408, episodic return=944.9829711914062\n", + "global step=1683456, episodic return=543.7901611328125\n", + "global step=1687552, episodic return=939.7483520507812\n", + "global step=1693696, episodic return=681.333740234375\n", + "global step=1716224, episodic return=570.9765625\n", + "global step=1724416, episodic return=562.5435791015625\n", + "global step=1728512, episodic return=973.5432739257812\n", + "global step=1732608, episodic return=568.4261474609375\n", + "global step=1734656, episodic return=954.3167724609375\n", + "global step=1734656, episodic return=574.7548828125\n", + "global step=1736704, episodic return=544.414794921875\n", + "global step=1738752, episodic return=992.2058715820312\n", + "global step=1744896, episodic return=985.6912841796875\n", + "global step=1748992, episodic return=566.4775390625\n", + "global step=1759232, episodic return=576.3174438476562\n", + "global step=1761280, episodic return=1002.2122802734375\n", + "global step=1763328, episodic return=1015.9208984375\n", + "global step=1765376, episodic return=977.19921875\n", + "global step=1767424, episodic return=1015.0360717773438\n", + "global step=1767424, episodic return=1005.3300170898438\n", + "global step=1775616, episodic return=1024.01953125\n", + "global step=1798144, episodic return=1019.6182861328125\n", + "global step=1804288, episodic return=588.8257446289062\n", + "global step=1810432, episodic return=959.7432250976562\n", + "global step=1816576, episodic return=590.810302734375\n", + "global step=1818624, episodic return=588.78857421875\n", + "global step=1822720, episodic return=1018.0617065429688\n", + "global step=1839104, episodic return=600.3602294921875\n", + "global step=1841152, episodic return=565.9037475585938\n", + "global step=1843200, episodic return=578.6220703125\n", + "global step=1847296, episodic return=598.8638305664062\n", + "global step=1851392, episodic return=615.6897583007812\n", + "global step=1861632, episodic return=580.3941040039062\n", + "global step=1861632, episodic return=618.38916015625\n", + "global step=1865728, episodic return=552.7750244140625\n", + "global step=1867776, episodic return=1018.4380493164062\n", + "global step=1882112, episodic return=601.263427734375\n", + "global step=1882112, episodic return=578.0135498046875\n", + "global step=1892352, episodic return=618.9412231445312\n", + "global step=1894400, episodic return=624.0264282226562\n", + "global step=1904640, episodic return=1052.5631103515625\n", + "global step=1904640, episodic return=549.03125\n", + "global step=1906688, episodic return=599.2343139648438\n", + "global step=1906688, episodic return=639.4281005859375\n", + "global step=1914880, episodic return=614.3997802734375\n", + "global step=1918976, episodic return=608.3923950195312\n", + "global step=1933312, episodic return=555.3328857421875\n", + "global step=1937408, episodic return=625.8566284179688\n", + "global step=1949696, episodic return=587.6044311523438\n", + "global step=1949696, episodic return=586.2982788085938\n", + "global step=1953792, episodic return=609.96826171875\n", + "global step=1959936, episodic return=650.5618896484375\n", + "global step=1966080, episodic return=589.3067016601562\n", + "global step=1966080, episodic return=585.2233276367188\n", + "global step=1970176, episodic return=616.8057861328125\n", + "global step=1972224, episodic return=622.820556640625\n", + "global step=1974272, episodic return=596.6583251953125\n", + "global step=1976320, episodic return=674.7229614257812\n", + "global step=1978368, episodic return=607.2057495117188\n", + "global step=1982464, episodic return=618.556396484375\n", + "global step=1982464, episodic return=628.1260375976562\n", + "global step=1984512, episodic return=587.4115600585938\n", + "global step=1990656, episodic return=601.3944091796875\n", + "global step=1992704, episodic return=1113.945068359375\n", + "global step=1994752, episodic return=618.9228515625\n", + "global step=2000896, episodic return=568.4713134765625\n", + "global step=2002944, episodic return=644.2282104492188\n", + "global step=2007040, episodic return=572.6124877929688\n", + "global step=2011136, episodic return=590.2708740234375\n", + "global step=2011136, episodic return=645.565185546875\n", + "global step=2011136, episodic return=649.6349487304688\n", + "global step=2015232, episodic return=575.4437866210938\n", + "global step=2019328, episodic return=565.1124267578125\n", + "global step=2019328, episodic return=602.352294921875\n", + "global step=2023424, episodic return=583.4270629882812\n", + "global step=2025472, episodic return=645.437744140625\n", + "global step=2025472, episodic return=583.2572631835938\n", + "global step=2029568, episodic return=620.5599365234375\n", + "global step=2037760, episodic return=600.6126098632812\n", + "global step=2037760, episodic return=571.4677734375\n", + "global step=2037760, episodic return=590.7285766601562\n", + "global step=2037760, episodic return=594.4574584960938\n", + "global step=2041856, episodic return=644.1884155273438\n", + "global step=2041856, episodic return=609.9210205078125\n", + "global step=2041856, episodic return=547.3233642578125\n", + "global step=2045952, episodic return=620.4845581054688\n", + "global step=2045952, episodic return=551.8994140625\n", + "global step=2048000, episodic return=1022.8511352539062\n", + "global step=2048000, episodic return=1030.260009765625\n", + "global step=2048000, episodic return=1013.4989013671875\n", + "global step=2048000, episodic return=1037.087646484375\n", + "global step=2048000, episodic return=1032.613525390625\n", + "global step=2048000, episodic return=1020.5242309570312\n", + "global step=2048000, episodic return=1015.8565063476562\n", + "global step=2048000, episodic return=1037.7366943359375\n", + "global step=2048000, episodic return=1024.1563720703125\n", + "global step=2048000, episodic return=1021.3682861328125\n", + "global step=2048000, episodic return=1013.440185546875\n", + "global step=2048000, episodic return=1038.275390625\n", + "global step=2048000, episodic return=1016.7493896484375\n", + "global step=2048000, episodic return=1032.75146484375\n", + "global step=2048000, episodic return=1028.859130859375\n", + "global step=2048000, episodic return=1009.5040283203125\n", + "global step=2048000, episodic return=1021.6713256835938\n", + "global step=2048000, episodic return=1015.488037109375\n", + "global step=2048000, episodic return=1049.542236328125\n", + "global step=2048000, episodic return=1020.5611572265625\n", + "global step=2048000, episodic return=1013.9847412109375\n", + "global step=2048000, episodic return=1028.8514404296875\n", + "global step=2048000, episodic return=1019.401123046875\n", + "global step=2048000, episodic return=1029.93896484375\n", + "global step=2048000, episodic return=1024.7420654296875\n", + "global step=2048000, episodic return=1022.3343505859375\n", + "global step=2048000, episodic return=1028.7442626953125\n", + "global step=2048000, episodic return=1040.2646484375\n", + "global step=2048000, episodic return=1008.458740234375\n", + "global step=2048000, episodic return=1022.8102416992188\n", + "global step=2048000, episodic return=1024.317138671875\n", + "global step=2048000, episodic return=1031.24951171875\n", + "global step=2048000, episodic return=1026.9837646484375\n", + "global step=2048000, episodic return=1029.5311279296875\n", + "global step=2048000, episodic return=1056.812744140625\n", + "global step=2048000, episodic return=1034.5269775390625\n", + "global step=2048000, episodic return=1029.808837890625\n", + "global step=2048000, episodic return=1025.87548828125\n", + "global step=2048000, episodic return=1030.4652099609375\n", + "global step=2048000, episodic return=1023.267822265625\n", + "global step=2048000, episodic return=1040.4261474609375\n", + "global step=2048000, episodic return=1055.2279052734375\n", + "global step=2048000, episodic return=1038.601318359375\n", + "global step=2048000, episodic return=1012.2555541992188\n", + "global step=2048000, episodic return=1033.91796875\n", + "global step=2048000, episodic return=1014.907470703125\n", + "global step=2048000, episodic return=1007.248046875\n", + "global step=2048000, episodic return=1057.942138671875\n", + "global step=2048000, episodic return=1003.9491577148438\n", + "global step=2048000, episodic return=1028.13037109375\n", + "global step=2048000, episodic return=1050.393310546875\n", + "global step=2048000, episodic return=1042.1302490234375\n", + "global step=2048000, episodic return=1039.9091796875\n", + "global step=2048000, episodic return=1027.517333984375\n", + "global step=2048000, episodic return=1040.4788818359375\n", + "global step=2048000, episodic return=1022.8876953125\n", + "global step=2048000, episodic return=1019.2396240234375\n", + "global step=2048000, episodic return=1027.7288818359375\n", + "global step=2048000, episodic return=1024.98779296875\n", + "global step=2048000, episodic return=1023.2776489257812\n", + "global step=2048000, episodic return=1016.587158203125\n", + "global step=2048000, episodic return=1013.6019897460938\n", + "global step=2048000, episodic return=1012.9352416992188\n", + "global step=2048000, episodic return=1036.842041015625\n", + "global step=2048000, episodic return=1034.377197265625\n", + "global step=2048000, episodic return=1024.360107421875\n", + "global step=2048000, episodic return=1018.3927001953125\n", + "global step=2048000, episodic return=1030.6337890625\n", + "global step=2048000, episodic return=1031.423828125\n", + "global step=2048000, episodic return=1017.0599975585938\n", + "global step=2048000, episodic return=1025.375\n", + "global step=2048000, episodic return=1041.5748291015625\n", + "global step=2048000, episodic return=1045.0870361328125\n", + "global step=2048000, episodic return=1020.827392578125\n", + "global step=2048000, episodic return=1044.391357421875\n", + "global step=2048000, episodic return=1034.5401611328125\n", + "global step=2048000, episodic return=1039.653564453125\n", + "global step=2048000, episodic return=1022.419921875\n", + "global step=2048000, episodic return=1038.4112548828125\n", + "global step=2048000, episodic return=1021.9891357421875\n", + "global step=2048000, episodic return=1046.935546875\n", + "global step=2048000, episodic return=1021.5162963867188\n", + "global step=2048000, episodic return=1031.8297119140625\n", + "global step=2048000, episodic return=1014.2574462890625\n", + "global step=2048000, episodic return=1040.460693359375\n", + "global step=2048000, episodic return=1005.7779541015625\n", + "global step=2048000, episodic return=1030.05322265625\n", + "global step=2048000, episodic return=1029.799072265625\n", + "global step=2048000, episodic return=1028.4727783203125\n", + "global step=2048000, episodic return=1022.3139038085938\n", + "global step=2048000, episodic return=1027.9024658203125\n", + "global step=2048000, episodic return=1022.2620239257812\n", + "global step=2048000, episodic return=1034.4527587890625\n", + "global step=2048000, episodic return=1043.61474609375\n", + "global step=2048000, episodic return=1041.0364990234375\n", + "global step=2048000, episodic return=1054.1014404296875\n", + "global step=2048000, episodic return=1025.3572998046875\n", + "global step=2048000, episodic return=1044.624267578125\n", + "global step=2048000, episodic return=1024.5037841796875\n", + "global step=2048000, episodic return=1016.9003295898438\n", + "global step=2048000, episodic return=1014.2346801757812\n", + "global step=2048000, episodic return=1041.85107421875\n", + "global step=2048000, episodic return=1019.2884521484375\n", + "global step=2048000, episodic return=1019.8187255859375\n", + "global step=2048000, episodic return=1014.8013916015625\n", + "global step=2048000, episodic return=1039.312255859375\n", + "global step=2048000, episodic return=1028.7574462890625\n", + "global step=2048000, episodic return=1019.7669067382812\n", + "global step=2048000, episodic return=1004.6323852539062\n", + "global step=2048000, episodic return=1030.212646484375\n", + "global step=2048000, episodic return=1031.0220947265625\n", + "global step=2048000, episodic return=1028.546142578125\n", + "global step=2048000, episodic return=1030.9244384765625\n", + "global step=2048000, episodic return=1038.760986328125\n", + "global step=2048000, episodic return=1038.4097900390625\n", + "global step=2048000, episodic return=1028.6650390625\n", + "global step=2048000, episodic return=1008.0825805664062\n", + "global step=2048000, episodic return=1009.371826171875\n", + "global step=2048000, episodic return=1039.25048828125\n", + "global step=2048000, episodic return=1031.6925048828125\n", + "global step=2048000, episodic return=1032.14892578125\n", + "global step=2048000, episodic return=1024.409423828125\n", + "global step=2048000, episodic return=1027.4058837890625\n", + "global step=2048000, episodic return=1033.218505859375\n", + "global step=2048000, episodic return=1013.4884643554688\n", + "global step=2048000, episodic return=1014.7542114257812\n", + "global step=2048000, episodic return=1029.4810791015625\n", + "global step=2048000, episodic return=1021.7891235351562\n", + "global step=2048000, episodic return=1014.8757934570312\n", + "global step=2048000, episodic return=1045.9769287109375\n", + "global step=2048000, episodic return=1041.26220703125\n", + "global step=2048000, episodic return=1015.969970703125\n", + "global step=2048000, episodic return=1031.0806884765625\n", + "global step=2048000, episodic return=1034.8416748046875\n", + "global step=2048000, episodic return=1035.4013671875\n", + "global step=2048000, episodic return=1054.731689453125\n", + "global step=2048000, episodic return=1028.85693359375\n", + "global step=2048000, episodic return=1040.1964111328125\n", + "global step=2048000, episodic return=1052.9200439453125\n", + "global step=2048000, episodic return=1010.7454223632812\n", + "global step=2048000, episodic return=1016.360107421875\n", + "global step=2048000, episodic return=1035.7467041015625\n", + "global step=2048000, episodic return=1024.9495849609375\n", + "global step=2048000, episodic return=1025.221435546875\n", + "global step=2048000, episodic return=1047.385986328125\n", + "global step=2048000, episodic return=1014.1383056640625\n", + "global step=2048000, episodic return=1032.821533203125\n", + "global step=2048000, episodic return=1023.8839111328125\n", + "global step=2048000, episodic return=1042.5936279296875\n", + "global step=2048000, episodic return=1024.0694580078125\n", + "global step=2048000, episodic return=1028.4942626953125\n", + "global step=2048000, episodic return=1015.8202514648438\n", + "global step=2048000, episodic return=1021.1996459960938\n", + "global step=2048000, episodic return=1011.1788940429688\n", + "global step=2048000, episodic return=1025.272705078125\n", + "global step=2048000, episodic return=1029.324462890625\n", + "global step=2048000, episodic return=1014.6549072265625\n", + "global step=2048000, episodic return=1048.8603515625\n", + "global step=2048000, episodic return=1045.1396484375\n", + "global step=2048000, episodic return=1020.6168212890625\n", + "global step=2048000, episodic return=1034.54443359375\n", + "global step=2048000, episodic return=1011.6911010742188\n", + "global step=2048000, episodic return=1015.1072387695312\n", + "global step=2048000, episodic return=1028.3843994140625\n", + "global step=2048000, episodic return=1037.4112548828125\n", + "global step=2048000, episodic return=1018.1229858398438\n", + "global step=2048000, episodic return=1017.8773193359375\n", + "global step=2048000, episodic return=1054.53125\n", + "global step=2048000, episodic return=1031.101318359375\n", + "global step=2048000, episodic return=1041.0284423828125\n", + "global step=2048000, episodic return=1025.752197265625\n", + "global step=2048000, episodic return=1033.25048828125\n", + "global step=2048000, episodic return=1052.8829345703125\n", + "global step=2048000, episodic return=1040.9276123046875\n", + "global step=2048000, episodic return=1039.7508544921875\n", + "global step=2048000, episodic return=1030.4271240234375\n", + "global step=2048000, episodic return=1018.45361328125\n", + "global step=2048000, episodic return=1042.7388916015625\n", + "global step=2048000, episodic return=1047.8857421875\n", + "global step=2048000, episodic return=1027.1177978515625\n", + "global step=2048000, episodic return=1022.7556762695312\n", + "global step=2048000, episodic return=1040.0086669921875\n", + "global step=2048000, episodic return=1015.83447265625\n", + "global step=2048000, episodic return=1043.6192626953125\n", + "global step=2048000, episodic return=1042.6177978515625\n", + "global step=2048000, episodic return=1011.2184448242188\n", + "global step=2048000, episodic return=1015.1498413085938\n", + "global step=2048000, episodic return=1028.0556640625\n", + "global step=2048000, episodic return=1027.9205322265625\n", + "global step=2048000, episodic return=1021.0125732421875\n", + "global step=2048000, episodic return=1046.8729248046875\n", + "global step=2048000, episodic return=1024.9129638671875\n", + "global step=2048000, episodic return=1036.6240234375\n", + "global step=2048000, episodic return=1045.54248046875\n", + "global step=2048000, episodic return=1046.7493896484375\n", + "global step=2048000, episodic return=1032.355224609375\n", + "global step=2048000, episodic return=1027.7652587890625\n", + "global step=2048000, episodic return=1039.3768310546875\n", + "global step=2048000, episodic return=1006.6292724609375\n", + "global step=2048000, episodic return=1007.2258911132812\n", + "global step=2048000, episodic return=1028.2816162109375\n", + "global step=2048000, episodic return=1030.802734375\n", + "global step=2048000, episodic return=1016.7057495117188\n", + "global step=2048000, episodic return=1043.886962890625\n", + "global step=2048000, episodic return=1028.100830078125\n", + "global step=2048000, episodic return=1039.78564453125\n", + "global step=2048000, episodic return=1026.0623779296875\n", + "global step=2048000, episodic return=1015.5629272460938\n", + "global step=2048000, episodic return=1024.9375\n", + "global step=2048000, episodic return=1029.302001953125\n", + "global step=2048000, episodic return=1017.0089111328125\n", + "global step=2048000, episodic return=1024.653076171875\n", + "global step=2048000, episodic return=1028.2230224609375\n", + "global step=2048000, episodic return=1029.72021484375\n", + "global step=2048000, episodic return=1052.5513916015625\n", + "global step=2048000, episodic return=1002.942626953125\n", + "global step=2048000, episodic return=1049.49169921875\n", + "global step=2048000, episodic return=1023.1551513671875\n", + "global step=2048000, episodic return=1032.4654541015625\n", + "global step=2048000, episodic return=1030.1265869140625\n", + "global step=2048000, episodic return=1016.8492431640625\n", + "global step=2048000, episodic return=1040.8773193359375\n", + "global step=2048000, episodic return=1035.0125732421875\n", + "global step=2048000, episodic return=1048.3709716796875\n", + "global step=2048000, episodic return=1031.6864013671875\n", + "global step=2048000, episodic return=1028.4605712890625\n", + "global step=2048000, episodic return=1028.67578125\n", + "global step=2048000, episodic return=1040.04931640625\n", + "global step=2048000, episodic return=1048.53466796875\n", + "global step=2048000, episodic return=1029.5687255859375\n", + "global step=2048000, episodic return=1045.205322265625\n", + "global step=2048000, episodic return=1039.190185546875\n", + "global step=2048000, episodic return=1029.6761474609375\n", + "global step=2048000, episodic return=1044.7119140625\n", + "global step=2048000, episodic return=1020.5792846679688\n", + "global step=2048000, episodic return=1029.723876953125\n", + "global step=2048000, episodic return=1021.8641967773438\n", + "global step=2048000, episodic return=1025.51611328125\n", + "global step=2048000, episodic return=1045.651123046875\n", + "global step=2048000, episodic return=1039.3319091796875\n", + "global step=2048000, episodic return=1022.064697265625\n", + "global step=2048000, episodic return=1023.1879272460938\n", + "global step=2048000, episodic return=1020.7571411132812\n", + "global step=2048000, episodic return=1031.943115234375\n", + "global step=2048000, episodic return=1027.4517822265625\n", + "global step=2048000, episodic return=1024.8802490234375\n", + "global step=2048000, episodic return=1032.2216796875\n", + "global step=2048000, episodic return=1062.992431640625\n", + "global step=2048000, episodic return=1035.0263671875\n", + "global step=2048000, episodic return=1014.29248046875\n", + "global step=2048000, episodic return=1022.1842041015625\n", + "global step=2048000, episodic return=1000.8789672851562\n", + "global step=2048000, episodic return=1033.140869140625\n", + "global step=2048000, episodic return=1016.9420166015625\n", + "global step=2048000, episodic return=1030.9959716796875\n", + "global step=2048000, episodic return=1011.0826416015625\n", + "global step=2048000, episodic return=1023.509521484375\n", + "global step=2048000, episodic return=1014.2855224609375\n", + "global step=2048000, episodic return=1026.980712890625\n", + "global step=2048000, episodic return=1032.2034912109375\n", + "global step=2048000, episodic return=1002.6963500976562\n", + "global step=2048000, episodic return=1011.9607543945312\n", + "global step=2048000, episodic return=1031.7403564453125\n", + "global step=2048000, episodic return=1030.947021484375\n", + "global step=2048000, episodic return=1038.6990966796875\n", + "global step=2048000, episodic return=1029.2301025390625\n", + "global step=2048000, episodic return=1012.9022827148438\n", + "global step=2048000, episodic return=1024.337158203125\n", + "global step=2048000, episodic return=1018.3059692382812\n", + "global step=2048000, episodic return=1035.844482421875\n", + "global step=2048000, episodic return=1028.10302734375\n", + "global step=2048000, episodic return=1044.0211181640625\n", + "global step=2048000, episodic return=1024.653564453125\n", + "global step=2048000, episodic return=1025.888427734375\n", + "global step=2048000, episodic return=1022.8751220703125\n", + "global step=2048000, episodic return=996.308349609375\n", + "global step=2048000, episodic return=1020.0599365234375\n", + "global step=2048000, episodic return=1039.79638671875\n", + "global step=2048000, episodic return=1043.5732421875\n", + "global step=2048000, episodic return=1021.2461547851562\n", + "global step=2048000, episodic return=1039.0191650390625\n", + "global step=2048000, episodic return=1011.4177856445312\n", + "global step=2048000, episodic return=1036.7574462890625\n", + "global step=2048000, episodic return=1024.5899658203125\n", + "global step=2048000, episodic return=1038.2086181640625\n", + "global step=2048000, episodic return=1034.507080078125\n", + "global step=2048000, episodic return=1051.39208984375\n", + "global step=2048000, episodic return=1050.875732421875\n", + "global step=2048000, episodic return=1027.862548828125\n", + "global step=2048000, episodic return=1031.51806640625\n", + "global step=2048000, episodic return=1043.46533203125\n", + "global step=2048000, episodic return=1029.9793701171875\n", + "global step=2048000, episodic return=1028.248046875\n", + "global step=2048000, episodic return=1042.951171875\n", + "global step=2048000, episodic return=1033.3631591796875\n", + "global step=2048000, episodic return=1029.401611328125\n", + "global step=2048000, episodic return=1030.1014404296875\n", + "global step=2048000, episodic return=1024.13671875\n", + "global step=2048000, episodic return=1020.3239135742188\n", + "global step=2048000, episodic return=1025.8238525390625\n", + "global step=2048000, episodic return=1028.4444580078125\n", + "global step=2048000, episodic return=1062.335693359375\n", + "global step=2048000, episodic return=1007.4887084960938\n", + "global step=2048000, episodic return=1034.572509765625\n", + "global step=2048000, episodic return=1046.72607421875\n", + "global step=2048000, episodic return=1036.4393310546875\n", + "global step=2048000, episodic return=1015.0343017578125\n", + "global step=2048000, episodic return=1021.9573974609375\n", + "global step=2048000, episodic return=1022.089111328125\n", + "global step=2048000, episodic return=1028.5455322265625\n", + "global step=2048000, episodic return=1060.8245849609375\n", + "global step=2048000, episodic return=1027.7633056640625\n", + "global step=2048000, episodic return=1045.0438232421875\n", + "global step=2048000, episodic return=1030.2266845703125\n", + "global step=2048000, episodic return=1033.7835693359375\n", + "global step=2048000, episodic return=1017.8609619140625\n", + "global step=2048000, episodic return=1015.094482421875\n", + "global step=2048000, episodic return=1030.165283203125\n", + "global step=2048000, episodic return=1019.0595703125\n", + "global step=2048000, episodic return=1018.5989990234375\n", + "global step=2048000, episodic return=1039.5750732421875\n", + "global step=2048000, episodic return=1012.197265625\n", + "global step=2048000, episodic return=1032.06689453125\n", + "global step=2048000, episodic return=1011.5577392578125\n", + "global step=2048000, episodic return=1031.192138671875\n", + "global step=2048000, episodic return=1051.1007080078125\n", + "global step=2048000, episodic return=1037.4542236328125\n", + "global step=2048000, episodic return=1033.3245849609375\n", + "global step=2048000, episodic return=1031.2138671875\n", + "global step=2048000, episodic return=1040.335693359375\n", + "global step=2048000, episodic return=1047.5028076171875\n", + "global step=2048000, episodic return=1027.8411865234375\n", + "global step=2048000, episodic return=1027.1575927734375\n", + "global step=2048000, episodic return=1025.0352783203125\n", + "global step=2048000, episodic return=1025.677001953125\n", + "global step=2048000, episodic return=1038.848388671875\n", + "global step=2048000, episodic return=1045.054443359375\n", + "global step=2048000, episodic return=1011.9448852539062\n", + "global step=2048000, episodic return=1031.7440185546875\n", + "global step=2048000, episodic return=1040.3043212890625\n", + "global step=2048000, episodic return=1036.672607421875\n", + "global step=2048000, episodic return=1030.951416015625\n", + "global step=2048000, episodic return=1036.5400390625\n", + "global step=2048000, episodic return=1046.1058349609375\n", + "global step=2048000, episodic return=1047.501953125\n", + "global step=2048000, episodic return=1034.026123046875\n", + "global step=2048000, episodic return=1024.770263671875\n", + "global step=2048000, episodic return=1024.35791015625\n", + "global step=2048000, episodic return=1030.6590576171875\n", + "global step=2048000, episodic return=1018.3321533203125\n", + "global step=2048000, episodic return=1039.78759765625\n", + "global step=2048000, episodic return=1040.7623291015625\n", + "global step=2048000, episodic return=1046.21240234375\n", + "global step=2048000, episodic return=1031.7515869140625\n", + "global step=2048000, episodic return=1113.0052490234375\n", + "global step=2048000, episodic return=1030.2183837890625\n", + "global step=2048000, episodic return=999.5693969726562\n", + "global step=2048000, episodic return=1049.8773193359375\n", + "global step=2048000, episodic return=1052.042236328125\n", + "global step=2048000, episodic return=1044.348876953125\n", + "global step=2048000, episodic return=1043.8131103515625\n", + "global step=2048000, episodic return=1039.659423828125\n", + "global step=2048000, episodic return=1013.5592041015625\n", + "global step=2048000, episodic return=1003.0576171875\n", + "global step=2048000, episodic return=997.429931640625\n", + "global step=2048000, episodic return=1030.04931640625\n", + "global step=2048000, episodic return=1050.1741943359375\n", + "global step=2048000, episodic return=1025.3548583984375\n", + "global step=2048000, episodic return=1046.73583984375\n", + "global step=2048000, episodic return=1049.068359375\n", + "global step=2048000, episodic return=1015.9710693359375\n", + "global step=2048000, episodic return=1025.7049560546875\n", + "global step=2048000, episodic return=1028.164306640625\n", + "global step=2048000, episodic return=1042.005126953125\n", + "global step=2048000, episodic return=1023.0399169921875\n", + "global step=2048000, episodic return=1030.6517333984375\n", + "global step=2048000, episodic return=1022.9716186523438\n", + "global step=2048000, episodic return=1029.9754638671875\n", + "global step=2048000, episodic return=1040.03857421875\n", + "global step=2048000, episodic return=1047.2930908203125\n", + "global step=2048000, episodic return=1038.2974853515625\n", + "global step=2048000, episodic return=1019.552734375\n", + "global step=2048000, episodic return=1033.330078125\n", + "global step=2048000, episodic return=1041.3184814453125\n", + "global step=2048000, episodic return=1031.217041015625\n", + "global step=2048000, episodic return=1039.6512451171875\n", + "global step=2048000, episodic return=1060.8553466796875\n", + "global step=2048000, episodic return=1047.313232421875\n", + "global step=2048000, episodic return=1040.0552978515625\n", + "global step=2048000, episodic return=1033.6475830078125\n", + "global step=2048000, episodic return=1023.1957397460938\n", + "global step=2048000, episodic return=1023.19970703125\n", + "global step=2048000, episodic return=1032.1204833984375\n", + "global step=2048000, episodic return=1022.4774169921875\n", + "global step=2048000, episodic return=1035.37939453125\n", + "global step=2048000, episodic return=1012.3343505859375\n", + "global step=2048000, episodic return=1036.54833984375\n", + "global step=2048000, episodic return=1049.702392578125\n", + "global step=2048000, episodic return=1037.117919921875\n", + "global step=2048000, episodic return=1035.64111328125\n", + "global step=2048000, episodic return=1033.83544921875\n", + "global step=2048000, episodic return=1000.8984375\n", + "global step=2048000, episodic return=1028.38427734375\n", + "global step=2048000, episodic return=1017.9998168945312\n", + "global step=2048000, episodic return=1013.5792236328125\n", + "global step=2048000, episodic return=1015.990478515625\n", + "global step=2048000, episodic return=1032.130859375\n", + "global step=2048000, episodic return=1031.4114990234375\n", + "global step=2048000, episodic return=1019.7971801757812\n", + "global step=2048000, episodic return=1012.3902587890625\n", + "global step=2048000, episodic return=1022.2589111328125\n", + "global step=2048000, episodic return=1046.4871826171875\n", + "global step=2048000, episodic return=1038.9200439453125\n", + "global step=2048000, episodic return=1034.6895751953125\n", + "global step=2048000, episodic return=1049.1583251953125\n", + "global step=2048000, episodic return=1009.282958984375\n", + "global step=2048000, episodic return=1033.5787353515625\n", + "global step=2048000, episodic return=1028.189453125\n", + "global step=2048000, episodic return=1016.5\n", + "global step=2048000, episodic return=1028.47265625\n", + "global step=2048000, episodic return=1035.299560546875\n", + "global step=2048000, episodic return=1043.1729736328125\n", + "global step=2048000, episodic return=1036.8148193359375\n", + "global step=2048000, episodic return=1018.994140625\n", + "global step=2048000, episodic return=1052.9012451171875\n", + "global step=2048000, episodic return=1024.985107421875\n", + "global step=2048000, episodic return=1016.513671875\n", + "global step=2048000, episodic return=1068.93603515625\n", + "global step=2048000, episodic return=1040.8072509765625\n", + "global step=2048000, episodic return=1043.72314453125\n", + "global step=2048000, episodic return=1029.8072509765625\n", + "global step=2048000, episodic return=1054.68359375\n", + "global step=2048000, episodic return=1028.176513671875\n", + "global step=2048000, episodic return=1050.030029296875\n", + "global step=2048000, episodic return=1013.9064331054688\n", + "global step=2048000, episodic return=1042.5501708984375\n", + "global step=2048000, episodic return=1046.067626953125\n", + "global step=2048000, episodic return=1030.74609375\n", + "global step=2048000, episodic return=1034.630126953125\n", + "global step=2048000, episodic return=1040.05517578125\n", + "global step=2048000, episodic return=1018.2348022460938\n", + "global step=2048000, episodic return=1032.8843994140625\n", + "global step=2048000, episodic return=1045.9417724609375\n", + "global step=2048000, episodic return=1022.5275268554688\n", + "global step=2048000, episodic return=1052.1014404296875\n", + "global step=2048000, episodic return=1035.5130615234375\n", + "global step=2048000, episodic return=1026.363037109375\n", + "global step=2048000, episodic return=1029.6119384765625\n", + "global step=2048000, episodic return=1021.3391723632812\n", + "global step=2048000, episodic return=1015.7904052734375\n", + "global step=2048000, episodic return=1023.2684326171875\n", + "global step=2048000, episodic return=1038.1759033203125\n", + "global step=2048000, episodic return=1027.0118408203125\n", + "global step=2048000, episodic return=1002.5174560546875\n", + "global step=2048000, episodic return=1031.415771484375\n", + "global step=2048000, episodic return=1020.4403686523438\n", + "global step=2048000, episodic return=1008.7465209960938\n", + "global step=2048000, episodic return=1010.9641723632812\n", + "global step=2048000, episodic return=1040.1505126953125\n", + "global step=2048000, episodic return=1026.3199462890625\n", + "global step=2048000, episodic return=1029.379638671875\n", + "global step=2048000, episodic return=1034.0367431640625\n", + "global step=2048000, episodic return=1020.9532470703125\n", + "global step=2048000, episodic return=1032.743408203125\n", + "global step=2048000, episodic return=1028.57470703125\n", + "global step=2048000, episodic return=1033.2032470703125\n", + "global step=2048000, episodic return=1043.6434326171875\n", + "global step=2048000, episodic return=1025.612060546875\n", + "global step=2048000, episodic return=1025.05615234375\n", + "global step=2048000, episodic return=1016.4984741210938\n", + "global step=2048000, episodic return=1013.6614990234375\n", + "global step=2048000, episodic return=1018.12548828125\n", + "global step=2048000, episodic return=1010.555419921875\n", + "global step=2048000, episodic return=1013.724609375\n", + "global step=2048000, episodic return=1035.1600341796875\n", + "global step=2048000, episodic return=1036.5758056640625\n", + "global step=2048000, episodic return=1055.9678955078125\n", + "global step=2048000, episodic return=1038.6650390625\n", + "global step=2048000, episodic return=1032.191650390625\n", + "global step=2048000, episodic return=1033.1077880859375\n", + "global step=2048000, episodic return=1035.4556884765625\n", + "global step=2048000, episodic return=1028.7052001953125\n", + "global step=2048000, episodic return=1016.7550659179688\n", + "global step=2048000, episodic return=1049.6329345703125\n", + "global step=2048000, episodic return=1009.3404541015625\n", + "global step=2048000, episodic return=1033.5970458984375\n", + "global step=2048000, episodic return=1012.792236328125\n", + "global step=2048000, episodic return=1006.4803466796875\n", + "global step=2048000, episodic return=1019.9171752929688\n", + "global step=2048000, episodic return=1028.1810302734375\n", + "global step=2048000, episodic return=1030.356689453125\n", + "global step=2048000, episodic return=1034.58056640625\n", + "global step=2048000, episodic return=1035.918212890625\n", + "global step=2048000, episodic return=1022.9769287109375\n", + "global step=2048000, episodic return=1047.1781005859375\n", + "global step=2048000, episodic return=1045.1744384765625\n", + "global step=2048000, episodic return=1023.3671875\n", + "global step=2048000, episodic return=1038.084228515625\n", + "global step=2048000, episodic return=1046.552734375\n", + "global step=2048000, episodic return=1025.7298583984375\n", + "global step=2048000, episodic return=1043.3082275390625\n", + "global step=2048000, episodic return=1023.5816650390625\n", + "global step=2048000, episodic return=1031.31103515625\n", + "global step=2048000, episodic return=1020.9196166992188\n", + "global step=2048000, episodic return=1047.7928466796875\n", + "global step=2048000, episodic return=1029.4522705078125\n", + "global step=2048000, episodic return=1036.4527587890625\n", + "global step=2048000, episodic return=1027.1082763671875\n", + "global step=2048000, episodic return=1029.7269287109375\n", + "global step=2048000, episodic return=1017.6473999023438\n", + "global step=2048000, episodic return=1028.480224609375\n", + "global step=2048000, episodic return=1002.1510620117188\n", + "global step=2048000, episodic return=1022.0447998046875\n", + "global step=2048000, episodic return=1030.8514404296875\n", + "global step=2048000, episodic return=1015.0498046875\n", + "global step=2048000, episodic return=1019.8175659179688\n", + "global step=2048000, episodic return=1038.1839599609375\n", + "global step=2048000, episodic return=1005.3082275390625\n", + "global step=2048000, episodic return=1042.091796875\n", + "global step=2048000, episodic return=1029.4310302734375\n", + "global step=2048000, episodic return=1019.3051147460938\n", + "global step=2048000, episodic return=1021.2608642578125\n", + "global step=2048000, episodic return=1029.65283203125\n", + "global step=2048000, episodic return=1025.585693359375\n", + "global step=2048000, episodic return=1039.12646484375\n", + "global step=2048000, episodic return=1034.80859375\n", + "global step=2048000, episodic return=1023.2042846679688\n", + "global step=2048000, episodic return=1014.8534545898438\n", + "global step=2048000, episodic return=1027.6009521484375\n", + "global step=2048000, episodic return=1041.9317626953125\n", + "global step=2048000, episodic return=1019.7517700195312\n", + "global step=2048000, episodic return=1042.3533935546875\n", + "global step=2048000, episodic return=1052.31396484375\n", + "global step=2048000, episodic return=1043.8388671875\n", + "global step=2048000, episodic return=1049.587158203125\n", + "global step=2048000, episodic return=1036.782958984375\n", + "global step=2048000, episodic return=1046.4267578125\n", + "global step=2048000, episodic return=1024.5113525390625\n", + "global step=2048000, episodic return=1031.4898681640625\n", + "global step=2048000, episodic return=1013.0260009765625\n", + "global step=2048000, episodic return=1002.8916015625\n", + "global step=2048000, episodic return=1028.16015625\n", + "global step=2048000, episodic return=1034.1669921875\n", + "global step=2048000, episodic return=1027.60107421875\n", + "global step=2048000, episodic return=1021.383544921875\n", + "global step=2048000, episodic return=1013.0892944335938\n", + "global step=2048000, episodic return=1009.02294921875\n", + "global step=2048000, episodic return=1026.921875\n", + "global step=2048000, episodic return=1042.3258056640625\n", + "global step=2048000, episodic return=1018.1812133789062\n", + "global step=2048000, episodic return=1037.5684814453125\n", + "global step=2048000, episodic return=1019.0239868164062\n", + "global step=2048000, episodic return=1020.5372314453125\n", + "global step=2048000, episodic return=1036.8206787109375\n", + "global step=2048000, episodic return=1030.3912353515625\n", + "global step=2048000, episodic return=1018.6004028320312\n", + "global step=2048000, episodic return=1028.2833251953125\n", + "global step=2048000, episodic return=1028.406005859375\n", + "global step=2048000, episodic return=1010.8723754882812\n", + "global step=2048000, episodic return=1023.0993041992188\n", + "global step=2048000, episodic return=1005.3712158203125\n", + "global step=2048000, episodic return=1039.752197265625\n", + "global step=2048000, episodic return=1013.0828857421875\n", + "global step=2048000, episodic return=1019.736083984375\n", + "global step=2048000, episodic return=1033.057861328125\n", + "global step=2048000, episodic return=1041.853515625\n", + "global step=2048000, episodic return=1030.484130859375\n", + "global step=2048000, episodic return=1043.2799072265625\n", + "global step=2048000, episodic return=1022.5460205078125\n", + "global step=2048000, episodic return=1042.7569580078125\n", + "global step=2048000, episodic return=1016.8858642578125\n", + "global step=2048000, episodic return=1020.0014038085938\n", + "global step=2048000, episodic return=1033.9794921875\n", + "global step=2048000, episodic return=1039.9759521484375\n", + "global step=2048000, episodic return=1033.6895751953125\n", + "global step=2048000, episodic return=1022.5433959960938\n", + "global step=2048000, episodic return=1052.6173095703125\n", + "global step=2048000, episodic return=1039.977294921875\n", + "global step=2048000, episodic return=1028.275634765625\n", + "global step=2048000, episodic return=1017.0879516601562\n", + "global step=2048000, episodic return=1012.7290649414062\n", + "global step=2048000, episodic return=1049.3956298828125\n", + "global step=2048000, episodic return=1009.8011474609375\n", + "global step=2048000, episodic return=1038.9375\n", + "global step=2048000, episodic return=1043.671630859375\n", + "global step=2048000, episodic return=1041.5946044921875\n", + "global step=2048000, episodic return=1019.2861938476562\n", + "global step=2048000, episodic return=1037.5091552734375\n", + "global step=2048000, episodic return=1018.1738891601562\n", + "global step=2048000, episodic return=1019.0159301757812\n", + "global step=2048000, episodic return=1045.457275390625\n", + "global step=2048000, episodic return=1008.2002563476562\n", + "global step=2048000, episodic return=1021.5588989257812\n", + "global step=2048000, episodic return=1030.1590576171875\n", + "global step=2048000, episodic return=1019.365478515625\n", + "global step=2048000, episodic return=1024.9576416015625\n", + "global step=2048000, episodic return=1023.5287475585938\n", + "global step=2048000, episodic return=1036.1209716796875\n", + "global step=2048000, episodic return=1005.0379028320312\n", + "global step=2048000, episodic return=1043.0462646484375\n", + "global step=2048000, episodic return=1025.6866455078125\n", + "global step=2048000, episodic return=1043.843017578125\n", + "global step=2048000, episodic return=1039.527587890625\n", + "global step=2048000, episodic return=1023.6970825195312\n", + "global step=2048000, episodic return=1037.3282470703125\n", + "global step=2048000, episodic return=1014.0386962890625\n", + "global step=2048000, episodic return=1031.950439453125\n", + "global step=2048000, episodic return=1015.9756469726562\n", + "global step=2048000, episodic return=1030.3245849609375\n", + "global step=2048000, episodic return=1027.4232177734375\n", + "global step=2048000, episodic return=1041.0972900390625\n", + "global step=2048000, episodic return=1006.5225219726562\n", + "global step=2048000, episodic return=1037.5277099609375\n", + "global step=2048000, episodic return=1036.2314453125\n", + "global step=2048000, episodic return=1041.645751953125\n", + "global step=2048000, episodic return=1027.9166259765625\n", + "global step=2048000, episodic return=1042.3173828125\n", + "global step=2048000, episodic return=1009.0946044921875\n", + "global step=2048000, episodic return=1017.3466796875\n", + "global step=2048000, episodic return=1039.318115234375\n", + "global step=2048000, episodic return=1059.1544189453125\n", + "global step=2048000, episodic return=1040.4898681640625\n", + "global step=2048000, episodic return=1015.2955322265625\n", + "global step=2048000, episodic return=1051.265625\n", + "global step=2048000, episodic return=1036.4224853515625\n", + "global step=2048000, episodic return=1030.2158203125\n", + "global step=2048000, episodic return=1024.6458740234375\n", + "global step=2048000, episodic return=1057.0330810546875\n", + "global step=2048000, episodic return=1039.8365478515625\n", + "global step=2048000, episodic return=1043.588623046875\n", + "global step=2048000, episodic return=1028.599853515625\n", + "global step=2048000, episodic return=1011.123291015625\n", + "global step=2048000, episodic return=1036.4642333984375\n", + "global step=2048000, episodic return=1035.64990234375\n", + "global step=2048000, episodic return=1018.6055297851562\n", + "global step=2048000, episodic return=1034.50732421875\n", + "global step=2048000, episodic return=1055.15234375\n", + "global step=2048000, episodic return=1037.3551025390625\n", + "global step=2048000, episodic return=1042.6492919921875\n", + "global step=2048000, episodic return=1028.6214599609375\n", + "global step=2048000, episodic return=1017.0029907226562\n", + "global step=2048000, episodic return=1016.128173828125\n", + "global step=2048000, episodic return=1028.16357421875\n", + "global step=2048000, episodic return=1035.2039794921875\n", + "global step=2048000, episodic return=1017.8744506835938\n", + "global step=2048000, episodic return=1026.2340087890625\n", + "global step=2048000, episodic return=1015.6134643554688\n", + "global step=2048000, episodic return=1013.3854370117188\n", + "global step=2048000, episodic return=1032.335693359375\n", + "global step=2048000, episodic return=1032.419921875\n", + "global step=2048000, episodic return=1033.3892822265625\n", + "global step=2048000, episodic return=1004.7166137695312\n", + "global step=2048000, episodic return=1049.9559326171875\n", + "global step=2048000, episodic return=1033.04541015625\n", + "global step=2048000, episodic return=1022.1445922851562\n", + "global step=2048000, episodic return=1019.8236083984375\n", + "global step=2048000, episodic return=1017.5650634765625\n", + "global step=2048000, episodic return=1014.8324584960938\n", + "global step=2048000, episodic return=1036.459716796875\n", + "global step=2048000, episodic return=1036.8067626953125\n", + "global step=2048000, episodic return=1015.84423828125\n", + "global step=2048000, episodic return=1049.2628173828125\n", + "global step=2048000, episodic return=1045.22509765625\n", + "global step=2048000, episodic return=1006.5206909179688\n", + "global step=2048000, episodic return=1026.717529296875\n", + "global step=2048000, episodic return=995.6322631835938\n", + "global step=2048000, episodic return=1023.6485595703125\n", + "global step=2048000, episodic return=1022.9662475585938\n", + "global step=2048000, episodic return=1029.794677734375\n", + "global step=2048000, episodic return=1046.58447265625\n", + "global step=2048000, episodic return=1021.621826171875\n", + "global step=2048000, episodic return=1029.911376953125\n", + "global step=2048000, episodic return=1050.7557373046875\n", + "global step=2048000, episodic return=1037.635009765625\n", + "global step=2048000, episodic return=1006.0011596679688\n", + "global step=2048000, episodic return=1035.798828125\n", + "global step=2048000, episodic return=1018.7984619140625\n", + "global step=2048000, episodic return=1021.8184814453125\n", + "global step=2048000, episodic return=1019.9834594726562\n", + "global step=2048000, episodic return=1035.9091796875\n", + "global step=2048000, episodic return=1016.6674194335938\n", + "global step=2048000, episodic return=1032.4554443359375\n", + "global step=2048000, episodic return=1029.6572265625\n", + "global step=2048000, episodic return=1032.3701171875\n", + "global step=2048000, episodic return=1035.7445068359375\n", + "global step=2048000, episodic return=1043.2822265625\n", + "global step=2048000, episodic return=1021.1996459960938\n", + "global step=2048000, episodic return=1037.1680908203125\n", + "global step=2048000, episodic return=1034.1536865234375\n", + "global step=2048000, episodic return=1000.9147338867188\n", + "global step=2048000, episodic return=1039.1605224609375\n", + "global step=2048000, episodic return=1026.460693359375\n", + "global step=2048000, episodic return=1028.995361328125\n", + "global step=2048000, episodic return=1019.007568359375\n", + "global step=2048000, episodic return=1041.17236328125\n", + "global step=2048000, episodic return=1049.262939453125\n", + "global step=2048000, episodic return=1027.9647216796875\n", + "global step=2048000, episodic return=1040.73974609375\n", + "global step=2048000, episodic return=1034.3685302734375\n", + "global step=2048000, episodic return=1025.9107666015625\n", + "global step=2048000, episodic return=1043.0499267578125\n", + "global step=2048000, episodic return=1032.4075927734375\n", + "global step=2048000, episodic return=1009.6470947265625\n", + "global step=2048000, episodic return=1032.1895751953125\n", + "global step=2048000, episodic return=1011.7528076171875\n", + "global step=2048000, episodic return=1028.9498291015625\n", + "global step=2048000, episodic return=1019.9500732421875\n", + "global step=2048000, episodic return=1011.5365600585938\n", + "global step=2048000, episodic return=1060.4306640625\n", + "global step=2048000, episodic return=1020.7908325195312\n", + "global step=2048000, episodic return=1027.70849609375\n", + "global step=2048000, episodic return=1022.8768920898438\n", + "global step=2048000, episodic return=1025.353759765625\n", + "global step=2048000, episodic return=1031.9674072265625\n", + "global step=2048000, episodic return=1058.16943359375\n", + "global step=2048000, episodic return=1047.5594482421875\n", + "global step=2048000, episodic return=1020.5065307617188\n", + "global step=2048000, episodic return=1014.4794921875\n", + "global step=2048000, episodic return=1048.760986328125\n", + "global step=2048000, episodic return=1007.2857666015625\n", + "global step=2048000, episodic return=1027.5531005859375\n", + "global step=2048000, episodic return=1036.5855712890625\n", + "global step=2048000, episodic return=1036.9261474609375\n", + "global step=2048000, episodic return=1020.0550537109375\n", + "global step=2048000, episodic return=1049.1259765625\n", + "global step=2048000, episodic return=1043.8253173828125\n", + "global step=2048000, episodic return=1036.8118896484375\n", + "global step=2048000, episodic return=1043.0706787109375\n", + "global step=2048000, episodic return=1055.448974609375\n", + "global step=2048000, episodic return=1024.4276123046875\n", + "global step=2048000, episodic return=1024.118408203125\n", + "global step=2048000, episodic return=1018.3014526367188\n", + "global step=2048000, episodic return=1033.28173828125\n", + "global step=2048000, episodic return=1019.7117919921875\n", + "global step=2048000, episodic return=1035.573486328125\n", + "global step=2048000, episodic return=1040.156005859375\n", + "global step=2048000, episodic return=1021.6114501953125\n", + "global step=2048000, episodic return=1038.585693359375\n", + "global step=2048000, episodic return=1029.3759765625\n", + "global step=2048000, episodic return=1030.2652587890625\n", + "global step=2048000, episodic return=1014.2579345703125\n", + "global step=2048000, episodic return=1049.3646240234375\n", + "global step=2048000, episodic return=1047.7646484375\n", + "global step=2048000, episodic return=1100.4932861328125\n", + "global step=2048000, episodic return=1035.1390380859375\n", + "global step=2048000, episodic return=1036.1317138671875\n", + "global step=2048000, episodic return=1048.97998046875\n", + "global step=2048000, episodic return=1013.3826904296875\n", + "global step=2048000, episodic return=1043.960205078125\n", + "global step=2048000, episodic return=1022.2783813476562\n", + "global step=2048000, episodic return=1039.2774658203125\n", + "global step=2048000, episodic return=1022.6731567382812\n", + "global step=2048000, episodic return=1034.96435546875\n", + "global step=2048000, episodic return=1041.7056884765625\n", + "global step=2048000, episodic return=1023.6339721679688\n", + "global step=2048000, episodic return=1025.82080078125\n", + "global step=2048000, episodic return=1019.3723754882812\n", + "global step=2048000, episodic return=1026.412353515625\n", + "global step=2048000, episodic return=1043.4775390625\n", + "global step=2048000, episodic return=1030.2803955078125\n", + "global step=2048000, episodic return=1014.8624877929688\n", + "global step=2048000, episodic return=1035.7467041015625\n", + "global step=2048000, episodic return=1042.19482421875\n", + "global step=2048000, episodic return=1020.1417846679688\n", + "global step=2048000, episodic return=1020.7141723632812\n", + "global step=2048000, episodic return=1011.4778442382812\n", + "global step=2048000, episodic return=1009.7293701171875\n", + "global step=2048000, episodic return=1039.596923828125\n", + "global step=2048000, episodic return=1040.51806640625\n", + "global step=2048000, episodic return=1027.2635498046875\n", + "global step=2048000, episodic return=1035.3870849609375\n", + "global step=2048000, episodic return=1017.7814331054688\n", + "global step=2048000, episodic return=1041.581787109375\n", + "global step=2048000, episodic return=1008.9425659179688\n", + "global step=2048000, episodic return=1022.45703125\n", + "global step=2048000, episodic return=1030.9588623046875\n", + "global step=2048000, episodic return=1020.3936767578125\n", + "global step=2048000, episodic return=1028.38818359375\n", + "global step=2048000, episodic return=1029.466064453125\n", + "global step=2048000, episodic return=1043.9090576171875\n", + "global step=2048000, episodic return=1037.43408203125\n", + "global step=2048000, episodic return=1026.9461669921875\n", + "global step=2048000, episodic return=1037.140625\n", + "global step=2048000, episodic return=1046.82763671875\n", + "global step=2048000, episodic return=1027.6883544921875\n", + "global step=2048000, episodic return=1033.6453857421875\n", + "global step=2048000, episodic return=1030.89501953125\n", + "global step=2048000, episodic return=1049.944091796875\n", + "global step=2048000, episodic return=1034.13671875\n", + "global step=2048000, episodic return=1049.2327880859375\n", + "global step=2048000, episodic return=1047.958740234375\n", + "global step=2048000, episodic return=1048.7484130859375\n", + "global step=2048000, episodic return=1056.0501708984375\n", + "global step=2048000, episodic return=1034.8653564453125\n", + "global step=2048000, episodic return=1017.384521484375\n", + "global step=2048000, episodic return=1015.791015625\n", + "global step=2048000, episodic return=1027.497802734375\n", + "global step=2048000, episodic return=1024.131591796875\n", + "global step=2048000, episodic return=1019.5172729492188\n", + "global step=2048000, episodic return=1035.9478759765625\n", + "global step=2048000, episodic return=1060.266357421875\n", + "global step=2048000, episodic return=1021.9600830078125\n", + "global step=2048000, episodic return=1026.0062255859375\n", + "global step=2048000, episodic return=1032.553466796875\n", + "global step=2048000, episodic return=1003.4039306640625\n", + "global step=2048000, episodic return=1032.76806640625\n", + "global step=2048000, episodic return=1041.233642578125\n", + "global step=2048000, episodic return=1019.652587890625\n", + "global step=2048000, episodic return=1028.1153564453125\n", + "global step=2048000, episodic return=1013.5587768554688\n", + "global step=2048000, episodic return=1010.86865234375\n", + "global step=2048000, episodic return=1038.999267578125\n", + "global step=2048000, episodic return=1053.792236328125\n", + "global step=2048000, episodic return=1016.0324096679688\n", + "global step=2048000, episodic return=1035.050048828125\n", + "global step=2052096, episodic return=672.0957641601562\n", + "global step=2052096, episodic return=604.8873291015625\n", + "global step=2058240, episodic return=624.6603393554688\n", + "global step=2060288, episodic return=624.0088500976562\n", + "global step=2062336, episodic return=537.7216796875\n", + "global step=2062336, episodic return=597.9188232421875\n", + "global step=2066432, episodic return=525.0494384765625\n", + "global step=2066432, episodic return=626.2305297851562\n", + "global step=2068480, episodic return=1028.3653564453125\n", + "global step=2070528, episodic return=1019.9747314453125\n", + "global step=2072576, episodic return=1013.67724609375\n", + "global step=2072576, episodic return=1043.9285888671875\n", + "global step=2072576, episodic return=1023.1376953125\n", + "global step=2072576, episodic return=578.6964721679688\n", + "global step=2074624, episodic return=1043.1563720703125\n", + "global step=2074624, episodic return=1030.722412109375\n", + "global step=2074624, episodic return=1014.7516479492188\n", + "global step=2076672, episodic return=1028.1824951171875\n", + "global step=2076672, episodic return=1032.0908203125\n", + "global step=2076672, episodic return=1019.5709838867188\n", + "global step=2076672, episodic return=1033.12744140625\n", + "global step=2076672, episodic return=639.5026245117188\n", + "global step=2076672, episodic return=1142.0467529296875\n", + "global step=2076672, episodic return=1058.0772705078125\n", + "global step=2076672, episodic return=1048.1236572265625\n", + "global step=2076672, episodic return=1037.561767578125\n", + "global step=2078720, episodic return=1014.9630126953125\n", + "global step=2078720, episodic return=1041.68408203125\n", + "global step=2078720, episodic return=1010.1599731445312\n", + "global step=2078720, episodic return=1027.7652587890625\n", + "global step=2078720, episodic return=1021.7591552734375\n", + "global step=2078720, episodic return=1027.5008544921875\n", + "global step=2078720, episodic return=1027.4730224609375\n", + "global step=2078720, episodic return=1044.889404296875\n", + "global step=2078720, episodic return=1014.1034545898438\n", + "global step=2078720, episodic return=1034.2130126953125\n", + "global step=2078720, episodic return=1009.6487426757812\n", + "global step=2080768, episodic return=1018.71240234375\n", + "global step=2080768, episodic return=1058.4805908203125\n", + "global step=2080768, episodic return=1032.2933349609375\n", + "global step=2080768, episodic return=1043.8385009765625\n", + "global step=2080768, episodic return=1021.1184692382812\n", + "global step=2080768, episodic return=1047.031005859375\n", + "global step=2080768, episodic return=1022.7089233398438\n", + "global step=2080768, episodic return=1041.2564697265625\n", + "global step=2080768, episodic return=1025.22802734375\n", + "global step=2080768, episodic return=1023.8796997070312\n", + "global step=2080768, episodic return=1008.7069091796875\n", + "global step=2080768, episodic return=1045.531494140625\n", + "global step=2080768, episodic return=1031.0279541015625\n", + "global step=2080768, episodic return=1062.5572509765625\n", + "global step=2080768, episodic return=1034.0843505859375\n", + "global step=2080768, episodic return=1022.9163818359375\n", + "global step=2080768, episodic return=1016.7559204101562\n", + "global step=2080768, episodic return=1044.24072265625\n", + "global step=2082816, episodic return=535.6785888671875\n", + "global step=2082816, episodic return=1037.3929443359375\n", + "global step=2082816, episodic return=1046.3636474609375\n", + "global step=2082816, episodic return=1033.564453125\n", + "global step=2082816, episodic return=1056.82470703125\n", + "global step=2082816, episodic return=1053.11572265625\n", + "global step=2082816, episodic return=1032.2501220703125\n", + "global step=2082816, episodic return=1041.7880859375\n", + "global step=2082816, episodic return=1037.168701171875\n", + "global step=2082816, episodic return=1038.2034912109375\n", + "global step=2082816, episodic return=1022.1880493164062\n", + "global step=2082816, episodic return=1032.5885009765625\n", + "global step=2082816, episodic return=1033.4132080078125\n", + "global step=2082816, episodic return=1032.1324462890625\n", + "global step=2082816, episodic return=1028.99072265625\n", + "global step=2082816, episodic return=614.671875\n", + "global step=2082816, episodic return=1026.0006103515625\n", + "global step=2082816, episodic return=1024.5318603515625\n", + "global step=2082816, episodic return=1054.1549072265625\n", + "global step=2082816, episodic return=1025.9661865234375\n", + "global step=2082816, episodic return=1030.29248046875\n", + "global step=2082816, episodic return=1046.7181396484375\n", + "global step=2084864, episodic return=1029.0234375\n", + "global step=2084864, episodic return=1025.8564453125\n", + "global step=2084864, episodic return=1051.23974609375\n", + "global step=2084864, episodic return=1021.3756713867188\n", + "global step=2084864, episodic return=1029.608642578125\n", + "global step=2084864, episodic return=1029.834228515625\n", + "global step=2084864, episodic return=1019.3167724609375\n", + "global step=2084864, episodic return=587.5615234375\n", + "global step=2084864, episodic return=1022.970703125\n", + "global step=2084864, episodic return=1030.3251953125\n", + "global step=2084864, episodic return=1018.2232055664062\n", + "global step=2084864, episodic return=1030.2071533203125\n", + "global step=2084864, episodic return=1035.466064453125\n", + "global step=2084864, episodic return=1014.29736328125\n", + "global step=2084864, episodic return=1026.3187255859375\n", + "global step=2084864, episodic return=1012.7127075195312\n", + "global step=2084864, episodic return=1027.8314208984375\n", + "global step=2084864, episodic return=1030.1160888671875\n", + "global step=2084864, episodic return=1035.8858642578125\n", + "global step=2084864, episodic return=1031.3551025390625\n", + "global step=2084864, episodic return=1006.8142700195312\n", + "global step=2086912, episodic return=1033.066650390625\n", + "global step=2086912, episodic return=1015.0516357421875\n", + "global step=2086912, episodic return=1030.1953125\n", + "global step=2086912, episodic return=1010.6043090820312\n", + "global step=2086912, episodic return=1023.8170166015625\n", + "global step=2086912, episodic return=1030.497314453125\n", + "global step=2086912, episodic return=1033.287841796875\n", + "global step=2086912, episodic return=1034.3226318359375\n", + "global step=2086912, episodic return=1037.9627685546875\n", + "global step=2086912, episodic return=1021.4362182617188\n", + "global step=2086912, episodic return=1032.0325927734375\n", + "global step=2086912, episodic return=1045.4727783203125\n", + "global step=2086912, episodic return=1034.5540771484375\n", + "global step=2086912, episodic return=628.8308715820312\n", + "global step=2086912, episodic return=1033.510986328125\n", + "global step=2086912, episodic return=1035.2646484375\n", + "global step=2086912, episodic return=1033.27294921875\n", + "global step=2086912, episodic return=998.8739624023438\n", + "global step=2086912, episodic return=1037.16943359375\n", + "global step=2088960, episodic return=1026.1268310546875\n", + "global step=2088960, episodic return=1031.4312744140625\n", + "global step=2088960, episodic return=1020.4891967773438\n", + "global step=2088960, episodic return=1020.333740234375\n", + "global step=2088960, episodic return=597.075927734375\n", + "global step=2088960, episodic return=1015.4630737304688\n", + "global step=2088960, episodic return=1048.1292724609375\n", + "global step=2088960, episodic return=599.757080078125\n", + "global step=2088960, episodic return=1036.7056884765625\n", + "global step=2088960, episodic return=1055.5625\n", + "global step=2088960, episodic return=1025.7977294921875\n", + "global step=2088960, episodic return=1038.2523193359375\n", + "global step=2088960, episodic return=1028.959228515625\n", + "global step=2088960, episodic return=1031.9368896484375\n", + "global step=2088960, episodic return=1043.088134765625\n", + "global step=2088960, episodic return=1025.38525390625\n", + "global step=2088960, episodic return=1027.7398681640625\n", + "global step=2088960, episodic return=1025.7314453125\n", + "global step=2088960, episodic return=1026.4984130859375\n", + "global step=2088960, episodic return=1041.313720703125\n", + "global step=2088960, episodic return=1024.442626953125\n", + "global step=2088960, episodic return=1028.9920654296875\n", + "global step=2088960, episodic return=1032.396728515625\n", + "global step=2088960, episodic return=1035.8719482421875\n", + "global step=2088960, episodic return=1051.5833740234375\n", + "global step=2088960, episodic return=1021.279052734375\n", + "global step=2088960, episodic return=1027.5076904296875\n", + "global step=2088960, episodic return=1031.519775390625\n", + "global step=2088960, episodic return=1026.805419921875\n", + "global step=2088960, episodic return=1014.8740234375\n", + "global step=2088960, episodic return=1031.1402587890625\n", + "global step=2088960, episodic return=1044.5125732421875\n", + "global step=2088960, episodic return=1036.0960693359375\n", + "global step=2091008, episodic return=1035.365478515625\n", + "global step=2091008, episodic return=1032.595947265625\n", + "global step=2091008, episodic return=1040.4219970703125\n", + "global step=2091008, episodic return=1026.7784423828125\n", + "global step=2091008, episodic return=587.8270874023438\n", + "global step=2091008, episodic return=1039.4005126953125\n", + "global step=2091008, episodic return=1034.66162109375\n", + "global step=2091008, episodic return=1053.5377197265625\n", + "global step=2091008, episodic return=1018.878662109375\n", + "global step=2091008, episodic return=1024.6951904296875\n", + "global step=2091008, episodic return=1029.906982421875\n", + "global step=2091008, episodic return=1018.77001953125\n", + "global step=2091008, episodic return=1027.5247802734375\n", + "global step=2091008, episodic return=1047.9654541015625\n", + "global step=2091008, episodic return=1017.438720703125\n", + "global step=2091008, episodic return=1027.897705078125\n", + "global step=2091008, episodic return=1029.359375\n", + "global step=2091008, episodic return=1036.7318115234375\n", + "global step=2091008, episodic return=625.020263671875\n", + "global step=2091008, episodic return=1032.7977294921875\n", + "global step=2091008, episodic return=1038.1973876953125\n", + "global step=2091008, episodic return=1010.6343383789062\n", + "global step=2091008, episodic return=1024.0640869140625\n", + "global step=2091008, episodic return=1033.495361328125\n", + "global step=2091008, episodic return=1025.4091796875\n", + "global step=2091008, episodic return=1049.574462890625\n", + "global step=2093056, episodic return=1024.304931640625\n", + "global step=2093056, episodic return=612.0833740234375\n", + "global step=2093056, episodic return=1023.0942993164062\n", + "global step=2093056, episodic return=1041.47119140625\n", + "global step=2093056, episodic return=1031.889404296875\n", + "global step=2093056, episodic return=1036.607666015625\n", + "global step=2093056, episodic return=1044.962646484375\n", + "global step=2093056, episodic return=1003.716796875\n", + "global step=2093056, episodic return=1005.77783203125\n", + "global step=2093056, episodic return=1037.46142578125\n", + "global step=2093056, episodic return=1029.121826171875\n", + "global step=2093056, episodic return=1036.8328857421875\n", + "global step=2093056, episodic return=1012.1768798828125\n", + "global step=2093056, episodic return=1035.8292236328125\n", + "global step=2095104, episodic return=1025.0299072265625\n", + "global step=2095104, episodic return=1049.5877685546875\n", + "global step=2095104, episodic return=1031.075927734375\n", + "global step=2095104, episodic return=1014.5481567382812\n", + "global step=2095104, episodic return=1025.4244384765625\n", + "global step=2095104, episodic return=1024.3931884765625\n", + "global step=2095104, episodic return=1026.3096923828125\n", + "global step=2095104, episodic return=1022.7158203125\n", + "global step=2095104, episodic return=1032.668212890625\n", + "global step=2095104, episodic return=1030.7962646484375\n", + "global step=2095104, episodic return=1015.7479858398438\n", + "global step=2095104, episodic return=1038.2178955078125\n", + "global step=2095104, episodic return=1021.0264892578125\n", + "global step=2095104, episodic return=1031.2203369140625\n", + "global step=2095104, episodic return=1043.4649658203125\n", + "global step=2095104, episodic return=1039.8824462890625\n", + "global step=2095104, episodic return=1025.465576171875\n", + "global step=2095104, episodic return=1028.8052978515625\n", + "global step=2095104, episodic return=1033.4542236328125\n", + "global step=2095104, episodic return=1047.4144287109375\n", + "global step=2095104, episodic return=1039.1453857421875\n", + "global step=2095104, episodic return=1054.361328125\n", + "global step=2095104, episodic return=1026.37353515625\n", + "global step=2097152, episodic return=1029.06982421875\n", + "global step=2097152, episodic return=1037.192138671875\n", + "global step=2097152, episodic return=1022.0177612304688\n", + "global step=2097152, episodic return=1038.6473388671875\n", + "global step=2097152, episodic return=1020.2152099609375\n", + "global step=2097152, episodic return=1003.7821655273438\n", + "global step=2097152, episodic return=1034.6455078125\n", + "global step=2097152, episodic return=1019.88037109375\n", + "global step=2097152, episodic return=1013.041259765625\n", + "global step=2097152, episodic return=1037.394287109375\n", + "global step=2097152, episodic return=1045.62109375\n", + "global step=2097152, episodic return=1040.1966552734375\n", + "global step=2097152, episodic return=1029.2261962890625\n", + "global step=2097152, episodic return=1017.5349731445312\n", + "global step=2097152, episodic return=1026.3946533203125\n", + "global step=2097152, episodic return=1023.2847900390625\n", + "global step=2097152, episodic return=1038.086181640625\n", + "global step=2097152, episodic return=1026.369384765625\n", + "global step=2097152, episodic return=1054.9677734375\n", + "global step=2097152, episodic return=1026.12109375\n", + "global step=2097152, episodic return=1029.29541015625\n", + "global step=2097152, episodic return=1023.9429321289062\n", + "global step=2097152, episodic return=1023.3944702148438\n", + "global step=2099200, episodic return=1056.8919677734375\n", + "global step=2099200, episodic return=529.8118286132812\n", + "global step=2099200, episodic return=1035.46240234375\n", + "global step=2099200, episodic return=1028.257568359375\n", + "global step=2099200, episodic return=1025.3543701171875\n", + "global step=2099200, episodic return=1039.92578125\n", + "global step=2099200, episodic return=1032.542724609375\n", + "global step=2099200, episodic return=1054.05859375\n", + "global step=2099200, episodic return=1053.537353515625\n", + "global step=2099200, episodic return=1034.9739990234375\n", + "global step=2099200, episodic return=1043.826171875\n", + "global step=2099200, episodic return=1011.15087890625\n", + "global step=2099200, episodic return=1017.8131713867188\n", + "global step=2099200, episodic return=1030.6910400390625\n", + "global step=2099200, episodic return=1031.8377685546875\n", + "global step=2099200, episodic return=625.490966796875\n", + "global step=2099200, episodic return=1048.22412109375\n", + "global step=2099200, episodic return=1048.1893310546875\n", + "global step=2099200, episodic return=632.8900146484375\n", + "global step=2099200, episodic return=1031.6458740234375\n", + "global step=2099200, episodic return=1028.1588134765625\n", + "global step=2099200, episodic return=1014.6791381835938\n", + "global step=2099200, episodic return=1037.683837890625\n", + "global step=2101248, episodic return=1046.0897216796875\n", + "global step=2101248, episodic return=1025.6107177734375\n", + "global step=2101248, episodic return=1003.5625\n", + "global step=2101248, episodic return=1016.2471313476562\n", + "global step=2101248, episodic return=1050.9444580078125\n", + "global step=2101248, episodic return=1035.92333984375\n", + "global step=2101248, episodic return=1036.2388916015625\n", + "global step=2101248, episodic return=1018.2158203125\n", + "global step=2101248, episodic return=1042.1029052734375\n", + "global step=2101248, episodic return=1036.7056884765625\n", + "global step=2101248, episodic return=1033.3388671875\n", + "global step=2101248, episodic return=1046.94384765625\n", + "global step=2101248, episodic return=1040.296875\n", + "global step=2101248, episodic return=1031.8353271484375\n", + "global step=2101248, episodic return=1025.7841796875\n", + "global step=2101248, episodic return=1013.6516723632812\n", + "global step=2101248, episodic return=1028.1578369140625\n", + "global step=2101248, episodic return=1029.002197265625\n", + "global step=2101248, episodic return=1018.1718139648438\n", + "global step=2101248, episodic return=1025.4896240234375\n", + "global step=2101248, episodic return=1046.80078125\n", + "global step=2101248, episodic return=1053.0196533203125\n", + "global step=2101248, episodic return=1033.73681640625\n", + "global step=2101248, episodic return=1035.9754638671875\n", + "global step=2101248, episodic return=663.5059814453125\n", + "global step=2101248, episodic return=1027.0819091796875\n", + "global step=2101248, episodic return=1038.255126953125\n", + "global step=2101248, episodic return=1030.3135986328125\n", + "global step=2103296, episodic return=1033.489013671875\n", + "global step=2103296, episodic return=1038.03369140625\n", + "global step=2103296, episodic return=1044.868896484375\n", + "global step=2103296, episodic return=1116.2283935546875\n", + "global step=2103296, episodic return=1004.5618286132812\n", + "global step=2103296, episodic return=1018.1664428710938\n", + "global step=2103296, episodic return=1045.3668212890625\n", + "global step=2103296, episodic return=1033.463623046875\n", + "global step=2103296, episodic return=1047.98779296875\n", + "global step=2103296, episodic return=1015.5369262695312\n", + "global step=2103296, episodic return=1041.7283935546875\n", + "global step=2103296, episodic return=1037.475341796875\n", + "global step=2103296, episodic return=1029.00146484375\n", + "global step=2103296, episodic return=1049.460205078125\n", + "global step=2103296, episodic return=1039.6279296875\n", + "global step=2103296, episodic return=1033.3243408203125\n", + "global step=2103296, episodic return=1023.3222045898438\n", + "global step=2103296, episodic return=1029.2855224609375\n", + "global step=2103296, episodic return=1024.4718017578125\n", + "global step=2105344, episodic return=1033.8782958984375\n", + "global step=2105344, episodic return=1031.5516357421875\n", + "global step=2105344, episodic return=1015.79736328125\n", + "global step=2105344, episodic return=1027.760498046875\n", + "global step=2105344, episodic return=1023.485107421875\n", + "global step=2105344, episodic return=1021.8568725585938\n", + "global step=2105344, episodic return=1027.23583984375\n", + "global step=2105344, episodic return=1043.837158203125\n", + "global step=2105344, episodic return=1038.0751953125\n", + "global step=2105344, episodic return=1019.0943603515625\n", + "global step=2105344, episodic return=1045.9251708984375\n", + "global step=2105344, episodic return=1032.360595703125\n", + "global step=2105344, episodic return=1029.3646240234375\n", + "global step=2105344, episodic return=1052.04248046875\n", + "global step=2105344, episodic return=557.4749145507812\n", + "global step=2105344, episodic return=1024.543212890625\n", + "global step=2105344, episodic return=1033.5177001953125\n", + "global step=2105344, episodic return=1031.2275390625\n", + "global step=2107392, episodic return=1057.6494140625\n", + "global step=2107392, episodic return=1041.8782958984375\n", + "global step=2107392, episodic return=1047.080078125\n", + "global step=2107392, episodic return=1054.7249755859375\n", + "global step=2107392, episodic return=1034.3800048828125\n", + "global step=2107392, episodic return=1027.0186767578125\n", + "global step=2107392, episodic return=1028.4466552734375\n", + "global step=2107392, episodic return=1037.3995361328125\n", + "global step=2107392, episodic return=1030.091064453125\n", + "global step=2107392, episodic return=1033.748046875\n", + "global step=2107392, episodic return=1024.839111328125\n", + "global step=2107392, episodic return=1025.4915771484375\n", + "global step=2107392, episodic return=669.0062866210938\n", + "global step=2107392, episodic return=1021.9144287109375\n", + "global step=2107392, episodic return=1056.6212158203125\n", + "global step=2107392, episodic return=1033.2801513671875\n", + "global step=2107392, episodic return=1040.649169921875\n", + "global step=2107392, episodic return=1024.891357421875\n", + "global step=2107392, episodic return=1024.0113525390625\n", + "global step=2107392, episodic return=1017.166748046875\n", + "global step=2107392, episodic return=1047.710693359375\n", + "global step=2107392, episodic return=1042.8358154296875\n", + "global step=2107392, episodic return=1034.860107421875\n", + "global step=2107392, episodic return=1039.7784423828125\n", + "global step=2107392, episodic return=1037.6298828125\n", + "global step=2109440, episodic return=1027.552734375\n", + "global step=2109440, episodic return=1025.5919189453125\n", + "global step=2109440, episodic return=1023.862548828125\n", + "global step=2109440, episodic return=1011.1052856445312\n", + "global step=2109440, episodic return=1063.21826171875\n", + "global step=2109440, episodic return=1028.849853515625\n", + "global step=2109440, episodic return=1018.0532836914062\n", + "global step=2109440, episodic return=1024.1922607421875\n", + "global step=2109440, episodic return=1038.455810546875\n", + "global step=2109440, episodic return=1023.5545043945312\n", + "global step=2109440, episodic return=1019.2935180664062\n", + "global step=2109440, episodic return=1021.7576904296875\n", + "global step=2109440, episodic return=1045.458251953125\n", + "global step=2109440, episodic return=1041.062744140625\n", + "global step=2109440, episodic return=1048.6859130859375\n", + "global step=2109440, episodic return=1032.199462890625\n", + "global step=2109440, episodic return=1030.4765625\n", + "global step=2109440, episodic return=1027.411865234375\n", + "global step=2109440, episodic return=610.8209228515625\n", + "global step=2109440, episodic return=1025.4755859375\n", + "global step=2109440, episodic return=1035.72021484375\n", + "global step=2109440, episodic return=1016.4341430664062\n", + "global step=2109440, episodic return=1027.828125\n", + "global step=2109440, episodic return=1031.539794921875\n", + "global step=2109440, episodic return=1025.4857177734375\n", + "global step=2109440, episodic return=1048.0023193359375\n", + "global step=2109440, episodic return=1019.3698120117188\n", + "global step=2109440, episodic return=1028.2808837890625\n", + "global step=2109440, episodic return=1022.7305297851562\n", + "global step=2109440, episodic return=1023.49462890625\n", + "global step=2109440, episodic return=1046.4627685546875\n", + "global step=2109440, episodic return=1053.2886962890625\n", + "global step=2109440, episodic return=572.4805908203125\n", + "global step=2109440, episodic return=1043.8658447265625\n", + "global step=2111488, episodic return=1031.5845947265625\n", + "global step=2111488, episodic return=1035.751953125\n", + "global step=2111488, episodic return=1044.6226806640625\n", + "global step=2111488, episodic return=1059.1318359375\n", + "global step=2111488, episodic return=596.8153686523438\n", + "global step=2111488, episodic return=1032.9964599609375\n", + "global step=2111488, episodic return=1044.9794921875\n", + "global step=2111488, episodic return=1024.337158203125\n", + "global step=2111488, episodic return=1010.8853759765625\n", + "global step=2111488, episodic return=1032.352783203125\n", + "global step=2111488, episodic return=1017.468505859375\n", + "global step=2111488, episodic return=1022.5680541992188\n", + "global step=2111488, episodic return=1028.2447509765625\n", + "global step=2111488, episodic return=1027.89697265625\n", + "global step=2111488, episodic return=1048.814208984375\n", + "global step=2111488, episodic return=1043.8240966796875\n", + "global step=2111488, episodic return=1045.6385498046875\n", + "global step=2111488, episodic return=1044.4063720703125\n", + "global step=2111488, episodic return=1026.0313720703125\n", + "global step=2111488, episodic return=1042.301025390625\n", + "global step=2111488, episodic return=1027.1671142578125\n", + "global step=2111488, episodic return=1015.6448974609375\n", + "global step=2111488, episodic return=1040.1956787109375\n", + "global step=2111488, episodic return=1024.3607177734375\n", + "global step=2111488, episodic return=1023.5111083984375\n", + "global step=2111488, episodic return=1006.61669921875\n", + "global step=2113536, episodic return=1050.740966796875\n", + "global step=2113536, episodic return=1040.1279296875\n", + "global step=2113536, episodic return=1040.963623046875\n", + "global step=2113536, episodic return=1034.48828125\n", + "global step=2113536, episodic return=1049.172119140625\n", + "global step=2113536, episodic return=1023.613037109375\n", + "global step=2113536, episodic return=563.265869140625\n", + "global step=2113536, episodic return=1020.784423828125\n", + "global step=2113536, episodic return=1061.13330078125\n", + "global step=2113536, episodic return=1013.0637817382812\n", + "global step=2113536, episodic return=1029.94482421875\n", + "global step=2113536, episodic return=1033.59130859375\n", + "global step=2113536, episodic return=1029.9833984375\n", + "global step=2113536, episodic return=1053.997314453125\n", + "global step=2113536, episodic return=1042.244140625\n", + "global step=2113536, episodic return=1019.8623046875\n", + "global step=2115584, episodic return=1024.4451904296875\n", + "global step=2115584, episodic return=1037.6807861328125\n", + "global step=2115584, episodic return=1027.986083984375\n", + "global step=2115584, episodic return=1029.123779296875\n", + "global step=2115584, episodic return=1041.380859375\n", + "global step=2115584, episodic return=1018.4055786132812\n", + "global step=2115584, episodic return=1023.3937377929688\n", + "global step=2115584, episodic return=1024.7559814453125\n", + "global step=2115584, episodic return=1040.0147705078125\n", + "global step=2115584, episodic return=1019.3805541992188\n", + "global step=2115584, episodic return=1021.10888671875\n", + "global step=2115584, episodic return=643.1116943359375\n", + "global step=2115584, episodic return=1035.889404296875\n", + "global step=2117632, episodic return=1042.3609619140625\n", + "global step=2117632, episodic return=1017.927001953125\n", + "global step=2117632, episodic return=1031.5003662109375\n", + "global step=2117632, episodic return=1042.4205322265625\n", + "global step=2117632, episodic return=1033.1956787109375\n", + "global step=2117632, episodic return=1021.636962890625\n", + "global step=2117632, episodic return=1032.2664794921875\n", + "global step=2117632, episodic return=1025.98046875\n", + "global step=2117632, episodic return=1066.0472412109375\n", + "global step=2117632, episodic return=1037.82275390625\n", + "global step=2117632, episodic return=1049.39208984375\n", + "global step=2117632, episodic return=1021.7974853515625\n", + "global step=2117632, episodic return=1029.6236572265625\n", + "global step=2117632, episodic return=1050.9512939453125\n", + "global step=2117632, episodic return=1019.8766479492188\n", + "global step=2119680, episodic return=1023.0213623046875\n", + "global step=2119680, episodic return=1018.3989868164062\n", + "global step=2119680, episodic return=725.0357666015625\n", + "global step=2119680, episodic return=1030.8861083984375\n", + "global step=2119680, episodic return=1014.625244140625\n", + "global step=2119680, episodic return=1024.1243896484375\n", + "global step=2119680, episodic return=1020.4494018554688\n", + "global step=2119680, episodic return=1024.42041015625\n", + "global step=2119680, episodic return=569.1173706054688\n", + "global step=2119680, episodic return=1016.427978515625\n", + "global step=2119680, episodic return=1041.88427734375\n", + "global step=2119680, episodic return=631.0396118164062\n", + "global step=2119680, episodic return=1033.9659423828125\n", + "global step=2119680, episodic return=1018.9464721679688\n", + "global step=2119680, episodic return=1055.7239990234375\n", + "global step=2119680, episodic return=1047.4774169921875\n", + "global step=2119680, episodic return=1029.39013671875\n", + "global step=2119680, episodic return=1017.4649658203125\n", + "global step=2119680, episodic return=1031.2882080078125\n", + "global step=2119680, episodic return=1014.3099365234375\n", + "global step=2119680, episodic return=1012.6690063476562\n", + "global step=2119680, episodic return=1024.340087890625\n", + "global step=2121728, episodic return=1033.8516845703125\n", + "global step=2121728, episodic return=1021.3658447265625\n", + "global step=2121728, episodic return=1026.0477294921875\n", + "global step=2121728, episodic return=1029.4830322265625\n", + "global step=2121728, episodic return=1044.868408203125\n", + "global step=2121728, episodic return=1038.29443359375\n", + "global step=2121728, episodic return=1016.5830078125\n", + "global step=2121728, episodic return=1029.953369140625\n", + "global step=2121728, episodic return=1036.0125732421875\n", + "global step=2121728, episodic return=1030.0843505859375\n", + "global step=2121728, episodic return=1029.673095703125\n", + "global step=2121728, episodic return=1043.63671875\n", + "global step=2121728, episodic return=1030.063720703125\n", + "global step=2121728, episodic return=1052.2750244140625\n", + "global step=2121728, episodic return=1010.4789428710938\n", + "global step=2121728, episodic return=1026.9754638671875\n", + "global step=2121728, episodic return=1038.4461669921875\n", + "global step=2121728, episodic return=1014.9866943359375\n", + "global step=2123776, episodic return=1004.3888549804688\n", + "global step=2123776, episodic return=1029.5823974609375\n", + "global step=2123776, episodic return=630.2833862304688\n", + "global step=2123776, episodic return=1051.6356201171875\n", + "global step=2123776, episodic return=1036.1553955078125\n", + "global step=2123776, episodic return=1036.0062255859375\n", + "global step=2123776, episodic return=619.79150390625\n", + "global step=2123776, episodic return=1029.968994140625\n", + "global step=2123776, episodic return=640.5503540039062\n", + "global step=2123776, episodic return=1019.2593994140625\n", + "global step=2123776, episodic return=1030.3406982421875\n", + "global step=2123776, episodic return=1046.3287353515625\n", + "global step=2123776, episodic return=1041.7882080078125\n", + "global step=2123776, episodic return=1030.7176513671875\n", + "global step=2123776, episodic return=1048.79296875\n", + "global step=2123776, episodic return=1045.12841796875\n", + "global step=2123776, episodic return=1019.755615234375\n", + "global step=2123776, episodic return=1020.3059692382812\n", + "global step=2123776, episodic return=1020.8356323242188\n", + "global step=2123776, episodic return=1030.9072265625\n", + "global step=2125824, episodic return=1022.1888427734375\n", + "global step=2125824, episodic return=1023.418701171875\n", + "global step=2125824, episodic return=1036.9940185546875\n", + "global step=2125824, episodic return=1030.850341796875\n", + "global step=2125824, episodic return=575.822021484375\n", + "global step=2125824, episodic return=1041.733154296875\n", + "global step=2125824, episodic return=1048.5648193359375\n", + "global step=2125824, episodic return=1034.4486083984375\n", + "global step=2125824, episodic return=1024.3828125\n", + "global step=2125824, episodic return=1031.6331787109375\n", + "global step=2125824, episodic return=1019.6091918945312\n", + "global step=2125824, episodic return=1017.2001342773438\n", + "global step=2125824, episodic return=1030.2884521484375\n", + "global step=2125824, episodic return=1012.06298828125\n", + "global step=2125824, episodic return=1043.744140625\n", + "global step=2125824, episodic return=1025.3704833984375\n", + "global step=2125824, episodic return=1042.5264892578125\n", + "global step=2125824, episodic return=1035.3389892578125\n", + "global step=2127872, episodic return=1026.1649169921875\n", + "global step=2127872, episodic return=1026.3509521484375\n", + "global step=2127872, episodic return=1038.7698974609375\n", + "global step=2127872, episodic return=628.1311645507812\n", + "global step=2127872, episodic return=1022.1632080078125\n", + "global step=2127872, episodic return=1024.55322265625\n", + "global step=2127872, episodic return=1023.6376342773438\n", + "global step=2127872, episodic return=1032.4727783203125\n", + "global step=2127872, episodic return=1012.4862670898438\n", + "global step=2127872, episodic return=1040.02978515625\n", + "global step=2127872, episodic return=1037.611328125\n", + "global step=2127872, episodic return=1028.332763671875\n", + "global step=2129920, episodic return=1047.25048828125\n", + "global step=2129920, episodic return=1030.0660400390625\n", + "global step=2129920, episodic return=1037.1708984375\n", + "global step=2129920, episodic return=1030.92822265625\n", + "global step=2129920, episodic return=1015.7824096679688\n", + "global step=2129920, episodic return=1048.05517578125\n", + "global step=2129920, episodic return=730.84814453125\n", + "global step=2129920, episodic return=1022.58203125\n", + "global step=2129920, episodic return=639.01708984375\n", + "global step=2129920, episodic return=1044.8082275390625\n", + "global step=2129920, episodic return=1019.7958984375\n", + "global step=2129920, episodic return=1008.3897094726562\n", + "global step=2129920, episodic return=1017.061279296875\n", + "global step=2131968, episodic return=1026.3607177734375\n", + "global step=2131968, episodic return=1026.994384765625\n", + "global step=2131968, episodic return=1027.0509033203125\n", + "global step=2131968, episodic return=1024.5167236328125\n", + "global step=2131968, episodic return=1024.10888671875\n", + "global step=2131968, episodic return=1024.6263427734375\n", + "global step=2131968, episodic return=1024.892578125\n", + "global step=2131968, episodic return=1020.8135375976562\n", + "global step=2131968, episodic return=1015.7281494140625\n", + "global step=2131968, episodic return=1027.1239013671875\n", + "global step=2131968, episodic return=1023.831787109375\n", + "global step=2131968, episodic return=1046.79248046875\n", + "global step=2131968, episodic return=1015.18408203125\n", + "global step=2134016, episodic return=1030.570068359375\n", + "global step=2134016, episodic return=1049.276611328125\n", + "global step=2134016, episodic return=1029.2840576171875\n", + "global step=2134016, episodic return=1019.229248046875\n", + "global step=2134016, episodic return=1035.41748046875\n", + "global step=2134016, episodic return=1040.6973876953125\n", + "global step=2134016, episodic return=1034.9722900390625\n", + "global step=2134016, episodic return=1044.161376953125\n", + "global step=2134016, episodic return=1011.6594848632812\n", + "global step=2134016, episodic return=1043.5029296875\n", + "global step=2134016, episodic return=1026.7049560546875\n", + "global step=2136064, episodic return=573.7416381835938\n", + "global step=2136064, episodic return=1015.7918090820312\n", + "global step=2136064, episodic return=1061.8123779296875\n", + "global step=2136064, episodic return=625.5521240234375\n", + "global step=2136064, episodic return=567.4598999023438\n", + "global step=2136064, episodic return=1026.263671875\n", + "global step=2136064, episodic return=1030.71142578125\n", + "global step=2136064, episodic return=1033.7952880859375\n", + "global step=2136064, episodic return=654.1188354492188\n", + "global step=2136064, episodic return=1050.78369140625\n", + "global step=2136064, episodic return=1033.216552734375\n", + "global step=2136064, episodic return=1028.195556640625\n", + "global step=2136064, episodic return=683.7993774414062\n", + "global step=2138112, episodic return=1022.692138671875\n", + "global step=2138112, episodic return=1031.84521484375\n", + "global step=2138112, episodic return=588.6051635742188\n", + "global step=2138112, episodic return=1030.7464599609375\n", + "global step=2138112, episodic return=1034.1578369140625\n", + "global step=2138112, episodic return=1050.321044921875\n", + "global step=2138112, episodic return=1031.5003662109375\n", + "global step=2138112, episodic return=1030.295166015625\n", + "global step=2140160, episodic return=1035.46875\n", + "global step=2140160, episodic return=1048.082763671875\n", + "global step=2140160, episodic return=1046.2164306640625\n", + "global step=2140160, episodic return=1030.2886962890625\n", + "global step=2140160, episodic return=1025.984375\n", + "global step=2140160, episodic return=634.902587890625\n", + "global step=2140160, episodic return=1020.9830932617188\n", + "global step=2140160, episodic return=1036.368896484375\n", + "global step=2142208, episodic return=1035.10009765625\n", + "global step=2142208, episodic return=1028.1329345703125\n", + "global step=2142208, episodic return=1032.5201416015625\n", + "global step=2142208, episodic return=1049.1888427734375\n", + "global step=2142208, episodic return=1022.374755859375\n", + "global step=2142208, episodic return=1024.57470703125\n", + "global step=2142208, episodic return=1018.1966552734375\n", + "global step=2142208, episodic return=1018.718994140625\n", + "global step=2142208, episodic return=1032.483154296875\n", + "global step=2142208, episodic return=1040.24609375\n", + "global step=2142208, episodic return=599.9183349609375\n", + "global step=2142208, episodic return=1028.2779541015625\n", + "global step=2142208, episodic return=663.5009155273438\n", + "global step=2144256, episodic return=601.879150390625\n", + "global step=2144256, episodic return=1009.1522216796875\n", + "global step=2144256, episodic return=1024.780029296875\n", + "global step=2144256, episodic return=1035.876953125\n", + "global step=2144256, episodic return=1028.0301513671875\n", + "global step=2144256, episodic return=1032.210693359375\n", + "global step=2144256, episodic return=1027.4986572265625\n", + "global step=2146304, episodic return=1031.6158447265625\n", + "global step=2146304, episodic return=1036.60595703125\n", + "global step=2146304, episodic return=1026.6910400390625\n", + "global step=2146304, episodic return=1039.4312744140625\n", + "global step=2146304, episodic return=1023.1260986328125\n", + "global step=2146304, episodic return=1023.6029052734375\n", + "global step=2146304, episodic return=568.3893432617188\n", + "global step=2148352, episodic return=1028.384033203125\n", + "global step=2148352, episodic return=579.7758178710938\n", + "global step=2148352, episodic return=1019.80078125\n", + "global step=2148352, episodic return=1040.60302734375\n", + "global step=2148352, episodic return=1034.48974609375\n", + "global step=2148352, episodic return=1040.5865478515625\n", + "global step=2148352, episodic return=1038.0013427734375\n", + "global step=2148352, episodic return=1025.574951171875\n", + "global step=2148352, episodic return=1033.984375\n", + "global step=2148352, episodic return=1044.3675537109375\n", + "global step=2148352, episodic return=556.29638671875\n", + "global step=2148352, episodic return=1031.273193359375\n", + "global step=2148352, episodic return=1028.2906494140625\n", + "global step=2148352, episodic return=577.3343505859375\n", + "global step=2148352, episodic return=1019.2360229492188\n", + "global step=2148352, episodic return=584.388427734375\n", + "global step=2148352, episodic return=1016.4752807617188\n", + "global step=2148352, episodic return=660.2881469726562\n", + "global step=2150400, episodic return=1029.599853515625\n", + "global step=2150400, episodic return=1028.8836669921875\n", + "global step=2150400, episodic return=1022.079345703125\n", + "global step=2150400, episodic return=1039.0484619140625\n", + "global step=2150400, episodic return=593.9456176757812\n", + "global step=2150400, episodic return=1027.244384765625\n", + "global step=2150400, episodic return=1033.4007568359375\n", + "global step=2150400, episodic return=1021.4339599609375\n", + "global step=2150400, episodic return=566.6647338867188\n", + "global step=2150400, episodic return=1033.7720947265625\n", + "global step=2150400, episodic return=1029.686279296875\n", + "global step=2150400, episodic return=1035.6033935546875\n", + "global step=2152448, episodic return=1019.6611938476562\n", + "global step=2152448, episodic return=1054.163818359375\n", + "global step=2152448, episodic return=1032.49072265625\n", + "global step=2152448, episodic return=1043.479248046875\n", + "global step=2152448, episodic return=1031.804931640625\n", + "global step=2152448, episodic return=1036.3009033203125\n", + "global step=2152448, episodic return=1045.98974609375\n", + "global step=2152448, episodic return=1012.1803588867188\n", + "global step=2152448, episodic return=1028.123291015625\n", + "global step=2154496, episodic return=1053.7928466796875\n", + "global step=2154496, episodic return=1038.01220703125\n", + "global step=2154496, episodic return=1026.62060546875\n", + "global step=2154496, episodic return=628.1461791992188\n", + "global step=2154496, episodic return=1057.35107421875\n", + "global step=2154496, episodic return=1049.539794921875\n", + "global step=2154496, episodic return=1051.966064453125\n", + "global step=2154496, episodic return=1027.77783203125\n", + "global step=2154496, episodic return=1113.9111328125\n", + "global step=2154496, episodic return=597.567138671875\n", + "global step=2154496, episodic return=1035.6302490234375\n", + "global step=2154496, episodic return=1046.0428466796875\n", + "global step=2156544, episodic return=1044.4189453125\n", + "global step=2156544, episodic return=681.9152221679688\n", + "global step=2156544, episodic return=679.8458251953125\n", + "global step=2156544, episodic return=1051.65234375\n", + "global step=2156544, episodic return=1027.7708740234375\n", + "global step=2156544, episodic return=1047.153564453125\n", + "global step=2156544, episodic return=569.9268798828125\n", + "global step=2158592, episodic return=1033.0794677734375\n", + "global step=2158592, episodic return=1013.4578247070312\n", + "global step=2158592, episodic return=1034.892333984375\n", + "global step=2158592, episodic return=616.3876342773438\n", + "global step=2158592, episodic return=1036.73095703125\n", + "global step=2158592, episodic return=1019.7802124023438\n", + "global step=2160640, episodic return=1020.51611328125\n", + "global step=2160640, episodic return=1020.9503173828125\n", + "global step=2160640, episodic return=604.6148681640625\n", + "global step=2160640, episodic return=1027.5318603515625\n", + "global step=2162688, episodic return=1033.7969970703125\n", + "global step=2162688, episodic return=1034.309814453125\n", + "global step=2162688, episodic return=1018.9561767578125\n", + "global step=2162688, episodic return=1030.1707763671875\n", + "global step=2162688, episodic return=651.5514526367188\n", + "global step=2162688, episodic return=560.1417846679688\n", + "global step=2162688, episodic return=1007.8484497070312\n", + "global step=2164736, episodic return=1011.0733032226562\n", + "global step=2164736, episodic return=1033.4130859375\n", + "global step=2164736, episodic return=1021.0595703125\n", + "global step=2164736, episodic return=1024.1787109375\n", + "global step=2164736, episodic return=597.1641845703125\n", + "global step=2164736, episodic return=1030.2236328125\n", + "global step=2164736, episodic return=598.2139282226562\n", + "global step=2166784, episodic return=1047.54052734375\n", + "global step=2166784, episodic return=1032.8660888671875\n", + "global step=2166784, episodic return=637.0426635742188\n", + "global step=2166784, episodic return=1033.0294189453125\n", + "global step=2166784, episodic return=1024.0557861328125\n", + "global step=2168832, episodic return=1043.19140625\n", + "global step=2168832, episodic return=1028.1065673828125\n", + "global step=2168832, episodic return=1021.8927612304688\n", + "global step=2168832, episodic return=1027.795166015625\n", + "global step=2168832, episodic return=1030.083251953125\n", + "global step=2168832, episodic return=1048.84130859375\n", + "global step=2168832, episodic return=577.3988647460938\n", + "global step=2168832, episodic return=1032.947265625\n", + "global step=2168832, episodic return=1021.6311645507812\n", + "global step=2168832, episodic return=1030.4085693359375\n", + "global step=2170880, episodic return=669.13720703125\n", + "global step=2170880, episodic return=557.8053588867188\n", + "global step=2170880, episodic return=1042.1558837890625\n", + "global step=2170880, episodic return=1031.1365966796875\n", + "global step=2170880, episodic return=555.382080078125\n", + "global step=2170880, episodic return=1014.675537109375\n", + "global step=2170880, episodic return=573.61865234375\n", + "global step=2170880, episodic return=1026.45556640625\n", + "global step=2170880, episodic return=1023.54052734375\n", + "global step=2170880, episodic return=1026.8018798828125\n", + "global step=2170880, episodic return=557.29931640625\n", + "global step=2172928, episodic return=1034.958740234375\n", + "global step=2172928, episodic return=1032.8123779296875\n", + "global step=2172928, episodic return=618.7616577148438\n", + "global step=2172928, episodic return=1034.6488037109375\n", + "global step=2172928, episodic return=580.6727905273438\n", + "global step=2174976, episodic return=1024.1942138671875\n", + "global step=2174976, episodic return=1031.281005859375\n", + "global step=2177024, episodic return=1032.07568359375\n", + "global step=2177024, episodic return=608.7256469726562\n", + "global step=2177024, episodic return=1039.9852294921875\n", + "global step=2177024, episodic return=1026.148681640625\n", + "global step=2177024, episodic return=611.141845703125\n", + "global step=2177024, episodic return=584.1903076171875\n", + "global step=2177024, episodic return=594.1917724609375\n", + "global step=2177024, episodic return=1035.4114990234375\n", + "global step=2177024, episodic return=588.440673828125\n", + "global step=2179072, episodic return=1034.377197265625\n", + "global step=2179072, episodic return=1018.8436279296875\n", + "global step=2179072, episodic return=1020.7891235351562\n", + "global step=2179072, episodic return=567.4457397460938\n", + "global step=2179072, episodic return=571.32666015625\n", + "global step=2179072, episodic return=1028.216552734375\n", + "global step=2179072, episodic return=1029.818603515625\n", + "global step=2181120, episodic return=1034.114990234375\n", + "global step=2181120, episodic return=1010.244140625\n", + "global step=2181120, episodic return=1046.7977294921875\n", + "global step=2181120, episodic return=605.4478759765625\n", + "global step=2181120, episodic return=1016.781494140625\n", + "global step=2181120, episodic return=653.636474609375\n", + "global step=2183168, episodic return=1028.805908203125\n", + "global step=2183168, episodic return=1040.016845703125\n", + "global step=2183168, episodic return=1037.8045654296875\n", + "global step=2183168, episodic return=611.48095703125\n", + "global step=2183168, episodic return=1046.5201416015625\n", + "global step=2183168, episodic return=1042.7310791015625\n", + "global step=2185216, episodic return=1020.565185546875\n", + "global step=2185216, episodic return=1026.169189453125\n", + "global step=2185216, episodic return=616.09375\n", + "global step=2185216, episodic return=1029.070068359375\n", + "global step=2185216, episodic return=1020.5323486328125\n", + "global step=2185216, episodic return=1037.70849609375\n", + "global step=2185216, episodic return=647.0989379882812\n", + "global step=2185216, episodic return=1038.34130859375\n", + "global step=2185216, episodic return=1025.9296875\n", + "global step=2185216, episodic return=633.5926513671875\n", + "global step=2185216, episodic return=1031.054443359375\n", + "global step=2187264, episodic return=1016.2492065429688\n", + "global step=2187264, episodic return=1021.5433959960938\n", + "global step=2187264, episodic return=1008.4888916015625\n", + "global step=2187264, episodic return=1029.15185546875\n", + "global step=2187264, episodic return=573.15234375\n", + "global step=2187264, episodic return=1034.66357421875\n", + "global step=2189312, episodic return=1032.72216796875\n", + "global step=2189312, episodic return=1019.0181884765625\n", + "global step=2189312, episodic return=1025.171142578125\n", + "global step=2189312, episodic return=663.074462890625\n", + "global step=2189312, episodic return=1032.782958984375\n", + "global step=2189312, episodic return=1040.6524658203125\n", + "global step=2189312, episodic return=1028.9249267578125\n", + "global step=2189312, episodic return=568.9830932617188\n", + "global step=2189312, episodic return=610.4442749023438\n", + "global step=2189312, episodic return=1042.4158935546875\n", + "global step=2191360, episodic return=1027.5811767578125\n", + "global step=2191360, episodic return=569.7605590820312\n", + "global step=2191360, episodic return=1023.4691162109375\n", + "global step=2191360, episodic return=1039.3316650390625\n", + "global step=2193408, episodic return=733.9578247070312\n", + "global step=2193408, episodic return=1023.5860595703125\n", + "global step=2193408, episodic return=1040.3782958984375\n", + "global step=2193408, episodic return=567.3126831054688\n", + "global step=2193408, episodic return=1018.5849609375\n", + "global step=2193408, episodic return=1047.302734375\n", + "global step=2193408, episodic return=629.4800415039062\n", + "global step=2193408, episodic return=597.9993286132812\n", + "global step=2193408, episodic return=1023.4234619140625\n", + "global step=2193408, episodic return=662.20751953125\n", + "global step=2193408, episodic return=1028.4765625\n", + "global step=2195456, episodic return=1016.8867797851562\n", + "global step=2195456, episodic return=1038.564453125\n", + "global step=2195456, episodic return=1051.840576171875\n", + "global step=2195456, episodic return=1040.8421630859375\n", + "global step=2197504, episodic return=587.3849487304688\n", + "global step=2197504, episodic return=1023.9107055664062\n", + "global step=2197504, episodic return=646.142822265625\n", + "global step=2197504, episodic return=1041.0299072265625\n", + "global step=2197504, episodic return=1044.49658203125\n", + "global step=2199552, episodic return=1029.0223388671875\n", + "global step=2199552, episodic return=639.1263427734375\n", + "global step=2199552, episodic return=1029.8870849609375\n", + "global step=2201600, episodic return=643.1939086914062\n", + "global step=2201600, episodic return=1040.762939453125\n", + "global step=2201600, episodic return=1034.72900390625\n", + "global step=2201600, episodic return=577.8237915039062\n", + "global step=2203648, episodic return=1033.0750732421875\n", + "global step=2203648, episodic return=1060.2847900390625\n", + "global step=2203648, episodic return=1027.0960693359375\n", + "global step=2203648, episodic return=1027.3717041015625\n", + "global step=2203648, episodic return=682.31005859375\n", + "global step=2203648, episodic return=699.2374877929688\n", + "global step=2203648, episodic return=1033.771240234375\n", + "global step=2205696, episodic return=1025.2242431640625\n", + "global step=2205696, episodic return=597.171142578125\n", + "global step=2207744, episodic return=613.4609375\n", + "global step=2207744, episodic return=1028.7342529296875\n", + "global step=2207744, episodic return=565.3091430664062\n", + "global step=2207744, episodic return=1030.4256591796875\n", + "global step=2207744, episodic return=1051.88330078125\n", + "global step=2209792, episodic return=657.2281494140625\n", + "global step=2209792, episodic return=1036.6329345703125\n", + "global step=2209792, episodic return=1033.0562744140625\n", + "global step=2209792, episodic return=1033.258056640625\n", + "global step=2209792, episodic return=1022.7391357421875\n", + "global step=2209792, episodic return=628.1737060546875\n", + "global step=2211840, episodic return=589.9922485351562\n", + "global step=2211840, episodic return=1032.1580810546875\n", + "global step=2211840, episodic return=587.2154541015625\n", + "global step=2213888, episodic return=1028.9129638671875\n", + "global step=2213888, episodic return=1041.3447265625\n", + "global step=2213888, episodic return=1027.329345703125\n", + "global step=2213888, episodic return=1037.377197265625\n", + "global step=2213888, episodic return=1038.6851806640625\n", + "global step=2213888, episodic return=1031.40966796875\n", + "global step=2215936, episodic return=592.6119384765625\n", + "global step=2217984, episodic return=1017.6341552734375\n", + "global step=2217984, episodic return=547.1563720703125\n", + "global step=2217984, episodic return=579.0960083007812\n", + "global step=2217984, episodic return=612.73095703125\n", + "global step=2217984, episodic return=573.3512573242188\n", + "global step=2220032, episodic return=609.1905517578125\n", + "global step=2222080, episodic return=546.025634765625\n", + "global step=2222080, episodic return=558.2516479492188\n", + "global step=2224128, episodic return=595.3467407226562\n", + "global step=2224128, episodic return=1030.0732421875\n", + "global step=2224128, episodic return=546.5366821289062\n", + "global step=2224128, episodic return=1034.262451171875\n", + "global step=2224128, episodic return=617.571533203125\n", + "global step=2226176, episodic return=591.1693725585938\n", + "global step=2226176, episodic return=1042.6837158203125\n", + "global step=2226176, episodic return=1035.285888671875\n", + "global step=2228224, episodic return=1055.3092041015625\n", + "global step=2228224, episodic return=1040.6263427734375\n", + "global step=2230272, episodic return=642.992919921875\n", + "global step=2230272, episodic return=750.0555419921875\n", + "global step=2232320, episodic return=665.9493408203125\n", + "global step=2232320, episodic return=761.0182495117188\n", + "global step=2232320, episodic return=542.5753173828125\n", + "global step=2232320, episodic return=581.8474731445312\n", + "global step=2232320, episodic return=1017.0072021484375\n", + "global step=2234368, episodic return=591.4404296875\n", + "global step=2234368, episodic return=1035.4256591796875\n", + "global step=2234368, episodic return=582.688232421875\n", + "global step=2236416, episodic return=655.4719848632812\n", + "global step=2236416, episodic return=589.5316162109375\n", + "global step=2236416, episodic return=565.4549560546875\n", + "global step=2238464, episodic return=1031.3277587890625\n", + "global step=2238464, episodic return=1027.3050537109375\n", + "global step=2240512, episodic return=1035.940185546875\n", + "global step=2240512, episodic return=595.5748901367188\n", + "global step=2240512, episodic return=573.9353637695312\n", + "global step=2242560, episodic return=532.8717041015625\n", + "global step=2242560, episodic return=1026.2353515625\n", + "global step=2244608, episodic return=588.0100708007812\n", + "global step=2244608, episodic return=1036.1240234375\n", + "global step=2244608, episodic return=1041.584716796875\n", + "global step=2244608, episodic return=1032.8900146484375\n", + "global step=2244608, episodic return=621.256591796875\n", + "global step=2246656, episodic return=1044.2396240234375\n", + "global step=2246656, episodic return=1044.7586669921875\n", + "global step=2246656, episodic return=637.861083984375\n", + "global step=2248704, episodic return=1028.840576171875\n", + "global step=2248704, episodic return=1018.337890625\n", + "global step=2248704, episodic return=1041.4979248046875\n", + "global step=2248704, episodic return=1027.2032470703125\n", + "global step=2250752, episodic return=1039.922607421875\n", + "global step=2250752, episodic return=605.5236206054688\n", + "global step=2250752, episodic return=568.1188354492188\n", + "global step=2250752, episodic return=591.9815673828125\n", + "global step=2250752, episodic return=537.9613647460938\n", + "global step=2250752, episodic return=651.1797485351562\n", + "global step=2250752, episodic return=1041.8150634765625\n", + "global step=2252800, episodic return=1023.9547119140625\n", + "global step=2254848, episodic return=1032.674560546875\n", + "global step=2254848, episodic return=1029.83203125\n", + "global step=2256896, episodic return=653.7275390625\n", + "global step=2256896, episodic return=552.4473266601562\n", + "global step=2256896, episodic return=558.5863647460938\n", + "global step=2258944, episodic return=1035.7677001953125\n", + "global step=2258944, episodic return=645.2330322265625\n", + "global step=2258944, episodic return=1021.1644287109375\n", + "global step=2258944, episodic return=598.0731811523438\n", + "global step=2258944, episodic return=602.3516235351562\n", + "global step=2260992, episodic return=601.1272583007812\n", + "global step=2260992, episodic return=609.0360717773438\n", + "global step=2260992, episodic return=625.2654418945312\n", + "global step=2260992, episodic return=628.3792114257812\n", + "global step=2260992, episodic return=691.701904296875\n", + "global step=2260992, episodic return=664.147705078125\n", + "global step=2263040, episodic return=619.5480346679688\n", + "global step=2263040, episodic return=1033.8468017578125\n", + "global step=2265088, episodic return=602.689208984375\n", + "global step=2267136, episodic return=1037.07861328125\n", + "global step=2267136, episodic return=1025.8221435546875\n", + "global step=2267136, episodic return=598.8038330078125\n", + "global step=2267136, episodic return=1025.6610107421875\n", + "global step=2267136, episodic return=1042.1661376953125\n", + "global step=2269184, episodic return=1026.5479736328125\n", + "global step=2269184, episodic return=1053.8922119140625\n", + "global step=2269184, episodic return=1028.909423828125\n", + "global step=2269184, episodic return=654.8837280273438\n", + "global step=2271232, episodic return=642.4461669921875\n", + "global step=2271232, episodic return=1041.4779052734375\n", + "global step=2273280, episodic return=1032.3394775390625\n", + "global step=2273280, episodic return=603.661376953125\n", + "global step=2273280, episodic return=587.7786865234375\n", + "global step=2273280, episodic return=1031.578125\n", + "global step=2273280, episodic return=1029.3616943359375\n", + "global step=2273280, episodic return=1028.8392333984375\n", + "global step=2273280, episodic return=1030.3787841796875\n", + "global step=2275328, episodic return=649.7385864257812\n", + "global step=2275328, episodic return=1039.491943359375\n", + "global step=2275328, episodic return=1024.2044677734375\n", + "global step=2275328, episodic return=617.4602661132812\n", + "global step=2275328, episodic return=1012.1192016601562\n", + "global step=2275328, episodic return=1029.8883056640625\n", + "global step=2277376, episodic return=1043.9027099609375\n", + "global step=2277376, episodic return=605.1435546875\n", + "global step=2279424, episodic return=575.7897338867188\n", + "global step=2279424, episodic return=796.3731689453125\n", + "global step=2279424, episodic return=1033.4007568359375\n", + "global step=2279424, episodic return=530.9403076171875\n", + "global step=2279424, episodic return=603.5579223632812\n", + "global step=2281472, episodic return=553.7262573242188\n", + "global step=2281472, episodic return=572.708740234375\n", + "global step=2283520, episodic return=1043.383056640625\n", + "global step=2285568, episodic return=1033.2606201171875\n", + "global step=2285568, episodic return=557.5091552734375\n", + "global step=2287616, episodic return=563.328125\n", + "global step=2289664, episodic return=1019.7489013671875\n", + "global step=2289664, episodic return=1026.3114013671875\n", + "global step=2289664, episodic return=548.6117553710938\n", + "global step=2289664, episodic return=546.3375244140625\n", + "global step=2289664, episodic return=1029.8787841796875\n", + "global step=2291712, episodic return=528.4692993164062\n", + "global step=2293760, episodic return=567.0449829101562\n", + "global step=2295808, episodic return=546.5730590820312\n", + "global step=2295808, episodic return=583.0764770507812\n", + "global step=2297856, episodic return=599.07275390625\n", + "global step=2297856, episodic return=582.6807250976562\n", + "global step=2301952, episodic return=608.4232788085938\n", + "global step=2301952, episodic return=560.2127075195312\n", + "global step=2301952, episodic return=556.1860961914062\n", + "global step=2304000, episodic return=548.5206909179688\n", + "global step=2304000, episodic return=638.9421997070312\n", + "global step=2306048, episodic return=585.3404541015625\n", + "global step=2306048, episodic return=551.5592651367188\n", + "global step=2310144, episodic return=588.0111694335938\n", + "global step=2310144, episodic return=706.44921875\n", + "global step=2310144, episodic return=550.4909057617188\n", + "global step=2310144, episodic return=611.03173828125\n", + "global step=2314240, episodic return=568.5717163085938\n", + "global step=2314240, episodic return=1033.36376953125\n", + "global step=2316288, episodic return=636.2132568359375\n", + "global step=2318336, episodic return=663.1463012695312\n", + "global step=2320384, episodic return=570.23974609375\n", + "global step=2322432, episodic return=650.0512084960938\n", + "global step=2324480, episodic return=737.2962646484375\n", + "global step=2324480, episodic return=568.9745483398438\n", + "global step=2326528, episodic return=594.8109130859375\n", + "global step=2328576, episodic return=585.7742309570312\n", + "global step=2328576, episodic return=553.6691284179688\n", + "global step=2328576, episodic return=546.30859375\n", + "global step=2330624, episodic return=541.2115478515625\n", + "global step=2330624, episodic return=763.9500122070312\n", + "global step=2340864, episodic return=572.2272338867188\n", + "global step=2340864, episodic return=626.4611206054688\n", + "global step=2342912, episodic return=752.4927978515625\n", + "global step=2342912, episodic return=579.74169921875\n", + "global step=2344960, episodic return=588.245849609375\n", + "global step=2344960, episodic return=563.2969360351562\n", + "global step=2347008, episodic return=551.6070556640625\n", + "global step=2347008, episodic return=568.5423583984375\n", + "global step=2351104, episodic return=526.2728881835938\n", + "global step=2353152, episodic return=605.4031372070312\n", + "global step=2353152, episodic return=549.14794921875\n", + "global step=2355200, episodic return=614.4317016601562\n", + "global step=2355200, episodic return=650.372802734375\n", + "global step=2355200, episodic return=531.5957641601562\n", + "global step=2357248, episodic return=554.4219360351562\n", + "global step=2357248, episodic return=772.1591186523438\n", + "global step=2359296, episodic return=592.4883422851562\n", + "global step=2359296, episodic return=546.57275390625\n", + "global step=2363392, episodic return=1035.4169921875\n", + "global step=2363392, episodic return=536.28271484375\n", + "global step=2363392, episodic return=581.0874633789062\n", + "global step=2363392, episodic return=587.9598999023438\n", + "global step=2365440, episodic return=1031.5948486328125\n", + "global step=2365440, episodic return=730.9666137695312\n", + "global step=2365440, episodic return=569.6221313476562\n", + "global step=2365440, episodic return=780.5789184570312\n", + "global step=2367488, episodic return=552.52001953125\n", + "global step=2367488, episodic return=593.5139770507812\n", + "global step=2371584, episodic return=617.2929077148438\n", + "global step=2371584, episodic return=563.1668090820312\n", + "global step=2371584, episodic return=600.2401123046875\n", + "global step=2375680, episodic return=578.6668701171875\n", + "global step=2375680, episodic return=532.7722778320312\n", + "global step=2377728, episodic return=575.253173828125\n", + "global step=2381824, episodic return=543.298095703125\n", + "global step=2383872, episodic return=1041.4871826171875\n", + "global step=2383872, episodic return=533.5440063476562\n", + "global step=2383872, episodic return=567.7989501953125\n", + "global step=2385920, episodic return=541.405029296875\n", + "global step=2385920, episodic return=724.5431518554688\n", + "global step=2387968, episodic return=735.781982421875\n", + "global step=2387968, episodic return=619.3590698242188\n", + "global step=2387968, episodic return=584.1210327148438\n", + "global step=2392064, episodic return=680.0635375976562\n", + "global step=2396160, episodic return=781.1693725585938\n", + "global step=2396160, episodic return=521.7280883789062\n", + "global step=2398208, episodic return=578.7417602539062\n", + "global step=2398208, episodic return=572.5087890625\n", + "global step=2398208, episodic return=627.8582763671875\n", + "global step=2402304, episodic return=557.8662719726562\n", + "global step=2404352, episodic return=570.5366821289062\n", + "global step=2410496, episodic return=576.620361328125\n", + "global step=2414592, episodic return=608.1057739257812\n", + "global step=2416640, episodic return=574.8692626953125\n", + "global step=2418688, episodic return=634.3683471679688\n", + "global step=2418688, episodic return=760.6854248046875\n", + "global step=2420736, episodic return=569.07275390625\n", + "global step=2420736, episodic return=591.0301513671875\n", + "global step=2422784, episodic return=612.1127319335938\n", + "global step=2424832, episodic return=542.8748168945312\n", + "global step=2426880, episodic return=784.544921875\n", + "global step=2430976, episodic return=544.1450805664062\n", + "global step=2430976, episodic return=529.1417846679688\n", + "global step=2430976, episodic return=564.4322509765625\n", + "global step=2433024, episodic return=688.416259765625\n", + "global step=2433024, episodic return=547.0325927734375\n", + "global step=2435072, episodic return=595.1671142578125\n", + "global step=2437120, episodic return=634.6552124023438\n", + "global step=2439168, episodic return=566.8600463867188\n", + "global step=2447360, episodic return=543.9823608398438\n", + "global step=2453504, episodic return=571.8473510742188\n", + "global step=2455552, episodic return=571.0469970703125\n", + "global step=2457600, episodic return=603.0383911132812\n", + "global step=2459648, episodic return=526.4576416015625\n", + "global step=2459648, episodic return=567.1422729492188\n", + "global step=2465792, episodic return=560.5090942382812\n", + "global step=2467840, episodic return=534.4251708984375\n", + "global step=2471936, episodic return=563.5504150390625\n", + "global step=2473984, episodic return=599.7869262695312\n", + "global step=2473984, episodic return=566.536376953125\n", + "global step=2476032, episodic return=801.67041015625\n", + "global step=2476032, episodic return=556.776123046875\n", + "global step=2480128, episodic return=586.0197143554688\n", + "global step=2482176, episodic return=718.2354736328125\n", + "global step=2502656, episodic return=570.24755859375\n", + "global step=2510848, episodic return=556.072998046875\n", + "global step=2512896, episodic return=540.7105712890625\n", + "global step=2514944, episodic return=528.3692626953125\n", + "global step=2525184, episodic return=863.2384033203125\n", + "global step=2529280, episodic return=908.509765625\n", + "global step=2529280, episodic return=829.4411010742188\n", + "global step=2529280, episodic return=843.8626098632812\n", + "global step=2533376, episodic return=546.3058471679688\n", + "global step=2533376, episodic return=569.2874145507812\n", + "global step=2535424, episodic return=531.6737670898438\n", + "global step=2539520, episodic return=552.9746704101562\n", + "global step=2541568, episodic return=547.6319580078125\n", + "global step=2541568, episodic return=551.9745483398438\n", + "global step=2545664, episodic return=551.6506958007812\n", + "global step=2547712, episodic return=560.0648803710938\n", + "global step=2555904, episodic return=535.465087890625\n", + "global step=2555904, episodic return=545.6511840820312\n", + "global step=2557952, episodic return=539.7660522460938\n", + "global step=2560000, episodic return=575.9716186523438\n", + "global step=2562048, episodic return=549.6632080078125\n", + "global step=2566144, episodic return=551.6255493164062\n", + "global step=2568192, episodic return=544.4230346679688\n", + "global step=2568192, episodic return=858.5320434570312\n", + "global step=2576384, episodic return=601.1648559570312\n", + "global step=2582528, episodic return=538.5277099609375\n", + "global step=2594816, episodic return=542.2649536132812\n", + "global step=2596864, episodic return=538.8212890625\n", + "global step=2603008, episodic return=569.7175903320312\n", + "global step=2605056, episodic return=582.8601684570312\n", + "global step=2613248, episodic return=539.6319580078125\n", + "global step=2615296, episodic return=539.6942749023438\n", + "global step=2617344, episodic return=545.6107788085938\n", + "global step=2619392, episodic return=1095.9306640625\n", + "global step=2621440, episodic return=536.5679321289062\n", + "global step=2625536, episodic return=559.2310180664062\n", + "global step=2631680, episodic return=511.02545166015625\n", + "global step=2633728, episodic return=532.5735473632812\n", + "global step=2635776, episodic return=512.668212890625\n", + "global step=2641920, episodic return=540.9855346679688\n", + "global step=2646016, episodic return=535.7838745117188\n", + "global step=2646016, episodic return=528.3826904296875\n", + "global step=2652160, episodic return=534.8486938476562\n", + "global step=2654208, episodic return=510.06390380859375\n", + "global step=2656256, episodic return=554.82080078125\n", + "global step=2658304, episodic return=936.9061889648438\n", + "global step=2660352, episodic return=932.604248046875\n", + "global step=2664448, episodic return=536.8529052734375\n", + "global step=2666496, episodic return=532.4744873046875\n", + "global step=2672640, episodic return=925.4862670898438\n", + "global step=2682880, episodic return=520.6629028320312\n", + "global step=2682880, episodic return=569.659912109375\n", + "global step=2684928, episodic return=535.7839965820312\n", + "global step=2686976, episodic return=537.6552734375\n", + "global step=2689024, episodic return=917.2827758789062\n", + "global step=2691072, episodic return=540.37451171875\n", + "global step=2701312, episodic return=563.3281860351562\n", + "global step=2705408, episodic return=898.910400390625\n", + "global step=2705408, episodic return=513.51025390625\n", + "global step=2709504, episodic return=513.6775512695312\n", + "global step=2709504, episodic return=527.6509399414062\n", + "global step=2717696, episodic return=530.4794311523438\n", + "global step=2719744, episodic return=527.66943359375\n", + "global step=2721792, episodic return=540.5147705078125\n", + "global step=2723840, episodic return=478.826171875\n", + "global step=2727936, episodic return=520.497314453125\n", + "global step=2727936, episodic return=1032.205322265625\n", + "global step=2734080, episodic return=490.84698486328125\n", + "global step=2736128, episodic return=524.1210327148438\n", + "global step=2738176, episodic return=492.7161865234375\n", + "global step=2740224, episodic return=513.2516479492188\n", + "global step=2744320, episodic return=551.5426025390625\n", + "global step=2746368, episodic return=526.0223388671875\n", + "global step=2748416, episodic return=538.7463989257812\n", + "global step=2748416, episodic return=489.843505859375\n", + "global step=2750464, episodic return=497.64599609375\n", + "global step=2750464, episodic return=497.7759704589844\n", + "global step=2752512, episodic return=495.0559997558594\n", + "global step=2754560, episodic return=502.773193359375\n", + "global step=2754560, episodic return=522.2783813476562\n", + "global step=2754560, episodic return=500.0723876953125\n", + "global step=2754560, episodic return=497.3976745605469\n", + "global step=2756608, episodic return=502.59246826171875\n", + "global step=2756608, episodic return=499.5480651855469\n", + "global step=2758656, episodic return=494.742431640625\n", + "global step=2758656, episodic return=504.8665466308594\n", + "global step=2758656, episodic return=498.25311279296875\n", + "global step=2760704, episodic return=522.0634765625\n", + "global step=2760704, episodic return=500.6031799316406\n", + "global step=2760704, episodic return=502.92303466796875\n", + "global step=2762752, episodic return=502.6773681640625\n", + "global step=2762752, episodic return=499.9368591308594\n", + "global step=2762752, episodic return=500.6885986328125\n", + "global step=2762752, episodic return=503.3106689453125\n", + "global step=2764800, episodic return=506.0704345703125\n", + "global step=2764800, episodic return=507.6452941894531\n", + "global step=2764800, episodic return=502.64520263671875\n", + "global step=2764800, episodic return=502.5456237792969\n", + "global step=2764800, episodic return=503.9266662597656\n", + "global step=2764800, episodic return=503.6829833984375\n", + "global step=2766848, episodic return=546.1576538085938\n", + "global step=2766848, episodic return=502.098876953125\n", + "global step=2766848, episodic return=499.9997863769531\n", + "global step=2766848, episodic return=506.7166748046875\n", + "global step=2766848, episodic return=504.90093994140625\n", + "global step=2766848, episodic return=509.91998291015625\n", + "global step=2768896, episodic return=505.3077087402344\n", + "global step=2768896, episodic return=506.8063659667969\n", + "global step=2768896, episodic return=553.96533203125\n", + "global step=2770944, episodic return=505.8405456542969\n", + "global step=2770944, episodic return=522.0806884765625\n", + "global step=2770944, episodic return=511.3607177734375\n", + "global step=2770944, episodic return=507.8097839355469\n", + "global step=2770944, episodic return=509.3174133300781\n", + "global step=2770944, episodic return=525.832763671875\n", + "global step=2770944, episodic return=504.63421630859375\n", + "global step=2770944, episodic return=508.7404479980469\n", + "global step=2770944, episodic return=512.0797119140625\n", + "global step=2772992, episodic return=505.1336669921875\n", + "global step=2772992, episodic return=499.15008544921875\n", + "global step=2772992, episodic return=507.8622131347656\n", + "global step=2772992, episodic return=512.6947631835938\n", + "global step=2772992, episodic return=491.2043151855469\n", + "global step=2772992, episodic return=508.16058349609375\n", + "global step=2772992, episodic return=506.94085693359375\n", + "global step=2772992, episodic return=533.0767211914062\n", + "global step=2775040, episodic return=512.7627563476562\n", + "global step=2775040, episodic return=506.806396484375\n", + "global step=2775040, episodic return=509.3820495605469\n", + "global step=2775040, episodic return=544.3536987304688\n", + "global step=2775040, episodic return=506.04168701171875\n", + "global step=2775040, episodic return=511.5677185058594\n", + "global step=2775040, episodic return=516.0845947265625\n", + "global step=2775040, episodic return=512.241455078125\n", + "global step=2777088, episodic return=546.966064453125\n", + "global step=2777088, episodic return=515.38818359375\n", + "global step=2777088, episodic return=509.14105224609375\n", + "global step=2777088, episodic return=511.3575134277344\n", + "global step=2777088, episodic return=514.074462890625\n", + "global step=2777088, episodic return=510.52764892578125\n", + "global step=2779136, episodic return=515.6359252929688\n", + "global step=2779136, episodic return=510.2762145996094\n", + "global step=2779136, episodic return=516.2474975585938\n", + "global step=2779136, episodic return=513.1016235351562\n", + "global step=2779136, episodic return=519.03271484375\n", + "global step=2781184, episodic return=509.1227111816406\n", + "global step=2781184, episodic return=516.0739135742188\n", + "global step=2781184, episodic return=512.3443603515625\n", + "global step=2781184, episodic return=513.5311279296875\n", + "global step=2781184, episodic return=516.6785278320312\n", + "global step=2781184, episodic return=512.6171264648438\n", + "global step=2781184, episodic return=513.8108520507812\n", + "global step=2781184, episodic return=516.7283935546875\n", + "global step=2781184, episodic return=512.7097778320312\n", + "global step=2781184, episodic return=543.0499877929688\n", + "global step=2783232, episodic return=510.537353515625\n", + "global step=2783232, episodic return=511.149169921875\n", + "global step=2783232, episodic return=519.2776489257812\n", + "global step=2783232, episodic return=518.2683715820312\n", + "global step=2783232, episodic return=512.0659790039062\n", + "global step=2783232, episodic return=512.1563720703125\n", + "global step=2783232, episodic return=520.2499389648438\n", + "global step=2783232, episodic return=514.982177734375\n", + "global step=2783232, episodic return=511.5890197753906\n", + "global step=2783232, episodic return=512.067138671875\n", + "global step=2785280, episodic return=515.297607421875\n", + "global step=2785280, episodic return=512.3316650390625\n", + "global step=2785280, episodic return=511.577880859375\n", + "global step=2785280, episodic return=511.9147644042969\n", + "global step=2785280, episodic return=518.5459594726562\n", + "global step=2785280, episodic return=507.1329345703125\n", + "global step=2785280, episodic return=520.4730834960938\n", + "global step=2785280, episodic return=514.21533203125\n", + "global step=2785280, episodic return=515.07421875\n", + "global step=2785280, episodic return=517.4813842773438\n", + "global step=2785280, episodic return=518.2413330078125\n", + "global step=2785280, episodic return=510.2134704589844\n", + "global step=2787328, episodic return=512.7604370117188\n", + "global step=2787328, episodic return=516.1741943359375\n", + "global step=2787328, episodic return=515.939208984375\n", + "global step=2787328, episodic return=507.3844909667969\n", + "global step=2787328, episodic return=512.1607055664062\n", + "global step=2787328, episodic return=515.311279296875\n", + "global step=2787328, episodic return=515.8845825195312\n", + "global step=2787328, episodic return=515.0508422851562\n", + "global step=2789376, episodic return=522.9290161132812\n", + "global step=2789376, episodic return=517.49853515625\n", + "global step=2789376, episodic return=557.5728149414062\n", + "global step=2789376, episodic return=525.5897827148438\n", + "global step=2789376, episodic return=513.8626098632812\n", + "global step=2789376, episodic return=521.9180297851562\n", + "global step=2789376, episodic return=518.1017456054688\n", + "global step=2789376, episodic return=521.8074951171875\n", + "global step=2789376, episodic return=512.6921997070312\n", + "global step=2789376, episodic return=516.3798217773438\n", + "global step=2789376, episodic return=516.265869140625\n", + "global step=2789376, episodic return=561.4888305664062\n", + "global step=2791424, episodic return=516.3104858398438\n", + "global step=2791424, episodic return=517.7744140625\n", + "global step=2791424, episodic return=518.8070068359375\n", + "global step=2791424, episodic return=520.0159912109375\n", + "global step=2791424, episodic return=519.0162353515625\n", + "global step=2791424, episodic return=517.8286743164062\n", + "global step=2791424, episodic return=518.1956787109375\n", + "global step=2791424, episodic return=516.6294555664062\n", + "global step=2791424, episodic return=515.5935668945312\n", + "global step=2791424, episodic return=517.2640380859375\n", + "global step=2791424, episodic return=489.5046691894531\n", + "global step=2791424, episodic return=516.9780883789062\n", + "global step=2791424, episodic return=516.96337890625\n", + "global step=2791424, episodic return=513.9312133789062\n", + "global step=2791424, episodic return=524.6041259765625\n", + "global step=2791424, episodic return=519.0377197265625\n", + "global step=2791424, episodic return=520.191650390625\n", + "global step=2791424, episodic return=520.2296142578125\n", + "global step=2793472, episodic return=521.2974853515625\n", + "global step=2793472, episodic return=519.6300659179688\n", + "global step=2793472, episodic return=523.4192504882812\n", + "global step=2793472, episodic return=520.6944580078125\n", + "global step=2793472, episodic return=499.4726257324219\n", + "global step=2793472, episodic return=522.2449951171875\n", + "global step=2793472, episodic return=521.07470703125\n", + "global step=2793472, episodic return=519.8360595703125\n", + "global step=2793472, episodic return=519.7686157226562\n", + "global step=2793472, episodic return=520.800537109375\n", + "global step=2793472, episodic return=522.4779052734375\n", + "global step=2793472, episodic return=523.2386474609375\n", + "global step=2793472, episodic return=518.8824462890625\n", + "global step=2793472, episodic return=520.1311645507812\n", + "global step=2793472, episodic return=515.4683227539062\n", + "global step=2795520, episodic return=521.0986328125\n", + "global step=2795520, episodic return=524.2033081054688\n", + "global step=2795520, episodic return=541.2732543945312\n", + "global step=2795520, episodic return=518.4854736328125\n", + "global step=2795520, episodic return=519.7841186523438\n", + "global step=2795520, episodic return=523.1192626953125\n", + "global step=2795520, episodic return=534.2603759765625\n", + "global step=2795520, episodic return=522.3595581054688\n", + "global step=2795520, episodic return=522.2057495117188\n", + "global step=2795520, episodic return=520.9359741210938\n", + "global step=2795520, episodic return=521.208984375\n", + "global step=2795520, episodic return=523.6116943359375\n", + "global step=2795520, episodic return=519.1394653320312\n", + "global step=2797568, episodic return=520.8697509765625\n", + "global step=2797568, episodic return=503.081298828125\n", + "global step=2797568, episodic return=563.7302856445312\n", + "global step=2797568, episodic return=528.9235229492188\n", + "global step=2797568, episodic return=521.308837890625\n", + "global step=2797568, episodic return=519.1004638671875\n", + "global step=2797568, episodic return=522.6566162109375\n", + "global step=2797568, episodic return=519.5487060546875\n", + "global step=2797568, episodic return=520.1442260742188\n", + "global step=2797568, episodic return=520.9531860351562\n", + "global step=2797568, episodic return=498.5646667480469\n", + "global step=2797568, episodic return=520.6446533203125\n", + "global step=2797568, episodic return=524.6907348632812\n", + "global step=2797568, episodic return=514.7769165039062\n", + "global step=2797568, episodic return=526.0884399414062\n", + "global step=2797568, episodic return=497.0579833984375\n", + "global step=2799616, episodic return=523.68115234375\n", + "global step=2799616, episodic return=522.5491943359375\n", + "global step=2799616, episodic return=501.8509216308594\n", + "global step=2799616, episodic return=526.6097412109375\n", + "global step=2799616, episodic return=522.0917358398438\n", + "global step=2799616, episodic return=529.7628784179688\n", + "global step=2799616, episodic return=521.2041015625\n", + "global step=2799616, episodic return=528.3195190429688\n", + "global step=2799616, episodic return=520.6734619140625\n", + "global step=2799616, episodic return=531.6806640625\n", + "global step=2799616, episodic return=522.7420654296875\n", + "global step=2799616, episodic return=522.9680786132812\n", + "global step=2799616, episodic return=522.6050415039062\n", + "global step=2799616, episodic return=491.80926513671875\n", + "global step=2799616, episodic return=524.2155151367188\n", + "global step=2799616, episodic return=520.799560546875\n", + "global step=2799616, episodic return=519.0986328125\n", + "global step=2801664, episodic return=527.185791015625\n", + "global step=2801664, episodic return=526.7134399414062\n", + "global step=2801664, episodic return=526.8414916992188\n", + "global step=2801664, episodic return=522.8932495117188\n", + "global step=2801664, episodic return=526.7676391601562\n", + "global step=2801664, episodic return=519.6764526367188\n", + "global step=2801664, episodic return=526.7572631835938\n", + "global step=2801664, episodic return=507.5799865722656\n", + "global step=2801664, episodic return=524.3157348632812\n", + "global step=2801664, episodic return=525.6114501953125\n", + "global step=2801664, episodic return=526.0623779296875\n", + "global step=2801664, episodic return=524.3167114257812\n", + "global step=2801664, episodic return=528.779296875\n", + "global step=2801664, episodic return=526.7313842773438\n", + "global step=2803712, episodic return=527.4297485351562\n", + "global step=2803712, episodic return=521.0414428710938\n", + "global step=2803712, episodic return=522.3436279296875\n", + "global step=2803712, episodic return=524.0210571289062\n", + "global step=2803712, episodic return=524.5332641601562\n", + "global step=2803712, episodic return=531.211181640625\n", + "global step=2803712, episodic return=526.2642822265625\n", + "global step=2803712, episodic return=529.6345825195312\n", + "global step=2803712, episodic return=527.0477905273438\n", + "global step=2803712, episodic return=525.9768676757812\n", + "global step=2803712, episodic return=526.1011962890625\n", + "global step=2803712, episodic return=527.8870849609375\n", + "global step=2803712, episodic return=525.64697265625\n", + "global step=2803712, episodic return=524.288330078125\n", + "global step=2803712, episodic return=529.8001708984375\n", + "global step=2803712, episodic return=532.8226318359375\n", + "global step=2805760, episodic return=528.865966796875\n", + "global step=2805760, episodic return=521.1777954101562\n", + "global step=2805760, episodic return=529.4022216796875\n", + "global step=2805760, episodic return=531.1213989257812\n", + "global step=2805760, episodic return=524.80859375\n", + "global step=2805760, episodic return=524.2088623046875\n", + "global step=2805760, episodic return=529.6470947265625\n", + "global step=2805760, episodic return=528.7236328125\n", + "global step=2805760, episodic return=521.5325317382812\n", + "global step=2805760, episodic return=553.047607421875\n", + "global step=2805760, episodic return=525.6038818359375\n", + "global step=2805760, episodic return=521.8740844726562\n", + "global step=2805760, episodic return=528.124755859375\n", + "global step=2805760, episodic return=518.2200927734375\n", + "global step=2805760, episodic return=526.5225830078125\n", + "global step=2807808, episodic return=523.1886596679688\n", + "global step=2807808, episodic return=527.5750122070312\n", + "global step=2807808, episodic return=528.7792358398438\n", + "global step=2807808, episodic return=533.0189208984375\n", + "global step=2807808, episodic return=523.2019653320312\n", + "global step=2807808, episodic return=500.6533508300781\n", + "global step=2807808, episodic return=528.365478515625\n", + "global step=2807808, episodic return=522.9216918945312\n", + "global step=2807808, episodic return=523.7796630859375\n", + "global step=2807808, episodic return=532.2297973632812\n", + "global step=2807808, episodic return=529.739990234375\n", + "global step=2807808, episodic return=521.8092651367188\n", + "global step=2807808, episodic return=498.681640625\n", + "global step=2809856, episodic return=531.1008911132812\n", + "global step=2809856, episodic return=527.4736328125\n", + "global step=2809856, episodic return=507.87451171875\n", + "global step=2809856, episodic return=502.6565246582031\n", + "global step=2809856, episodic return=531.1784057617188\n", + "global step=2809856, episodic return=525.2168579101562\n", + "global step=2809856, episodic return=530.5560913085938\n", + "global step=2809856, episodic return=531.785888671875\n", + "global step=2809856, episodic return=529.5737915039062\n", + "global step=2809856, episodic return=530.53125\n", + "global step=2809856, episodic return=506.8187255859375\n", + "global step=2809856, episodic return=510.3446960449219\n", + "global step=2809856, episodic return=505.06103515625\n", + "global step=2811904, episodic return=530.4589233398438\n", + "global step=2811904, episodic return=532.2509155273438\n", + "global step=2811904, episodic return=527.0508422851562\n", + "global step=2811904, episodic return=533.5858764648438\n", + "global step=2811904, episodic return=511.95361328125\n", + "global step=2811904, episodic return=512.1614990234375\n", + "global step=2811904, episodic return=533.1823120117188\n", + "global step=2811904, episodic return=531.2831420898438\n", + "global step=2811904, episodic return=534.470947265625\n", + "global step=2811904, episodic return=535.8765869140625\n", + "global step=2811904, episodic return=526.48681640625\n", + "global step=2811904, episodic return=530.9481201171875\n", + "global step=2811904, episodic return=526.3050537109375\n", + "global step=2811904, episodic return=536.6091918945312\n", + "global step=2811904, episodic return=534.0321044921875\n", + "global step=2811904, episodic return=493.1600341796875\n", + "global step=2811904, episodic return=532.6619262695312\n", + "global step=2811904, episodic return=531.27197265625\n", + "global step=2811904, episodic return=527.3744506835938\n", + "global step=2813952, episodic return=532.9578857421875\n", + "global step=2813952, episodic return=537.0020141601562\n", + "global step=2813952, episodic return=535.8753662109375\n", + "global step=2813952, episodic return=510.5201416015625\n", + "global step=2813952, episodic return=530.1901245117188\n", + "global step=2813952, episodic return=524.7398071289062\n", + "global step=2813952, episodic return=528.6522216796875\n", + "global step=2813952, episodic return=531.210205078125\n", + "global step=2813952, episodic return=533.879638671875\n", + "global step=2813952, episodic return=539.306884765625\n", + "global step=2813952, episodic return=530.29296875\n", + "global step=2813952, episodic return=534.0254516601562\n", + "global step=2813952, episodic return=532.1160888671875\n", + "global step=2813952, episodic return=532.6419677734375\n", + "global step=2816000, episodic return=540.9000854492188\n", + "global step=2816000, episodic return=533.1541748046875\n", + "global step=2816000, episodic return=530.3106079101562\n", + "global step=2816000, episodic return=528.7886962890625\n", + "global step=2816000, episodic return=525.999267578125\n", + "global step=2816000, episodic return=529.755859375\n", + "global step=2816000, episodic return=528.8826293945312\n", + "global step=2816000, episodic return=531.3198852539062\n", + "global step=2816000, episodic return=528.7696533203125\n", + "global step=2816000, episodic return=530.1887817382812\n", + "global step=2816000, episodic return=513.2728881835938\n", + "global step=2816000, episodic return=530.9292602539062\n", + "global step=2816000, episodic return=535.7642211914062\n", + "global step=2816000, episodic return=539.0877075195312\n", + "global step=2816000, episodic return=524.6950073242188\n", + "global step=2816000, episodic return=530.19921875\n", + "global step=2816000, episodic return=531.9467163085938\n", + "global step=2816000, episodic return=533.4053955078125\n", + "global step=2818048, episodic return=537.4803466796875\n", + "global step=2818048, episodic return=541.8021850585938\n", + "global step=2818048, episodic return=529.711669921875\n", + "global step=2818048, episodic return=538.714111328125\n", + "global step=2818048, episodic return=512.1483764648438\n", + "global step=2818048, episodic return=530.4883422851562\n", + "global step=2818048, episodic return=567.09521484375\n", + "global step=2818048, episodic return=534.0020751953125\n", + "global step=2818048, episodic return=530.5833740234375\n", + "global step=2818048, episodic return=535.56884765625\n", + "global step=2818048, episodic return=534.2678833007812\n", + "global step=2818048, episodic return=534.0097045898438\n", + "global step=2818048, episodic return=531.6472778320312\n", + "global step=2818048, episodic return=534.6878051757812\n", + "global step=2818048, episodic return=533.8129272460938\n", + "global step=2818048, episodic return=514.7117309570312\n", + "global step=2820096, episodic return=518.4596557617188\n", + "global step=2820096, episodic return=539.8349609375\n", + "global step=2820096, episodic return=537.4736938476562\n", + "global step=2820096, episodic return=537.9174194335938\n", + "global step=2820096, episodic return=536.338623046875\n", + "global step=2820096, episodic return=514.0844116210938\n", + "global step=2820096, episodic return=537.2884521484375\n", + "global step=2820096, episodic return=515.19189453125\n", + "global step=2820096, episodic return=538.020263671875\n", + "global step=2820096, episodic return=540.4262084960938\n", + "global step=2820096, episodic return=535.3131713867188\n", + "global step=2820096, episodic return=537.5665893554688\n", + "global step=2820096, episodic return=533.7396850585938\n", + "global step=2820096, episodic return=539.2650146484375\n", + "global step=2820096, episodic return=528.2922973632812\n", + "global step=2820096, episodic return=535.7236328125\n", + "global step=2820096, episodic return=530.4290771484375\n", + "global step=2820096, episodic return=531.22509765625\n", + "global step=2820096, episodic return=533.5332641601562\n", + "global step=2820096, episodic return=533.5991821289062\n", + "global step=2820096, episodic return=540.151611328125\n", + "global step=2820096, episodic return=510.1664123535156\n", + "global step=2820096, episodic return=521.04150390625\n", + "global step=2820096, episodic return=538.2468872070312\n", + "global step=2820096, episodic return=538.8756713867188\n", + "global step=2820096, episodic return=532.01708984375\n", + "global step=2822144, episodic return=523.9953002929688\n", + "global step=2822144, episodic return=536.9537963867188\n", + "global step=2822144, episodic return=539.485595703125\n", + "global step=2822144, episodic return=537.0802001953125\n", + "global step=2822144, episodic return=538.8475952148438\n", + "global step=2822144, episodic return=535.3357543945312\n", + "global step=2822144, episodic return=526.9545288085938\n", + "global step=2822144, episodic return=541.4674682617188\n", + "global step=2822144, episodic return=538.52001953125\n", + "global step=2822144, episodic return=536.3468627929688\n", + "global step=2822144, episodic return=527.6293334960938\n", + "global step=2822144, episodic return=511.52288818359375\n", + "global step=2822144, episodic return=533.659423828125\n", + "global step=2822144, episodic return=538.22216796875\n", + "global step=2822144, episodic return=535.5841674804688\n", + "global step=2822144, episodic return=540.8198852539062\n", + "global step=2824192, episodic return=537.1901245117188\n", + "global step=2824192, episodic return=536.0973510742188\n", + "global step=2824192, episodic return=538.3949584960938\n", + "global step=2824192, episodic return=533.1472778320312\n", + "global step=2824192, episodic return=546.924072265625\n", + "global step=2824192, episodic return=544.61669921875\n", + "global step=2824192, episodic return=522.7371826171875\n", + "global step=2824192, episodic return=510.9972229003906\n", + "global step=2824192, episodic return=533.65576171875\n", + "global step=2824192, episodic return=536.8704223632812\n", + "global step=2824192, episodic return=536.317138671875\n", + "global step=2824192, episodic return=532.60400390625\n", + "global step=2824192, episodic return=499.4517517089844\n", + "global step=2824192, episodic return=536.6519165039062\n", + "global step=2824192, episodic return=531.7241821289062\n", + "global step=2824192, episodic return=540.89404296875\n", + "global step=2824192, episodic return=537.0301513671875\n", + "global step=2826240, episodic return=531.99267578125\n", + "global step=2826240, episodic return=530.27392578125\n", + "global step=2826240, episodic return=541.493408203125\n", + "global step=2826240, episodic return=539.738525390625\n", + "global step=2826240, episodic return=544.1797485351562\n", + "global step=2826240, episodic return=538.927734375\n", + "global step=2826240, episodic return=533.3460693359375\n", + "global step=2826240, episodic return=539.8777465820312\n", + "global step=2826240, episodic return=546.2125854492188\n", + "global step=2826240, episodic return=533.2890625\n", + "global step=2826240, episodic return=544.3247680664062\n", + "global step=2826240, episodic return=542.3917236328125\n", + "global step=2826240, episodic return=536.2546997070312\n", + "global step=2826240, episodic return=536.4979858398438\n", + "global step=2826240, episodic return=523.2777709960938\n", + "global step=2826240, episodic return=532.97705078125\n", + "global step=2826240, episodic return=514.1694946289062\n", + "global step=2826240, episodic return=515.0714111328125\n", + "global step=2826240, episodic return=541.5884399414062\n", + "global step=2826240, episodic return=540.9969482421875\n", + "global step=2826240, episodic return=541.003173828125\n", + "global step=2826240, episodic return=528.347412109375\n", + "global step=2826240, episodic return=535.8212280273438\n", + "global step=2826240, episodic return=508.92034912109375\n", + "global step=2826240, episodic return=542.07763671875\n", + "global step=2826240, episodic return=537.551025390625\n", + "global step=2826240, episodic return=505.5642395019531\n", + "global step=2828288, episodic return=540.43017578125\n", + "global step=2828288, episodic return=517.7900390625\n", + "global step=2828288, episodic return=501.4516296386719\n", + "global step=2828288, episodic return=504.72357177734375\n", + "global step=2828288, episodic return=536.9525146484375\n", + "global step=2828288, episodic return=540.921142578125\n", + "global step=2828288, episodic return=535.539306640625\n", + "global step=2828288, episodic return=502.2904052734375\n", + "global step=2828288, episodic return=541.520263671875\n", + "global step=2828288, episodic return=548.123291015625\n", + "global step=2828288, episodic return=541.6986694335938\n", + "global step=2828288, episodic return=536.251953125\n", + "global step=2828288, episodic return=542.5126953125\n", + "global step=2828288, episodic return=536.7784423828125\n", + "global step=2828288, episodic return=538.6994018554688\n", + "global step=2828288, episodic return=544.3634643554688\n", + "global step=2828288, episodic return=536.971435546875\n", + "global step=2828288, episodic return=518.2506103515625\n", + "global step=2828288, episodic return=545.240234375\n", + "global step=2828288, episodic return=518.3184814453125\n", + "global step=2828288, episodic return=546.9302978515625\n", + "global step=2828288, episodic return=516.2216186523438\n", + "global step=2828288, episodic return=536.58251953125\n", + "global step=2830336, episodic return=543.4420776367188\n", + "global step=2830336, episodic return=538.5240478515625\n", + "global step=2830336, episodic return=540.5761108398438\n", + "global step=2830336, episodic return=551.551025390625\n", + "global step=2830336, episodic return=539.1348876953125\n", + "global step=2830336, episodic return=519.3125\n", + "global step=2830336, episodic return=541.5362548828125\n", + "global step=2830336, episodic return=539.9884033203125\n", + "global step=2830336, episodic return=519.6832885742188\n", + "global step=2830336, episodic return=517.8023071289062\n", + "global step=2830336, episodic return=536.06103515625\n", + "global step=2830336, episodic return=540.1681518554688\n", + "global step=2830336, episodic return=539.2252807617188\n", + "global step=2830336, episodic return=538.42529296875\n", + "global step=2830336, episodic return=541.888671875\n", + "global step=2830336, episodic return=538.7384033203125\n", + "global step=2830336, episodic return=521.3150024414062\n", + "global step=2830336, episodic return=534.84130859375\n", + "global step=2830336, episodic return=510.20123291015625\n", + "global step=2830336, episodic return=523.0166625976562\n", + "global step=2830336, episodic return=540.6874389648438\n", + "global step=2830336, episodic return=539.922119140625\n", + "global step=2830336, episodic return=541.9526977539062\n", + "global step=2830336, episodic return=540.6460571289062\n", + "global step=2830336, episodic return=538.7057495117188\n", + "global step=2830336, episodic return=542.9620361328125\n", + "global step=2830336, episodic return=517.0659790039062\n", + "global step=2830336, episodic return=539.5697021484375\n", + "global step=2830336, episodic return=541.1061401367188\n", + "global step=2830336, episodic return=535.5901489257812\n", + "global step=2832384, episodic return=544.280517578125\n", + "global step=2832384, episodic return=540.5050659179688\n", + "global step=2832384, episodic return=544.4158935546875\n", + "global step=2832384, episodic return=539.3306884765625\n", + "global step=2832384, episodic return=544.4791259765625\n", + "global step=2832384, episodic return=520.2109985351562\n", + "global step=2832384, episodic return=538.4338989257812\n", + "global step=2832384, episodic return=543.4046630859375\n", + "global step=2832384, episodic return=547.5908203125\n", + "global step=2834432, episodic return=510.04547119140625\n", + "global step=2834432, episodic return=544.72021484375\n", + "global step=2834432, episodic return=550.1829223632812\n", + "global step=2834432, episodic return=541.2091674804688\n", + "global step=2834432, episodic return=541.101318359375\n", + "global step=2834432, episodic return=505.8743896484375\n", + "global step=2834432, episodic return=546.6514282226562\n", + "global step=2834432, episodic return=540.7385864257812\n", + "global step=2834432, episodic return=545.8079223632812\n", + "global step=2834432, episodic return=521.6166381835938\n", + "global step=2834432, episodic return=544.0068359375\n", + "global step=2834432, episodic return=526.513671875\n", + "global step=2834432, episodic return=519.7172241210938\n", + "global step=2834432, episodic return=498.73150634765625\n", + "global step=2834432, episodic return=546.8224487304688\n", + "global step=2834432, episodic return=546.8966674804688\n", + "global step=2836480, episodic return=516.0237426757812\n", + "global step=2836480, episodic return=528.7721557617188\n", + "global step=2836480, episodic return=516.1056518554688\n", + "global step=2836480, episodic return=518.90087890625\n", + "global step=2836480, episodic return=547.2979736328125\n", + "global step=2836480, episodic return=542.623291015625\n", + "global step=2836480, episodic return=545.8129272460938\n", + "global step=2836480, episodic return=542.07666015625\n", + "global step=2836480, episodic return=544.6785888671875\n", + "global step=2836480, episodic return=544.571044921875\n", + "global step=2836480, episodic return=547.10595703125\n", + "global step=2836480, episodic return=544.9649658203125\n", + "global step=2836480, episodic return=515.3668823242188\n", + "global step=2836480, episodic return=548.3776245117188\n", + "global step=2836480, episodic return=520.471923828125\n", + "global step=2836480, episodic return=549.9911499023438\n", + "global step=2836480, episodic return=532.4685668945312\n", + "global step=2836480, episodic return=546.0455932617188\n", + "global step=2836480, episodic return=547.7826538085938\n", + "global step=2836480, episodic return=540.7115478515625\n", + "global step=2838528, episodic return=545.4588623046875\n", + "global step=2838528, episodic return=521.5489501953125\n", + "global step=2838528, episodic return=548.57421875\n", + "global step=2838528, episodic return=544.9454956054688\n", + "global step=2838528, episodic return=527.6689453125\n", + "global step=2838528, episodic return=504.77520751953125\n", + "global step=2838528, episodic return=546.5599975585938\n", + "global step=2838528, episodic return=536.7457885742188\n", + "global step=2838528, episodic return=535.6485595703125\n", + "global step=2838528, episodic return=544.0325927734375\n", + "global step=2838528, episodic return=545.097900390625\n", + "global step=2838528, episodic return=544.43505859375\n", + "global step=2838528, episodic return=516.8718872070312\n", + "global step=2838528, episodic return=543.9195556640625\n", + "global step=2838528, episodic return=519.054443359375\n", + "global step=2838528, episodic return=1014.9404296875\n", + "global step=2838528, episodic return=548.068359375\n", + "global step=2838528, episodic return=547.84521484375\n", + "global step=2838528, episodic return=550.4344482421875\n", + "global step=2838528, episodic return=544.2222290039062\n", + "global step=2838528, episodic return=520.5966186523438\n", + "global step=2838528, episodic return=513.50634765625\n", + "global step=2838528, episodic return=522.5106811523438\n", + "global step=2838528, episodic return=547.0911254882812\n", + "global step=2838528, episodic return=528.455322265625\n", + "global step=2838528, episodic return=515.9228515625\n", + "global step=2840576, episodic return=547.8912963867188\n", + "global step=2840576, episodic return=542.43603515625\n", + "global step=2840576, episodic return=543.7301025390625\n", + "global step=2840576, episodic return=552.5491943359375\n", + "global step=2840576, episodic return=503.4999694824219\n", + "global step=2840576, episodic return=559.7296752929688\n", + "global step=2840576, episodic return=551.2869262695312\n", + "global step=2840576, episodic return=545.3862915039062\n", + "global step=2840576, episodic return=551.1284790039062\n", + "global step=2840576, episodic return=505.3841857910156\n", + "global step=2840576, episodic return=551.6611938476562\n", + "global step=2840576, episodic return=543.31787109375\n", + "global step=2840576, episodic return=551.9473266601562\n", + "global step=2840576, episodic return=542.8717041015625\n", + "global step=2842624, episodic return=520.58251953125\n", + "global step=2842624, episodic return=500.83233642578125\n", + "global step=2842624, episodic return=519.530517578125\n", + "global step=2842624, episodic return=547.7284545898438\n", + "global step=2842624, episodic return=543.968017578125\n", + "global step=2842624, episodic return=547.2536010742188\n", + "global step=2842624, episodic return=557.2581176757812\n", + "global step=2842624, episodic return=547.1038208007812\n", + "global step=2842624, episodic return=551.1311645507812\n", + "global step=2842624, episodic return=549.7720947265625\n", + "global step=2842624, episodic return=547.5970458984375\n", + "global step=2842624, episodic return=550.7586669921875\n", + "global step=2842624, episodic return=551.640380859375\n", + "global step=2842624, episodic return=531.0311889648438\n", + "global step=2842624, episodic return=541.6702880859375\n", + "global step=2842624, episodic return=530.8594360351562\n", + "global step=2842624, episodic return=550.882568359375\n", + "global step=2842624, episodic return=554.2740478515625\n", + "global step=2842624, episodic return=528.192626953125\n", + "global step=2842624, episodic return=506.9253234863281\n", + "global step=2844672, episodic return=544.9712524414062\n", + "global step=2844672, episodic return=547.4907836914062\n", + "global step=2844672, episodic return=545.121826171875\n", + "global step=2844672, episodic return=513.5027465820312\n", + "global step=2844672, episodic return=551.12451171875\n", + "global step=2844672, episodic return=520.768310546875\n", + "global step=2844672, episodic return=547.1946411132812\n", + "global step=2844672, episodic return=553.120849609375\n", + "global step=2844672, episodic return=521.9271850585938\n", + "global step=2844672, episodic return=552.7374267578125\n", + "global step=2844672, episodic return=547.0426635742188\n", + "global step=2844672, episodic return=553.6101684570312\n", + "global step=2844672, episodic return=522.43017578125\n", + "global step=2844672, episodic return=513.3743896484375\n", + "global step=2844672, episodic return=515.098388671875\n", + "global step=2844672, episodic return=534.3381958007812\n", + "global step=2844672, episodic return=551.2225952148438\n", + "global step=2844672, episodic return=524.620361328125\n", + "global step=2844672, episodic return=551.8195190429688\n", + "global step=2844672, episodic return=514.4981079101562\n", + "global step=2844672, episodic return=551.7011108398438\n", + "global step=2846720, episodic return=552.8567504882812\n", + "global step=2846720, episodic return=522.0550537109375\n", + "global step=2846720, episodic return=524.5445556640625\n", + "global step=2846720, episodic return=530.9168701171875\n", + "global step=2846720, episodic return=510.6990966796875\n", + "global step=2846720, episodic return=548.7993774414062\n", + "global step=2846720, episodic return=525.3651123046875\n", + "global step=2846720, episodic return=555.71826171875\n", + "global step=2846720, episodic return=549.9280395507812\n", + "global step=2846720, episodic return=549.9296875\n", + "global step=2846720, episodic return=545.333251953125\n", + "global step=2846720, episodic return=515.7810668945312\n", + "global step=2846720, episodic return=528.1533203125\n", + "global step=2846720, episodic return=519.8738403320312\n", + "global step=2846720, episodic return=547.5242309570312\n", + "global step=2846720, episodic return=530.6663208007812\n", + "global step=2846720, episodic return=514.632568359375\n", + "global step=2846720, episodic return=559.1270141601562\n", + "global step=2846720, episodic return=556.8621826171875\n", + "global step=2846720, episodic return=539.7060546875\n", + "global step=2848768, episodic return=520.8410034179688\n", + "global step=2848768, episodic return=547.3881225585938\n", + "global step=2848768, episodic return=547.8477783203125\n", + "global step=2848768, episodic return=560.5928344726562\n", + "global step=2848768, episodic return=513.72265625\n", + "global step=2848768, episodic return=525.1685791015625\n", + "global step=2848768, episodic return=502.1656799316406\n", + "global step=2848768, episodic return=539.214599609375\n", + "global step=2848768, episodic return=548.4757080078125\n", + "global step=2848768, episodic return=558.7614135742188\n", + "global step=2848768, episodic return=520.3660278320312\n", + "global step=2848768, episodic return=517.4365844726562\n", + "global step=2848768, episodic return=555.1057739257812\n", + "global step=2850816, episodic return=557.510986328125\n", + "global step=2850816, episodic return=555.577880859375\n", + "global step=2850816, episodic return=563.51220703125\n", + "global step=2850816, episodic return=531.9961547851562\n", + "global step=2850816, episodic return=559.8037719726562\n", + "global step=2850816, episodic return=527.404052734375\n", + "global step=2850816, episodic return=557.8153686523438\n", + "global step=2850816, episodic return=517.8992919921875\n", + "global step=2850816, episodic return=533.24169921875\n", + "global step=2850816, episodic return=550.8910522460938\n", + "global step=2850816, episodic return=555.2203979492188\n", + "global step=2850816, episodic return=550.0923461914062\n", + "global step=2850816, episodic return=551.1213989257812\n", + "global step=2850816, episodic return=547.5128173828125\n", + "global step=2850816, episodic return=535.3920288085938\n", + "global step=2850816, episodic return=521.47119140625\n", + "global step=2850816, episodic return=549.1246337890625\n", + "global step=2850816, episodic return=516.0158081054688\n", + "global step=2850816, episodic return=551.5257568359375\n", + "global step=2850816, episodic return=554.9710083007812\n", + "global step=2850816, episodic return=556.0936889648438\n", + "global step=2850816, episodic return=555.0304565429688\n", + "global step=2852864, episodic return=554.1484375\n", + "global step=2852864, episodic return=554.8723754882812\n", + "global step=2852864, episodic return=519.9521484375\n", + "global step=2852864, episodic return=509.3104248046875\n", + "global step=2852864, episodic return=552.7130126953125\n", + "global step=2852864, episodic return=553.1483764648438\n", + "global step=2852864, episodic return=546.5433349609375\n", + "global step=2852864, episodic return=518.8250732421875\n", + "global step=2852864, episodic return=528.1287841796875\n", + "global step=2852864, episodic return=540.7265625\n", + "global step=2852864, episodic return=528.3788452148438\n", + "global step=2852864, episodic return=527.4681396484375\n", + "global step=2852864, episodic return=530.7071533203125\n", + "global step=2852864, episodic return=559.1299438476562\n", + "global step=2852864, episodic return=531.3614501953125\n", + "global step=2852864, episodic return=557.6268920898438\n", + "global step=2854912, episodic return=546.9666748046875\n", + "global step=2854912, episodic return=557.47607421875\n", + "global step=2854912, episodic return=561.0245971679688\n", + "global step=2854912, episodic return=533.5490112304688\n", + "global step=2854912, episodic return=560.9027099609375\n", + "global step=2854912, episodic return=527.2300415039062\n", + "global step=2854912, episodic return=557.5665893554688\n", + "global step=2854912, episodic return=557.7235107421875\n", + "global step=2854912, episodic return=558.4949340820312\n", + "global step=2854912, episodic return=547.8155517578125\n", + "global step=2854912, episodic return=521.0105590820312\n", + "global step=2854912, episodic return=529.4088745117188\n", + "global step=2854912, episodic return=562.587890625\n", + "global step=2854912, episodic return=538.459716796875\n", + "global step=2854912, episodic return=559.2508544921875\n", + "global step=2854912, episodic return=558.6033325195312\n", + "global step=2854912, episodic return=554.5014038085938\n", + "global step=2854912, episodic return=534.4550170898438\n", + "global step=2854912, episodic return=551.7031860351562\n", + "global step=2854912, episodic return=547.7772827148438\n", + "global step=2854912, episodic return=527.97314453125\n", + "global step=2854912, episodic return=554.422607421875\n", + "global step=2854912, episodic return=553.6642456054688\n", + "global step=2856960, episodic return=539.13232421875\n", + "global step=2856960, episodic return=561.5322875976562\n", + "global step=2856960, episodic return=557.1207885742188\n", + "global step=2856960, episodic return=561.0781860351562\n", + "global step=2856960, episodic return=528.7765502929688\n", + "global step=2856960, episodic return=564.1339111328125\n", + "global step=2856960, episodic return=560.6494140625\n", + "global step=2856960, episodic return=551.6370239257812\n", + "global step=2856960, episodic return=565.0568237304688\n", + "global step=2856960, episodic return=557.9717407226562\n", + "global step=2856960, episodic return=554.7134399414062\n", + "global step=2856960, episodic return=523.8840942382812\n", + "global step=2856960, episodic return=557.1924438476562\n", + "global step=2856960, episodic return=526.1715087890625\n", + "global step=2856960, episodic return=553.5181884765625\n", + "global step=2856960, episodic return=565.980712890625\n", + "global step=2856960, episodic return=533.2394409179688\n", + "global step=2856960, episodic return=563.8462524414062\n", + "global step=2856960, episodic return=559.5370483398438\n", + "global step=2859008, episodic return=565.4383544921875\n", + "global step=2859008, episodic return=523.8946533203125\n", + "global step=2859008, episodic return=558.0830688476562\n", + "global step=2859008, episodic return=529.49609375\n", + "global step=2859008, episodic return=559.1351928710938\n", + "global step=2859008, episodic return=996.3404541015625\n", + "global step=2859008, episodic return=548.5463256835938\n", + "global step=2859008, episodic return=557.2071533203125\n", + "global step=2859008, episodic return=526.70458984375\n", + "global step=2859008, episodic return=568.5152587890625\n", + "global step=2859008, episodic return=563.671630859375\n", + "global step=2859008, episodic return=523.9894409179688\n", + "global step=2861056, episodic return=560.0110473632812\n", + "global step=2861056, episodic return=534.3209228515625\n", + "global step=2861056, episodic return=565.0758056640625\n", + "global step=2861056, episodic return=532.0593872070312\n", + "global step=2861056, episodic return=559.7339477539062\n", + "global step=2861056, episodic return=560.9132690429688\n", + "global step=2861056, episodic return=560.9080810546875\n", + "global step=2861056, episodic return=566.2698974609375\n", + "global step=2861056, episodic return=560.4466552734375\n", + "global step=2861056, episodic return=519.3148193359375\n", + "global step=2861056, episodic return=565.1067504882812\n", + "global step=2861056, episodic return=558.93798828125\n", + "global step=2861056, episodic return=534.282470703125\n", + "global step=2861056, episodic return=563.1050415039062\n", + "global step=2861056, episodic return=519.3914184570312\n", + "global step=2861056, episodic return=532.1030883789062\n", + "global step=2861056, episodic return=556.7908325195312\n", + "global step=2861056, episodic return=550.982666015625\n", + "global step=2861056, episodic return=528.30419921875\n", + "global step=2863104, episodic return=534.9188232421875\n", + "global step=2863104, episodic return=522.9465942382812\n", + "global step=2863104, episodic return=555.6759033203125\n", + "global step=2863104, episodic return=558.5430908203125\n", + "global step=2863104, episodic return=536.0430908203125\n", + "global step=2863104, episodic return=541.0873413085938\n", + "global step=2863104, episodic return=523.584228515625\n", + "global step=2863104, episodic return=559.278564453125\n", + "global step=2863104, episodic return=536.257080078125\n", + "global step=2863104, episodic return=532.8463134765625\n", + "global step=2863104, episodic return=557.9146728515625\n", + "global step=2863104, episodic return=517.3573608398438\n", + "global step=2863104, episodic return=564.5725708007812\n", + "global step=2863104, episodic return=560.6529541015625\n", + "global step=2863104, episodic return=565.7261352539062\n", + "global step=2863104, episodic return=526.4248657226562\n", + "global step=2863104, episodic return=531.930419921875\n", + "global step=2863104, episodic return=565.3555297851562\n", + "global step=2863104, episodic return=562.294921875\n", + "global step=2863104, episodic return=556.5122680664062\n", + "global step=2863104, episodic return=580.5657348632812\n", + "global step=2863104, episodic return=515.46923828125\n", + "global step=2863104, episodic return=540.4107055664062\n", + "global step=2865152, episodic return=556.4575805664062\n", + "global step=2865152, episodic return=529.9798583984375\n", + "global step=2865152, episodic return=564.3804321289062\n", + "global step=2865152, episodic return=516.1453247070312\n", + "global step=2865152, episodic return=559.7481689453125\n", + "global step=2865152, episodic return=542.6416625976562\n", + "global step=2865152, episodic return=538.3396606445312\n", + "global step=2865152, episodic return=507.17889404296875\n", + "global step=2865152, episodic return=528.43798828125\n", + "global step=2865152, episodic return=531.8892822265625\n", + "global step=2865152, episodic return=527.0947875976562\n", + "global step=2865152, episodic return=530.6174926757812\n", + "global step=2865152, episodic return=518.9861450195312\n", + "global step=2865152, episodic return=534.7453002929688\n", + "global step=2865152, episodic return=559.3086547851562\n", + "global step=2865152, episodic return=564.4078979492188\n", + "global step=2865152, episodic return=559.8612670898438\n", + "global step=2865152, episodic return=534.5269775390625\n", + "global step=2865152, episodic return=563.0928955078125\n", + "global step=2865152, episodic return=539.062255859375\n", + "global step=2865152, episodic return=564.5333862304688\n", + "global step=2865152, episodic return=539.52392578125\n", + "global step=2865152, episodic return=561.4459228515625\n", + "global step=2865152, episodic return=566.1329956054688\n", + "global step=2865152, episodic return=541.4669189453125\n", + "global step=2865152, episodic return=560.3829345703125\n", + "global step=2865152, episodic return=529.9220581054688\n", + "global step=2865152, episodic return=497.8363342285156\n", + "global step=2867200, episodic return=546.643310546875\n", + "global step=2867200, episodic return=544.49951171875\n", + "global step=2867200, episodic return=574.9776611328125\n", + "global step=2867200, episodic return=569.2871704101562\n", + "global step=2867200, episodic return=559.8355102539062\n", + "global step=2867200, episodic return=545.0066528320312\n", + "global step=2867200, episodic return=560.5711059570312\n", + "global step=2867200, episodic return=545.6453247070312\n", + "global step=2867200, episodic return=551.3956909179688\n", + "global step=2867200, episodic return=540.4277954101562\n", + "global step=2867200, episodic return=562.7122192382812\n", + "global step=2867200, episodic return=524.8949584960938\n", + "global step=2867200, episodic return=508.21209716796875\n", + "global step=2867200, episodic return=539.0802001953125\n", + "global step=2867200, episodic return=564.311279296875\n", + "global step=2867200, episodic return=542.508544921875\n", + "global step=2867200, episodic return=563.8192749023438\n", + "global step=2867200, episodic return=570.1494140625\n", + "global step=2867200, episodic return=563.5177612304688\n", + "global step=2867200, episodic return=561.3265991210938\n", + "global step=2867200, episodic return=539.6430053710938\n", + "global step=2867200, episodic return=567.71728515625\n", + "global step=2867200, episodic return=573.150634765625\n", + "global step=2867200, episodic return=542.3738403320312\n", + "global step=2867200, episodic return=566.7250366210938\n", + "global step=2869248, episodic return=561.6569213867188\n", + "global step=2869248, episodic return=528.319091796875\n", + "global step=2869248, episodic return=535.6051025390625\n", + "global step=2869248, episodic return=567.0818481445312\n", + "global step=2869248, episodic return=515.5411376953125\n", + "global step=2869248, episodic return=567.7462768554688\n", + "global step=2869248, episodic return=565.6415405273438\n", + "global step=2869248, episodic return=501.3078918457031\n", + "global step=2869248, episodic return=529.35595703125\n", + "global step=2869248, episodic return=543.237548828125\n", + "global step=2869248, episodic return=532.5629272460938\n", + "global step=2869248, episodic return=531.433837890625\n", + "global step=2869248, episodic return=568.3524169921875\n", + "global step=2869248, episodic return=529.7488403320312\n", + "global step=2869248, episodic return=568.4113159179688\n", + "global step=2869248, episodic return=523.962890625\n", + "global step=2869248, episodic return=539.514892578125\n", + "global step=2869248, episodic return=526.8048706054688\n", + "global step=2869248, episodic return=522.9022216796875\n", + "global step=2869248, episodic return=534.953125\n", + "global step=2869248, episodic return=540.0928955078125\n", + "global step=2869248, episodic return=562.2014770507812\n", + "global step=2871296, episodic return=561.10107421875\n", + "global step=2871296, episodic return=551.6033935546875\n", + "global step=2871296, episodic return=571.3680419921875\n", + "global step=2871296, episodic return=518.3919677734375\n", + "global step=2871296, episodic return=546.086181640625\n", + "global step=2871296, episodic return=527.9232788085938\n", + "global step=2871296, episodic return=533.4982299804688\n", + "global step=2871296, episodic return=522.4633178710938\n", + "global step=2871296, episodic return=568.5501708984375\n", + "global step=2871296, episodic return=567.4384155273438\n", + "global step=2871296, episodic return=524.2061157226562\n", + "global step=2871296, episodic return=521.7679443359375\n", + "global step=2871296, episodic return=568.8563232421875\n", + "global step=2873344, episodic return=536.5166625976562\n", + "global step=2873344, episodic return=537.1235961914062\n", + "global step=2873344, episodic return=524.4322509765625\n", + "global step=2873344, episodic return=540.1412963867188\n", + "global step=2873344, episodic return=563.1851806640625\n", + "global step=2873344, episodic return=541.3609008789062\n", + "global step=2873344, episodic return=568.5589599609375\n", + "global step=2873344, episodic return=536.1109619140625\n", + "global step=2873344, episodic return=545.56005859375\n", + "global step=2873344, episodic return=524.7132568359375\n", + "global step=2873344, episodic return=538.2267456054688\n", + "global step=2875392, episodic return=566.3844604492188\n", + "global step=2875392, episodic return=546.8490600585938\n", + "global step=2875392, episodic return=550.8464965820312\n", + "global step=2875392, episodic return=556.524169921875\n", + "global step=2875392, episodic return=573.4488525390625\n", + "global step=2875392, episodic return=569.147705078125\n", + "global step=2875392, episodic return=571.1787109375\n", + "global step=2875392, episodic return=550.5142822265625\n", + "global step=2875392, episodic return=551.38037109375\n", + "global step=2875392, episodic return=573.4984130859375\n", + "global step=2875392, episodic return=532.788330078125\n", + "global step=2875392, episodic return=541.004638671875\n", + "global step=2875392, episodic return=510.063720703125\n", + "global step=2875392, episodic return=572.7718505859375\n", + "global step=2875392, episodic return=541.805908203125\n", + "global step=2877440, episodic return=541.9095458984375\n", + "global step=2877440, episodic return=576.83349609375\n", + "global step=2877440, episodic return=548.9518432617188\n", + "global step=2877440, episodic return=576.0225219726562\n", + "global step=2877440, episodic return=539.2745971679688\n", + "global step=2877440, episodic return=532.5715942382812\n", + "global step=2877440, episodic return=545.4130249023438\n", + "global step=2877440, episodic return=560.67236328125\n", + "global step=2877440, episodic return=568.6825561523438\n", + "global step=2877440, episodic return=558.8601684570312\n", + "global step=2877440, episodic return=536.7965698242188\n", + "global step=2877440, episodic return=532.1764526367188\n", + "global step=2877440, episodic return=574.7052612304688\n", + "global step=2877440, episodic return=518.471435546875\n", + "global step=2877440, episodic return=561.9981079101562\n", + "global step=2877440, episodic return=565.9915771484375\n", + "global step=2877440, episodic return=575.481201171875\n", + "global step=2877440, episodic return=566.9373168945312\n", + "global step=2877440, episodic return=569.510498046875\n", + "global step=2879488, episodic return=517.42138671875\n", + "global step=2879488, episodic return=541.8844604492188\n", + "global step=2879488, episodic return=570.0726318359375\n", + "global step=2879488, episodic return=542.064208984375\n", + "global step=2879488, episodic return=539.3917236328125\n", + "global step=2879488, episodic return=537.3438110351562\n", + "global step=2879488, episodic return=545.9047241210938\n", + "global step=2879488, episodic return=538.8358764648438\n", + "global step=2879488, episodic return=537.471435546875\n", + "global step=2879488, episodic return=558.673095703125\n", + "global step=2879488, episodic return=542.165771484375\n", + "global step=2879488, episodic return=568.9190673828125\n", + "global step=2879488, episodic return=566.6068115234375\n", + "global step=2879488, episodic return=550.64306640625\n", + "global step=2879488, episodic return=537.0104370117188\n", + "global step=2881536, episodic return=568.5607299804688\n", + "global step=2881536, episodic return=571.7867431640625\n", + "global step=2881536, episodic return=576.2277221679688\n", + "global step=2881536, episodic return=523.0743408203125\n", + "global step=2881536, episodic return=530.6163940429688\n", + "global step=2881536, episodic return=570.9515380859375\n", + "global step=2881536, episodic return=569.3986206054688\n", + "global step=2881536, episodic return=577.8504028320312\n", + "global step=2881536, episodic return=543.0501098632812\n", + "global step=2881536, episodic return=531.1614990234375\n", + "global step=2881536, episodic return=557.8756103515625\n", + "global step=2881536, episodic return=568.280029296875\n", + "global step=2881536, episodic return=572.2971801757812\n", + "global step=2881536, episodic return=569.5645141601562\n", + "global step=2881536, episodic return=575.9223022460938\n", + "global step=2881536, episodic return=528.4871826171875\n", + "global step=2881536, episodic return=547.8659057617188\n", + "global step=2881536, episodic return=529.32080078125\n", + "global step=2881536, episodic return=509.0476379394531\n", + "global step=2883584, episodic return=579.81298828125\n", + "global step=2883584, episodic return=548.5869140625\n", + "global step=2883584, episodic return=550.336669921875\n", + "global step=2883584, episodic return=520.7032470703125\n", + "global step=2883584, episodic return=572.9026489257812\n", + "global step=2883584, episodic return=564.7495727539062\n", + "global step=2883584, episodic return=526.8788452148438\n", + "global step=2883584, episodic return=574.0995483398438\n", + "global step=2883584, episodic return=532.6279907226562\n", + "global step=2883584, episodic return=535.482421875\n", + "global step=2883584, episodic return=569.795654296875\n", + "global step=2883584, episodic return=577.0372314453125\n", + "global step=2883584, episodic return=521.7908935546875\n", + "global step=2883584, episodic return=546.4006958007812\n", + "global step=2883584, episodic return=576.4432983398438\n", + "global step=2883584, episodic return=568.90087890625\n", + "global step=2883584, episodic return=524.0118408203125\n", + "global step=2883584, episodic return=521.1226806640625\n", + "global step=2883584, episodic return=524.1470947265625\n", + "global step=2885632, episodic return=554.1002197265625\n", + "global step=2885632, episodic return=550.6531982421875\n", + "global step=2885632, episodic return=539.3026733398438\n", + "global step=2885632, episodic return=579.0703125\n", + "global step=2885632, episodic return=542.6077880859375\n", + "global step=2885632, episodic return=573.7552490234375\n", + "global step=2885632, episodic return=542.2155151367188\n", + "global step=2885632, episodic return=575.9121704101562\n", + "global step=2885632, episodic return=577.2567138671875\n", + "global step=2885632, episodic return=533.1234130859375\n", + "global step=2885632, episodic return=578.2372436523438\n", + "global step=2885632, episodic return=535.7965698242188\n", + "global step=2885632, episodic return=541.7039794921875\n", + "global step=2885632, episodic return=526.927978515625\n", + "global step=2887680, episodic return=554.97314453125\n", + "global step=2887680, episodic return=575.2001953125\n", + "global step=2887680, episodic return=533.9267578125\n", + "global step=2887680, episodic return=545.5186767578125\n", + "global step=2887680, episodic return=515.9835815429688\n", + "global step=2887680, episodic return=576.723388671875\n", + "global step=2887680, episodic return=572.680908203125\n", + "global step=2887680, episodic return=570.8518676757812\n", + "global step=2887680, episodic return=584.3815307617188\n", + "global step=2887680, episodic return=572.5353393554688\n", + "global step=2887680, episodic return=584.5729370117188\n", + "global step=2887680, episodic return=520.091064453125\n", + "global step=2887680, episodic return=577.6270141601562\n", + "global step=2887680, episodic return=555.5167236328125\n", + "global step=2887680, episodic return=553.169677734375\n", + "global step=2887680, episodic return=537.3350830078125\n", + "global step=2889728, episodic return=559.68408203125\n", + "global step=2889728, episodic return=559.14794921875\n", + "global step=2889728, episodic return=557.0152587890625\n", + "global step=2889728, episodic return=563.806884765625\n", + "global step=2889728, episodic return=556.11865234375\n", + "global step=2889728, episodic return=545.1373291015625\n", + "global step=2889728, episodic return=554.1932373046875\n", + "global step=2889728, episodic return=577.0620727539062\n", + "global step=2889728, episodic return=545.1493530273438\n", + "global step=2889728, episodic return=553.2432861328125\n", + "global step=2889728, episodic return=542.6080322265625\n", + "global step=2889728, episodic return=523.8150634765625\n", + "global step=2889728, episodic return=575.8291625976562\n", + "global step=2889728, episodic return=543.1265869140625\n", + "global step=2889728, episodic return=532.6329956054688\n", + "global step=2889728, episodic return=559.4837646484375\n", + "global step=2889728, episodic return=575.1942138671875\n", + "global step=2891776, episodic return=532.2076416015625\n", + "global step=2891776, episodic return=574.0309448242188\n", + "global step=2891776, episodic return=532.8873291015625\n", + "global step=2891776, episodic return=538.309326171875\n", + "global step=2891776, episodic return=542.63330078125\n", + "global step=2891776, episodic return=548.4967651367188\n", + "global step=2891776, episodic return=555.650146484375\n", + "global step=2891776, episodic return=577.8013305664062\n", + "global step=2891776, episodic return=526.5980224609375\n", + "global step=2891776, episodic return=542.4088745117188\n", + "global step=2891776, episodic return=523.7750244140625\n", + "global step=2891776, episodic return=529.130126953125\n", + "global step=2891776, episodic return=540.6378173828125\n", + "global step=2891776, episodic return=575.0873413085938\n", + "global step=2891776, episodic return=554.86572265625\n", + "global step=2893824, episodic return=573.9183349609375\n", + "global step=2893824, episodic return=590.5313110351562\n", + "global step=2893824, episodic return=562.063232421875\n", + "global step=2893824, episodic return=547.9705200195312\n", + "global step=2893824, episodic return=581.4945068359375\n", + "global step=2893824, episodic return=582.8112182617188\n", + "global step=2893824, episodic return=549.8441162109375\n", + "global step=2893824, episodic return=547.652099609375\n", + "global step=2893824, episodic return=556.7092895507812\n", + "global step=2893824, episodic return=580.7130737304688\n", + "global step=2893824, episodic return=521.9337158203125\n", + "global step=2893824, episodic return=547.7598876953125\n", + "global step=2895872, episodic return=576.6192626953125\n", + "global step=2895872, episodic return=544.0639038085938\n", + "global step=2895872, episodic return=582.3252563476562\n", + "global step=2895872, episodic return=562.140380859375\n", + "global step=2895872, episodic return=572.6056518554688\n", + "global step=2895872, episodic return=582.9277954101562\n", + "global step=2895872, episodic return=547.91064453125\n", + "global step=2895872, episodic return=581.1041870117188\n", + "global step=2895872, episodic return=548.0271606445312\n", + "global step=2895872, episodic return=581.0059814453125\n", + "global step=2895872, episodic return=535.7619018554688\n", + "global step=2895872, episodic return=537.7903442382812\n", + "global step=2895872, episodic return=559.9132690429688\n", + "global step=2895872, episodic return=581.5322265625\n", + "global step=2895872, episodic return=541.8309936523438\n", + "global step=2895872, episodic return=535.9806518554688\n", + "global step=2895872, episodic return=575.3651123046875\n", + "global step=2895872, episodic return=575.949951171875\n", + "global step=2895872, episodic return=578.738037109375\n", + "global step=2895872, episodic return=578.9427490234375\n", + "global step=2895872, episodic return=529.8540649414062\n", + "global step=2895872, episodic return=576.6385498046875\n", + "global step=2895872, episodic return=579.4819946289062\n", + "global step=2895872, episodic return=500.81781005859375\n", + "global step=2895872, episodic return=533.2910766601562\n", + "global step=2895872, episodic return=526.89697265625\n", + "global step=2895872, episodic return=580.9490356445312\n", + "global step=2897920, episodic return=541.3335571289062\n", + "global step=2897920, episodic return=550.3212280273438\n", + "global step=2897920, episodic return=554.1028442382812\n", + "global step=2897920, episodic return=584.2071533203125\n", + "global step=2897920, episodic return=577.6253662109375\n", + "global step=2897920, episodic return=534.987548828125\n", + "global step=2897920, episodic return=547.985595703125\n", + "global step=2897920, episodic return=561.9207763671875\n", + "global step=2897920, episodic return=506.5745544433594\n", + "global step=2897920, episodic return=545.608642578125\n", + "global step=2897920, episodic return=547.6298828125\n", + "global step=2897920, episodic return=544.4215087890625\n", + "global step=2897920, episodic return=554.0961303710938\n", + "global step=2897920, episodic return=540.964111328125\n", + "global step=2897920, episodic return=558.7080688476562\n", + "global step=2897920, episodic return=549.4085083007812\n", + "global step=2897920, episodic return=544.8912963867188\n", + "global step=2897920, episodic return=577.3951416015625\n", + "global step=2897920, episodic return=535.9734497070312\n", + "global step=2897920, episodic return=556.0686645507812\n", + "global step=2897920, episodic return=550.5648193359375\n", + "global step=2897920, episodic return=557.0214233398438\n", + "global step=2899968, episodic return=558.4882202148438\n", + "global step=2899968, episodic return=534.5465698242188\n", + "global step=2899968, episodic return=581.2710571289062\n", + "global step=2899968, episodic return=540.7969360351562\n", + "global step=2899968, episodic return=544.8331298828125\n", + "global step=2899968, episodic return=532.8744506835938\n", + "global step=2899968, episodic return=521.6989135742188\n", + "global step=2899968, episodic return=549.826904296875\n", + "global step=2899968, episodic return=587.7263793945312\n", + "global step=2899968, episodic return=552.8836669921875\n", + "global step=2899968, episodic return=584.7139892578125\n", + "global step=2899968, episodic return=546.2789306640625\n", + "global step=2899968, episodic return=534.5842895507812\n", + "global step=2902016, episodic return=547.9888916015625\n", + "global step=2902016, episodic return=537.8273315429688\n", + "global step=2902016, episodic return=574.27490234375\n", + "global step=2902016, episodic return=542.40283203125\n", + "global step=2902016, episodic return=542.7240600585938\n", + "global step=2902016, episodic return=583.921630859375\n", + "global step=2902016, episodic return=586.8419189453125\n", + "global step=2902016, episodic return=535.638427734375\n", + "global step=2902016, episodic return=526.1937255859375\n", + "global step=2902016, episodic return=527.4260864257812\n", + "global step=2902016, episodic return=586.2820434570312\n", + "global step=2902016, episodic return=531.7130737304688\n", + "global step=2902016, episodic return=556.5360717773438\n", + "global step=2902016, episodic return=554.6445922851562\n", + "global step=2902016, episodic return=587.50146484375\n", + "global step=2902016, episodic return=537.5943603515625\n", + "global step=2902016, episodic return=584.5859985351562\n", + "global step=2902016, episodic return=558.3154907226562\n", + "global step=2904064, episodic return=539.9174194335938\n", + "global step=2904064, episodic return=556.013916015625\n", + "global step=2904064, episodic return=546.7255249023438\n", + "global step=2904064, episodic return=511.8407287597656\n", + "global step=2904064, episodic return=546.6029663085938\n", + "global step=2904064, episodic return=552.5266723632812\n", + "global step=2904064, episodic return=576.5811767578125\n", + "global step=2904064, episodic return=540.12939453125\n", + "global step=2904064, episodic return=587.7503051757812\n", + "global step=2904064, episodic return=589.58447265625\n", + "global step=2904064, episodic return=559.0157470703125\n", + "global step=2904064, episodic return=590.991455078125\n", + "global step=2904064, episodic return=536.2694702148438\n", + "global step=2904064, episodic return=523.724853515625\n", + "global step=2906112, episodic return=566.9568481445312\n", + "global step=2906112, episodic return=590.6685791015625\n", + "global step=2906112, episodic return=556.5400390625\n", + "global step=2906112, episodic return=555.422607421875\n", + "global step=2906112, episodic return=543.347900390625\n", + "global step=2906112, episodic return=563.7433471679688\n", + "global step=2906112, episodic return=559.7509155273438\n", + "global step=2906112, episodic return=553.4899291992188\n", + "global step=2906112, episodic return=529.6831665039062\n", + "global step=2906112, episodic return=586.2991943359375\n", + "global step=2906112, episodic return=523.5993041992188\n", + "global step=2908160, episodic return=585.2587280273438\n", + "global step=2908160, episodic return=553.4742431640625\n", + "global step=2908160, episodic return=590.3985595703125\n", + "global step=2908160, episodic return=587.647705078125\n", + "global step=2908160, episodic return=551.8948364257812\n", + "global step=2908160, episodic return=537.714599609375\n", + "global step=2908160, episodic return=536.224365234375\n", + "global step=2908160, episodic return=584.3867797851562\n", + "global step=2908160, episodic return=571.0189819335938\n", + "global step=2908160, episodic return=564.3049926757812\n", + "global step=2908160, episodic return=594.3632202148438\n", + "global step=2908160, episodic return=548.489013671875\n", + "global step=2908160, episodic return=586.8126220703125\n", + "global step=2908160, episodic return=551.4502563476562\n", + "global step=2908160, episodic return=577.6040649414062\n", + "global step=2908160, episodic return=572.5555419921875\n", + "global step=2908160, episodic return=593.1923217773438\n", + "global step=2910208, episodic return=590.8453979492188\n", + "global step=2910208, episodic return=543.939453125\n", + "global step=2910208, episodic return=541.4586181640625\n", + "global step=2910208, episodic return=533.2958374023438\n", + "global step=2910208, episodic return=539.0234985351562\n", + "global step=2910208, episodic return=560.7874145507812\n", + "global step=2910208, episodic return=537.8192749023438\n", + "global step=2910208, episodic return=564.2782592773438\n", + "global step=2910208, episodic return=529.6029663085938\n", + "global step=2910208, episodic return=528.4532470703125\n", + "global step=2910208, episodic return=547.8612670898438\n", + "global step=2910208, episodic return=548.6610107421875\n", + "global step=2910208, episodic return=560.9266357421875\n", + "global step=2910208, episodic return=542.3889770507812\n", + "global step=2910208, episodic return=540.9735717773438\n", + "global step=2910208, episodic return=547.2628173828125\n", + "global step=2910208, episodic return=560.1964721679688\n", + "global step=2910208, episodic return=602.06103515625\n", + "global step=2910208, episodic return=542.4202270507812\n", + "global step=2910208, episodic return=588.111083984375\n", + "global step=2910208, episodic return=543.8914794921875\n", + "global step=2910208, episodic return=553.892333984375\n", + "global step=2912256, episodic return=563.1051635742188\n", + "global step=2912256, episodic return=592.745849609375\n", + "global step=2912256, episodic return=541.1788330078125\n", + "global step=2912256, episodic return=564.4999389648438\n", + "global step=2912256, episodic return=598.3678588867188\n", + "global step=2912256, episodic return=520.6814575195312\n", + "global step=2912256, episodic return=560.9080200195312\n", + "global step=2912256, episodic return=566.3980712890625\n", + "global step=2912256, episodic return=544.8800048828125\n", + "global step=2912256, episodic return=563.2152709960938\n", + "global step=2914304, episodic return=562.4295043945312\n", + "global step=2914304, episodic return=570.3162231445312\n", + "global step=2914304, episodic return=510.1283874511719\n", + "global step=2914304, episodic return=501.8705139160156\n", + "global step=2914304, episodic return=590.2330322265625\n", + "global step=2914304, episodic return=536.8143310546875\n", + "global step=2914304, episodic return=535.0953369140625\n", + "global step=2914304, episodic return=549.597412109375\n", + "global step=2914304, episodic return=540.5047607421875\n", + "global step=2914304, episodic return=560.6398315429688\n", + "global step=2914304, episodic return=515.8494873046875\n", + "global step=2914304, episodic return=576.6538696289062\n", + "global step=2914304, episodic return=569.23681640625\n", + "global step=2914304, episodic return=595.5919799804688\n", + "global step=2914304, episodic return=597.774169921875\n", + "global step=2916352, episodic return=548.785888671875\n", + "global step=2916352, episodic return=575.9658813476562\n", + "global step=2916352, episodic return=594.7978515625\n", + "global step=2916352, episodic return=554.6266479492188\n", + "global step=2916352, episodic return=594.331787109375\n", + "global step=2916352, episodic return=543.1936645507812\n", + "global step=2916352, episodic return=590.3359985351562\n", + "global step=2916352, episodic return=553.9979248046875\n", + "global step=2916352, episodic return=552.2388916015625\n", + "global step=2916352, episodic return=563.9639282226562\n", + "global step=2916352, episodic return=590.2388305664062\n", + "global step=2916352, episodic return=553.8170776367188\n", + "global step=2916352, episodic return=541.6556396484375\n", + "global step=2918400, episodic return=565.2274169921875\n", + "global step=2918400, episodic return=555.2913818359375\n", + "global step=2918400, episodic return=550.1703491210938\n", + "global step=2918400, episodic return=595.8775634765625\n", + "global step=2918400, episodic return=592.4326782226562\n", + "global step=2918400, episodic return=599.513916015625\n", + "global step=2918400, episodic return=576.9935913085938\n", + "global step=2918400, episodic return=547.7343139648438\n", + "global step=2918400, episodic return=525.275146484375\n", + "global step=2918400, episodic return=548.2178955078125\n", + "global step=2918400, episodic return=521.8155517578125\n", + "global step=2918400, episodic return=521.6494750976562\n", + "global step=2918400, episodic return=597.9918212890625\n", + "global step=2918400, episodic return=591.2528076171875\n", + "global step=2918400, episodic return=549.2437133789062\n", + "global step=2918400, episodic return=565.1085815429688\n", + "global step=2918400, episodic return=581.1050415039062\n", + "global step=2920448, episodic return=603.7406005859375\n", + "global step=2920448, episodic return=566.727294921875\n", + "global step=2920448, episodic return=558.8659057617188\n", + "global step=2920448, episodic return=538.8031005859375\n", + "global step=2920448, episodic return=569.405029296875\n", + "global step=2920448, episodic return=562.778564453125\n", + "global step=2920448, episodic return=533.204833984375\n", + "global step=2920448, episodic return=543.4533081054688\n", + "global step=2920448, episodic return=515.857666015625\n", + "global step=2920448, episodic return=561.8397216796875\n", + "global step=2920448, episodic return=576.9688720703125\n", + "global step=2920448, episodic return=550.1820068359375\n", + "global step=2920448, episodic return=539.2494506835938\n", + "global step=2920448, episodic return=600.7183227539062\n", + "global step=2920448, episodic return=546.6909790039062\n", + "global step=2920448, episodic return=560.3838500976562\n", + "global step=2920448, episodic return=559.3944702148438\n", + "global step=2920448, episodic return=545.9088745117188\n", + "global step=2922496, episodic return=548.1506958007812\n", + "global step=2922496, episodic return=557.5842895507812\n", + "global step=2922496, episodic return=546.1876220703125\n", + "global step=2922496, episodic return=540.2642822265625\n", + "global step=2922496, episodic return=547.84326171875\n", + "global step=2922496, episodic return=545.7792358398438\n", + "global step=2922496, episodic return=593.0099487304688\n", + "global step=2922496, episodic return=550.8104858398438\n", + "global step=2922496, episodic return=570.407958984375\n", + "global step=2922496, episodic return=594.2648315429688\n", + "global step=2922496, episodic return=568.6332397460938\n", + "global step=2922496, episodic return=530.985107421875\n", + "global step=2922496, episodic return=597.754150390625\n", + "global step=2922496, episodic return=527.3995971679688\n", + "global step=2922496, episodic return=585.6549072265625\n", + "global step=2922496, episodic return=593.7498779296875\n", + "global step=2924544, episodic return=531.9575805664062\n", + "global step=2924544, episodic return=535.7205200195312\n", + "global step=2924544, episodic return=560.3099975585938\n", + "global step=2924544, episodic return=568.2998046875\n", + "global step=2924544, episodic return=561.6965942382812\n", + "global step=2924544, episodic return=544.6622924804688\n", + "global step=2924544, episodic return=597.6184692382812\n", + "global step=2924544, episodic return=563.1281127929688\n", + "global step=2924544, episodic return=502.1441650390625\n", + "global step=2924544, episodic return=574.1760864257812\n", + "global step=2924544, episodic return=512.91943359375\n", + "global step=2926592, episodic return=578.5604248046875\n", + "global step=2926592, episodic return=538.5855712890625\n", + "global step=2926592, episodic return=583.7312622070312\n", + "global step=2926592, episodic return=564.1378784179688\n", + "global step=2926592, episodic return=531.2215576171875\n", + "global step=2926592, episodic return=546.3279418945312\n", + "global step=2926592, episodic return=543.7896728515625\n", + "global step=2926592, episodic return=551.5164184570312\n", + "global step=2926592, episodic return=539.931640625\n", + "global step=2926592, episodic return=600.4871215820312\n", + "global step=2926592, episodic return=538.4706420898438\n", + "global step=2928640, episodic return=604.9484252929688\n", + "global step=2928640, episodic return=554.4750366210938\n", + "global step=2928640, episodic return=528.2037963867188\n", + "global step=2928640, episodic return=604.154541015625\n", + "global step=2928640, episodic return=598.717529296875\n", + "global step=2928640, episodic return=600.4039916992188\n", + "global step=2928640, episodic return=543.8555908203125\n", + "global step=2928640, episodic return=521.2109375\n", + "global step=2928640, episodic return=511.7381591796875\n", + "global step=2928640, episodic return=544.7572021484375\n", + "global step=2928640, episodic return=1076.93212890625\n", + "global step=2928640, episodic return=525.3802490234375\n", + "global step=2928640, episodic return=519.7285766601562\n", + "global step=2928640, episodic return=522.4458618164062\n", + "global step=2928640, episodic return=554.2887573242188\n", + "global step=2928640, episodic return=607.1865234375\n", + "global step=2930688, episodic return=578.5538940429688\n", + "global step=2930688, episodic return=595.6727905273438\n", + "global step=2930688, episodic return=572.6978759765625\n", + "global step=2930688, episodic return=514.0716552734375\n", + "global step=2930688, episodic return=541.9424438476562\n", + "global step=2930688, episodic return=538.1788330078125\n", + "global step=2930688, episodic return=542.6485595703125\n", + "global step=2930688, episodic return=584.0244750976562\n", + "global step=2930688, episodic return=526.220947265625\n", + "global step=2930688, episodic return=595.4126586914062\n", + "global step=2930688, episodic return=586.606201171875\n", + "global step=2930688, episodic return=529.1297607421875\n", + "global step=2930688, episodic return=543.4495849609375\n", + "global step=2932736, episodic return=570.5846557617188\n", + "global step=2932736, episodic return=573.838623046875\n", + "global step=2932736, episodic return=539.7498779296875\n", + "global step=2932736, episodic return=597.6009521484375\n", + "global step=2932736, episodic return=599.736328125\n", + "global step=2932736, episodic return=593.6334838867188\n", + "global step=2932736, episodic return=526.7681884765625\n", + "global step=2932736, episodic return=555.4688720703125\n", + "global step=2932736, episodic return=535.2628173828125\n", + "global step=2932736, episodic return=548.57958984375\n", + "global step=2932736, episodic return=525.7254638671875\n", + "global step=2932736, episodic return=545.7879028320312\n", + "global step=2932736, episodic return=587.4365844726562\n", + "global step=2932736, episodic return=597.690673828125\n", + "global step=2934784, episodic return=538.1487426757812\n", + "global step=2934784, episodic return=611.15576171875\n", + "global step=2934784, episodic return=605.9230346679688\n", + "global step=2934784, episodic return=528.9771728515625\n", + "global step=2934784, episodic return=609.0270385742188\n", + "global step=2934784, episodic return=556.94091796875\n", + "global step=2934784, episodic return=565.7238159179688\n", + "global step=2934784, episodic return=606.86572265625\n", + "global step=2934784, episodic return=551.3484497070312\n", + "global step=2934784, episodic return=546.6728515625\n", + "global step=2934784, episodic return=560.8253173828125\n", + "global step=2936832, episodic return=555.5120849609375\n", + "global step=2936832, episodic return=570.9381713867188\n", + "global step=2936832, episodic return=550.0448608398438\n", + "global step=2936832, episodic return=565.7357177734375\n", + "global step=2936832, episodic return=560.8277587890625\n", + "global step=2936832, episodic return=609.285400390625\n", + "global step=2936832, episodic return=526.8165283203125\n", + "global step=2936832, episodic return=601.8447265625\n", + "global step=2936832, episodic return=563.2823486328125\n", + "global step=2936832, episodic return=579.26220703125\n", + "global step=2938880, episodic return=561.8869018554688\n", + "global step=2938880, episodic return=572.9625244140625\n", + "global step=2938880, episodic return=548.9649047851562\n", + "global step=2938880, episodic return=617.45556640625\n", + "global step=2938880, episodic return=579.9796142578125\n", + "global step=2938880, episodic return=541.805419921875\n", + "global step=2938880, episodic return=545.953125\n", + "global step=2940928, episodic return=537.3161010742188\n", + "global step=2940928, episodic return=604.2119140625\n", + "global step=2940928, episodic return=571.9503784179688\n", + "global step=2940928, episodic return=578.8621826171875\n", + "global step=2940928, episodic return=574.6090087890625\n", + "global step=2940928, episodic return=592.9465942382812\n", + "global step=2940928, episodic return=551.3021240234375\n", + "global step=2940928, episodic return=527.8082885742188\n", + "global step=2940928, episodic return=536.539306640625\n", + "global step=2940928, episodic return=611.1165771484375\n", + "global step=2940928, episodic return=547.0453491210938\n", + "global step=2940928, episodic return=580.24609375\n", + "global step=2940928, episodic return=571.0389404296875\n", + "global step=2940928, episodic return=547.3499755859375\n", + "global step=2940928, episodic return=540.961669921875\n", + "global step=2940928, episodic return=533.6310424804688\n", + "global step=2940928, episodic return=574.7664184570312\n", + "global step=2942976, episodic return=555.4608764648438\n", + "global step=2942976, episodic return=557.1268920898438\n", + "global step=2942976, episodic return=538.0260009765625\n", + "global step=2942976, episodic return=527.8892211914062\n", + "global step=2942976, episodic return=568.021728515625\n", + "global step=2942976, episodic return=535.2186279296875\n", + "global step=2942976, episodic return=572.2839965820312\n", + "global step=2942976, episodic return=557.6388549804688\n", + "global step=2942976, episodic return=557.1448364257812\n", + "global step=2942976, episodic return=573.8923950195312\n", + "global step=2942976, episodic return=606.2418823242188\n", + "global step=2942976, episodic return=569.1226806640625\n", + "global step=2942976, episodic return=535.0118408203125\n", + "global step=2942976, episodic return=573.2024536132812\n", + "global step=2942976, episodic return=608.50732421875\n", + "global step=2945024, episodic return=575.9951171875\n", + "global step=2945024, episodic return=568.9807739257812\n", + "global step=2945024, episodic return=567.33837890625\n", + "global step=2945024, episodic return=582.154296875\n", + "global step=2945024, episodic return=531.0320434570312\n", + "global step=2945024, episodic return=579.8544311523438\n", + "global step=2945024, episodic return=573.9702758789062\n", + "global step=2945024, episodic return=606.6834106445312\n", + "global step=2945024, episodic return=587.1611328125\n", + "global step=2945024, episodic return=556.4725952148438\n", + "global step=2945024, episodic return=568.8977661132812\n", + "global step=2945024, episodic return=541.6138305664062\n", + "global step=2945024, episodic return=558.0691528320312\n", + "global step=2947072, episodic return=542.4640502929688\n", + "global step=2947072, episodic return=516.7919311523438\n", + "global step=2947072, episodic return=535.5516357421875\n", + "global step=2947072, episodic return=561.1935424804688\n", + "global step=2947072, episodic return=556.5240478515625\n", + "global step=2947072, episodic return=538.6459350585938\n", + "global step=2947072, episodic return=556.147216796875\n", + "global step=2947072, episodic return=566.84228515625\n", + "global step=2947072, episodic return=579.35400390625\n", + "global step=2947072, episodic return=584.6383666992188\n", + "global step=2947072, episodic return=568.6837768554688\n", + "global step=2947072, episodic return=618.5789794921875\n", + "global step=2947072, episodic return=565.840087890625\n", + "global step=2947072, episodic return=534.41796875\n", + "global step=2949120, episodic return=545.9114990234375\n", + "global step=2949120, episodic return=541.748046875\n", + "global step=2949120, episodic return=542.1000366210938\n", + "global step=2949120, episodic return=611.9453125\n", + "global step=2949120, episodic return=566.4869995117188\n", + "global step=2949120, episodic return=532.2240600585938\n", + "global step=2951168, episodic return=611.158447265625\n", + "global step=2951168, episodic return=553.843017578125\n", + "global step=2951168, episodic return=610.2454223632812\n", + "global step=2951168, episodic return=571.5238647460938\n", + "global step=2951168, episodic return=572.8648071289062\n", + "global step=2951168, episodic return=593.4912109375\n", + "global step=2951168, episodic return=572.5527954101562\n", + "global step=2951168, episodic return=547.5714111328125\n", + "global step=2951168, episodic return=527.6139526367188\n", + "global step=2953216, episodic return=557.5972290039062\n", + "global step=2953216, episodic return=533.937255859375\n", + "global step=2953216, episodic return=579.6174926757812\n", + "global step=2953216, episodic return=534.8244018554688\n", + "global step=2953216, episodic return=571.796630859375\n", + "global step=2953216, episodic return=563.3659057617188\n", + "global step=2953216, episodic return=564.0204467773438\n", + "global step=2953216, episodic return=544.3116455078125\n", + "global step=2953216, episodic return=621.2637939453125\n", + "global step=2953216, episodic return=545.542724609375\n", + "global step=2955264, episodic return=570.9983520507812\n", + "global step=2955264, episodic return=522.7346801757812\n", + "global step=2955264, episodic return=534.0765380859375\n", + "global step=2955264, episodic return=571.0908813476562\n", + "global step=2955264, episodic return=593.6781005859375\n", + "global step=2955264, episodic return=567.50732421875\n", + "global step=2955264, episodic return=544.0099487304688\n", + "global step=2955264, episodic return=541.8287353515625\n", + "global step=2955264, episodic return=582.375732421875\n", + "global step=2955264, episodic return=563.4676513671875\n", + "global step=2955264, episodic return=1130.8760986328125\n", + "global step=2957312, episodic return=555.2301635742188\n", + "global step=2957312, episodic return=560.6047973632812\n", + "global step=2957312, episodic return=599.8004150390625\n", + "global step=2957312, episodic return=584.67724609375\n", + "global step=2957312, episodic return=588.4361572265625\n", + "global step=2957312, episodic return=560.57275390625\n", + "global step=2957312, episodic return=585.4315795898438\n", + "global step=2957312, episodic return=1028.8856201171875\n", + "global step=2959360, episodic return=521.1219482421875\n", + "global step=2959360, episodic return=586.0198974609375\n", + "global step=2959360, episodic return=548.5423583984375\n", + "global step=2959360, episodic return=571.9334716796875\n", + "global step=2961408, episodic return=576.6555786132812\n", + "global step=2961408, episodic return=569.3518676757812\n", + "global step=2961408, episodic return=522.951171875\n", + "global step=2961408, episodic return=582.9949340820312\n", + "global step=2961408, episodic return=588.0418090820312\n", + "global step=2961408, episodic return=564.96044921875\n", + "global step=2961408, episodic return=614.9236450195312\n", + "global step=2961408, episodic return=564.4623413085938\n", + "global step=2961408, episodic return=616.427734375\n", + "global step=2961408, episodic return=556.8765258789062\n", + "global step=2963456, episodic return=624.0808715820312\n", + "global step=2963456, episodic return=580.890625\n", + "global step=2963456, episodic return=576.4517211914062\n", + "global step=2963456, episodic return=566.0547485351562\n", + "global step=2963456, episodic return=560.7142333984375\n", + "global step=2963456, episodic return=586.244873046875\n", + "global step=2963456, episodic return=601.1441040039062\n", + "global step=2963456, episodic return=576.8703002929688\n", + "global step=2963456, episodic return=539.33203125\n", + "global step=2965504, episodic return=611.7877807617188\n", + "global step=2965504, episodic return=573.9192504882812\n", + "global step=2965504, episodic return=529.5169067382812\n", + "global step=2965504, episodic return=575.5821533203125\n", + "global step=2965504, episodic return=539.630859375\n", + "global step=2965504, episodic return=567.2386474609375\n", + "global step=2965504, episodic return=616.5353393554688\n", + "global step=2965504, episodic return=526.1262817382812\n", + "global step=2967552, episodic return=565.3573608398438\n", + "global step=2967552, episodic return=519.18017578125\n", + "global step=2967552, episodic return=567.1895141601562\n", + "global step=2967552, episodic return=594.2904663085938\n", + "global step=2967552, episodic return=605.0200805664062\n", + "global step=2967552, episodic return=559.3925170898438\n", + "global step=2967552, episodic return=547.4180297851562\n", + "global step=2967552, episodic return=538.9733276367188\n", + "global step=2967552, episodic return=565.40234375\n", + "global step=2969600, episodic return=587.9539794921875\n", + "global step=2969600, episodic return=579.6171875\n", + "global step=2969600, episodic return=579.4342651367188\n", + "global step=2969600, episodic return=563.8505859375\n", + "global step=2969600, episodic return=577.6900024414062\n", + "global step=2969600, episodic return=536.8763427734375\n", + "global step=2969600, episodic return=588.4657592773438\n", + "global step=2969600, episodic return=566.9683227539062\n", + "global step=2969600, episodic return=539.7496948242188\n", + "global step=2969600, episodic return=553.4338989257812\n", + "global step=2971648, episodic return=556.48828125\n", + "global step=2971648, episodic return=532.9969482421875\n", + "global step=2971648, episodic return=549.3404541015625\n", + "global step=2971648, episodic return=622.0888671875\n", + "global step=2971648, episodic return=553.9029541015625\n", + "global step=2971648, episodic return=531.0062866210938\n", + "global step=2973696, episodic return=551.7894287109375\n", + "global step=2973696, episodic return=551.878662109375\n", + "global step=2973696, episodic return=535.62646484375\n", + "global step=2973696, episodic return=623.16064453125\n", + "global step=2973696, episodic return=569.9906616210938\n", + "global step=2973696, episodic return=548.579345703125\n", + "global step=2973696, episodic return=1089.6614990234375\n", + "global step=2973696, episodic return=567.7245483398438\n", + "global step=2973696, episodic return=604.473388671875\n", + "global step=2973696, episodic return=545.179931640625\n", + "global step=2975744, episodic return=529.5655517578125\n", + "global step=2975744, episodic return=526.2664794921875\n", + "global step=2975744, episodic return=605.8643798828125\n", + "global step=2975744, episodic return=551.7401733398438\n", + "global step=2975744, episodic return=631.5634765625\n", + "global step=2977792, episodic return=564.2792358398438\n", + "global step=2977792, episodic return=548.3531494140625\n", + "global step=2977792, episodic return=553.4284057617188\n", + "global step=2977792, episodic return=552.6148071289062\n", + "global step=2977792, episodic return=627.0595092773438\n", + "global step=2977792, episodic return=591.6156005859375\n", + "global step=2979840, episodic return=565.2172241210938\n", + "global step=2979840, episodic return=575.6871948242188\n", + "global step=2979840, episodic return=590.3201293945312\n", + "global step=2979840, episodic return=598.9535522460938\n", + "global step=2979840, episodic return=551.4363403320312\n", + "global step=2979840, episodic return=1093.66357421875\n", + "global step=2979840, episodic return=564.0120239257812\n", + "global step=2981888, episodic return=546.6283569335938\n", + "global step=2981888, episodic return=567.8338623046875\n", + "global step=2981888, episodic return=554.396484375\n", + "global step=2981888, episodic return=607.6204833984375\n", + "global step=2981888, episodic return=528.8200073242188\n", + "global step=2981888, episodic return=549.0264892578125\n", + "global step=2981888, episodic return=552.2395629882812\n", + "global step=2983936, episodic return=563.2645874023438\n", + "global step=2983936, episodic return=584.5211791992188\n", + "global step=2983936, episodic return=542.3956909179688\n", + "global step=2983936, episodic return=561.1690063476562\n", + "global step=2985984, episodic return=547.7753295898438\n", + "global step=2985984, episodic return=630.941162109375\n", + "global step=2985984, episodic return=630.300048828125\n", + "global step=2985984, episodic return=538.0674438476562\n", + "global step=2985984, episodic return=527.931884765625\n", + "global step=2985984, episodic return=539.4158325195312\n", + "global step=2985984, episodic return=557.3776245117188\n", + "global step=2985984, episodic return=549.7159423828125\n", + "global step=2985984, episodic return=623.9154663085938\n", + "global step=2985984, episodic return=554.8135375976562\n", + "global step=2985984, episodic return=588.9151611328125\n", + "global step=2988032, episodic return=549.57861328125\n", + "global step=2988032, episodic return=610.5181884765625\n", + "global step=2988032, episodic return=520.0860595703125\n", + "global step=2988032, episodic return=561.4179077148438\n", + "global step=2990080, episodic return=563.188720703125\n", + "global step=2990080, episodic return=635.9418334960938\n", + "global step=2990080, episodic return=624.0863647460938\n", + "global step=2990080, episodic return=633.1128540039062\n", + "global step=2992128, episodic return=608.3578491210938\n", + "global step=2992128, episodic return=549.6316528320312\n", + "global step=2992128, episodic return=633.8898315429688\n", + "global step=2992128, episodic return=556.8203735351562\n", + "global step=2992128, episodic return=596.9530029296875\n", + "global step=2992128, episodic return=572.5883178710938\n", + "global step=2992128, episodic return=559.0546264648438\n", + "global step=2992128, episodic return=598.1193237304688\n", + "global step=2992128, episodic return=601.4406127929688\n", + "global step=2992128, episodic return=555.5027465820312\n", + "global step=2994176, episodic return=528.8587646484375\n", + "global step=2994176, episodic return=635.8663940429688\n", + "global step=2994176, episodic return=588.3944702148438\n", + "global step=2994176, episodic return=537.3341674804688\n", + "global step=2994176, episodic return=539.9967041015625\n", + "global step=2994176, episodic return=588.6388549804688\n", + "global step=2994176, episodic return=607.145263671875\n", + "global step=2994176, episodic return=559.4977416992188\n", + "global step=2994176, episodic return=601.7799072265625\n", + "global step=2994176, episodic return=539.115478515625\n", + "global step=2996224, episodic return=569.21337890625\n", + "global step=2996224, episodic return=572.7005615234375\n", + "global step=2996224, episodic return=577.3826904296875\n", + "global step=2996224, episodic return=568.3928833007812\n", + "global step=2996224, episodic return=556.759521484375\n", + "global step=2998272, episodic return=576.5\n", + "global step=3000320, episodic return=572.09619140625\n", + "global step=3000320, episodic return=571.8262939453125\n", + "global step=3000320, episodic return=583.7389526367188\n", + "global step=3000320, episodic return=606.2329711914062\n", + "global step=3000320, episodic return=566.9131469726562\n", + "global step=3000320, episodic return=546.04052734375\n", + "global step=3000320, episodic return=582.2581176757812\n", + "global step=3000320, episodic return=634.2176513671875\n", + "global step=3000320, episodic return=556.9364624023438\n", + "global step=3000320, episodic return=540.553466796875\n", + "global step=3002368, episodic return=580.3651733398438\n", + "global step=3002368, episodic return=545.2951049804688\n", + "global step=3002368, episodic return=571.6749267578125\n", + "global step=3002368, episodic return=551.9953002929688\n", + "global step=3004416, episodic return=530.006591796875\n", + "global step=3004416, episodic return=569.7916259765625\n", + "global step=3004416, episodic return=545.4837646484375\n", + "global step=3004416, episodic return=1051.53173828125\n", + "global step=3006464, episodic return=534.7457885742188\n", + "global step=3006464, episodic return=600.849853515625\n", + "global step=3006464, episodic return=560.7318725585938\n", + "global step=3006464, episodic return=554.8689575195312\n", + "global step=3008512, episodic return=643.9673461914062\n", + "global step=3008512, episodic return=615.7518920898438\n", + "global step=3008512, episodic return=540.6007690429688\n", + "global step=3008512, episodic return=560.4998779296875\n", + "global step=3008512, episodic return=575.0009765625\n", + "global step=3008512, episodic return=566.3885498046875\n", + "global step=3008512, episodic return=622.1068725585938\n", + "global step=3008512, episodic return=518.1962280273438\n", + "global step=3010560, episodic return=564.7173461914062\n", + "global step=3010560, episodic return=553.1831665039062\n", + "global step=3010560, episodic return=1095.181396484375\n", + "global step=3010560, episodic return=601.583984375\n", + "global step=3012608, episodic return=539.153076171875\n", + "global step=3012608, episodic return=555.7298583984375\n", + "global step=3012608, episodic return=577.1129150390625\n", + "global step=3012608, episodic return=612.6151733398438\n", + "global step=3014656, episodic return=549.1548461914062\n", + "global step=3014656, episodic return=553.2582397460938\n", + "global step=3014656, episodic return=546.3612060546875\n", + "global step=3014656, episodic return=564.3900146484375\n", + "global step=3016704, episodic return=619.5421752929688\n", + "global step=3016704, episodic return=644.4313354492188\n", + "global step=3016704, episodic return=530.8142700195312\n", + "global step=3018752, episodic return=534.9348754882812\n", + "global step=3018752, episodic return=537.2960815429688\n", + "global step=3018752, episodic return=559.75244140625\n", + "global step=3018752, episodic return=586.2130737304688\n", + "global step=3018752, episodic return=526.458984375\n", + "global step=3018752, episodic return=540.3192138671875\n", + "global step=3018752, episodic return=1060.284912109375\n", + "global step=3020800, episodic return=593.1632690429688\n", + "global step=3020800, episodic return=539.715576171875\n", + "global step=3020800, episodic return=1128.541259765625\n", + "global step=3020800, episodic return=547.3001708984375\n", + "global step=3020800, episodic return=526.1904296875\n", + "global step=3020800, episodic return=541.7313842773438\n", + "global step=3020800, episodic return=1088.145751953125\n", + "global step=3022848, episodic return=557.232177734375\n", + "global step=3022848, episodic return=617.2588500976562\n", + "global step=3022848, episodic return=533.5794677734375\n", + "global step=3022848, episodic return=523.86962890625\n", + "global step=3022848, episodic return=638.0497436523438\n", + "global step=3022848, episodic return=620.6099853515625\n", + "global step=3022848, episodic return=547.6786499023438\n", + "global step=3022848, episodic return=642.8533325195312\n", + "global step=3022848, episodic return=544.0371704101562\n", + "global step=3024896, episodic return=531.4266967773438\n", + "global step=3024896, episodic return=576.6995849609375\n", + "global step=3024896, episodic return=558.8868408203125\n", + "global step=3026944, episodic return=540.3883056640625\n", + "global step=3026944, episodic return=540.2009887695312\n", + "global step=3026944, episodic return=649.90966796875\n", + "global step=3026944, episodic return=567.10009765625\n", + "global step=3028992, episodic return=527.2328491210938\n", + "global step=3028992, episodic return=548.8558959960938\n", + "global step=3028992, episodic return=648.5960083007812\n", + "global step=3028992, episodic return=580.7276611328125\n", + "global step=3028992, episodic return=544.0858154296875\n", + "global step=3031040, episodic return=560.7942504882812\n", + "global step=3031040, episodic return=540.24365234375\n", + "global step=3031040, episodic return=540.0591430664062\n", + "global step=3031040, episodic return=521.0385131835938\n", + "global step=3031040, episodic return=555.2672119140625\n", + "global step=3033088, episodic return=550.258056640625\n", + "global step=3033088, episodic return=539.790771484375\n", + "global step=3033088, episodic return=639.6921997070312\n", + "global step=3033088, episodic return=582.3594360351562\n", + "global step=3035136, episodic return=525.9183349609375\n", + "global step=3035136, episodic return=551.7442016601562\n", + "global step=3035136, episodic return=539.7615966796875\n", + "global step=3035136, episodic return=639.0267333984375\n", + "global step=3035136, episodic return=643.2991333007812\n", + "global step=3035136, episodic return=568.4046020507812\n", + "global step=3035136, episodic return=1113.86376953125\n", + "global step=3037184, episodic return=556.4606323242188\n", + "global step=3037184, episodic return=558.312255859375\n", + "global step=3037184, episodic return=567.6048583984375\n", + "global step=3037184, episodic return=582.0913696289062\n", + "global step=3037184, episodic return=647.6976318359375\n", + "global step=3039232, episodic return=549.4518432617188\n", + "global step=3039232, episodic return=574.336181640625\n", + "global step=3041280, episodic return=638.4320678710938\n", + "global step=3041280, episodic return=572.7413330078125\n", + "global step=3041280, episodic return=533.9960327148438\n", + "global step=3041280, episodic return=540.1587524414062\n", + "global step=3041280, episodic return=628.0225830078125\n", + "global step=3043328, episodic return=591.4532470703125\n", + "global step=3043328, episodic return=645.4450073242188\n", + "global step=3043328, episodic return=543.9483032226562\n", + "global step=3043328, episodic return=543.3526000976562\n", + "global step=3043328, episodic return=566.9505615234375\n", + "global step=3043328, episodic return=581.2224731445312\n", + "global step=3045376, episodic return=562.2329711914062\n", + "global step=3045376, episodic return=563.4263916015625\n", + "global step=3045376, episodic return=541.8252563476562\n", + "global step=3045376, episodic return=524.9954833984375\n", + "global step=3047424, episodic return=626.3463745117188\n", + "global step=3049472, episodic return=627.7628784179688\n", + "global step=3049472, episodic return=561.6243896484375\n", + "global step=3049472, episodic return=601.7154541015625\n", + "global step=3051520, episodic return=506.8733215332031\n", + "global step=3051520, episodic return=520.2029418945312\n", + "global step=3051520, episodic return=1079.628173828125\n", + "global step=3051520, episodic return=528.6741333007812\n", + "global step=3053568, episodic return=531.0457763671875\n", + "global step=3053568, episodic return=603.7198486328125\n", + "global step=3053568, episodic return=538.8610229492188\n", + "global step=3055616, episodic return=670.331298828125\n", + "global step=3055616, episodic return=657.1580200195312\n", + "global step=3055616, episodic return=554.90478515625\n", + "global step=3055616, episodic return=513.6561279296875\n", + "global step=3057664, episodic return=518.6593627929688\n", + "global step=3057664, episodic return=553.303466796875\n", + "global step=3057664, episodic return=650.1010131835938\n", + "global step=3057664, episodic return=564.8588256835938\n", + "global step=3057664, episodic return=614.4041748046875\n", + "global step=3059712, episodic return=558.7615966796875\n", + "global step=3059712, episodic return=577.9260864257812\n", + "global step=3059712, episodic return=553.5451049804688\n", + "global step=3059712, episodic return=1053.281005859375\n", + "global step=3059712, episodic return=1120.9136962890625\n", + "global step=3059712, episodic return=550.178955078125\n", + "global step=3059712, episodic return=552.9879150390625\n", + "global step=3059712, episodic return=550.222900390625\n", + "global step=3061760, episodic return=564.9020385742188\n", + "global step=3061760, episodic return=560.6183471679688\n", + "global step=3061760, episodic return=526.0535888671875\n", + "global step=3063808, episodic return=590.4683837890625\n", + "global step=3063808, episodic return=584.3967895507812\n", + "global step=3065856, episodic return=546.4312133789062\n", + "global step=3065856, episodic return=596.7420654296875\n", + "global step=3065856, episodic return=595.073486328125\n", + "global step=3067904, episodic return=655.3699951171875\n", + "global step=3067904, episodic return=202.6759796142578\n", + "global step=3067904, episodic return=562.526123046875\n", + "global step=3067904, episodic return=586.5314331054688\n", + "global step=3067904, episodic return=673.2503662109375\n", + "global step=3069952, episodic return=557.0240478515625\n", + "global step=3069952, episodic return=563.3369750976562\n", + "global step=3069952, episodic return=568.0745849609375\n", + "global step=3069952, episodic return=594.7587890625\n", + "global step=3069952, episodic return=682.7229614257812\n", + "global step=3072000, episodic return=550.4927978515625\n", + "global step=3072000, episodic return=644.6846313476562\n", + "global step=3072000, episodic return=540.5286254882812\n", + "global step=3072000, episodic return=553.285888671875\n", + "global step=3072000, episodic return=606.9570922851562\n", + "global step=3074048, episodic return=550.3967895507812\n", + "global step=3074048, episodic return=677.6329345703125\n", + "global step=3076096, episodic return=550.4064331054688\n", + "global step=3076096, episodic return=576.220703125\n", + "global step=3076096, episodic return=641.2572021484375\n", + "global step=3078144, episodic return=529.981201171875\n", + "global step=3078144, episodic return=530.2673950195312\n", + "global step=3078144, episodic return=620.2970581054688\n", + "global step=3078144, episodic return=568.3815307617188\n", + "global step=3080192, episodic return=1141.544189453125\n", + "global step=3080192, episodic return=678.0205078125\n", + "global step=3080192, episodic return=586.9866333007812\n", + "global step=3082240, episodic return=516.41162109375\n", + "global step=3082240, episodic return=622.7994995117188\n", + "global step=3082240, episodic return=563.2720336914062\n", + "global step=3082240, episodic return=567.9430541992188\n", + "global step=3084288, episodic return=588.4729614257812\n", + "global step=3084288, episodic return=592.0518798828125\n", + "global step=3084288, episodic return=579.358154296875\n", + "global step=3084288, episodic return=529.9572143554688\n", + "global step=3086336, episodic return=654.655517578125\n", + "global step=3086336, episodic return=678.6519775390625\n", + "global step=3086336, episodic return=565.1197509765625\n", + "global step=3086336, episodic return=654.8294677734375\n", + "global step=3086336, episodic return=573.16455078125\n", + "global step=3086336, episodic return=564.182861328125\n", + "global step=3088384, episodic return=564.4636840820312\n", + "global step=3088384, episodic return=563.5643920898438\n", + "global step=3088384, episodic return=681.673828125\n", + "global step=3088384, episodic return=550.5282592773438\n", + "global step=3090432, episodic return=576.2591552734375\n", + "global step=3090432, episodic return=1091.3922119140625\n", + "global step=3090432, episodic return=533.8655395507812\n", + "global step=3094528, episodic return=580.4397583007812\n", + "global step=3094528, episodic return=582.04931640625\n", + "global step=3096576, episodic return=555.0681762695312\n", + "global step=3098624, episodic return=633.591064453125\n", + "global step=3100672, episodic return=563.0429077148438\n", + "global step=3100672, episodic return=548.3695678710938\n", + "global step=3100672, episodic return=691.8146362304688\n", + "global step=3102720, episodic return=700.8898315429688\n", + "global step=3102720, episodic return=1054.262939453125\n", + "global step=3102720, episodic return=646.7799072265625\n", + "global step=3104768, episodic return=557.5806274414062\n", + "global step=3104768, episodic return=554.730224609375\n", + "global step=3106816, episodic return=569.18212890625\n", + "global step=3106816, episodic return=564.83984375\n", + "global step=3106816, episodic return=1111.126953125\n", + "global step=3106816, episodic return=567.8158569335938\n", + "global step=3106816, episodic return=561.8325805664062\n", + "global step=3106816, episodic return=578.1767578125\n", + "global step=3106816, episodic return=551.0250854492188\n", + "global step=3108864, episodic return=655.7171020507812\n", + "global step=3108864, episodic return=1151.6043701171875\n", + "global step=3108864, episodic return=531.3167114257812\n", + "global step=3110912, episodic return=213.74929809570312\n", + "global step=3112960, episodic return=673.053466796875\n", + "global step=3115008, episodic return=576.6889038085938\n", + "global step=3115008, episodic return=568.1175537109375\n", + "global step=3117056, episodic return=581.497802734375\n", + "global step=3117056, episodic return=1158.9676513671875\n", + "global step=3119104, episodic return=549.390625\n", + "global step=3119104, episodic return=568.6153564453125\n", + "global step=3119104, episodic return=536.935302734375\n", + "global step=3121152, episodic return=611.8394165039062\n", + "global step=3121152, episodic return=597.7631225585938\n", + "global step=3123200, episodic return=574.0162963867188\n", + "global step=3123200, episodic return=1046.9881591796875\n", + "global step=3123200, episodic return=673.1197509765625\n", + "global step=3123200, episodic return=591.8250122070312\n", + "global step=3125248, episodic return=582.3011474609375\n", + "global step=3127296, episodic return=542.503662109375\n", + "global step=3127296, episodic return=563.0569458007812\n", + "global step=3131392, episodic return=533.3037109375\n", + "global step=3131392, episodic return=584.6793212890625\n", + "global step=3131392, episodic return=543.3426513671875\n", + "global step=3131392, episodic return=540.12158203125\n", + "global step=3133440, episodic return=543.11962890625\n", + "global step=3133440, episodic return=555.3147583007812\n", + "global step=3135488, episodic return=552.43994140625\n", + "global step=3135488, episodic return=565.0172119140625\n", + "global step=3135488, episodic return=542.3740844726562\n", + "global step=3139584, episodic return=1077.6094970703125\n", + "global step=3139584, episodic return=538.2928466796875\n", + "global step=3141632, episodic return=541.2135620117188\n", + "global step=3141632, episodic return=590.3033447265625\n", + "global step=3141632, episodic return=583.8772583007812\n", + "global step=3143680, episodic return=551.7471313476562\n", + "global step=3145728, episodic return=524.2103881835938\n", + "global step=3147776, episodic return=596.2442016601562\n", + "global step=3149824, episodic return=1128.289306640625\n", + "global step=3149824, episodic return=719.0742797851562\n", + "global step=3149824, episodic return=1117.369384765625\n", + "global step=3151872, episodic return=537.5374755859375\n", + "global step=3151872, episodic return=716.9160766601562\n", + "global step=3151872, episodic return=539.0032958984375\n", + "global step=3153920, episodic return=573.6477661132812\n", + "global step=3153920, episodic return=569.1394653320312\n", + "global step=3153920, episodic return=593.7355346679688\n", + "global step=3155968, episodic return=546.0628662109375\n", + "global step=3155968, episodic return=527.20654296875\n", + "global step=3155968, episodic return=1096.5933837890625\n", + "global step=3155968, episodic return=548.8566284179688\n", + "global step=3160064, episodic return=535.5800170898438\n", + "global step=3160064, episodic return=565.200927734375\n", + "global step=3160064, episodic return=716.2057495117188\n", + "global step=3160064, episodic return=192.10804748535156\n", + "global step=3160064, episodic return=592.2496337890625\n", + "global step=3162112, episodic return=515.5956420898438\n", + "global step=3162112, episodic return=678.3568725585938\n", + "global step=3162112, episodic return=547.1654052734375\n", + "global step=3164160, episodic return=715.1829223632812\n", + "global step=3164160, episodic return=706.8021850585938\n", + "global step=3164160, episodic return=527.0144653320312\n", + "global step=3164160, episodic return=588.7206420898438\n", + "global step=3164160, episodic return=581.3596801757812\n", + "global step=3166208, episodic return=545.568359375\n", + "global step=3166208, episodic return=548.565185546875\n", + "global step=3166208, episodic return=578.9204711914062\n", + "global step=3166208, episodic return=543.9575805664062\n", + "global step=3166208, episodic return=556.1328125\n", + "global step=3166208, episodic return=564.9220581054688\n", + "global step=3166208, episodic return=561.4273071289062\n", + "global step=3170304, episodic return=692.5796508789062\n", + "global step=3172352, episodic return=564.6009521484375\n", + "global step=3172352, episodic return=720.5972290039062\n", + "global step=3172352, episodic return=544.798828125\n", + "global step=3174400, episodic return=544.5977172851562\n", + "global step=3174400, episodic return=1154.60302734375\n", + "global step=3174400, episodic return=582.8256225585938\n", + "global step=3174400, episodic return=556.0928344726562\n", + "global step=3178496, episodic return=539.19091796875\n", + "global step=3178496, episodic return=527.8370971679688\n", + "global step=3178496, episodic return=552.3165893554688\n", + "global step=3180544, episodic return=619.2636108398438\n", + "global step=3180544, episodic return=532.9642333984375\n", + "global step=3182592, episodic return=724.0538940429688\n", + "global step=3184640, episodic return=719.5054321289062\n", + "global step=3184640, episodic return=554.7679443359375\n", + "global step=3186688, episodic return=575.5698852539062\n", + "global step=3186688, episodic return=529.114501953125\n", + "global step=3188736, episodic return=545.8602294921875\n", + "global step=3190784, episodic return=559.188232421875\n", + "global step=3190784, episodic return=565.1441040039062\n", + "global step=3190784, episodic return=558.4688110351562\n", + "global step=3194880, episodic return=543.7794189453125\n", + "global step=3194880, episodic return=590.1634521484375\n", + "global step=3194880, episodic return=528.6884765625\n", + "global step=3196928, episodic return=1121.7403564453125\n", + "global step=3196928, episodic return=533.3707885742188\n", + "global step=3198976, episodic return=733.9815063476562\n", + "global step=3201024, episodic return=560.53662109375\n", + "global step=3203072, episodic return=520.7608032226562\n", + "global step=3203072, episodic return=525.1615600585938\n", + "global step=3203072, episodic return=1153.573486328125\n", + "global step=3203072, episodic return=579.961181640625\n", + "global step=3205120, episodic return=617.8800659179688\n", + "global step=3207168, episodic return=547.624267578125\n", + "global step=3209216, episodic return=750.3809204101562\n", + "global step=3209216, episodic return=630.7826538085938\n", + "global step=3211264, episodic return=590.0682373046875\n", + "global step=3213312, episodic return=549.1868286132812\n", + "global step=3215360, episodic return=549.6126098632812\n", + "global step=3217408, episodic return=621.1157836914062\n", + "global step=3217408, episodic return=534.7294311523438\n", + "global step=3219456, episodic return=586.65478515625\n", + "global step=3221504, episodic return=573.8505859375\n", + "global step=3227648, episodic return=564.911865234375\n", + "global step=3229696, episodic return=554.1969604492188\n", + "global step=3229696, episodic return=537.865478515625\n", + "global step=3229696, episodic return=1070.8734130859375\n", + "global step=3231744, episodic return=589.027587890625\n", + "global step=3231744, episodic return=573.5745239257812\n", + "global step=3235840, episodic return=587.1630249023438\n", + "global step=3239936, episodic return=573.677734375\n", + "global step=3241984, episodic return=1135.283935546875\n", + "global step=3241984, episodic return=572.1639404296875\n", + "global step=3241984, episodic return=534.9699096679688\n", + "global step=3244032, episodic return=534.441650390625\n", + "global step=3246080, episodic return=548.266357421875\n", + "global step=3248128, episodic return=557.973876953125\n", + "global step=3250176, episodic return=539.4354248046875\n", + "global step=3252224, episodic return=735.0633544921875\n", + "global step=3254272, episodic return=577.0999145507812\n", + "global step=3256320, episodic return=548.1561279296875\n", + "global step=3256320, episodic return=545.326416015625\n", + "global step=3256320, episodic return=535.5929565429688\n", + "global step=3262464, episodic return=560.9995727539062\n", + "global step=3264512, episodic return=643.8921508789062\n", + "global step=3272704, episodic return=568.9568481445312\n", + "global step=3272704, episodic return=521.744873046875\n", + "global step=3276800, episodic return=658.255615234375\n", + "global step=3280896, episodic return=531.8302612304688\n", + "global step=3280896, episodic return=523.3740234375\n", + "global step=3284992, episodic return=520.9784545898438\n", + "global step=3284992, episodic return=200.16961669921875\n", + "global step=3287040, episodic return=553.9387817382812\n", + "global step=3287040, episodic return=750.054931640625\n", + "global step=3289088, episodic return=550.1974487304688\n", + "global step=3289088, episodic return=705.8992919921875\n", + "global step=3293184, episodic return=778.062744140625\n", + "global step=3293184, episodic return=525.695068359375\n", + "global step=3295232, episodic return=543.2548828125\n", + "global step=3303424, episodic return=518.9190673828125\n", + "global step=3303424, episodic return=224.86264038085938\n", + "global step=3303424, episodic return=539.5629272460938\n", + "global step=3305472, episodic return=780.5409545898438\n", + "global step=3307520, episodic return=530.1053466796875\n", + "global step=3307520, episodic return=576.5604248046875\n", + "global step=3309568, episodic return=540.9342651367188\n", + "global step=3315712, episodic return=516.2085571289062\n", + "global step=3317760, episodic return=558.5004272460938\n", + "global step=3319808, episodic return=542.402099609375\n", + "global step=3330048, episodic return=554.04150390625\n", + "global step=3334144, episodic return=522.9239501953125\n", + "global step=3334144, episodic return=802.6408081054688\n", + "global step=3334144, episodic return=516.18408203125\n", + "global step=3334144, episodic return=558.4308471679688\n", + "global step=3336192, episodic return=515.8945922851562\n", + "global step=3340288, episodic return=556.1975708007812\n", + "global step=3346432, episodic return=543.9207763671875\n", + "global step=3346432, episodic return=550.4553833007812\n", + "global step=3348480, episodic return=550.2842407226562\n", + "global step=3352576, episodic return=541.6566772460938\n", + "global step=3354624, episodic return=540.1390380859375\n", + "global step=3360768, episodic return=579.5375366210938\n", + "global step=3360768, episodic return=550.6569213867188\n", + "global step=3362816, episodic return=513.8988037109375\n", + "global step=3368960, episodic return=527.6173095703125\n", + "global step=3371008, episodic return=560.1046142578125\n", + "global step=3371008, episodic return=558.5942993164062\n", + "global step=3375104, episodic return=527.6838989257812\n", + "global step=3377152, episodic return=560.0146484375\n", + "global step=3379200, episodic return=550.984619140625\n", + "global step=3383296, episodic return=823.1554565429688\n", + "global step=3393536, episodic return=527.5397338867188\n", + "global step=3397632, episodic return=545.1488647460938\n", + "global step=3397632, episodic return=530.2075805664062\n", + "global step=3401728, episodic return=539.352294921875\n", + "global step=3401728, episodic return=548.6215209960938\n", + "global step=3405824, episodic return=547.75439453125\n", + "global step=3409920, episodic return=822.000732421875\n", + "global step=3411968, episodic return=537.6201171875\n", + "global step=3414016, episodic return=549.0297241210938\n", + "global step=3414016, episodic return=543.6107788085938\n", + "global step=3424256, episodic return=545.8701782226562\n", + "global step=3428352, episodic return=529.0388793945312\n", + "global step=3428352, episodic return=562.411376953125\n", + "global step=3428352, episodic return=528.2947387695312\n", + "global step=3434496, episodic return=546.4991455078125\n", + "global step=3438592, episodic return=538.820556640625\n", + "global step=3440640, episodic return=497.6522521972656\n", + "global step=3446784, episodic return=523.835693359375\n", + "global step=3448832, episodic return=560.289306640625\n", + "global step=3450880, episodic return=542.0059814453125\n", + "global step=3450880, episodic return=220.25424194335938\n", + "global step=3452928, episodic return=522.2034912109375\n", + "global step=3454976, episodic return=570.7696533203125\n", + "global step=3454976, episodic return=551.2631225585938\n", + "global step=3459072, episodic return=523.43505859375\n", + "global step=3459072, episodic return=544.923583984375\n", + "global step=3461120, episodic return=504.5380859375\n", + "global step=3465216, episodic return=487.9410095214844\n", + "global step=3465216, episodic return=232.3048858642578\n", + "global step=3465216, episodic return=485.84637451171875\n", + "global step=3465216, episodic return=536.884521484375\n", + "global step=3467264, episodic return=522.0516357421875\n", + "global step=3467264, episodic return=504.075439453125\n", + "global step=3467264, episodic return=530.9617919921875\n", + "global step=3469312, episodic return=502.7362976074219\n", + "global step=3471360, episodic return=540.7006225585938\n", + "global step=3473408, episodic return=511.9539794921875\n", + "global step=3473408, episodic return=507.2618103027344\n", + "global step=3477504, episodic return=549.7120971679688\n", + "global step=3477504, episodic return=539.736328125\n", + "global step=3477504, episodic return=528.3355102539062\n", + "global step=3477504, episodic return=482.7591247558594\n", + "global step=3479552, episodic return=504.14678955078125\n", + "global step=3479552, episodic return=518.0433349609375\n", + "global step=3479552, episodic return=523.8226928710938\n", + "global step=3479552, episodic return=521.88623046875\n", + "global step=3479552, episodic return=514.4172973632812\n", + "global step=3481600, episodic return=529.510986328125\n", + "global step=3481600, episodic return=554.2338256835938\n", + "global step=3481600, episodic return=493.4955139160156\n", + "global step=3483648, episodic return=515.4161376953125\n", + "global step=3483648, episodic return=508.0700988769531\n", + "global step=3483648, episodic return=524.7665405273438\n", + "global step=3483648, episodic return=515.8654174804688\n", + "global step=3483648, episodic return=511.7987365722656\n", + "global step=3483648, episodic return=508.4061584472656\n", + "global step=3485696, episodic return=525.458251953125\n", + "global step=3485696, episodic return=517.7074584960938\n", + "global step=3485696, episodic return=515.2013549804688\n", + "global step=3487744, episodic return=521.6932983398438\n", + "global step=3487744, episodic return=518.5060424804688\n", + "global step=3487744, episodic return=540.7288208007812\n", + "global step=3487744, episodic return=531.98291015625\n", + "global step=3487744, episodic return=492.60040283203125\n", + "global step=3487744, episodic return=840.9404296875\n", + "global step=3487744, episodic return=557.4935302734375\n", + "global step=3489792, episodic return=691.2315063476562\n", + "global step=3489792, episodic return=542.8953247070312\n", + "global step=3489792, episodic return=510.62506103515625\n", + "global step=3489792, episodic return=493.1350402832031\n", + "global step=3491840, episodic return=501.6219482421875\n", + "global step=3491840, episodic return=527.76953125\n", + "global step=3493888, episodic return=530.06787109375\n", + "global step=3493888, episodic return=510.26751708984375\n", + "global step=3493888, episodic return=508.22076416015625\n", + "global step=3493888, episodic return=514.7202758789062\n", + "global step=3495936, episodic return=524.1427001953125\n", + "global step=3495936, episodic return=225.97381591796875\n", + "global step=3497984, episodic return=524.0368041992188\n", + "global step=3497984, episodic return=533.4703369140625\n", + "global step=3497984, episodic return=518.2245483398438\n", + "global step=3497984, episodic return=524.03076171875\n", + "global step=3497984, episodic return=535.74853515625\n", + "global step=3497984, episodic return=498.94439697265625\n", + "global step=3500032, episodic return=476.8129577636719\n", + "global step=3500032, episodic return=532.7323608398438\n", + "global step=3500032, episodic return=529.316162109375\n", + "global step=3500032, episodic return=500.2800598144531\n", + "global step=3500032, episodic return=531.4154663085938\n", + "global step=3502080, episodic return=491.00860595703125\n", + "global step=3502080, episodic return=491.03631591796875\n", + "global step=3502080, episodic return=526.8468627929688\n", + "global step=3502080, episodic return=510.2679748535156\n", + "global step=3502080, episodic return=524.896240234375\n", + "global step=3504128, episodic return=535.0283203125\n", + "global step=3504128, episodic return=516.1878051757812\n", + "global step=3504128, episodic return=532.4382934570312\n", + "global step=3504128, episodic return=524.3392333984375\n", + "global step=3504128, episodic return=545.0551147460938\n", + "global step=3504128, episodic return=533.958251953125\n", + "global step=3504128, episodic return=482.2059631347656\n", + "global step=3504128, episodic return=542.4982299804688\n", + "global step=3504128, episodic return=540.7830200195312\n", + "global step=3504128, episodic return=549.062744140625\n", + "global step=3504128, episodic return=507.0850524902344\n", + "global step=3506176, episodic return=523.82666015625\n", + "global step=3506176, episodic return=516.2630004882812\n", + "global step=3506176, episodic return=512.1079711914062\n", + "global step=3506176, episodic return=522.9201049804688\n", + "global step=3506176, episodic return=487.40753173828125\n", + "global step=3506176, episodic return=525.814453125\n", + "global step=3508224, episodic return=512.4647827148438\n", + "global step=3508224, episodic return=527.759765625\n", + "global step=3508224, episodic return=510.8552551269531\n", + "global step=3508224, episodic return=537.0742797851562\n", + "global step=3508224, episodic return=493.6659240722656\n", + "global step=3508224, episodic return=538.0462646484375\n", + "global step=3508224, episodic return=494.4949951171875\n", + "global step=3510272, episodic return=539.5613403320312\n", + "global step=3510272, episodic return=513.3953857421875\n", + "global step=3510272, episodic return=526.3766479492188\n", + "global step=3510272, episodic return=501.7247619628906\n", + "global step=3510272, episodic return=543.75732421875\n", + "global step=3510272, episodic return=521.9954223632812\n", + "global step=3510272, episodic return=506.9113464355469\n", + "global step=3510272, episodic return=528.1583862304688\n", + "global step=3510272, episodic return=525.7271728515625\n", + "global step=3510272, episodic return=529.3764038085938\n", + "global step=3510272, episodic return=506.3080749511719\n", + "global step=3512320, episodic return=529.9154663085938\n", + "global step=3512320, episodic return=543.482421875\n", + "global step=3512320, episodic return=502.1104736328125\n", + "global step=3512320, episodic return=517.0731811523438\n", + "global step=3512320, episodic return=546.8223876953125\n", + "global step=3512320, episodic return=521.8938598632812\n", + "global step=3512320, episodic return=528.7484130859375\n", + "global step=3512320, episodic return=517.7211303710938\n", + "global step=3514368, episodic return=537.0477294921875\n", + "global step=3514368, episodic return=522.0391235351562\n", + "global step=3514368, episodic return=531.630859375\n", + "global step=3514368, episodic return=508.7349853515625\n", + "global step=3514368, episodic return=503.1836853027344\n", + "global step=3514368, episodic return=527.3630981445312\n", + "global step=3514368, episodic return=514.3870239257812\n", + "global step=3514368, episodic return=528.4789428710938\n", + "global step=3514368, episodic return=532.9994506835938\n", + "global step=3516416, episodic return=525.6014404296875\n", + "global step=3516416, episodic return=521.98486328125\n", + "global step=3516416, episodic return=543.58740234375\n", + "global step=3516416, episodic return=539.5660400390625\n", + "global step=3516416, episodic return=539.1569213867188\n", + "global step=3516416, episodic return=503.0574645996094\n", + "global step=3516416, episodic return=516.4639282226562\n", + "global step=3516416, episodic return=540.7097778320312\n", + "global step=3518464, episodic return=487.6007995605469\n", + "global step=3518464, episodic return=536.0017700195312\n", + "global step=3518464, episodic return=519.9027099609375\n", + "global step=3518464, episodic return=535.2498168945312\n", + "global step=3518464, episodic return=535.9044189453125\n", + "global step=3518464, episodic return=511.95086669921875\n", + "global step=3518464, episodic return=533.5210571289062\n", + "global step=3518464, episodic return=553.9786987304688\n", + "global step=3520512, episodic return=532.0111083984375\n", + "global step=3520512, episodic return=544.06787109375\n", + "global step=3520512, episodic return=514.3102416992188\n", + "global step=3520512, episodic return=542.5054321289062\n", + "global step=3520512, episodic return=509.9863586425781\n", + "global step=3520512, episodic return=517.68359375\n", + "global step=3520512, episodic return=535.8176879882812\n", + "global step=3520512, episodic return=514.803466796875\n", + "global step=3520512, episodic return=522.9990234375\n", + "global step=3520512, episodic return=516.1642456054688\n", + "global step=3520512, episodic return=543.240966796875\n", + "global step=3520512, episodic return=522.8023681640625\n", + "global step=3520512, episodic return=534.29931640625\n", + "global step=3520512, episodic return=561.7210693359375\n", + "global step=3520512, episodic return=550.5657958984375\n", + "global step=3520512, episodic return=533.8017578125\n", + "global step=3522560, episodic return=514.9173583984375\n", + "global step=3522560, episodic return=525.7937622070312\n", + "global step=3522560, episodic return=521.449951171875\n", + "global step=3522560, episodic return=520.19189453125\n", + "global step=3522560, episodic return=553.9539184570312\n", + "global step=3522560, episodic return=526.7734375\n", + "global step=3522560, episodic return=537.8071899414062\n", + "global step=3522560, episodic return=537.4900512695312\n", + "global step=3522560, episodic return=513.5910034179688\n", + "global step=3522560, episodic return=512.0751342773438\n", + "global step=3522560, episodic return=495.9126892089844\n", + "global step=3522560, episodic return=490.45135498046875\n", + "global step=3522560, episodic return=544.5077514648438\n", + "global step=3522560, episodic return=541.7167358398438\n", + "global step=3522560, episodic return=533.4465942382812\n", + "global step=3524608, episodic return=515.7199096679688\n", + "global step=3524608, episodic return=536.4544067382812\n", + "global step=3524608, episodic return=533.1859130859375\n", + "global step=3524608, episodic return=523.4700927734375\n", + "global step=3524608, episodic return=537.4586181640625\n", + "global step=3524608, episodic return=533.5062255859375\n", + "global step=3524608, episodic return=535.7299194335938\n", + "global step=3524608, episodic return=508.5054626464844\n", + "global step=3524608, episodic return=505.690185546875\n", + "global step=3524608, episodic return=555.27734375\n", + "global step=3524608, episodic return=541.5238647460938\n", + "global step=3524608, episodic return=906.8004150390625\n", + "global step=3524608, episodic return=526.4788208007812\n", + "global step=3526656, episodic return=547.3400268554688\n", + "global step=3526656, episodic return=557.3562622070312\n", + "global step=3526656, episodic return=515.413818359375\n", + "global step=3526656, episodic return=562.1591796875\n", + "global step=3526656, episodic return=248.61642456054688\n", + "global step=3526656, episodic return=522.7608642578125\n", + "global step=3526656, episodic return=546.772216796875\n", + "global step=3526656, episodic return=524.8743286132812\n", + "global step=3526656, episodic return=521.863525390625\n", + "global step=3526656, episodic return=555.2702026367188\n", + "global step=3526656, episodic return=512.8204956054688\n", + "global step=3526656, episodic return=831.58837890625\n", + "global step=3528704, episodic return=525.2947998046875\n", + "global step=3528704, episodic return=517.6102905273438\n", + "global step=3528704, episodic return=524.8264770507812\n", + "global step=3528704, episodic return=508.27288818359375\n", + "global step=3528704, episodic return=517.322998046875\n", + "global step=3528704, episodic return=555.6270751953125\n", + "global step=3528704, episodic return=544.584228515625\n", + "global step=3528704, episodic return=562.7612915039062\n", + "global step=3528704, episodic return=540.9800415039062\n", + "global step=3528704, episodic return=532.1673583984375\n", + "global step=3528704, episodic return=520.6631469726562\n", + "global step=3530752, episodic return=532.8572387695312\n", + "global step=3530752, episodic return=567.0143432617188\n", + "global step=3530752, episodic return=517.22314453125\n", + "global step=3530752, episodic return=512.30322265625\n", + "global step=3530752, episodic return=527.2845458984375\n", + "global step=3530752, episodic return=534.5433959960938\n", + "global step=3530752, episodic return=530.5014038085938\n", + "global step=3530752, episodic return=249.81451416015625\n", + "global step=3530752, episodic return=542.82861328125\n", + "global step=3530752, episodic return=511.2222900390625\n", + "global step=3530752, episodic return=550.2064819335938\n", + "global step=3530752, episodic return=520.3978271484375\n", + "global step=3530752, episodic return=535.5265502929688\n", + "global step=3530752, episodic return=509.1156005859375\n", + "global step=3530752, episodic return=482.2093200683594\n", + "global step=3530752, episodic return=504.5198059082031\n", + "global step=3530752, episodic return=533.6254272460938\n", + "global step=3530752, episodic return=510.64935302734375\n", + "global step=3532800, episodic return=514.6737060546875\n", + "global step=3532800, episodic return=550.117919921875\n", + "global step=3532800, episodic return=539.2086791992188\n", + "global step=3532800, episodic return=546.0491333007812\n", + "global step=3532800, episodic return=539.9420776367188\n", + "global step=3532800, episodic return=525.431884765625\n", + "global step=3532800, episodic return=504.6302185058594\n", + "global step=3532800, episodic return=539.1961669921875\n", + "global step=3532800, episodic return=543.4780883789062\n", + "global step=3532800, episodic return=545.1232299804688\n", + "global step=3532800, episodic return=543.7098999023438\n", + "global step=3532800, episodic return=521.0541381835938\n", + "global step=3532800, episodic return=511.7829284667969\n", + "global step=3532800, episodic return=501.04888916015625\n", + "global step=3534848, episodic return=539.7129516601562\n", + "global step=3534848, episodic return=574.0853271484375\n", + "global step=3534848, episodic return=538.1281127929688\n", + "global step=3534848, episodic return=542.0786743164062\n", + "global step=3534848, episodic return=528.0654296875\n", + "global step=3534848, episodic return=532.96337890625\n", + "global step=3534848, episodic return=544.5903930664062\n", + "global step=3534848, episodic return=544.2610473632812\n", + "global step=3534848, episodic return=473.5553283691406\n", + "global step=3534848, episodic return=512.3074951171875\n", + "global step=3534848, episodic return=540.9226684570312\n", + "global step=3534848, episodic return=513.2694091796875\n", + "global step=3536896, episodic return=518.591064453125\n", + "global step=3536896, episodic return=500.6374816894531\n", + "global step=3536896, episodic return=524.7791137695312\n", + "global step=3536896, episodic return=535.3599243164062\n", + "global step=3536896, episodic return=552.7607421875\n", + "global step=3536896, episodic return=550.1312255859375\n", + "global step=3536896, episodic return=546.453125\n", + "global step=3536896, episodic return=552.6834106445312\n", + "global step=3538944, episodic return=543.628173828125\n", + "global step=3538944, episodic return=489.2329406738281\n", + "global step=3538944, episodic return=522.4152221679688\n", + "global step=3538944, episodic return=536.7660522460938\n", + "global step=3538944, episodic return=529.8596801757812\n", + "global step=3540992, episodic return=541.0372314453125\n", + "global step=3540992, episodic return=533.5088500976562\n", + "global step=3540992, episodic return=538.9631958007812\n", + "global step=3540992, episodic return=534.2803344726562\n", + "global step=3540992, episodic return=525.4740600585938\n", + "global step=3540992, episodic return=527.9744262695312\n", + "global step=3540992, episodic return=548.0491943359375\n", + "global step=3540992, episodic return=519.5206909179688\n", + "global step=3540992, episodic return=507.6155090332031\n", + "global step=3540992, episodic return=547.3410034179688\n", + "global step=3540992, episodic return=543.0278930664062\n", + "global step=3540992, episodic return=256.0733337402344\n", + "global step=3540992, episodic return=544.997314453125\n", + "global step=3540992, episodic return=518.5888061523438\n", + "global step=3543040, episodic return=514.7295532226562\n", + "global step=3543040, episodic return=514.0025024414062\n", + "global step=3543040, episodic return=533.347412109375\n", + "global step=3543040, episodic return=534.727294921875\n", + "global step=3543040, episodic return=546.8072509765625\n", + "global step=3543040, episodic return=501.8744812011719\n", + "global step=3543040, episodic return=510.3611755371094\n", + "global step=3543040, episodic return=528.3519287109375\n", + "global step=3543040, episodic return=555.5521850585938\n", + "global step=3543040, episodic return=563.8369750976562\n", + "global step=3543040, episodic return=538.8088989257812\n", + "global step=3543040, episodic return=509.1250915527344\n", + "global step=3543040, episodic return=521.3003540039062\n", + "global step=3543040, episodic return=501.0712585449219\n", + "global step=3545088, episodic return=560.5770263671875\n", + "global step=3545088, episodic return=552.9537353515625\n", + "global step=3545088, episodic return=542.023193359375\n", + "global step=3545088, episodic return=552.4268798828125\n", + "global step=3545088, episodic return=520.4072265625\n", + "global step=3545088, episodic return=518.8551635742188\n", + "global step=3545088, episodic return=540.5653686523438\n", + "global step=3545088, episodic return=527.2858276367188\n", + "global step=3545088, episodic return=500.008056640625\n", + "global step=3545088, episodic return=527.1521606445312\n", + "global step=3547136, episodic return=529.4947509765625\n", + "global step=3547136, episodic return=532.4754638671875\n", + "global step=3547136, episodic return=528.798828125\n", + "global step=3547136, episodic return=520.2224731445312\n", + "global step=3547136, episodic return=494.6858825683594\n", + "global step=3547136, episodic return=518.7747802734375\n", + "global step=3547136, episodic return=522.01708984375\n", + "global step=3547136, episodic return=535.8190307617188\n", + "global step=3547136, episodic return=498.6846923828125\n", + "global step=3547136, episodic return=511.134765625\n", + "global step=3547136, episodic return=514.926025390625\n", + "global step=3549184, episodic return=510.51739501953125\n", + "global step=3549184, episodic return=524.9197998046875\n", + "global step=3549184, episodic return=542.7720336914062\n", + "global step=3549184, episodic return=543.1396484375\n", + "global step=3549184, episodic return=512.7073364257812\n", + "global step=3549184, episodic return=546.6408081054688\n", + "global step=3549184, episodic return=519.840576171875\n", + "global step=3549184, episodic return=564.728515625\n", + "global step=3549184, episodic return=351.2938537597656\n", + "global step=3549184, episodic return=539.5572509765625\n", + "global step=3549184, episodic return=557.9073486328125\n", + "global step=3549184, episodic return=550.3179321289062\n", + "global step=3549184, episodic return=523.9818115234375\n", + "global step=3549184, episodic return=558.6158447265625\n", + "global step=3549184, episodic return=530.2788696289062\n", + "global step=3549184, episodic return=493.5559387207031\n", + "global step=3549184, episodic return=521.570068359375\n", + "global step=3551232, episodic return=488.85101318359375\n", + "global step=3551232, episodic return=546.8756713867188\n", + "global step=3551232, episodic return=535.06640625\n", + "global step=3551232, episodic return=551.1605834960938\n", + "global step=3551232, episodic return=479.9000549316406\n", + "global step=3551232, episodic return=528.9852905273438\n", + "global step=3553280, episodic return=542.5404052734375\n", + "global step=3553280, episodic return=519.1744995117188\n", + "global step=3553280, episodic return=528.9298706054688\n", + "global step=3553280, episodic return=555.6688232421875\n", + "global step=3553280, episodic return=562.8081665039062\n", + "global step=3553280, episodic return=531.9658203125\n", + "global step=3553280, episodic return=541.8449096679688\n", + "global step=3553280, episodic return=540.8189697265625\n", + "global step=3553280, episodic return=548.4736938476562\n", + "global step=3553280, episodic return=525.2476806640625\n", + "global step=3553280, episodic return=558.5015258789062\n", + "global step=3553280, episodic return=526.0369262695312\n", + "global step=3553280, episodic return=510.7369689941406\n", + "global step=3553280, episodic return=520.995849609375\n", + "global step=3555328, episodic return=554.0719604492188\n", + "global step=3555328, episodic return=550.253662109375\n", + "global step=3555328, episodic return=538.9227294921875\n", + "global step=3555328, episodic return=533.1372680664062\n", + "global step=3555328, episodic return=554.9020385742188\n", + "global step=3555328, episodic return=531.8059692382812\n", + "global step=3555328, episodic return=510.4824523925781\n", + "global step=3555328, episodic return=549.023681640625\n", + "global step=3555328, episodic return=526.1195068359375\n", + "global step=3555328, episodic return=534.4386596679688\n", + "global step=3557376, episodic return=558.1625366210938\n", + "global step=3557376, episodic return=568.5606689453125\n", + "global step=3557376, episodic return=535.2466430664062\n", + "global step=3557376, episodic return=553.1602783203125\n", + "global step=3557376, episodic return=550.6652221679688\n", + "global step=3557376, episodic return=536.0444946289062\n", + "global step=3557376, episodic return=551.1350708007812\n", + "global step=3557376, episodic return=547.802734375\n", + "global step=3557376, episodic return=544.8519897460938\n", + "global step=3557376, episodic return=553.783935546875\n", + "global step=3557376, episodic return=539.7703247070312\n", + "global step=3557376, episodic return=549.8736572265625\n", + "global step=3557376, episodic return=565.7498779296875\n", + "global step=3557376, episodic return=525.4451293945312\n", + "global step=3557376, episodic return=547.4334716796875\n", + "global step=3557376, episodic return=551.8812255859375\n", + "global step=3559424, episodic return=556.2811889648438\n", + "global step=3559424, episodic return=511.0180358886719\n", + "global step=3559424, episodic return=558.5689697265625\n", + "global step=3559424, episodic return=571.9358520507812\n", + "global step=3559424, episodic return=532.2744750976562\n", + "global step=3559424, episodic return=554.17333984375\n", + "global step=3559424, episodic return=530.0159912109375\n", + "global step=3559424, episodic return=546.6207275390625\n", + "global step=3559424, episodic return=550.5803833007812\n", + "global step=3559424, episodic return=531.655517578125\n", + "global step=3559424, episodic return=512.8114013671875\n", + "global step=3559424, episodic return=550.1865844726562\n", + "global step=3559424, episodic return=565.0504760742188\n", + "global step=3559424, episodic return=544.0203857421875\n", + "global step=3561472, episodic return=535.548828125\n", + "global step=3561472, episodic return=546.8927001953125\n", + "global step=3561472, episodic return=548.8474731445312\n", + "global step=3561472, episodic return=511.2413330078125\n", + "global step=3561472, episodic return=550.7273559570312\n", + "global step=3561472, episodic return=531.090576171875\n", + "global step=3561472, episodic return=549.106201171875\n", + "global step=3561472, episodic return=554.5355224609375\n", + "global step=3561472, episodic return=573.5795288085938\n", + "global step=3561472, episodic return=531.2923583984375\n", + "global step=3561472, episodic return=539.1456298828125\n", + "global step=3561472, episodic return=519.762451171875\n", + "global step=3561472, episodic return=491.8212585449219\n", + "global step=3561472, episodic return=555.8432006835938\n", + "global step=3561472, episodic return=531.6651611328125\n", + "global step=3561472, episodic return=569.0712890625\n", + "global step=3561472, episodic return=536.3941650390625\n", + "global step=3563520, episodic return=527.7854614257812\n", + "global step=3563520, episodic return=558.3267822265625\n", + "global step=3563520, episodic return=536.1683959960938\n", + "global step=3563520, episodic return=573.3973999023438\n", + "global step=3563520, episodic return=550.0199584960938\n", + "global step=3563520, episodic return=541.972900390625\n", + "global step=3563520, episodic return=563.355712890625\n", + "global step=3563520, episodic return=536.0219116210938\n", + "global step=3563520, episodic return=509.4517517089844\n", + "global step=3563520, episodic return=554.0653686523438\n", + "global step=3563520, episodic return=536.379150390625\n", + "global step=3563520, episodic return=534.2610473632812\n", + "global step=3563520, episodic return=540.96484375\n", + "global step=3565568, episodic return=559.3748168945312\n", + "global step=3565568, episodic return=583.9093627929688\n", + "global step=3565568, episodic return=510.05743408203125\n", + "global step=3565568, episodic return=554.7301635742188\n", + "global step=3565568, episodic return=552.24609375\n", + "global step=3565568, episodic return=530.551513671875\n", + "global step=3565568, episodic return=563.339599609375\n", + "global step=3565568, episodic return=519.68017578125\n", + "global step=3565568, episodic return=565.537353515625\n", + "global step=3565568, episodic return=543.1498413085938\n", + "global step=3565568, episodic return=512.11279296875\n", + "global step=3565568, episodic return=571.3031005859375\n", + "global step=3565568, episodic return=544.5756225585938\n", + "global step=3565568, episodic return=546.724609375\n", + "global step=3567616, episodic return=547.525146484375\n", + "global step=3567616, episodic return=543.8895263671875\n", + "global step=3567616, episodic return=549.6957397460938\n", + "global step=3567616, episodic return=547.0535278320312\n", + "global step=3567616, episodic return=504.4367370605469\n", + "global step=3567616, episodic return=541.5965576171875\n", + "global step=3567616, episodic return=543.6425170898438\n", + "global step=3567616, episodic return=560.0824584960938\n", + "global step=3567616, episodic return=543.9415283203125\n", + "global step=3567616, episodic return=539.1494140625\n", + "global step=3567616, episodic return=552.0380859375\n", + "global step=3567616, episodic return=531.5188598632812\n", + "global step=3567616, episodic return=551.2145385742188\n", + "global step=3567616, episodic return=542.415283203125\n", + "global step=3569664, episodic return=500.3551940917969\n", + "global step=3569664, episodic return=558.8701782226562\n", + "global step=3569664, episodic return=564.970703125\n", + "global step=3569664, episodic return=578.9883422851562\n", + "global step=3569664, episodic return=552.7681274414062\n", + "global step=3569664, episodic return=539.6830444335938\n", + "global step=3569664, episodic return=533.5460815429688\n", + "global step=3569664, episodic return=499.8314208984375\n", + "global step=3569664, episodic return=504.04071044921875\n", + "global step=3569664, episodic return=529.0786743164062\n", + "global step=3569664, episodic return=527.0055541992188\n", + "global step=3569664, episodic return=549.5481567382812\n", + "global step=3571712, episodic return=565.1724853515625\n", + "global step=3571712, episodic return=570.3951416015625\n", + "global step=3571712, episodic return=509.8748474121094\n", + "global step=3571712, episodic return=551.84375\n", + "global step=3571712, episodic return=527.7487182617188\n", + "global step=3571712, episodic return=557.75439453125\n", + "global step=3571712, episodic return=556.8318481445312\n", + "global step=3571712, episodic return=552.531005859375\n", + "global step=3571712, episodic return=530.4584350585938\n", + "global step=3571712, episodic return=574.3111572265625\n", + "global step=3571712, episodic return=533.9268798828125\n", + "global step=3571712, episodic return=548.8218383789062\n", + "global step=3571712, episodic return=562.6528930664062\n", + "global step=3571712, episodic return=568.8662109375\n", + "global step=3571712, episodic return=545.13037109375\n", + "global step=3571712, episodic return=550.4780883789062\n", + "global step=3573760, episodic return=524.3126220703125\n", + "global step=3573760, episodic return=582.3722534179688\n", + "global step=3573760, episodic return=543.5548095703125\n", + "global step=3573760, episodic return=552.7415771484375\n", + "global step=3573760, episodic return=553.704833984375\n", + "global step=3573760, episodic return=574.8115234375\n", + "global step=3573760, episodic return=556.0582885742188\n", + "global step=3573760, episodic return=555.7326049804688\n", + "global step=3573760, episodic return=540.6836547851562\n", + "global step=3573760, episodic return=543.73828125\n", + "global step=3573760, episodic return=355.28326416015625\n", + "global step=3573760, episodic return=524.6450805664062\n", + "global step=3573760, episodic return=538.704833984375\n", + "global step=3573760, episodic return=571.785888671875\n", + "global step=3575808, episodic return=572.3724975585938\n", + "global step=3575808, episodic return=538.2251586914062\n", + "global step=3575808, episodic return=546.9985961914062\n", + "global step=3575808, episodic return=526.609619140625\n", + "global step=3575808, episodic return=533.5557250976562\n", + "global step=3575808, episodic return=557.3687744140625\n", + "global step=3575808, episodic return=536.9765625\n", + "global step=3575808, episodic return=557.2713623046875\n", + "global step=3575808, episodic return=538.040771484375\n", + "global step=3575808, episodic return=561.0429077148438\n", + "global step=3575808, episodic return=543.44189453125\n", + "global step=3575808, episodic return=540.95947265625\n", + "global step=3575808, episodic return=530.5972900390625\n", + "global step=3575808, episodic return=548.7755126953125\n", + "global step=3575808, episodic return=536.6881713867188\n", + "global step=3575808, episodic return=548.989501953125\n", + "global step=3577856, episodic return=545.5144653320312\n", + "global step=3577856, episodic return=534.53271484375\n", + "global step=3577856, episodic return=528.6688842773438\n", + "global step=3577856, episodic return=523.5198974609375\n", + "global step=3577856, episodic return=582.79052734375\n", + "global step=3577856, episodic return=506.4075927734375\n", + "global step=3577856, episodic return=533.56787109375\n", + "global step=3577856, episodic return=549.0886840820312\n", + "global step=3577856, episodic return=526.2977294921875\n", + "global step=3577856, episodic return=546.9718017578125\n", + "global step=3577856, episodic return=554.8331909179688\n", + "global step=3577856, episodic return=530.73876953125\n", + "global step=3577856, episodic return=529.9786987304688\n", + "global step=3577856, episodic return=556.06884765625\n", + "global step=3579904, episodic return=543.9338989257812\n", + "global step=3579904, episodic return=574.0430908203125\n", + "global step=3579904, episodic return=560.497802734375\n", + "global step=3579904, episodic return=568.1570434570312\n", + "global step=3579904, episodic return=583.5009155273438\n", + "global step=3579904, episodic return=539.5557250976562\n", + "global step=3579904, episodic return=539.5908813476562\n", + "global step=3579904, episodic return=542.7332153320312\n", + "global step=3579904, episodic return=560.5552368164062\n", + "global step=3579904, episodic return=531.6528930664062\n", + "global step=3579904, episodic return=540.2758178710938\n", + "global step=3579904, episodic return=546.6123657226562\n", + "global step=3579904, episodic return=565.5560302734375\n", + "global step=3581952, episodic return=567.2025756835938\n", + "global step=3581952, episodic return=552.256591796875\n", + "global step=3581952, episodic return=572.593994140625\n", + "global step=3581952, episodic return=535.6829833984375\n", + "global step=3581952, episodic return=531.489501953125\n", + "global step=3581952, episodic return=547.4466552734375\n", + "global step=3581952, episodic return=572.2180786132812\n", + "global step=3581952, episodic return=548.6719970703125\n", + "global step=3581952, episodic return=537.109130859375\n", + "global step=3581952, episodic return=506.9019775390625\n", + "global step=3581952, episodic return=540.8178100585938\n", + "global step=3581952, episodic return=559.4618530273438\n", + "global step=3581952, episodic return=575.0082397460938\n", + "global step=3584000, episodic return=551.1941528320312\n", + "global step=3584000, episodic return=564.14013671875\n", + "global step=3584000, episodic return=544.4620971679688\n", + "global step=3584000, episodic return=551.5272216796875\n", + "global step=3584000, episodic return=571.8837280273438\n", + "global step=3584000, episodic return=540.8698120117188\n", + "global step=3584000, episodic return=548.606689453125\n", + "global step=3584000, episodic return=553.1458740234375\n", + "global step=3584000, episodic return=558.0821533203125\n", + "global step=3584000, episodic return=552.2102661132812\n", + "global step=3584000, episodic return=552.5247192382812\n", + "global step=3584000, episodic return=231.82293701171875\n", + "global step=3584000, episodic return=549.41455078125\n", + "global step=3584000, episodic return=541.1307983398438\n", + "global step=3584000, episodic return=538.5883178710938\n", + "global step=3584000, episodic return=536.3951416015625\n", + "global step=3584000, episodic return=572.8800659179688\n", + "global step=3584000, episodic return=534.0108032226562\n", + "global step=3584000, episodic return=529.843017578125\n", + "global step=3584000, episodic return=506.28570556640625\n", + "global step=3586048, episodic return=547.7223510742188\n", + "global step=3586048, episodic return=559.8927001953125\n", + "global step=3586048, episodic return=557.9647216796875\n", + "global step=3586048, episodic return=552.0682983398438\n", + "global step=3586048, episodic return=531.5781860351562\n", + "global step=3586048, episodic return=524.8070678710938\n", + "global step=3586048, episodic return=550.1456298828125\n", + "global step=3586048, episodic return=537.57177734375\n", + "global step=3586048, episodic return=568.2694702148438\n", + "global step=3586048, episodic return=540.5806884765625\n", + "global step=3586048, episodic return=560.91015625\n", + "global step=3586048, episodic return=568.5138549804688\n", + "global step=3586048, episodic return=546.5924682617188\n", + "global step=3588096, episodic return=567.3238525390625\n", + "global step=3588096, episodic return=537.243896484375\n", + "global step=3588096, episodic return=514.710693359375\n", + "global step=3588096, episodic return=557.3117065429688\n", + "global step=3588096, episodic return=559.41796875\n", + "global step=3588096, episodic return=557.9656372070312\n", + "global step=3590144, episodic return=555.28955078125\n", + "global step=3590144, episodic return=555.8111572265625\n", + "global step=3590144, episodic return=571.134765625\n", + "global step=3590144, episodic return=535.823974609375\n", + "global step=3590144, episodic return=545.89453125\n", + "global step=3590144, episodic return=568.3759155273438\n", + "global step=3590144, episodic return=548.4974365234375\n", + "global step=3590144, episodic return=929.8480224609375\n", + "global step=3590144, episodic return=552.6555786132812\n", + "global step=3590144, episodic return=565.6690063476562\n", + "global step=3590144, episodic return=581.424072265625\n", + "global step=3590144, episodic return=554.3056030273438\n", + "global step=3590144, episodic return=519.3900146484375\n", + "global step=3590144, episodic return=576.8946533203125\n", + "global step=3590144, episodic return=545.3596801757812\n", + "global step=3590144, episodic return=534.7619018554688\n", + "global step=3590144, episodic return=500.8240661621094\n", + "global step=3592192, episodic return=582.2122802734375\n", + "global step=3592192, episodic return=575.0352783203125\n", + "global step=3592192, episodic return=571.14892578125\n", + "global step=3592192, episodic return=558.220703125\n", + "global step=3592192, episodic return=553.5584106445312\n", + "global step=3592192, episodic return=625.6207275390625\n", + "global step=3592192, episodic return=565.1030883789062\n", + "global step=3592192, episodic return=555.8101196289062\n", + "global step=3592192, episodic return=522.5303955078125\n", + "global step=3592192, episodic return=527.079833984375\n", + "global step=3592192, episodic return=565.7500610351562\n", + "global step=3592192, episodic return=564.5172729492188\n", + "global step=3592192, episodic return=531.5433349609375\n", + "global step=3592192, episodic return=560.3316650390625\n", + "global step=3592192, episodic return=516.5173950195312\n", + "global step=3594240, episodic return=586.3238525390625\n", + "global step=3594240, episodic return=527.3206176757812\n", + "global step=3594240, episodic return=574.7478637695312\n", + "global step=3594240, episodic return=561.650390625\n", + "global step=3594240, episodic return=556.7280883789062\n", + "global step=3594240, episodic return=535.4302368164062\n", + "global step=3594240, episodic return=556.615966796875\n", + "global step=3594240, episodic return=583.0021362304688\n", + "global step=3594240, episodic return=538.3341064453125\n", + "global step=3594240, episodic return=571.5205078125\n", + "global step=3594240, episodic return=568.3838500976562\n", + "global step=3594240, episodic return=601.1401977539062\n", + "global step=3594240, episodic return=536.9010620117188\n", + "global step=3594240, episodic return=569.4603881835938\n", + "global step=3594240, episodic return=556.8306274414062\n", + "global step=3594240, episodic return=562.5936279296875\n", + "global step=3596288, episodic return=535.77734375\n", + "global step=3596288, episodic return=587.5803833007812\n", + "global step=3596288, episodic return=534.6324462890625\n", + "global step=3596288, episodic return=575.1682739257812\n", + "global step=3596288, episodic return=580.5732421875\n", + "global step=3596288, episodic return=571.3272094726562\n", + "global step=3596288, episodic return=565.8133544921875\n", + "global step=3596288, episodic return=553.857666015625\n", + "global step=3596288, episodic return=595.5687866210938\n", + "global step=3596288, episodic return=574.1107177734375\n", + "global step=3596288, episodic return=567.6392822265625\n", + "global step=3596288, episodic return=554.9429321289062\n", + "global step=3596288, episodic return=536.7240600585938\n", + "global step=3598336, episodic return=521.1524047851562\n", + "global step=3598336, episodic return=561.5913696289062\n", + "global step=3598336, episodic return=555.4600830078125\n", + "global step=3598336, episodic return=552.2774658203125\n", + "global step=3598336, episodic return=581.9286499023438\n", + "global step=3598336, episodic return=585.5767822265625\n", + "global step=3598336, episodic return=559.5418090820312\n", + "global step=3598336, episodic return=574.4978637695312\n", + "global step=3598336, episodic return=569.8016967773438\n", + "global step=3598336, episodic return=546.4593505859375\n", + "global step=3598336, episodic return=560.8358154296875\n", + "global step=3598336, episodic return=589.0936889648438\n", + "global step=3598336, episodic return=563.9068603515625\n", + "global step=3600384, episodic return=571.1744384765625\n", + "global step=3600384, episodic return=569.7168579101562\n", + "global step=3600384, episodic return=550.22216796875\n", + "global step=3600384, episodic return=555.1433715820312\n", + "global step=3600384, episodic return=592.2196044921875\n", + "global step=3600384, episodic return=547.9972534179688\n", + "global step=3600384, episodic return=548.5983276367188\n", + "global step=3600384, episodic return=547.7626342773438\n", + "global step=3600384, episodic return=576.4100952148438\n", + "global step=3600384, episodic return=557.2251586914062\n", + "global step=3600384, episodic return=522.8994750976562\n", + "global step=3602432, episodic return=563.4627075195312\n", + "global step=3602432, episodic return=557.38818359375\n", + "global step=3602432, episodic return=574.1458740234375\n", + "global step=3602432, episodic return=536.2860717773438\n", + "global step=3602432, episodic return=548.836669921875\n", + "global step=3602432, episodic return=560.214111328125\n", + "global step=3602432, episodic return=596.8495483398438\n", + "global step=3602432, episodic return=574.58203125\n", + "global step=3602432, episodic return=565.8020629882812\n", + "global step=3602432, episodic return=576.5318603515625\n", + "global step=3602432, episodic return=568.692138671875\n", + "global step=3602432, episodic return=573.1751098632812\n", + "global step=3602432, episodic return=550.6359252929688\n", + "global step=3602432, episodic return=584.4061889648438\n", + "global step=3602432, episodic return=567.4584350585938\n", + "global step=3604480, episodic return=553.9154663085938\n", + "global step=3604480, episodic return=552.92431640625\n", + "global step=3604480, episodic return=580.4340209960938\n", + "global step=3604480, episodic return=546.3878784179688\n", + "global step=3604480, episodic return=498.4434509277344\n", + "global step=3604480, episodic return=574.726318359375\n", + "global step=3604480, episodic return=567.8748779296875\n", + "global step=3604480, episodic return=577.3399658203125\n", + "global step=3604480, episodic return=537.9912719726562\n", + "global step=3604480, episodic return=559.52734375\n", + "global step=3604480, episodic return=585.4606323242188\n", + "global step=3604480, episodic return=542.5858154296875\n", + "global step=3604480, episodic return=576.0814819335938\n", + "global step=3604480, episodic return=563.0228881835938\n", + "global step=3604480, episodic return=554.6521606445312\n", + "global step=3604480, episodic return=554.0956420898438\n", + "global step=3604480, episodic return=556.5870361328125\n", + "global step=3604480, episodic return=557.0196533203125\n", + "global step=3606528, episodic return=565.924560546875\n", + "global step=3606528, episodic return=551.3037109375\n", + "global step=3606528, episodic return=567.7882080078125\n", + "global step=3606528, episodic return=571.6515502929688\n", + "global step=3606528, episodic return=581.73388671875\n", + "global step=3606528, episodic return=573.76806640625\n", + "global step=3606528, episodic return=545.3031005859375\n", + "global step=3606528, episodic return=539.8418579101562\n", + "global step=3606528, episodic return=577.6243896484375\n", + "global step=3606528, episodic return=553.9926147460938\n", + "global step=3606528, episodic return=544.82275390625\n", + "global step=3606528, episodic return=568.4029541015625\n", + "global step=3606528, episodic return=559.374755859375\n", + "global step=3606528, episodic return=536.4008178710938\n", + "global step=3606528, episodic return=568.75341796875\n", + "global step=3606528, episodic return=533.6470947265625\n", + "global step=3606528, episodic return=575.6481323242188\n", + "global step=3608576, episodic return=538.14013671875\n", + "global step=3608576, episodic return=563.7103881835938\n", + "global step=3608576, episodic return=544.8318481445312\n", + "global step=3608576, episodic return=600.9908447265625\n", + "global step=3608576, episodic return=532.967041015625\n", + "global step=3608576, episodic return=529.8145751953125\n", + "global step=3608576, episodic return=568.6005859375\n", + "global step=3608576, episodic return=569.7960205078125\n", + "global step=3608576, episodic return=539.9664306640625\n", + "global step=3608576, episodic return=551.8866577148438\n", + "global step=3610624, episodic return=579.9520263671875\n", + "global step=3610624, episodic return=561.59619140625\n", + "global step=3610624, episodic return=554.3262939453125\n", + "global step=3610624, episodic return=593.28515625\n", + "global step=3610624, episodic return=575.3189697265625\n", + "global step=3610624, episodic return=542.8125\n", + "global step=3610624, episodic return=592.4946899414062\n", + "global step=3610624, episodic return=542.5446166992188\n", + "global step=3610624, episodic return=569.0191040039062\n", + "global step=3612672, episodic return=555.0629272460938\n", + "global step=3612672, episodic return=564.0604858398438\n", + "global step=3612672, episodic return=532.7562255859375\n", + "global step=3612672, episodic return=564.1975708007812\n", + "global step=3612672, episodic return=554.5703125\n", + "global step=3612672, episodic return=569.7764282226562\n", + "global step=3612672, episodic return=543.35302734375\n", + "global step=3612672, episodic return=575.1201171875\n", + "global step=3612672, episodic return=560.3533935546875\n", + "global step=3614720, episodic return=570.0215454101562\n", + "global step=3614720, episodic return=588.4697875976562\n", + "global step=3614720, episodic return=562.5150146484375\n", + "global step=3614720, episodic return=548.4334106445312\n", + "global step=3614720, episodic return=599.3911743164062\n", + "global step=3614720, episodic return=563.3440551757812\n", + "global step=3614720, episodic return=572.6817016601562\n", + "global step=3614720, episodic return=541.683837890625\n", + "global step=3614720, episodic return=555.391845703125\n", + "global step=3614720, episodic return=573.0380859375\n", + "global step=3614720, episodic return=540.6402587890625\n", + "global step=3614720, episodic return=574.0355224609375\n", + "global step=3614720, episodic return=559.7256469726562\n", + "global step=3614720, episodic return=561.1571655273438\n", + "global step=3614720, episodic return=585.4927978515625\n", + "global step=3616768, episodic return=564.3900756835938\n", + "global step=3616768, episodic return=537.7722778320312\n", + "global step=3616768, episodic return=569.315673828125\n", + "global step=3616768, episodic return=572.8379516601562\n", + "global step=3616768, episodic return=556.776123046875\n", + "global step=3616768, episodic return=570.341796875\n", + "global step=3616768, episodic return=569.3809814453125\n", + "global step=3616768, episodic return=571.8895874023438\n", + "global step=3616768, episodic return=584.3989868164062\n", + "global step=3616768, episodic return=569.850830078125\n", + "global step=3616768, episodic return=549.8289184570312\n", + "global step=3616768, episodic return=583.2125244140625\n", + "global step=3616768, episodic return=565.5390014648438\n", + "global step=3616768, episodic return=580.155517578125\n", + "global step=3616768, episodic return=551.5728149414062\n", + "global step=3616768, episodic return=599.3137817382812\n", + "global step=3616768, episodic return=540.26953125\n", + "global step=3616768, episodic return=555.2123413085938\n", + "global step=3618816, episodic return=571.4666137695312\n", + "global step=3618816, episodic return=588.2581176757812\n", + "global step=3618816, episodic return=572.5001220703125\n", + "global step=3618816, episodic return=591.5879516601562\n", + "global step=3618816, episodic return=580.9918212890625\n", + "global step=3618816, episodic return=569.5258178710938\n", + "global step=3618816, episodic return=578.2735595703125\n", + "global step=3618816, episodic return=575.3075561523438\n", + "global step=3618816, episodic return=565.7938232421875\n", + "global step=3618816, episodic return=570.0532836914062\n", + "global step=3618816, episodic return=551.4383544921875\n", + "global step=3618816, episodic return=605.52392578125\n", + "global step=3618816, episodic return=576.7152099609375\n", + "global step=3618816, episodic return=566.1539916992188\n", + "global step=3618816, episodic return=565.057861328125\n", + "global step=3618816, episodic return=580.9135131835938\n", + "global step=3618816, episodic return=539.6690063476562\n", + "global step=3618816, episodic return=575.4474487304688\n", + "global step=3618816, episodic return=565.8678588867188\n", + "global step=3618816, episodic return=608.3451538085938\n", + "global step=3620864, episodic return=575.0869140625\n", + "global step=3620864, episodic return=591.0935668945312\n", + "global step=3620864, episodic return=550.2450561523438\n", + "global step=3620864, episodic return=569.8070678710938\n", + "global step=3620864, episodic return=554.4406127929688\n", + "global step=3620864, episodic return=539.589111328125\n", + "global step=3620864, episodic return=571.8071899414062\n", + "global step=3620864, episodic return=574.2808837890625\n", + "global step=3620864, episodic return=586.7498168945312\n", + "global step=3620864, episodic return=592.3829345703125\n", + "global step=3620864, episodic return=583.3012084960938\n", + "global step=3620864, episodic return=554.3583984375\n", + "global step=3620864, episodic return=561.65673828125\n", + "global step=3620864, episodic return=566.962158203125\n", + "global step=3620864, episodic return=592.469482421875\n", + "global step=3620864, episodic return=564.1990356445312\n", + "global step=3620864, episodic return=551.9488525390625\n", + "global step=3620864, episodic return=546.3974609375\n", + "global step=3620864, episodic return=556.3927612304688\n", + "global step=3620864, episodic return=573.557373046875\n", + "global step=3620864, episodic return=571.144287109375\n", + "global step=3622912, episodic return=582.1582641601562\n", + "global step=3622912, episodic return=556.7702026367188\n", + "global step=3622912, episodic return=556.520263671875\n", + "global step=3622912, episodic return=604.859130859375\n", + "global step=3622912, episodic return=568.6768188476562\n", + "global step=3622912, episodic return=543.9918823242188\n", + "global step=3622912, episodic return=573.9558715820312\n", + "global step=3622912, episodic return=553.7108764648438\n", + "global step=3622912, episodic return=538.0458984375\n", + "global step=3622912, episodic return=578.1973876953125\n", + "global step=3622912, episodic return=558.0283813476562\n", + "global step=3622912, episodic return=562.9198608398438\n", + "global step=3622912, episodic return=593.7986450195312\n", + "global step=3622912, episodic return=575.0728149414062\n", + "global step=3622912, episodic return=567.7305297851562\n", + "global step=3622912, episodic return=588.8619995117188\n", + "global step=3622912, episodic return=592.1217041015625\n", + "global step=3622912, episodic return=548.8248901367188\n", + "global step=3622912, episodic return=594.236328125\n", + "global step=3624960, episodic return=582.9383544921875\n", + "global step=3624960, episodic return=585.6429443359375\n", + "global step=3624960, episodic return=546.3724365234375\n", + "global step=3624960, episodic return=574.2061767578125\n", + "global step=3624960, episodic return=602.6434326171875\n", + "global step=3624960, episodic return=561.2408447265625\n", + "global step=3624960, episodic return=562.1829223632812\n", + "global step=3624960, episodic return=563.6589965820312\n", + "global step=3624960, episodic return=558.9053955078125\n", + "global step=3624960, episodic return=566.6504516601562\n", + "global step=3624960, episodic return=569.9526977539062\n", + "global step=3624960, episodic return=527.81103515625\n", + "global step=3624960, episodic return=558.974365234375\n", + "global step=3624960, episodic return=569.225830078125\n", + "global step=3624960, episodic return=579.3802490234375\n", + "global step=3627008, episodic return=581.7547607421875\n", + "global step=3627008, episodic return=572.7149658203125\n", + "global step=3627008, episodic return=551.9293823242188\n", + "global step=3627008, episodic return=545.91015625\n", + "global step=3627008, episodic return=581.4415283203125\n", + "global step=3627008, episodic return=569.0364379882812\n", + "global step=3627008, episodic return=561.0938110351562\n", + "global step=3627008, episodic return=571.458740234375\n", + "global step=3627008, episodic return=549.8037719726562\n", + "global step=3627008, episodic return=548.5364379882812\n", + "global step=3629056, episodic return=583.5604248046875\n", + "global step=3629056, episodic return=582.5158081054688\n", + "global step=3629056, episodic return=568.2811279296875\n", + "global step=3629056, episodic return=558.0552368164062\n", + "global step=3629056, episodic return=601.3953857421875\n", + "global step=3629056, episodic return=580.6988525390625\n", + "global step=3629056, episodic return=558.72802734375\n", + "global step=3629056, episodic return=536.7447509765625\n", + "global step=3629056, episodic return=572.8405151367188\n", + "global step=3631104, episodic return=569.7423095703125\n", + "global step=3631104, episodic return=583.34521484375\n", + "global step=3631104, episodic return=571.1023559570312\n", + "global step=3631104, episodic return=589.5308837890625\n", + "global step=3631104, episodic return=570.7838134765625\n", + "global step=3631104, episodic return=567.4721069335938\n", + "global step=3631104, episodic return=588.9530639648438\n", + "global step=3631104, episodic return=553.1082763671875\n", + "global step=3631104, episodic return=608.2803955078125\n", + "global step=3631104, episodic return=572.161376953125\n", + "global step=3631104, episodic return=586.2676391601562\n", + "global step=3631104, episodic return=573.4542236328125\n", + "global step=3631104, episodic return=550.6654663085938\n", + "global step=3631104, episodic return=566.4572143554688\n", + "global step=3631104, episodic return=569.5145874023438\n", + "global step=3631104, episodic return=578.1593017578125\n", + "global step=3631104, episodic return=588.2249755859375\n", + "global step=3631104, episodic return=525.8206787109375\n", + "global step=3631104, episodic return=570.542236328125\n", + "global step=3633152, episodic return=572.0146484375\n", + "global step=3633152, episodic return=586.2538452148438\n", + "global step=3633152, episodic return=590.46826171875\n", + "global step=3633152, episodic return=576.9859008789062\n", + "global step=3633152, episodic return=565.9427490234375\n", + "global step=3633152, episodic return=573.92919921875\n", + "global step=3633152, episodic return=551.1617431640625\n", + "global step=3633152, episodic return=576.2825317382812\n", + "global step=3633152, episodic return=597.129150390625\n", + "global step=3633152, episodic return=555.3123779296875\n", + "global step=3633152, episodic return=525.4310913085938\n", + "global step=3633152, episodic return=532.684326171875\n", + "global step=3633152, episodic return=574.6295166015625\n", + "global step=3635200, episodic return=570.2250366210938\n", + "global step=3635200, episodic return=566.5665893554688\n", + "global step=3635200, episodic return=586.20556640625\n", + "global step=3635200, episodic return=570.816650390625\n", + "global step=3635200, episodic return=573.5882568359375\n", + "global step=3635200, episodic return=570.4826049804688\n", + "global step=3635200, episodic return=599.8800048828125\n", + "global step=3635200, episodic return=586.7666625976562\n", + "global step=3635200, episodic return=577.1808471679688\n", + "global step=3635200, episodic return=555.703857421875\n", + "global step=3635200, episodic return=568.66259765625\n", + "global step=3635200, episodic return=534.7584228515625\n", + "global step=3637248, episodic return=584.0292358398438\n", + "global step=3637248, episodic return=589.0598754882812\n", + "global step=3637248, episodic return=563.0679321289062\n", + "global step=3637248, episodic return=535.75830078125\n", + "global step=3637248, episodic return=555.3963623046875\n", + "global step=3637248, episodic return=563.9194946289062\n", + "global step=3637248, episodic return=579.4228515625\n", + "global step=3637248, episodic return=573.6478881835938\n", + "global step=3637248, episodic return=579.92626953125\n", + "global step=3637248, episodic return=594.6766357421875\n", + "global step=3637248, episodic return=584.900390625\n", + "global step=3637248, episodic return=553.587646484375\n", + "global step=3637248, episodic return=590.271240234375\n", + "global step=3639296, episodic return=580.843017578125\n", + "global step=3639296, episodic return=569.5473022460938\n", + "global step=3639296, episodic return=543.0379028320312\n", + "global step=3639296, episodic return=568.114013671875\n", + "global step=3639296, episodic return=577.3103637695312\n", + "global step=3639296, episodic return=571.8026733398438\n", + "global step=3639296, episodic return=561.0774536132812\n", + "global step=3639296, episodic return=562.3432006835938\n", + "global step=3639296, episodic return=568.8306274414062\n", + "global step=3639296, episodic return=559.3912353515625\n", + "global step=3639296, episodic return=561.3370361328125\n", + "global step=3639296, episodic return=564.2960205078125\n", + "global step=3639296, episodic return=583.396728515625\n", + "global step=3639296, episodic return=566.4457397460938\n", + "global step=3639296, episodic return=529.07470703125\n", + "global step=3639296, episodic return=568.549072265625\n", + "global step=3639296, episodic return=594.5172729492188\n", + "global step=3641344, episodic return=569.408935546875\n", + "global step=3641344, episodic return=562.3272705078125\n", + "global step=3641344, episodic return=592.2674560546875\n", + "global step=3641344, episodic return=582.8776245117188\n", + "global step=3641344, episodic return=574.2274780273438\n", + "global step=3641344, episodic return=574.4404296875\n", + "global step=3641344, episodic return=553.3231201171875\n", + "global step=3641344, episodic return=554.8818359375\n", + "global step=3641344, episodic return=587.7017211914062\n", + "global step=3641344, episodic return=609.7644653320312\n", + "global step=3641344, episodic return=587.5939331054688\n", + "global step=3641344, episodic return=599.8689575195312\n", + "global step=3641344, episodic return=564.105224609375\n", + "global step=3641344, episodic return=590.9797973632812\n", + "global step=3641344, episodic return=560.851806640625\n", + "global step=3641344, episodic return=587.2236938476562\n", + "global step=3643392, episodic return=581.139404296875\n", + "global step=3643392, episodic return=597.2939453125\n", + "global step=3643392, episodic return=582.9920654296875\n", + "global step=3643392, episodic return=575.2446899414062\n", + "global step=3643392, episodic return=560.3831176757812\n", + "global step=3643392, episodic return=602.423828125\n", + "global step=3643392, episodic return=593.4125366210938\n", + "global step=3643392, episodic return=589.085205078125\n", + "global step=3643392, episodic return=562.6771850585938\n", + "global step=3643392, episodic return=579.9074096679688\n", + "global step=3645440, episodic return=563.27392578125\n", + "global step=3645440, episodic return=578.8755493164062\n", + "global step=3645440, episodic return=577.1292114257812\n", + "global step=3645440, episodic return=606.7433471679688\n", + "global step=3645440, episodic return=564.5394897460938\n", + "global step=3645440, episodic return=575.4644165039062\n", + "global step=3645440, episodic return=579.7972412109375\n", + "global step=3645440, episodic return=592.7291259765625\n", + "global step=3645440, episodic return=557.6519165039062\n", + "global step=3645440, episodic return=589.0952758789062\n", + "global step=3645440, episodic return=593.497802734375\n", + "global step=3645440, episodic return=549.6756591796875\n", + "global step=3645440, episodic return=608.1458740234375\n", + "global step=3645440, episodic return=590.7972412109375\n", + "global step=3645440, episodic return=551.2446899414062\n", + "global step=3645440, episodic return=576.701904296875\n", + "global step=3645440, episodic return=568.386962890625\n", + "global step=3645440, episodic return=566.8140869140625\n", + "global step=3645440, episodic return=555.7249145507812\n", + "global step=3647488, episodic return=593.7921142578125\n", + "global step=3647488, episodic return=605.4761352539062\n", + "global step=3647488, episodic return=571.3795166015625\n", + "global step=3647488, episodic return=590.387939453125\n", + "global step=3647488, episodic return=585.379638671875\n", + "global step=3647488, episodic return=576.150634765625\n", + "global step=3647488, episodic return=556.2618408203125\n", + "global step=3647488, episodic return=580.8568725585938\n", + "global step=3647488, episodic return=584.8422241210938\n", + "global step=3647488, episodic return=582.524169921875\n", + "global step=3647488, episodic return=560.966552734375\n", + "global step=3647488, episodic return=579.8329467773438\n", + "global step=3647488, episodic return=598.4072265625\n", + "global step=3647488, episodic return=581.3871459960938\n", + "global step=3647488, episodic return=588.7941284179688\n", + "global step=3647488, episodic return=581.1373291015625\n", + "global step=3649536, episodic return=601.0046997070312\n", + "global step=3649536, episodic return=559.0896606445312\n", + "global step=3649536, episodic return=549.9603881835938\n", + "global step=3649536, episodic return=558.0846557617188\n", + "global step=3649536, episodic return=590.0374145507812\n", + "global step=3649536, episodic return=536.1002807617188\n", + "global step=3649536, episodic return=580.2153930664062\n", + "global step=3649536, episodic return=582.3516845703125\n", + "global step=3649536, episodic return=987.2761840820312\n", + "global step=3649536, episodic return=603.6072387695312\n", + "global step=3649536, episodic return=584.4690551757812\n", + "global step=3649536, episodic return=599.6610107421875\n", + "global step=3649536, episodic return=562.8143920898438\n", + "global step=3649536, episodic return=572.2167358398438\n", + "global step=3649536, episodic return=570.5609130859375\n", + "global step=3649536, episodic return=566.2599487304688\n", + "global step=3651584, episodic return=596.0814819335938\n", + "global step=3651584, episodic return=568.760009765625\n", + "global step=3651584, episodic return=565.3447265625\n", + "global step=3651584, episodic return=559.5355834960938\n", + "global step=3651584, episodic return=599.5084228515625\n", + "global step=3651584, episodic return=600.0130615234375\n", + "global step=3651584, episodic return=571.5619506835938\n", + "global step=3651584, episodic return=589.0009765625\n", + "global step=3651584, episodic return=572.5110473632812\n", + "global step=3651584, episodic return=563.5250854492188\n", + "global step=3651584, episodic return=561.610107421875\n", + "global step=3651584, episodic return=550.4589233398438\n", + "global step=3653632, episodic return=580.4124755859375\n", + "global step=3653632, episodic return=584.8200073242188\n", + "global step=3653632, episodic return=607.4520263671875\n", + "global step=3653632, episodic return=574.2744750976562\n", + "global step=3653632, episodic return=601.3184814453125\n", + "global step=3653632, episodic return=592.5377197265625\n", + "global step=3653632, episodic return=578.052734375\n", + "global step=3653632, episodic return=547.5491333007812\n", + "global step=3653632, episodic return=559.0989990234375\n", + "global step=3653632, episodic return=603.7875366210938\n", + "global step=3653632, episodic return=555.8417358398438\n", + "global step=3653632, episodic return=576.3258666992188\n", + "global step=3653632, episodic return=585.3470458984375\n", + "global step=3653632, episodic return=575.2383422851562\n", + "global step=3653632, episodic return=613.0244140625\n", + "global step=3653632, episodic return=583.4694213867188\n", + "global step=3653632, episodic return=573.0162963867188\n", + "global step=3653632, episodic return=582.0106811523438\n", + "global step=3653632, episodic return=559.4971923828125\n", + "global step=3653632, episodic return=558.46337890625\n", + "global step=3653632, episodic return=575.8888549804688\n", + "global step=3653632, episodic return=564.7943725585938\n", + "global step=3653632, episodic return=546.9749145507812\n", + "global step=3653632, episodic return=578.3988037109375\n", + "global step=3655680, episodic return=577.8836669921875\n", + "global step=3655680, episodic return=599.0258178710938\n", + "global step=3655680, episodic return=564.5576171875\n", + "global step=3655680, episodic return=577.52490234375\n", + "global step=3655680, episodic return=543.3284912109375\n", + "global step=3655680, episodic return=606.207275390625\n", + "global step=3655680, episodic return=583.3976440429688\n", + "global step=3655680, episodic return=555.9286499023438\n", + "global step=3655680, episodic return=550.3461303710938\n", + "global step=3655680, episodic return=577.759521484375\n", + "global step=3655680, episodic return=587.6074829101562\n", + "global step=3655680, episodic return=518.5220336914062\n", + "global step=3655680, episodic return=587.8070068359375\n", + "global step=3655680, episodic return=597.7752685546875\n", + "global step=3655680, episodic return=521.4393310546875\n", + "global step=3655680, episodic return=587.9248046875\n", + "global step=3655680, episodic return=553.2714233398438\n", + "global step=3655680, episodic return=537.5260009765625\n", + "global step=3655680, episodic return=559.8504028320312\n", + "global step=3655680, episodic return=520.8334350585938\n", + "global step=3657728, episodic return=592.962158203125\n", + "global step=3657728, episodic return=571.7813720703125\n", + "global step=3657728, episodic return=581.8788452148438\n", + "global step=3657728, episodic return=563.204833984375\n", + "global step=3657728, episodic return=575.6442260742188\n", + "global step=3657728, episodic return=594.9168701171875\n", + "global step=3657728, episodic return=559.001708984375\n", + "global step=3657728, episodic return=534.5814819335938\n", + "global step=3657728, episodic return=570.114013671875\n", + "global step=3657728, episodic return=552.5888061523438\n", + "global step=3657728, episodic return=608.9097290039062\n", + "global step=3657728, episodic return=615.0274658203125\n", + "global step=3657728, episodic return=581.9474487304688\n", + "global step=3657728, episodic return=574.445556640625\n", + "global step=3657728, episodic return=592.2698974609375\n", + "global step=3657728, episodic return=586.12060546875\n", + "global step=3657728, episodic return=568.957275390625\n", + "global step=3657728, episodic return=584.424072265625\n", + "global step=3657728, episodic return=589.3999633789062\n", + "global step=3659776, episodic return=583.4507446289062\n", + "global step=3659776, episodic return=569.6008911132812\n", + "global step=3659776, episodic return=593.77099609375\n", + "global step=3659776, episodic return=604.9014892578125\n", + "global step=3659776, episodic return=569.8240966796875\n", + "global step=3659776, episodic return=565.342041015625\n", + "global step=3659776, episodic return=588.0982055664062\n", + "global step=3659776, episodic return=576.1135864257812\n", + "global step=3659776, episodic return=562.6454467773438\n", + "global step=3659776, episodic return=567.2631225585938\n", + "global step=3659776, episodic return=575.5963134765625\n", + "global step=3659776, episodic return=566.879638671875\n", + "global step=3659776, episodic return=641.4645385742188\n", + "global step=3659776, episodic return=582.9949951171875\n", + "global step=3659776, episodic return=576.40234375\n", + "global step=3659776, episodic return=600.4068603515625\n", + "global step=3659776, episodic return=619.6845703125\n", + "global step=3661824, episodic return=567.433349609375\n", + "global step=3661824, episodic return=602.4957275390625\n", + "global step=3661824, episodic return=599.654296875\n", + "global step=3661824, episodic return=597.0030517578125\n", + "global step=3661824, episodic return=592.8806762695312\n", + "global step=3661824, episodic return=584.4733276367188\n", + "global step=3661824, episodic return=580.1104125976562\n", + "global step=3661824, episodic return=581.557861328125\n", + "global step=3661824, episodic return=590.4618530273438\n", + "global step=3661824, episodic return=567.0054321289062\n", + "global step=3661824, episodic return=608.7879638671875\n", + "global step=3661824, episodic return=554.7013549804688\n", + "global step=3661824, episodic return=570.6029052734375\n", + "global step=3661824, episodic return=590.8060302734375\n", + "global step=3661824, episodic return=552.292236328125\n", + "global step=3661824, episodic return=581.9664306640625\n", + "global step=3661824, episodic return=553.614990234375\n", + "global step=3661824, episodic return=555.961669921875\n", + "global step=3661824, episodic return=558.9414672851562\n", + "global step=3661824, episodic return=572.9441528320312\n", + "global step=3661824, episodic return=600.9750366210938\n", + "global step=3661824, episodic return=592.0404052734375\n", + "global step=3661824, episodic return=564.6123657226562\n", + "global step=3661824, episodic return=592.5428466796875\n", + "global step=3663872, episodic return=598.2680053710938\n", + "global step=3663872, episodic return=625.4760131835938\n", + "global step=3663872, episodic return=526.9075317382812\n", + "global step=3663872, episodic return=574.112060546875\n", + "global step=3663872, episodic return=589.1517944335938\n", + "global step=3663872, episodic return=587.5324096679688\n", + "global step=3663872, episodic return=579.5205688476562\n", + "global step=3663872, episodic return=570.5900268554688\n", + "global step=3663872, episodic return=566.7879028320312\n", + "global step=3663872, episodic return=584.5446166992188\n", + "global step=3663872, episodic return=602.4154663085938\n", + "global step=3663872, episodic return=586.6528930664062\n", + "global step=3663872, episodic return=581.7799072265625\n", + "global step=3663872, episodic return=553.7484741210938\n", + "global step=3663872, episodic return=598.83837890625\n", + "global step=3663872, episodic return=560.6765747070312\n", + "global step=3663872, episodic return=587.3650512695312\n", + "global step=3663872, episodic return=569.807373046875\n", + "global step=3663872, episodic return=563.4345703125\n", + "global step=3663872, episodic return=602.1715087890625\n", + "global step=3663872, episodic return=570.6918334960938\n", + "global step=3663872, episodic return=569.6954956054688\n", + "global step=3663872, episodic return=598.7034912109375\n", + "global step=3665920, episodic return=607.3677368164062\n", + "global step=3665920, episodic return=540.357421875\n", + "global step=3665920, episodic return=602.4940185546875\n", + "global step=3665920, episodic return=590.0611572265625\n", + "global step=3665920, episodic return=566.7517700195312\n", + "global step=3665920, episodic return=576.39208984375\n", + "global step=3665920, episodic return=597.067138671875\n", + "global step=3665920, episodic return=576.7437133789062\n", + "global step=3665920, episodic return=600.4398193359375\n", + "global step=3665920, episodic return=578.18994140625\n", + "global step=3665920, episodic return=629.635498046875\n", + "global step=3667968, episodic return=558.306884765625\n", + "global step=3667968, episodic return=568.5274047851562\n", + "global step=3667968, episodic return=592.9896850585938\n", + "global step=3667968, episodic return=568.821044921875\n", + "global step=3667968, episodic return=597.7744140625\n", + "global step=3667968, episodic return=592.58984375\n", + "global step=3667968, episodic return=557.953369140625\n", + "global step=3667968, episodic return=584.3904418945312\n", + "global step=3667968, episodic return=565.8245849609375\n", + "global step=3667968, episodic return=602.484130859375\n", + "global step=3667968, episodic return=561.4335327148438\n", + "global step=3667968, episodic return=564.1519165039062\n", + "global step=3667968, episodic return=600.92626953125\n", + "global step=3667968, episodic return=611.455322265625\n", + "global step=3670016, episodic return=562.7120971679688\n", + "global step=3670016, episodic return=607.5084838867188\n", + "global step=3670016, episodic return=594.871826171875\n", + "global step=3670016, episodic return=581.7755126953125\n", + "global step=3670016, episodic return=599.9760131835938\n", + "global step=3670016, episodic return=565.8345336914062\n", + "global step=3670016, episodic return=583.164794921875\n", + "global step=3670016, episodic return=576.8462524414062\n", + "global step=3670016, episodic return=561.2899780273438\n", + "global step=3670016, episodic return=582.3316650390625\n", + "global step=3670016, episodic return=573.6767578125\n", + "global step=3670016, episodic return=550.6727905273438\n", + "global step=3672064, episodic return=604.1646728515625\n", + "global step=3672064, episodic return=614.3531494140625\n", + "global step=3672064, episodic return=608.8099975585938\n", + "global step=3672064, episodic return=575.8845825195312\n", + "global step=3672064, episodic return=589.55517578125\n", + "global step=3672064, episodic return=590.5463256835938\n", + "global step=3672064, episodic return=571.4796142578125\n", + "global step=3672064, episodic return=578.6029052734375\n", + "global step=3672064, episodic return=607.322509765625\n", + "global step=3672064, episodic return=598.7399291992188\n", + "global step=3672064, episodic return=621.8881225585938\n", + "global step=3672064, episodic return=581.0755004882812\n", + "global step=3672064, episodic return=579.9517822265625\n", + "global step=3672064, episodic return=566.6821899414062\n", + "global step=3672064, episodic return=600.0465087890625\n", + "global step=3672064, episodic return=568.56103515625\n", + "global step=3674112, episodic return=550.2214965820312\n", + "global step=3674112, episodic return=590.3880615234375\n", + "global step=3674112, episodic return=593.4420776367188\n", + "global step=3674112, episodic return=574.1326904296875\n", + "global step=3674112, episodic return=569.4990844726562\n", + "global step=3674112, episodic return=564.6791381835938\n", + "global step=3674112, episodic return=556.544921875\n", + "global step=3674112, episodic return=591.5673217773438\n", + "global step=3674112, episodic return=547.9594116210938\n", + "global step=3674112, episodic return=597.003662109375\n", + "global step=3674112, episodic return=571.147705078125\n", + "global step=3674112, episodic return=567.1633911132812\n", + "global step=3674112, episodic return=544.5594482421875\n", + "global step=3674112, episodic return=560.734619140625\n", + "global step=3674112, episodic return=587.3865356445312\n", + "global step=3674112, episodic return=551.1521606445312\n", + "global step=3676160, episodic return=579.9165649414062\n", + "global step=3676160, episodic return=588.7442016601562\n", + "global step=3676160, episodic return=577.292724609375\n", + "global step=3676160, episodic return=544.8143310546875\n", + "global step=3676160, episodic return=560.0308227539062\n", + "global step=3676160, episodic return=607.3290405273438\n", + "global step=3676160, episodic return=542.1704711914062\n", + "global step=3676160, episodic return=611.6445922851562\n", + "global step=3676160, episodic return=558.3262329101562\n", + "global step=3676160, episodic return=598.237548828125\n", + "global step=3676160, episodic return=605.10595703125\n", + "global step=3676160, episodic return=562.7420043945312\n", + "global step=3676160, episodic return=558.777099609375\n", + "global step=3678208, episodic return=607.4164428710938\n", + "global step=3678208, episodic return=579.342529296875\n", + "global step=3678208, episodic return=567.0881958007812\n", + "global step=3678208, episodic return=579.0587768554688\n", + "global step=3678208, episodic return=586.4116821289062\n", + "global step=3678208, episodic return=554.5269165039062\n", + "global step=3678208, episodic return=607.9527587890625\n", + "global step=3678208, episodic return=557.5262451171875\n", + "global step=3678208, episodic return=558.978271484375\n", + "global step=3678208, episodic return=606.0512084960938\n", + "global step=3678208, episodic return=601.8431396484375\n", + "global step=3678208, episodic return=580.5447998046875\n", + "global step=3678208, episodic return=579.380859375\n", + "global step=3678208, episodic return=620.5989379882812\n", + "global step=3678208, episodic return=595.23291015625\n", + "global step=3678208, episodic return=596.8242797851562\n", + "global step=3678208, episodic return=597.2796630859375\n", + "global step=3678208, episodic return=596.1156005859375\n", + "global step=3678208, episodic return=572.416748046875\n", + "global step=3678208, episodic return=608.6967163085938\n", + "global step=3678208, episodic return=578.3806762695312\n", + "global step=3680256, episodic return=602.4176635742188\n", + "global step=3680256, episodic return=598.2416381835938\n", + "global step=3680256, episodic return=549.407470703125\n", + "global step=3680256, episodic return=581.175048828125\n", + "global step=3680256, episodic return=612.90087890625\n", + "global step=3680256, episodic return=615.832763671875\n", + "global step=3680256, episodic return=561.248291015625\n", + "global step=3680256, episodic return=605.9688720703125\n", + "global step=3680256, episodic return=587.041015625\n", + "global step=3680256, episodic return=555.8935546875\n", + "global step=3680256, episodic return=576.38720703125\n", + "global step=3680256, episodic return=590.1442260742188\n", + "global step=3680256, episodic return=596.6823120117188\n", + "global step=3680256, episodic return=571.4874267578125\n", + "global step=3682304, episodic return=585.0626831054688\n", + "global step=3682304, episodic return=603.4913940429688\n", + "global step=3682304, episodic return=605.3261108398438\n", + "global step=3682304, episodic return=584.586669921875\n", + "global step=3682304, episodic return=577.712158203125\n", + "global step=3682304, episodic return=614.2133178710938\n", + "global step=3684352, episodic return=560.72021484375\n", + "global step=3684352, episodic return=579.9778442382812\n", + "global step=3684352, episodic return=591.5635375976562\n", + "global step=3684352, episodic return=592.05419921875\n", + "global step=3684352, episodic return=593.2511596679688\n", + "global step=3684352, episodic return=572.393310546875\n", + "global step=3684352, episodic return=587.5479736328125\n", + "global step=3684352, episodic return=578.387451171875\n", + "global step=3684352, episodic return=584.1199340820312\n", + "global step=3684352, episodic return=595.6802368164062\n", + "global step=3684352, episodic return=574.5643920898438\n", + "global step=3684352, episodic return=546.1989135742188\n", + "global step=3684352, episodic return=583.9880981445312\n", + "global step=3684352, episodic return=593.317138671875\n", + "global step=3686400, episodic return=568.2456665039062\n", + "global step=3686400, episodic return=564.08056640625\n", + "global step=3686400, episodic return=562.885009765625\n", + "global step=3686400, episodic return=606.3758544921875\n", + "global step=3686400, episodic return=627.8742065429688\n", + "global step=3686400, episodic return=575.8688354492188\n", + "global step=3686400, episodic return=559.1836547851562\n", + "global step=3686400, episodic return=587.171630859375\n", + "global step=3686400, episodic return=591.1864624023438\n", + "global step=3688448, episodic return=585.8156127929688\n", + "global step=3688448, episodic return=599.0311889648438\n", + "global step=3688448, episodic return=550.7077026367188\n", + "global step=3688448, episodic return=606.6775512695312\n", + "global step=3688448, episodic return=532.6679077148438\n", + "global step=3688448, episodic return=605.91015625\n", + "global step=3688448, episodic return=579.83740234375\n", + "global step=3688448, episodic return=566.1422119140625\n", + "global step=3688448, episodic return=577.2819213867188\n", + "global step=3688448, episodic return=633.065185546875\n", + "global step=3688448, episodic return=548.71142578125\n", + "global step=3688448, episodic return=609.9027099609375\n", + "global step=3688448, episodic return=565.1537475585938\n", + "global step=3688448, episodic return=592.2167358398438\n", + "global step=3688448, episodic return=553.8443603515625\n", + "global step=3688448, episodic return=562.6876220703125\n", + "global step=3688448, episodic return=568.6767578125\n", + "global step=3688448, episodic return=574.8605346679688\n", + "global step=3688448, episodic return=584.0801391601562\n", + "global step=3688448, episodic return=583.04052734375\n", + "global step=3688448, episodic return=564.348388671875\n", + "global step=3690496, episodic return=575.55322265625\n", + "global step=3690496, episodic return=589.3197021484375\n", + "global step=3690496, episodic return=560.4220581054688\n", + "global step=3690496, episodic return=545.846923828125\n", + "global step=3690496, episodic return=588.2913818359375\n", + "global step=3690496, episodic return=577.7230224609375\n", + "global step=3690496, episodic return=578.98974609375\n", + "global step=3690496, episodic return=576.9006958007812\n", + "global step=3690496, episodic return=574.189453125\n", + "global step=3692544, episodic return=599.9368896484375\n", + "global step=3692544, episodic return=609.5562744140625\n", + "global step=3692544, episodic return=593.033203125\n", + "global step=3692544, episodic return=575.2683715820312\n", + "global step=3692544, episodic return=589.95556640625\n", + "global step=3692544, episodic return=612.222900390625\n", + "global step=3692544, episodic return=582.3089599609375\n", + "global step=3692544, episodic return=617.4569091796875\n", + "global step=3692544, episodic return=586.6334228515625\n", + "global step=3692544, episodic return=583.5723266601562\n", + "global step=3692544, episodic return=591.4298706054688\n", + "global step=3692544, episodic return=593.36865234375\n", + "global step=3692544, episodic return=589.62109375\n", + "global step=3692544, episodic return=579.7904663085938\n", + "global step=3692544, episodic return=625.6071166992188\n", + "global step=3692544, episodic return=594.540283203125\n", + "global step=3692544, episodic return=579.6666870117188\n", + "global step=3692544, episodic return=612.6237182617188\n", + "global step=3692544, episodic return=591.9159545898438\n", + "global step=3692544, episodic return=591.897705078125\n", + "global step=3692544, episodic return=571.2395629882812\n", + "global step=3692544, episodic return=600.6497192382812\n", + "global step=3694592, episodic return=593.9546508789062\n", + "global step=3694592, episodic return=578.86962890625\n", + "global step=3694592, episodic return=532.6650390625\n", + "global step=3694592, episodic return=518.1016845703125\n", + "global step=3694592, episodic return=592.0462036132812\n", + "global step=3694592, episodic return=589.13720703125\n", + "global step=3696640, episodic return=604.533203125\n", + "global step=3696640, episodic return=560.6036987304688\n", + "global step=3696640, episodic return=600.0463256835938\n", + "global step=3696640, episodic return=570.7889404296875\n", + "global step=3696640, episodic return=591.0192260742188\n", + "global step=3696640, episodic return=623.9490356445312\n", + "global step=3696640, episodic return=570.3392944335938\n", + "global step=3696640, episodic return=588.17431640625\n", + "global step=3696640, episodic return=609.4487915039062\n", + "global step=3696640, episodic return=601.6491088867188\n", + "global step=3696640, episodic return=576.5743408203125\n", + "global step=3696640, episodic return=568.8519897460938\n", + "global step=3696640, episodic return=577.2562255859375\n", + "global step=3696640, episodic return=577.6664428710938\n", + "global step=3698688, episodic return=586.3137817382812\n", + "global step=3698688, episodic return=566.3369750976562\n", + "global step=3698688, episodic return=602.9287109375\n", + "global step=3698688, episodic return=567.7619018554688\n", + "global step=3700736, episodic return=549.6603393554688\n", + "global step=3700736, episodic return=538.7521362304688\n", + "global step=3700736, episodic return=573.6421508789062\n", + "global step=3700736, episodic return=548.112548828125\n", + "global step=3700736, episodic return=594.9086303710938\n", + "global step=3700736, episodic return=588.0154418945312\n", + "global step=3700736, episodic return=565.35107421875\n", + "global step=3700736, episodic return=614.3192138671875\n", + "global step=3700736, episodic return=591.3230590820312\n", + "global step=3700736, episodic return=601.9332885742188\n", + "global step=3700736, episodic return=597.8701782226562\n", + "global step=3700736, episodic return=636.9073486328125\n", + "global step=3700736, episodic return=554.4493408203125\n", + "global step=3700736, episodic return=607.029541015625\n", + "global step=3702784, episodic return=586.5416259765625\n", + "global step=3702784, episodic return=565.732666015625\n", + "global step=3702784, episodic return=554.609130859375\n", + "global step=3702784, episodic return=568.6320190429688\n", + "global step=3702784, episodic return=562.35205078125\n", + "global step=3702784, episodic return=587.1728515625\n", + "global step=3702784, episodic return=587.9163208007812\n", + "global step=3702784, episodic return=598.5790405273438\n", + "global step=3702784, episodic return=546.272216796875\n", + "global step=3702784, episodic return=596.4096069335938\n", + "global step=3702784, episodic return=606.3754272460938\n", + "global step=3702784, episodic return=566.4284057617188\n", + "global step=3702784, episodic return=564.6576538085938\n", + "global step=3702784, episodic return=570.9088134765625\n", + "global step=3702784, episodic return=567.25\n", + "global step=3702784, episodic return=574.8094482421875\n", + "global step=3704832, episodic return=574.6414794921875\n", + "global step=3704832, episodic return=581.8428344726562\n", + "global step=3704832, episodic return=577.0437622070312\n", + "global step=3704832, episodic return=576.7628173828125\n", + "global step=3704832, episodic return=581.2572021484375\n", + "global step=3704832, episodic return=636.7638549804688\n", + "global step=3704832, episodic return=583.7359008789062\n", + "global step=3704832, episodic return=576.9295654296875\n", + "global step=3704832, episodic return=589.0625610351562\n", + "global step=3704832, episodic return=581.3558959960938\n", + "global step=3704832, episodic return=592.3638305664062\n", + "global step=3704832, episodic return=545.569091796875\n", + "global step=3704832, episodic return=605.9730224609375\n", + "global step=3704832, episodic return=575.6311645507812\n", + "global step=3704832, episodic return=606.1730346679688\n", + "global step=3704832, episodic return=558.2722778320312\n", + "global step=3706880, episodic return=607.189208984375\n", + "global step=3706880, episodic return=600.3584594726562\n", + "global step=3706880, episodic return=581.6263427734375\n", + "global step=3706880, episodic return=591.7214965820312\n", + "global step=3706880, episodic return=573.2093505859375\n", + "global step=3706880, episodic return=618.44775390625\n", + "global step=3706880, episodic return=612.3734130859375\n", + "global step=3706880, episodic return=548.939208984375\n", + "global step=3706880, episodic return=586.2808227539062\n", + "global step=3706880, episodic return=577.6050415039062\n", + "global step=3706880, episodic return=549.3201904296875\n", + "global step=3706880, episodic return=594.2303466796875\n", + "global step=3708928, episodic return=535.4738159179688\n", + "global step=3708928, episodic return=610.5266723632812\n", + "global step=3708928, episodic return=583.4793090820312\n", + "global step=3708928, episodic return=607.1710815429688\n", + "global step=3708928, episodic return=607.2552490234375\n", + "global step=3708928, episodic return=563.6903076171875\n", + "global step=3708928, episodic return=560.5132446289062\n", + "global step=3708928, episodic return=582.521728515625\n", + "global step=3708928, episodic return=564.3815307617188\n", + "global step=3708928, episodic return=591.1986083984375\n", + "global step=3708928, episodic return=594.4937744140625\n", + "global step=3710976, episodic return=583.3983764648438\n", + "global step=3710976, episodic return=554.9810180664062\n", + "global step=3710976, episodic return=581.6868286132812\n", + "global step=3710976, episodic return=608.4758911132812\n", + "global step=3710976, episodic return=597.6387939453125\n", + "global step=3710976, episodic return=601.9834594726562\n", + "global step=3710976, episodic return=555.1644897460938\n", + "global step=3710976, episodic return=613.385986328125\n", + "global step=3713024, episodic return=581.7797241210938\n", + "global step=3713024, episodic return=595.4881591796875\n", + "global step=3713024, episodic return=606.6219482421875\n", + "global step=3713024, episodic return=597.8025512695312\n", + "global step=3713024, episodic return=578.6246948242188\n", + "global step=3713024, episodic return=604.5272216796875\n", + "global step=3713024, episodic return=590.4825439453125\n", + "global step=3713024, episodic return=603.1017456054688\n", + "global step=3713024, episodic return=588.5330200195312\n", + "global step=3713024, episodic return=590.2124633789062\n", + "global step=3713024, episodic return=628.8562622070312\n", + "global step=3715072, episodic return=590.4788818359375\n", + "global step=3715072, episodic return=585.3213500976562\n", + "global step=3715072, episodic return=597.3023071289062\n", + "global step=3715072, episodic return=578.909423828125\n", + "global step=3715072, episodic return=586.1988525390625\n", + "global step=3715072, episodic return=565.8411865234375\n", + "global step=3715072, episodic return=583.2298583984375\n", + "global step=3715072, episodic return=595.9710083007812\n", + "global step=3715072, episodic return=565.8184814453125\n", + "global step=3715072, episodic return=602.1427612304688\n", + "global step=3715072, episodic return=581.4513549804688\n", + "global step=3717120, episodic return=600.5389404296875\n", + "global step=3717120, episodic return=618.7975463867188\n", + "global step=3717120, episodic return=575.0740966796875\n", + "global step=3717120, episodic return=593.5908813476562\n", + "global step=3717120, episodic return=583.2461547851562\n", + "global step=3717120, episodic return=577.0289916992188\n", + "global step=3717120, episodic return=605.5703735351562\n", + "global step=3717120, episodic return=543.1588134765625\n", + "global step=3717120, episodic return=583.97802734375\n", + "global step=3717120, episodic return=591.3624877929688\n", + "global step=3717120, episodic return=601.5210571289062\n", + "global step=3717120, episodic return=589.68212890625\n", + "global step=3717120, episodic return=606.5628662109375\n", + "global step=3717120, episodic return=595.3406372070312\n", + "global step=3717120, episodic return=606.4542236328125\n", + "global step=3719168, episodic return=574.4628295898438\n", + "global step=3719168, episodic return=594.1773681640625\n", + "global step=3719168, episodic return=586.2171630859375\n", + "global step=3719168, episodic return=555.8624267578125\n", + "global step=3719168, episodic return=586.3395385742188\n", + "global step=3719168, episodic return=622.8300170898438\n", + "global step=3721216, episodic return=602.6189575195312\n", + "global step=3721216, episodic return=595.8688354492188\n", + "global step=3721216, episodic return=574.1611938476562\n", + "global step=3721216, episodic return=610.0162963867188\n", + "global step=3721216, episodic return=558.3294677734375\n", + "global step=3721216, episodic return=599.545166015625\n", + "global step=3723264, episodic return=616.7471923828125\n", + "global step=3723264, episodic return=603.5772705078125\n", + "global step=3723264, episodic return=565.1907348632812\n", + "global step=3723264, episodic return=573.3656005859375\n", + "global step=3723264, episodic return=606.9879150390625\n", + "global step=3723264, episodic return=613.71728515625\n", + "global step=3723264, episodic return=577.540771484375\n", + "global step=3723264, episodic return=571.6593017578125\n", + "global step=3723264, episodic return=594.2699584960938\n", + "global step=3723264, episodic return=610.7792358398438\n", + "global step=3723264, episodic return=621.1943969726562\n", + "global step=3725312, episodic return=587.8053588867188\n", + "global step=3725312, episodic return=585.834716796875\n", + "global step=3725312, episodic return=574.12255859375\n", + "global step=3725312, episodic return=581.4600830078125\n", + "global step=3725312, episodic return=624.8795166015625\n", + "global step=3725312, episodic return=608.5936279296875\n", + "global step=3727360, episodic return=583.1209106445312\n", + "global step=3727360, episodic return=605.7426147460938\n", + "global step=3727360, episodic return=556.1607666015625\n", + "global step=3727360, episodic return=591.75244140625\n", + "global step=3727360, episodic return=613.9552612304688\n", + "global step=3729408, episodic return=589.4369506835938\n", + "global step=3729408, episodic return=583.3837280273438\n", + "global step=3729408, episodic return=601.1554565429688\n", + "global step=3729408, episodic return=580.242919921875\n", + "global step=3731456, episodic return=574.3668212890625\n", + "global step=3731456, episodic return=615.7393798828125\n", + "global step=3731456, episodic return=594.5065307617188\n", + "global step=3731456, episodic return=608.2849731445312\n", + "global step=3733504, episodic return=576.4229736328125\n", + "global step=3733504, episodic return=587.0140991210938\n", + "global step=3733504, episodic return=601.3342895507812\n", + "global step=3733504, episodic return=595.7240600585938\n", + "global step=3733504, episodic return=623.6400756835938\n", + "global step=3733504, episodic return=573.2835083007812\n", + "global step=3733504, episodic return=609.2254028320312\n", + "global step=3733504, episodic return=601.5548095703125\n", + "global step=3735552, episodic return=589.1849975585938\n", + "global step=3735552, episodic return=627.5079956054688\n", + "global step=3735552, episodic return=565.8043212890625\n", + "global step=3735552, episodic return=585.828369140625\n", + "global step=3735552, episodic return=622.54541015625\n", + "global step=3735552, episodic return=580.4935913085938\n", + "global step=3735552, episodic return=589.8457641601562\n", + "global step=3735552, episodic return=608.8685302734375\n", + "global step=3735552, episodic return=607.8558349609375\n", + "global step=3737600, episodic return=549.1083984375\n", + "global step=3737600, episodic return=617.1407470703125\n", + "global step=3737600, episodic return=577.8779296875\n", + "global step=3737600, episodic return=585.804443359375\n", + "global step=3737600, episodic return=611.484130859375\n", + "global step=3737600, episodic return=580.423583984375\n", + "global step=3739648, episodic return=594.8357543945312\n", + "global step=3739648, episodic return=610.3679809570312\n", + "global step=3739648, episodic return=583.6016235351562\n", + "global step=3739648, episodic return=585.1935424804688\n", + "global step=3739648, episodic return=626.584228515625\n", + "global step=3741696, episodic return=608.93359375\n", + "global step=3741696, episodic return=560.4296875\n", + "global step=3741696, episodic return=578.1956787109375\n", + "global step=3741696, episodic return=578.6427612304688\n", + "global step=3741696, episodic return=604.666015625\n", + "global step=3743744, episodic return=594.629638671875\n", + "global step=3743744, episodic return=566.777587890625\n", + "global step=3743744, episodic return=616.9340209960938\n", + "global step=3743744, episodic return=542.059326171875\n", + "global step=3743744, episodic return=633.5030517578125\n", + "global step=3745792, episodic return=605.1482543945312\n", + "global step=3745792, episodic return=570.0631103515625\n", + "global step=3745792, episodic return=629.1043701171875\n", + "global step=3745792, episodic return=598.8269653320312\n", + "global step=3747840, episodic return=591.0123291015625\n", + "global step=3747840, episodic return=585.4722900390625\n", + "global step=3747840, episodic return=590.9033203125\n", + "global step=3747840, episodic return=646.5436401367188\n", + "global step=3747840, episodic return=566.9368896484375\n", + "global step=3747840, episodic return=625.6375122070312\n", + "global step=3747840, episodic return=618.3621826171875\n", + "global step=3747840, episodic return=574.9744262695312\n", + "global step=3747840, episodic return=560.4109497070312\n", + "global step=3747840, episodic return=610.3726196289062\n", + "global step=3747840, episodic return=611.05419921875\n", + "global step=3747840, episodic return=574.7904052734375\n", + "global step=3749888, episodic return=583.61669921875\n", + "global step=3749888, episodic return=552.6912231445312\n", + "global step=3749888, episodic return=570.1075439453125\n", + "global step=3749888, episodic return=588.0440063476562\n", + "global step=3749888, episodic return=618.6683349609375\n", + "global step=3749888, episodic return=588.1178588867188\n", + "global step=3749888, episodic return=594.2322998046875\n", + "global step=3749888, episodic return=560.9114379882812\n", + "global step=3751936, episodic return=610.9218139648438\n", + "global step=3751936, episodic return=633.5130004882812\n", + "global step=3751936, episodic return=620.318115234375\n", + "global step=3751936, episodic return=621.3018188476562\n", + "global step=3753984, episodic return=632.2161865234375\n", + "global step=3753984, episodic return=590.197509765625\n", + "global step=3753984, episodic return=597.070556640625\n", + "global step=3753984, episodic return=607.3650512695312\n", + "global step=3753984, episodic return=590.9638061523438\n", + "global step=3756032, episodic return=579.160400390625\n", + "global step=3756032, episodic return=584.8311767578125\n", + "global step=3756032, episodic return=606.645263671875\n", + "global step=3756032, episodic return=572.560791015625\n", + "global step=3756032, episodic return=575.6734619140625\n", + "global step=3756032, episodic return=604.3825073242188\n", + "global step=3756032, episodic return=610.4507446289062\n", + "global step=3758080, episodic return=611.2525634765625\n", + "global step=3758080, episodic return=560.1137084960938\n", + "global step=3758080, episodic return=590.8021240234375\n", + "global step=3758080, episodic return=626.740478515625\n", + "global step=3758080, episodic return=593.0361938476562\n", + "global step=3758080, episodic return=592.7555541992188\n", + "global step=3760128, episodic return=598.8272094726562\n", + "global step=3760128, episodic return=597.1903686523438\n", + "global step=3760128, episodic return=631.1881713867188\n", + "global step=3760128, episodic return=579.6163330078125\n", + "global step=3760128, episodic return=612.5906372070312\n", + "global step=3760128, episodic return=591.2056274414062\n", + "global step=3760128, episodic return=599.7037353515625\n", + "global step=3760128, episodic return=592.9564819335938\n", + "global step=3762176, episodic return=574.8905029296875\n", + "global step=3762176, episodic return=541.631591796875\n", + "global step=3762176, episodic return=565.5348510742188\n", + "global step=3762176, episodic return=608.6505126953125\n", + "global step=3762176, episodic return=630.3226928710938\n", + "global step=3762176, episodic return=595.0780029296875\n", + "global step=3762176, episodic return=599.3511962890625\n", + "global step=3762176, episodic return=579.8900756835938\n", + "global step=3764224, episodic return=588.2672119140625\n", + "global step=3764224, episodic return=573.5272827148438\n", + "global step=3764224, episodic return=607.7698974609375\n", + "global step=3764224, episodic return=618.6145629882812\n", + "global step=3764224, episodic return=571.4586181640625\n", + "global step=3764224, episodic return=595.6262817382812\n", + "global step=3766272, episodic return=604.5313720703125\n", + "global step=3766272, episodic return=609.5948486328125\n", + "global step=3766272, episodic return=570.083251953125\n", + "global step=3766272, episodic return=577.5281982421875\n", + "global step=3768320, episodic return=593.1709594726562\n", + "global step=3768320, episodic return=545.4790649414062\n", + "global step=3768320, episodic return=582.5657348632812\n", + "global step=3768320, episodic return=608.489501953125\n", + "global step=3768320, episodic return=596.855712890625\n", + "global step=3768320, episodic return=575.1695556640625\n", + "global step=3770368, episodic return=605.5517578125\n", + "global step=3770368, episodic return=618.8699340820312\n", + "global step=3770368, episodic return=607.1820068359375\n", + "global step=3770368, episodic return=541.3759155273438\n", + "global step=3770368, episodic return=593.127685546875\n", + "global step=3770368, episodic return=563.3929443359375\n", + "global step=3772416, episodic return=539.6774291992188\n", + "global step=3772416, episodic return=611.62060546875\n", + "global step=3772416, episodic return=628.9352416992188\n", + "global step=3772416, episodic return=614.6834106445312\n", + "global step=3774464, episodic return=620.84521484375\n", + "global step=3774464, episodic return=591.4878540039062\n", + "global step=3774464, episodic return=588.0939331054688\n", + "global step=3774464, episodic return=591.952392578125\n", + "global step=3774464, episodic return=559.4916381835938\n", + "global step=3774464, episodic return=594.84521484375\n", + "global step=3774464, episodic return=597.0421752929688\n", + "global step=3774464, episodic return=575.8817749023438\n", + "global step=3774464, episodic return=612.163818359375\n", + "global step=3774464, episodic return=597.3541870117188\n", + "global step=3774464, episodic return=595.587890625\n", + "global step=3774464, episodic return=579.5320434570312\n", + "global step=3774464, episodic return=591.1198120117188\n", + "global step=3774464, episodic return=637.8868408203125\n", + "global step=3776512, episodic return=589.2778930664062\n", + "global step=3776512, episodic return=623.0714721679688\n", + "global step=3776512, episodic return=597.1505737304688\n", + "global step=3776512, episodic return=593.5466918945312\n", + "global step=3776512, episodic return=626.2814331054688\n", + "global step=3776512, episodic return=552.331298828125\n", + "global step=3776512, episodic return=644.8933715820312\n", + "global step=3776512, episodic return=575.71728515625\n", + "global step=3776512, episodic return=570.2044067382812\n", + "global step=3776512, episodic return=579.5989990234375\n", + "global step=3776512, episodic return=601.2732543945312\n", + "global step=3778560, episodic return=59.32110595703125\n", + "global step=3778560, episodic return=584.3834838867188\n", + "global step=3778560, episodic return=574.968994140625\n", + "global step=3778560, episodic return=599.4932250976562\n", + "global step=3778560, episodic return=550.9725952148438\n", + "global step=3780608, episodic return=581.3919677734375\n", + "global step=3780608, episodic return=625.566650390625\n", + "global step=3780608, episodic return=582.7666015625\n", + "global step=3780608, episodic return=570.6953735351562\n", + "global step=3780608, episodic return=568.5328979492188\n", + "global step=3780608, episodic return=562.6471557617188\n", + "global step=3780608, episodic return=593.7095336914062\n", + "global step=3780608, episodic return=610.6982421875\n", + "global step=3782656, episodic return=564.956298828125\n", + "global step=3782656, episodic return=546.3595581054688\n", + "global step=3782656, episodic return=599.4722290039062\n", + "global step=3782656, episodic return=615.9041748046875\n", + "global step=3782656, episodic return=584.8770141601562\n", + "global step=3784704, episodic return=600.015380859375\n", + "global step=3784704, episodic return=599.12548828125\n", + "global step=3784704, episodic return=576.8685913085938\n", + "global step=3784704, episodic return=577.4342651367188\n", + "global step=3784704, episodic return=605.0027465820312\n", + "global step=3784704, episodic return=623.5364379882812\n", + "global step=3784704, episodic return=601.89501953125\n", + "global step=3786752, episodic return=607.893798828125\n", + "global step=3786752, episodic return=607.5568237304688\n", + "global step=3788800, episodic return=577.94775390625\n", + "global step=3788800, episodic return=588.1564331054688\n", + "global step=3788800, episodic return=599.177001953125\n", + "global step=3788800, episodic return=594.348388671875\n", + "global step=3788800, episodic return=587.4110107421875\n", + "global step=3788800, episodic return=586.6502685546875\n", + "global step=3788800, episodic return=580.1490478515625\n", + "global step=3790848, episodic return=589.4812622070312\n", + "global step=3790848, episodic return=596.8811645507812\n", + "global step=3790848, episodic return=583.414794921875\n", + "global step=3790848, episodic return=589.33837890625\n", + "global step=3792896, episodic return=606.2183227539062\n", + "global step=3792896, episodic return=555.38525390625\n", + "global step=3792896, episodic return=623.9378662109375\n", + "global step=3792896, episodic return=572.4892578125\n", + "global step=3792896, episodic return=622.4069213867188\n", + "global step=3794944, episodic return=576.3944702148438\n", + "global step=3794944, episodic return=593.4931030273438\n", + "global step=3794944, episodic return=603.4686889648438\n", + "global step=3794944, episodic return=589.2029418945312\n", + "global step=3796992, episodic return=589.997802734375\n", + "global step=3796992, episodic return=616.3650512695312\n", + "global step=3796992, episodic return=576.165771484375\n", + "global step=3796992, episodic return=555.110107421875\n", + "global step=3796992, episodic return=557.2813720703125\n", + "global step=3799040, episodic return=593.3929443359375\n", + "global step=3799040, episodic return=570.1445922851562\n", + "global step=3799040, episodic return=579.83642578125\n", + "global step=3799040, episodic return=628.8946533203125\n", + "global step=3799040, episodic return=573.520263671875\n", + "global step=3799040, episodic return=579.146484375\n", + "global step=3801088, episodic return=600.1863403320312\n", + "global step=3801088, episodic return=603.5556640625\n", + "global step=3801088, episodic return=582.873046875\n", + "global step=3801088, episodic return=574.3873291015625\n", + "global step=3803136, episodic return=590.1126098632812\n", + "global step=3803136, episodic return=632.1939086914062\n", + "global step=3803136, episodic return=603.2362060546875\n", + "global step=3803136, episodic return=646.5752563476562\n", + "global step=3803136, episodic return=593.4271240234375\n", + "global step=3805184, episodic return=598.3923950195312\n", + "global step=3805184, episodic return=607.6384887695312\n", + "global step=3805184, episodic return=572.1871948242188\n", + "global step=3805184, episodic return=619.1679077148438\n", + "global step=3805184, episodic return=563.2413940429688\n", + "global step=3805184, episodic return=589.5707397460938\n", + "global step=3805184, episodic return=576.8563842773438\n", + "global step=3807232, episodic return=585.4227905273438\n", + "global step=3807232, episodic return=572.4942016601562\n", + "global step=3809280, episodic return=542.1795654296875\n", + "global step=3809280, episodic return=596.45556640625\n", + "global step=3811328, episodic return=1051.2047119140625\n", + "global step=3811328, episodic return=574.5088500976562\n", + "global step=3811328, episodic return=571.1585693359375\n", + "global step=3813376, episodic return=578.480712890625\n", + "global step=3815424, episodic return=616.171142578125\n", + "global step=3815424, episodic return=563.0107421875\n", + "global step=3815424, episodic return=568.4606323242188\n", + "global step=3815424, episodic return=565.0186157226562\n", + "global step=3815424, episodic return=586.4257202148438\n", + "global step=3815424, episodic return=596.3707885742188\n", + "global step=3817472, episodic return=575.9524536132812\n", + "global step=3817472, episodic return=597.779541015625\n", + "global step=3817472, episodic return=587.5911865234375\n", + "global step=3817472, episodic return=593.7344970703125\n", + "global step=3817472, episodic return=601.0609130859375\n", + "global step=3817472, episodic return=600.870849609375\n", + "global step=3819520, episodic return=602.1504516601562\n", + "global step=3819520, episodic return=588.9857788085938\n", + "global step=3819520, episodic return=612.2159423828125\n", + "global step=3819520, episodic return=606.0477905273438\n", + "global step=3819520, episodic return=550.1893310546875\n", + "global step=3819520, episodic return=586.1912841796875\n", + "global step=3819520, episodic return=600.6654052734375\n", + "global step=3821568, episodic return=593.9466552734375\n", + "global step=3823616, episodic return=574.6502685546875\n", + "global step=3823616, episodic return=575.8414916992188\n", + "global step=3823616, episodic return=622.8131103515625\n", + "global step=3823616, episodic return=586.9706420898438\n", + "global step=3823616, episodic return=566.7919921875\n", + "global step=3823616, episodic return=568.5556640625\n", + "global step=3823616, episodic return=569.5558471679688\n", + "global step=3825664, episodic return=581.2327880859375\n", + "global step=3825664, episodic return=570.8877563476562\n", + "global step=3827712, episodic return=610.90478515625\n", + "global step=3827712, episodic return=590.1889038085938\n", + "global step=3827712, episodic return=620.7925415039062\n", + "global step=3827712, episodic return=588.4579467773438\n", + "global step=3827712, episodic return=593.9094848632812\n", + "global step=3827712, episodic return=587.0686645507812\n", + "global step=3829760, episodic return=588.0698852539062\n", + "global step=3829760, episodic return=592.52392578125\n", + "global step=3831808, episodic return=623.0323486328125\n", + "global step=3831808, episodic return=626.713623046875\n", + "global step=3831808, episodic return=563.5935668945312\n", + "global step=3831808, episodic return=591.1756591796875\n", + "global step=3833856, episodic return=609.5481567382812\n", + "global step=3833856, episodic return=591.723388671875\n", + "global step=3833856, episodic return=598.2928466796875\n", + "global step=3835904, episodic return=616.7389526367188\n", + "global step=3835904, episodic return=583.9970092773438\n", + "global step=3835904, episodic return=637.104248046875\n", + "global step=3837952, episodic return=602.6273803710938\n", + "global step=3837952, episodic return=550.26123046875\n", + "global step=3840000, episodic return=627.3058471679688\n", + "global step=3840000, episodic return=600.2176513671875\n", + "global step=3842048, episodic return=559.7806396484375\n", + "global step=3842048, episodic return=589.1513671875\n", + "global step=3842048, episodic return=581.139892578125\n", + "global step=3844096, episodic return=590.3392333984375\n", + "global step=3844096, episodic return=570.7858276367188\n", + "global step=3844096, episodic return=585.721923828125\n", + "global step=3846144, episodic return=558.3783569335938\n", + "global step=3846144, episodic return=605.9434814453125\n", + "global step=3846144, episodic return=581.2346801757812\n", + "global step=3846144, episodic return=575.3716430664062\n", + "global step=3848192, episodic return=590.9844360351562\n", + "global step=3848192, episodic return=549.9937133789062\n", + "global step=3848192, episodic return=563.6091918945312\n", + "global step=3848192, episodic return=589.7756958007812\n", + "global step=3850240, episodic return=571.1478271484375\n", + "global step=3850240, episodic return=616.8092041015625\n", + "global step=3852288, episodic return=602.2935791015625\n", + "global step=3852288, episodic return=574.9478759765625\n", + "global step=3852288, episodic return=575.8403930664062\n", + "global step=3852288, episodic return=570.9995727539062\n", + "global step=3854336, episodic return=596.0801391601562\n", + "global step=3856384, episodic return=588.6486206054688\n", + "global step=3856384, episodic return=565.5880126953125\n", + "global step=3856384, episodic return=551.7393188476562\n", + "global step=3858432, episodic return=588.9111328125\n", + "global step=3858432, episodic return=590.8232421875\n", + "global step=3858432, episodic return=599.3157348632812\n", + "global step=3858432, episodic return=590.7869262695312\n", + "global step=3860480, episodic return=602.0770874023438\n", + "global step=3860480, episodic return=617.96826171875\n", + "global step=3860480, episodic return=582.563232421875\n", + "global step=3860480, episodic return=574.5616455078125\n", + "global step=3862528, episodic return=598.5638427734375\n", + "global step=3864576, episodic return=574.5504760742188\n", + "global step=3864576, episodic return=629.4583740234375\n", + "global step=3864576, episodic return=595.0706176757812\n", + "global step=3866624, episodic return=556.94287109375\n", + "global step=3866624, episodic return=599.894287109375\n", + "global step=3866624, episodic return=607.0691528320312\n", + "global step=3866624, episodic return=601.373291015625\n", + "global step=3866624, episodic return=601.5796508789062\n", + "global step=3866624, episodic return=607.8508911132812\n", + "global step=3866624, episodic return=560.6210327148438\n", + "global step=3866624, episodic return=555.4232177734375\n", + "global step=3868672, episodic return=596.081298828125\n", + "global step=3870720, episodic return=615.541259765625\n", + "global step=3870720, episodic return=582.267578125\n", + "global step=3870720, episodic return=624.916015625\n", + "global step=3872768, episodic return=615.216796875\n", + "global step=3872768, episodic return=562.2311401367188\n", + "global step=3872768, episodic return=565.3525390625\n", + "global step=3874816, episodic return=584.4950561523438\n", + "global step=3874816, episodic return=558.0776977539062\n", + "global step=3874816, episodic return=584.587646484375\n", + "global step=3874816, episodic return=598.6226806640625\n", + "global step=3874816, episodic return=571.8530883789062\n", + "global step=3876864, episodic return=575.0050048828125\n", + "global step=3878912, episodic return=531.5431518554688\n", + "global step=3878912, episodic return=563.001953125\n", + "global step=3878912, episodic return=572.425048828125\n", + "global step=3880960, episodic return=575.8951416015625\n", + "global step=3880960, episodic return=589.981689453125\n", + "global step=3880960, episodic return=578.9985961914062\n", + "global step=3883008, episodic return=579.29345703125\n", + "global step=3887104, episodic return=562.7068481445312\n", + "global step=3887104, episodic return=572.1972045898438\n", + "global step=3887104, episodic return=578.082763671875\n", + "global step=3889152, episodic return=577.9031372070312\n", + "global step=3889152, episodic return=545.181396484375\n", + "global step=3891200, episodic return=547.3389892578125\n", + "global step=3893248, episodic return=571.0166625976562\n", + "global step=3895296, episodic return=580.3939819335938\n", + "global step=3897344, episodic return=565.6563720703125\n", + "global step=3899392, episodic return=578.4903564453125\n", + "global step=3899392, episodic return=594.1300659179688\n", + "global step=3901440, episodic return=588.9786987304688\n", + "global step=3901440, episodic return=567.7662963867188\n", + "global step=3901440, episodic return=602.194091796875\n", + "global step=3901440, episodic return=552.0433349609375\n", + "global step=3903488, episodic return=605.8532104492188\n", + "global step=3903488, episodic return=604.7839965820312\n", + "global step=3905536, episodic return=578.6561889648438\n", + "global step=3907584, episodic return=548.0924072265625\n", + "global step=3907584, episodic return=553.1737670898438\n", + "global step=3907584, episodic return=575.3167114257812\n", + "global step=3909632, episodic return=579.8851318359375\n", + "global step=3909632, episodic return=573.672607421875\n", + "global step=3909632, episodic return=579.2080688476562\n", + "global step=3909632, episodic return=599.0986938476562\n", + "global step=3909632, episodic return=583.7749633789062\n", + "global step=3911680, episodic return=562.4514770507812\n", + "global step=3911680, episodic return=585.2491455078125\n", + "global step=3911680, episodic return=542.8048706054688\n", + "global step=3911680, episodic return=644.2276611328125\n", + "global step=3913728, episodic return=567.715576171875\n", + "global step=3913728, episodic return=579.2142944335938\n", + "global step=3913728, episodic return=582.3658447265625\n", + "global step=3913728, episodic return=595.0284423828125\n", + "global step=3913728, episodic return=565.8404541015625\n", + "global step=3917824, episodic return=569.2608642578125\n", + "global step=3919872, episodic return=545.3621215820312\n", + "global step=3919872, episodic return=582.8096313476562\n", + "global step=3919872, episodic return=598.49951171875\n", + "global step=3923968, episodic return=542.426513671875\n", + "global step=3928064, episodic return=562.9680786132812\n", + "global step=3928064, episodic return=575.5610961914062\n", + "global step=3928064, episodic return=594.8334350585938\n", + "global step=3928064, episodic return=539.3569946289062\n", + "global step=3930112, episodic return=535.7671508789062\n", + "global step=3930112, episodic return=578.4839477539062\n", + "global step=3932160, episodic return=576.88037109375\n", + "global step=3932160, episodic return=580.5440063476562\n", + "global step=3934208, episodic return=615.533447265625\n", + "global step=3934208, episodic return=551.3439331054688\n", + "global step=3936256, episodic return=577.5175170898438\n", + "global step=3938304, episodic return=564.4470825195312\n", + "global step=3938304, episodic return=528.1227416992188\n", + "global step=3938304, episodic return=546.8843383789062\n", + "global step=3940352, episodic return=542.0606689453125\n", + "global step=3940352, episodic return=598.7872924804688\n", + "global step=3942400, episodic return=592.5435791015625\n", + "global step=3942400, episodic return=569.8623046875\n", + "global step=3942400, episodic return=550.6539916992188\n", + "global step=3942400, episodic return=559.0332641601562\n", + "global step=3944448, episodic return=574.6574096679688\n", + "global step=3948544, episodic return=578.5106201171875\n", + "global step=3948544, episodic return=565.390380859375\n", + "global step=3950592, episodic return=568.0701904296875\n", + "global step=3950592, episodic return=551.2428588867188\n", + "global step=3950592, episodic return=579.6695556640625\n", + "global step=3950592, episodic return=584.1007080078125\n", + "global step=3952640, episodic return=571.9856567382812\n", + "global step=3954688, episodic return=533.586181640625\n", + "global step=3956736, episodic return=526.31201171875\n", + "global step=3956736, episodic return=582.2933349609375\n", + "global step=3956736, episodic return=521.37353515625\n", + "global step=3960832, episodic return=540.0421142578125\n", + "global step=3960832, episodic return=538.678955078125\n", + "global step=3962880, episodic return=512.052490234375\n", + "global step=3964928, episodic return=588.284423828125\n", + "global step=3969024, episodic return=535.76025390625\n", + "global step=3969024, episodic return=547.379150390625\n", + "global step=3973120, episodic return=514.6416015625\n", + "global step=3975168, episodic return=539.874267578125\n", + "global step=3975168, episodic return=524.92919921875\n", + "global step=3977216, episodic return=555.1426391601562\n", + "global step=3979264, episodic return=581.0994262695312\n", + "global step=3979264, episodic return=631.2893676757812\n", + "global step=3979264, episodic return=557.6734008789062\n", + "global step=3981312, episodic return=600.3030395507812\n", + "global step=3983360, episodic return=576.4589233398438\n", + "global step=3985408, episodic return=526.5437622070312\n", + "global step=3987456, episodic return=593.8927001953125\n", + "global step=3987456, episodic return=533.8096923828125\n", + "global step=3989504, episodic return=560.9635009765625\n", + "global step=3991552, episodic return=572.1630249023438\n", + "global step=3995648, episodic return=564.703369140625\n", + "global step=3997696, episodic return=586.8255615234375\n", + "global step=3999744, episodic return=569.29443359375\n", + "global step=3999744, episodic return=595.7713012695312\n", + "global step=4001792, episodic return=524.1846313476562\n", + "global step=4003840, episodic return=535.7883911132812\n", + "global step=4007936, episodic return=536.8849487304688\n", + "global step=4009984, episodic return=555.8103637695312\n", + "global step=4009984, episodic return=553.850341796875\n", + "global step=4009984, episodic return=327.1825866699219\n", + "global step=4009984, episodic return=285.6519470214844\n", + "global step=4014080, episodic return=301.998291015625\n", + "global step=4014080, episodic return=537.6407470703125\n", + "global step=4016128, episodic return=557.26513671875\n", + "global step=4022272, episodic return=554.5618286132812\n", + "global step=4026368, episodic return=573.1702270507812\n", + "global step=4032512, episodic return=564.6388549804688\n", + "global step=4036608, episodic return=539.1900024414062\n", + "global step=4038656, episodic return=563.6361083984375\n", + "global step=4057088, episodic return=515.386962890625\n", + "global step=4059136, episodic return=499.1733703613281\n", + "global step=4067328, episodic return=563.4767456054688\n", + "global step=4073472, episodic return=569.18896484375\n", + "global step=4073472, episodic return=591.354736328125\n", + "global step=4081664, episodic return=518.0391845703125\n", + "global step=4083712, episodic return=573.1476440429688\n", + "global step=4087808, episodic return=566.3855590820312\n", + "global step=4089856, episodic return=556.8009033203125\n", + "global step=4093952, episodic return=544.189208984375\n", + "global step=4093952, episodic return=584.5770874023438\n", + "global step=4098048, episodic return=538.9828491210938\n", + "global step=4100096, episodic return=554.2775268554688\n", + "global step=4100096, episodic return=544.1320190429688\n", + "global step=4104192, episodic return=543.5028686523438\n", + "global step=4108288, episodic return=302.5832214355469\n", + "global step=4108288, episodic return=552.488037109375\n", + "global step=4110336, episodic return=583.8148803710938\n", + "global step=4114432, episodic return=573.7507934570312\n", + "global step=4126720, episodic return=548.693603515625\n", + "global step=4128768, episodic return=580.760498046875\n", + "global step=4130816, episodic return=588.4320068359375\n", + "global step=4132864, episodic return=577.5580444335938\n", + "global step=4134912, episodic return=621.0933227539062\n", + "global step=4134912, episodic return=564.313720703125\n", + "global step=4143104, episodic return=497.5699157714844\n", + "global step=4143104, episodic return=342.157958984375\n", + "global step=4143104, episodic return=591.4149169921875\n", + "global step=4143104, episodic return=503.0075988769531\n", + "global step=4145152, episodic return=490.0176696777344\n", + "global step=4145152, episodic return=544.9133911132812\n", + "global step=4147200, episodic return=549.2101440429688\n", + "global step=4149248, episodic return=318.8734436035156\n", + "global step=4151296, episodic return=541.994384765625\n", + "global step=4151296, episodic return=547.5573120117188\n", + "global step=4151296, episodic return=489.5386047363281\n", + "global step=4155392, episodic return=569.7062377929688\n", + "global step=4155392, episodic return=575.3058471679688\n", + "global step=4155392, episodic return=590.3770751953125\n", + "global step=4159488, episodic return=494.8208312988281\n", + "global step=4161536, episodic return=512.2083740234375\n", + "global step=4163584, episodic return=488.20306396484375\n", + "global step=4163584, episodic return=525.0608520507812\n", + "global step=4165632, episodic return=490.17156982421875\n", + "global step=4165632, episodic return=485.5459899902344\n", + "global step=4165632, episodic return=500.8834228515625\n", + "global step=4165632, episodic return=502.26092529296875\n", + "global step=4167680, episodic return=491.0793151855469\n", + "global step=4167680, episodic return=549.3809204101562\n", + "global step=4167680, episodic return=466.70684814453125\n", + "global step=4167680, episodic return=461.39044189453125\n", + "global step=4169728, episodic return=491.14959716796875\n", + "global step=4169728, episodic return=468.9604797363281\n", + "global step=4169728, episodic return=490.38201904296875\n", + "global step=4171776, episodic return=481.98028564453125\n", + "global step=4171776, episodic return=493.7515563964844\n", + "global step=4171776, episodic return=466.0846862792969\n", + "global step=4171776, episodic return=525.7551879882812\n", + "global step=4171776, episodic return=562.8875122070312\n", + "global step=4171776, episodic return=494.7664794921875\n", + "global step=4173824, episodic return=497.3201599121094\n", + "global step=4173824, episodic return=500.29486083984375\n", + "global step=4173824, episodic return=491.4148864746094\n", + "global step=4173824, episodic return=504.1011657714844\n", + "global step=4175872, episodic return=502.7252502441406\n", + "global step=4175872, episodic return=483.9134826660156\n", + "global step=4175872, episodic return=482.7292785644531\n", + "global step=4175872, episodic return=483.62115478515625\n", + "global step=4175872, episodic return=469.0965270996094\n", + "global step=4177920, episodic return=523.3599853515625\n", + "global step=4179968, episodic return=563.0882568359375\n", + "global step=4179968, episodic return=552.254150390625\n", + "global step=4179968, episodic return=513.8303833007812\n", + "global step=4179968, episodic return=510.7131652832031\n", + "global step=4182016, episodic return=304.4255676269531\n", + "global step=4182016, episodic return=525.5478515625\n", + "global step=4184064, episodic return=314.05218505859375\n", + "global step=4184064, episodic return=257.2572326660156\n", + "global step=4184064, episodic return=572.7517700195312\n", + "global step=4184064, episodic return=498.9632873535156\n", + "global step=4184064, episodic return=599.111328125\n", + "global step=4184064, episodic return=508.3851318359375\n", + "global step=4184064, episodic return=504.2868347167969\n", + "global step=4184064, episodic return=494.633544921875\n", + "global step=4184064, episodic return=512.783447265625\n", + "global step=4186112, episodic return=525.26220703125\n", + "global step=4186112, episodic return=539.0177001953125\n", + "global step=4186112, episodic return=315.3837585449219\n", + "global step=4186112, episodic return=292.1539001464844\n", + "global step=4188160, episodic return=535.5388793945312\n", + "global step=4190208, episodic return=512.3389892578125\n", + "global step=4190208, episodic return=519.0542602539062\n", + "global step=4190208, episodic return=513.2843017578125\n", + "global step=4190208, episodic return=568.5610961914062\n", + "global step=4192256, episodic return=509.84326171875\n", + "global step=4192256, episodic return=587.42724609375\n", + "global step=4194304, episodic return=282.06024169921875\n", + "global step=4194304, episodic return=508.6078186035156\n", + "global step=4194304, episodic return=573.3759765625\n", + "global step=4194304, episodic return=505.54779052734375\n", + "global step=4196352, episodic return=329.52166748046875\n", + "global step=4196352, episodic return=290.42767333984375\n", + "global step=4196352, episodic return=317.8282165527344\n", + "global step=4198400, episodic return=530.3428344726562\n", + "global step=4198400, episodic return=504.2373352050781\n", + "global step=4198400, episodic return=523.1259765625\n", + "global step=4198400, episodic return=503.7485656738281\n", + "global step=4200448, episodic return=496.7784118652344\n", + "global step=4200448, episodic return=492.07000732421875\n", + "global step=4200448, episodic return=495.0343322753906\n", + "global step=4200448, episodic return=497.4451904296875\n", + "global step=4200448, episodic return=526.5432739257812\n", + "global step=4200448, episodic return=519.2920532226562\n", + "global step=4202496, episodic return=558.5038452148438\n", + "global step=4202496, episodic return=464.30401611328125\n", + "global step=4204544, episodic return=546.6796264648438\n", + "global step=4204544, episodic return=541.8450317382812\n", + "global step=4204544, episodic return=557.753662109375\n", + "global step=4206592, episodic return=516.034912109375\n", + "global step=4208640, episodic return=511.95458984375\n", + "global step=4208640, episodic return=434.14801025390625\n", + "global step=4208640, episodic return=519.0927734375\n", + "global step=4208640, episodic return=513.2224731445312\n", + "global step=4210688, episodic return=486.0901184082031\n", + "global step=4210688, episodic return=541.625\n", + "global step=4210688, episodic return=529.3717651367188\n", + "global step=4210688, episodic return=304.4091796875\n", + "global step=4216832, episodic return=511.0075378417969\n", + "global step=4216832, episodic return=273.27044677734375\n", + "global step=4216832, episodic return=281.6258544921875\n", + "global step=4218880, episodic return=501.7132263183594\n", + "global step=4218880, episodic return=542.1919555664062\n", + "global step=4218880, episodic return=518.6467895507812\n", + "global step=4218880, episodic return=514.6802978515625\n", + "global step=4218880, episodic return=542.2493896484375\n", + "global step=4218880, episodic return=60.78873062133789\n", + "global step=4218880, episodic return=513.2054443359375\n", + "global step=4218880, episodic return=545.7142333984375\n", + "global step=4220928, episodic return=577.1174926757812\n", + "global step=4220928, episodic return=548.9317016601562\n", + "global step=4220928, episodic return=528.1536865234375\n", + "global step=4220928, episodic return=543.0952758789062\n", + "global step=4222976, episodic return=529.8673706054688\n", + "global step=4222976, episodic return=521.5238647460938\n", + "global step=4225024, episodic return=488.86737060546875\n", + "global step=4227072, episodic return=598.0787353515625\n", + "global step=4227072, episodic return=553.2374267578125\n", + "global step=4227072, episodic return=548.4693603515625\n", + "global step=4227072, episodic return=511.9548645019531\n", + "global step=4231168, episodic return=342.2828674316406\n", + "global step=4231168, episodic return=528.6992797851562\n", + "global step=4233216, episodic return=539.5668334960938\n", + "global step=4233216, episodic return=542.65625\n", + "global step=4233216, episodic return=524.8714599609375\n", + "global step=4233216, episodic return=506.8503723144531\n", + "global step=4233216, episodic return=539.4967651367188\n", + "global step=4235264, episodic return=539.7977294921875\n", + "global step=4235264, episodic return=498.7231140136719\n", + "global step=4235264, episodic return=537.3941040039062\n", + "global step=4237312, episodic return=538.9556274414062\n", + "global step=4237312, episodic return=501.3824462890625\n", + "global step=4237312, episodic return=531.7590942382812\n", + "global step=4237312, episodic return=541.2977294921875\n", + "global step=4237312, episodic return=538.4922485351562\n", + "global step=4237312, episodic return=571.8199462890625\n", + "global step=4237312, episodic return=454.14971923828125\n", + "global step=4237312, episodic return=529.5043334960938\n", + "global step=4239360, episodic return=535.8937377929688\n", + "global step=4239360, episodic return=551.548583984375\n", + "global step=4239360, episodic return=521.77197265625\n", + "global step=4239360, episodic return=549.947265625\n", + "global step=4239360, episodic return=541.5807495117188\n", + "global step=4239360, episodic return=544.92529296875\n", + "global step=4239360, episodic return=91.34258270263672\n", + "global step=4239360, episodic return=490.01483154296875\n", + "global step=4241408, episodic return=486.78765869140625\n", + "global step=4241408, episodic return=516.34716796875\n", + "global step=4241408, episodic return=521.3076782226562\n", + "global step=4241408, episodic return=509.0934143066406\n", + "global step=4241408, episodic return=590.9445190429688\n", + "global step=4241408, episodic return=602.135498046875\n", + "global step=4241408, episodic return=542.0531005859375\n", + "global step=4241408, episodic return=529.6289672851562\n", + "global step=4241408, episodic return=510.7030944824219\n", + "global step=4241408, episodic return=573.4755249023438\n", + "global step=4243456, episodic return=566.6661987304688\n", + "global step=4243456, episodic return=548.8827514648438\n", + "global step=4243456, episodic return=549.2322998046875\n", + "global step=4243456, episodic return=550.4305419921875\n", + "global step=4243456, episodic return=536.2417602539062\n", + "global step=4243456, episodic return=529.3214721679688\n", + "global step=4245504, episodic return=507.2641906738281\n", + "global step=4245504, episodic return=541.3795166015625\n", + "global step=4245504, episodic return=532.7430419921875\n", + "global step=4245504, episodic return=565.6409301757812\n", + "global step=4245504, episodic return=549.42529296875\n", + "global step=4245504, episodic return=550.5222778320312\n", + "global step=4245504, episodic return=507.4173278808594\n", + "global step=4245504, episodic return=543.7343139648438\n", + "global step=4245504, episodic return=491.4200134277344\n", + "global step=4245504, episodic return=537.2901611328125\n", + "global step=4247552, episodic return=551.1953735351562\n", + "global step=4247552, episodic return=558.2039794921875\n", + "global step=4247552, episodic return=513.65283203125\n", + "global step=4249600, episodic return=511.78167724609375\n", + "global step=4249600, episodic return=528.3564453125\n", + "global step=4249600, episodic return=531.1809692382812\n", + "global step=4249600, episodic return=546.6766967773438\n", + "global step=4249600, episodic return=547.2013549804688\n", + "global step=4251648, episodic return=595.2728271484375\n", + "global step=4251648, episodic return=549.639404296875\n", + "global step=4251648, episodic return=553.4141845703125\n", + "global step=4251648, episodic return=505.98614501953125\n", + "global step=4251648, episodic return=514.0238647460938\n", + "global step=4251648, episodic return=554.9342041015625\n", + "global step=4253696, episodic return=552.13427734375\n", + "global step=4253696, episodic return=565.9581298828125\n", + "global step=4253696, episodic return=553.4130249023438\n", + "global step=4253696, episodic return=546.235107421875\n", + "global step=4253696, episodic return=548.9761962890625\n", + "global step=4253696, episodic return=487.2928161621094\n", + "global step=4253696, episodic return=540.6190185546875\n", + "global step=4253696, episodic return=543.4569702148438\n", + "global step=4255744, episodic return=548.26904296875\n", + "global step=4255744, episodic return=537.0675048828125\n", + "global step=4255744, episodic return=589.391357421875\n", + "global step=4257792, episodic return=516.2637939453125\n", + "global step=4257792, episodic return=492.0785217285156\n", + "global step=4257792, episodic return=546.521484375\n", + "global step=4257792, episodic return=537.1238403320312\n", + "global step=4257792, episodic return=548.8164672851562\n", + "global step=4257792, episodic return=559.7943725585938\n", + "global step=4259840, episodic return=520.316162109375\n", + "global step=4259840, episodic return=583.8936157226562\n", + "global step=4259840, episodic return=540.21826171875\n", + "global step=4259840, episodic return=531.6332397460938\n", + "global step=4261888, episodic return=530.9822998046875\n", + "global step=4261888, episodic return=544.1892700195312\n", + "global step=4261888, episodic return=560.7557983398438\n", + "global step=4261888, episodic return=571.6572875976562\n", + "global step=4261888, episodic return=558.0990600585938\n", + "global step=4261888, episodic return=550.1464233398438\n", + "global step=4263936, episodic return=533.8894653320312\n", + "global step=4263936, episodic return=566.4066772460938\n", + "global step=4263936, episodic return=554.4765625\n", + "global step=4263936, episodic return=579.9749145507812\n", + "global step=4263936, episodic return=559.2975463867188\n", + "global step=4263936, episodic return=564.8080444335938\n", + "global step=4263936, episodic return=543.4212036132812\n", + "global step=4263936, episodic return=573.7069702148438\n", + "global step=4265984, episodic return=549.542236328125\n", + "global step=4265984, episodic return=562.5455932617188\n", + "global step=4265984, episodic return=501.9974670410156\n", + "global step=4265984, episodic return=549.7355346679688\n", + "global step=4265984, episodic return=563.454345703125\n", + "global step=4265984, episodic return=539.4053955078125\n", + "global step=4268032, episodic return=523.0369873046875\n", + "global step=4268032, episodic return=557.1600341796875\n", + "global step=4268032, episodic return=539.3914794921875\n", + "global step=4268032, episodic return=528.0380859375\n", + "global step=4268032, episodic return=561.6805419921875\n", + "global step=4268032, episodic return=600.4432983398438\n", + "global step=4270080, episodic return=562.7120971679688\n", + "global step=4270080, episodic return=550.1591796875\n", + "global step=4270080, episodic return=572.5320434570312\n", + "global step=4270080, episodic return=559.6143188476562\n", + "global step=4270080, episodic return=583.1641235351562\n", + "global step=4272128, episodic return=542.536376953125\n", + "global step=4272128, episodic return=590.1951904296875\n", + "global step=4272128, episodic return=592.2188720703125\n", + "global step=4272128, episodic return=565.5107421875\n", + "global step=4272128, episodic return=564.6787109375\n", + "global step=4274176, episodic return=529.782958984375\n", + "global step=4274176, episodic return=563.0990600585938\n", + "global step=4274176, episodic return=554.8212280273438\n", + "global step=4274176, episodic return=530.0889892578125\n", + "global step=4274176, episodic return=543.3287963867188\n", + "global step=4274176, episodic return=549.4645385742188\n", + "global step=4274176, episodic return=536.8931884765625\n", + "global step=4276224, episodic return=556.7800903320312\n", + "global step=4276224, episodic return=577.1074829101562\n", + "global step=4276224, episodic return=556.8985595703125\n", + "global step=4276224, episodic return=529.935302734375\n", + "global step=4276224, episodic return=511.59454345703125\n", + "global step=4276224, episodic return=550.96044921875\n", + "global step=4278272, episodic return=557.6912231445312\n", + "global step=4278272, episodic return=619.1854858398438\n", + "global step=4278272, episodic return=556.342041015625\n", + "global step=4278272, episodic return=294.2572937011719\n", + "global step=4278272, episodic return=534.0185546875\n", + "global step=4278272, episodic return=588.2681884765625\n", + "global step=4278272, episodic return=554.0140991210938\n", + "global step=4278272, episodic return=591.0918579101562\n", + "global step=4280320, episodic return=544.6826782226562\n", + "global step=4280320, episodic return=491.47369384765625\n", + "global step=4280320, episodic return=504.1096496582031\n", + "global step=4280320, episodic return=558.5237426757812\n", + "global step=4280320, episodic return=585.5927124023438\n", + "global step=4280320, episodic return=532.6536254882812\n", + "global step=4280320, episodic return=537.8040771484375\n", + "global step=4280320, episodic return=566.4713134765625\n", + "global step=4280320, episodic return=553.6935424804688\n", + "global step=4280320, episodic return=550.5419311523438\n", + "global step=4280320, episodic return=566.9700927734375\n", + "global step=4280320, episodic return=551.6495971679688\n", + "global step=4280320, episodic return=582.463134765625\n", + "global step=4280320, episodic return=545.4050903320312\n", + "global step=4282368, episodic return=560.560791015625\n", + "global step=4282368, episodic return=570.9259643554688\n", + "global step=4282368, episodic return=530.2208251953125\n", + "global step=4282368, episodic return=525.1282958984375\n", + "global step=4282368, episodic return=553.3668823242188\n", + "global step=4282368, episodic return=575.8257446289062\n", + "global step=4282368, episodic return=556.454833984375\n", + "global step=4282368, episodic return=575.1510620117188\n", + "global step=4284416, episodic return=567.8828125\n", + "global step=4284416, episodic return=576.030517578125\n", + "global step=4284416, episodic return=554.2860107421875\n", + "global step=4284416, episodic return=493.0899353027344\n", + "global step=4284416, episodic return=563.05419921875\n", + "global step=4284416, episodic return=563.4393310546875\n", + "global step=4284416, episodic return=566.773681640625\n", + "global step=4284416, episodic return=591.656005859375\n", + "global step=4284416, episodic return=582.7183227539062\n", + "global step=4286464, episodic return=576.3574829101562\n", + "global step=4286464, episodic return=512.7922973632812\n", + "global step=4286464, episodic return=573.895263671875\n", + "global step=4286464, episodic return=544.11669921875\n", + "global step=4286464, episodic return=560.9849243164062\n", + "global step=4286464, episodic return=517.2844848632812\n", + "global step=4288512, episodic return=564.1138916015625\n", + "global step=4288512, episodic return=573.7128295898438\n", + "global step=4288512, episodic return=565.869140625\n", + "global step=4288512, episodic return=578.7813720703125\n", + "global step=4288512, episodic return=563.0048828125\n", + "global step=4288512, episodic return=566.59765625\n", + "global step=4288512, episodic return=531.2437744140625\n", + "global step=4288512, episodic return=554.4033203125\n", + "global step=4288512, episodic return=525.8363647460938\n", + "global step=4288512, episodic return=565.0715942382812\n", + "global step=4288512, episodic return=550.050048828125\n", + "global step=4288512, episodic return=573.7841796875\n", + "global step=4288512, episodic return=576.6968994140625\n", + "global step=4288512, episodic return=554.26708984375\n", + "global step=4290560, episodic return=557.8887939453125\n", + "global step=4290560, episodic return=595.1932373046875\n", + "global step=4290560, episodic return=586.874267578125\n", + "global step=4290560, episodic return=550.6998291015625\n", + "global step=4290560, episodic return=594.9281616210938\n", + "global step=4290560, episodic return=546.0913696289062\n", + "global step=4290560, episodic return=559.8597412109375\n", + "global step=4290560, episodic return=551.92041015625\n", + "global step=4290560, episodic return=576.0885620117188\n", + "global step=4290560, episodic return=544.9964599609375\n", + "global step=4290560, episodic return=555.90576171875\n", + "global step=4292608, episodic return=551.1641235351562\n", + "global step=4292608, episodic return=571.8140869140625\n", + "global step=4292608, episodic return=568.2344360351562\n", + "global step=4292608, episodic return=545.5814208984375\n", + "global step=4292608, episodic return=539.5489501953125\n", + "global step=4292608, episodic return=582.7205810546875\n", + "global step=4292608, episodic return=548.7783813476562\n", + "global step=4294656, episodic return=527.34423828125\n", + "global step=4294656, episodic return=560.558837890625\n", + "global step=4294656, episodic return=564.9515991210938\n", + "global step=4294656, episodic return=548.1930541992188\n", + "global step=4294656, episodic return=523.0908813476562\n", + "global step=4294656, episodic return=610.8878173828125\n", + "global step=4294656, episodic return=564.013916015625\n", + "global step=4294656, episodic return=558.4559326171875\n", + "global step=4294656, episodic return=580.5408935546875\n", + "global step=4294656, episodic return=551.783935546875\n", + "global step=4296704, episodic return=586.5801391601562\n", + "global step=4296704, episodic return=557.6396484375\n", + "global step=4296704, episodic return=562.1837158203125\n", + "global step=4296704, episodic return=543.87841796875\n", + "global step=4296704, episodic return=543.3065795898438\n", + "global step=4296704, episodic return=559.1358032226562\n", + "global step=4296704, episodic return=599.6397094726562\n", + "global step=4296704, episodic return=572.0230712890625\n", + "global step=4296704, episodic return=524.2327270507812\n", + "global step=4298752, episodic return=543.1563110351562\n", + "global step=4298752, episodic return=617.6326293945312\n", + "global step=4298752, episodic return=560.1090087890625\n", + "global step=4298752, episodic return=560.8159790039062\n", + "global step=4298752, episodic return=594.8087158203125\n", + "global step=4298752, episodic return=566.3825073242188\n", + "global step=4298752, episodic return=558.404052734375\n", + "global step=4298752, episodic return=564.0867309570312\n", + "global step=4298752, episodic return=563.3186645507812\n", + "global step=4298752, episodic return=612.271728515625\n", + "global step=4298752, episodic return=569.4176025390625\n", + "global step=4300800, episodic return=575.4076538085938\n", + "global step=4300800, episodic return=534.6552734375\n", + "global step=4300800, episodic return=567.542236328125\n", + "global step=4300800, episodic return=556.7717895507812\n", + "global step=4300800, episodic return=590.5621948242188\n", + "global step=4300800, episodic return=577.4986572265625\n", + "global step=4300800, episodic return=587.806640625\n", + "global step=4300800, episodic return=528.0859985351562\n", + "global step=4300800, episodic return=309.40887451171875\n", + "global step=4300800, episodic return=550.9318237304688\n", + "global step=4302848, episodic return=559.2577514648438\n", + "global step=4302848, episodic return=577.7987060546875\n", + "global step=4302848, episodic return=597.4744873046875\n", + "global step=4302848, episodic return=542.3821411132812\n", + "global step=4302848, episodic return=617.94580078125\n", + "global step=4302848, episodic return=573.3980102539062\n", + "global step=4302848, episodic return=580.1492309570312\n", + "global step=4302848, episodic return=603.2883911132812\n", + "global step=4302848, episodic return=553.8359985351562\n", + "global step=4302848, episodic return=557.5584716796875\n", + "global step=4302848, episodic return=609.18115234375\n", + "global step=4302848, episodic return=571.7694702148438\n", + "global step=4302848, episodic return=566.359130859375\n", + "global step=4304896, episodic return=560.8827514648438\n", + "global step=4304896, episodic return=583.8699340820312\n", + "global step=4304896, episodic return=560.6251220703125\n", + "global step=4304896, episodic return=576.6397094726562\n", + "global step=4304896, episodic return=600.4064331054688\n", + "global step=4304896, episodic return=567.7743530273438\n", + "global step=4304896, episodic return=541.8731079101562\n", + "global step=4304896, episodic return=567.5037231445312\n", + "global step=4304896, episodic return=569.0711059570312\n", + "global step=4306944, episodic return=569.6512451171875\n", + "global step=4306944, episodic return=547.8131713867188\n", + "global step=4306944, episodic return=582.30908203125\n", + "global step=4306944, episodic return=571.9389038085938\n", + "global step=4306944, episodic return=535.4043579101562\n", + "global step=4306944, episodic return=582.12744140625\n", + "global step=4306944, episodic return=553.3658447265625\n", + "global step=4306944, episodic return=308.8188171386719\n", + "global step=4306944, episodic return=618.7413330078125\n", + "global step=4306944, episodic return=591.7110595703125\n", + "global step=4306944, episodic return=612.2940673828125\n", + "global step=4306944, episodic return=537.144287109375\n", + "global step=4306944, episodic return=605.3209228515625\n", + "global step=4308992, episodic return=581.3714599609375\n", + "global step=4308992, episodic return=600.4843139648438\n", + "global step=4308992, episodic return=505.19610595703125\n", + "global step=4308992, episodic return=567.6591796875\n", + "global step=4308992, episodic return=623.5380859375\n", + "global step=4308992, episodic return=580.5179443359375\n", + "global step=4308992, episodic return=561.6109008789062\n", + "global step=4308992, episodic return=564.7799072265625\n", + "global step=4308992, episodic return=618.648193359375\n", + "global step=4308992, episodic return=559.0684204101562\n", + "global step=4308992, episodic return=65.26431274414062\n", + "global step=4308992, episodic return=601.2831420898438\n", + "global step=4308992, episodic return=545.733642578125\n", + "global step=4311040, episodic return=540.8230590820312\n", + "global step=4311040, episodic return=536.9869995117188\n", + "global step=4311040, episodic return=565.4332885742188\n", + "global step=4311040, episodic return=569.6005859375\n", + "global step=4311040, episodic return=564.2438354492188\n", + "global step=4311040, episodic return=577.3732299804688\n", + "global step=4311040, episodic return=560.524658203125\n", + "global step=4311040, episodic return=533.65771484375\n", + "global step=4311040, episodic return=612.4557495117188\n", + "global step=4311040, episodic return=576.562255859375\n", + "global step=4311040, episodic return=593.0115966796875\n", + "global step=4311040, episodic return=624.0322875976562\n", + "global step=4311040, episodic return=605.7547607421875\n", + "global step=4311040, episodic return=596.7986450195312\n", + "global step=4311040, episodic return=570.6849365234375\n", + "global step=4313088, episodic return=608.46923828125\n", + "global step=4313088, episodic return=584.6234741210938\n", + "global step=4313088, episodic return=562.5159912109375\n", + "global step=4313088, episodic return=548.7703857421875\n", + "global step=4313088, episodic return=590.8301391601562\n", + "global step=4313088, episodic return=542.1305541992188\n", + "global step=4313088, episodic return=555.4396362304688\n", + "global step=4313088, episodic return=581.512451171875\n", + "global step=4313088, episodic return=567.7540893554688\n", + "global step=4313088, episodic return=552.3047485351562\n", + "global step=4313088, episodic return=575.0463256835938\n", + "global step=4315136, episodic return=574.8001098632812\n", + "global step=4315136, episodic return=539.521240234375\n", + "global step=4315136, episodic return=554.3969116210938\n", + "global step=4315136, episodic return=531.110595703125\n", + "global step=4315136, episodic return=599.0884399414062\n", + "global step=4315136, episodic return=554.6868896484375\n", + "global step=4315136, episodic return=548.6109619140625\n", + "global step=4315136, episodic return=608.7413330078125\n", + "global step=4315136, episodic return=559.8273315429688\n", + "global step=4315136, episodic return=546.5228881835938\n", + "global step=4315136, episodic return=567.236572265625\n", + "global step=4315136, episodic return=535.095458984375\n", + "global step=4315136, episodic return=602.666748046875\n", + "global step=4315136, episodic return=570.1309814453125\n", + "global step=4315136, episodic return=556.884033203125\n", + "global step=4315136, episodic return=538.2579345703125\n", + "global step=4315136, episodic return=553.5491333007812\n", + "global step=4317184, episodic return=599.7125854492188\n", + "global step=4317184, episodic return=584.652099609375\n", + "global step=4317184, episodic return=548.9667358398438\n", + "global step=4317184, episodic return=581.638671875\n", + "global step=4317184, episodic return=543.65625\n", + "global step=4317184, episodic return=548.1424560546875\n", + "global step=4317184, episodic return=562.684814453125\n", + "global step=4317184, episodic return=542.9327392578125\n", + "global step=4317184, episodic return=566.4116821289062\n", + "global step=4317184, episodic return=604.8707885742188\n", + "global step=4317184, episodic return=532.7714233398438\n", + "global step=4317184, episodic return=555.6806640625\n", + "global step=4317184, episodic return=571.4179077148438\n", + "global step=4319232, episodic return=587.1463012695312\n", + "global step=4319232, episodic return=573.2747192382812\n", + "global step=4319232, episodic return=582.5462646484375\n", + "global step=4319232, episodic return=585.5833740234375\n", + "global step=4319232, episodic return=536.9095458984375\n", + "global step=4319232, episodic return=587.2654418945312\n", + "global step=4319232, episodic return=564.93115234375\n", + "global step=4319232, episodic return=560.059814453125\n", + "global step=4319232, episodic return=572.7965698242188\n", + "global step=4319232, episodic return=550.3529052734375\n", + "global step=4319232, episodic return=539.5823364257812\n", + "global step=4319232, episodic return=534.5599975585938\n", + "global step=4321280, episodic return=618.632080078125\n", + "global step=4321280, episodic return=609.7681884765625\n", + "global step=4321280, episodic return=609.5413208007812\n", + "global step=4321280, episodic return=605.1133422851562\n", + "global step=4321280, episodic return=565.1885375976562\n", + "global step=4321280, episodic return=586.0958862304688\n", + "global step=4321280, episodic return=561.8477172851562\n", + "global step=4321280, episodic return=592.7369995117188\n", + "global step=4321280, episodic return=584.6327514648438\n", + "global step=4321280, episodic return=530.30859375\n", + "global step=4321280, episodic return=608.9503784179688\n", + "global step=4321280, episodic return=525.6280517578125\n", + "global step=4321280, episodic return=578.2904663085938\n", + "global step=4321280, episodic return=525.2611083984375\n", + "global step=4321280, episodic return=299.394775390625\n", + "global step=4321280, episodic return=555.1061401367188\n", + "global step=4321280, episodic return=546.6583862304688\n", + "global step=4321280, episodic return=562.62841796875\n", + "global step=4321280, episodic return=592.4019165039062\n", + "global step=4323328, episodic return=574.1256103515625\n", + "global step=4323328, episodic return=572.692138671875\n", + "global step=4323328, episodic return=569.4413452148438\n", + "global step=4323328, episodic return=580.0194091796875\n", + "global step=4323328, episodic return=570.9237060546875\n", + "global step=4323328, episodic return=557.365234375\n", + "global step=4323328, episodic return=583.99560546875\n", + "global step=4323328, episodic return=523.6622924804688\n", + "global step=4323328, episodic return=611.3685913085938\n", + "global step=4323328, episodic return=601.193603515625\n", + "global step=4323328, episodic return=537.2738037109375\n", + "global step=4323328, episodic return=549.4016723632812\n", + "global step=4323328, episodic return=577.9444580078125\n", + "global step=4323328, episodic return=563.9600219726562\n", + "global step=4323328, episodic return=591.2418212890625\n", + "global step=4323328, episodic return=601.32568359375\n", + "global step=4323328, episodic return=568.4810180664062\n", + "global step=4323328, episodic return=573.6455688476562\n", + "global step=4323328, episodic return=615.3094482421875\n", + "global step=4323328, episodic return=569.5127563476562\n", + "global step=4323328, episodic return=590.07666015625\n", + "global step=4323328, episodic return=599.1201171875\n", + "global step=4325376, episodic return=555.8892211914062\n", + "global step=4325376, episodic return=565.3806762695312\n", + "global step=4325376, episodic return=600.1629028320312\n", + "global step=4325376, episodic return=597.3971557617188\n", + "global step=4325376, episodic return=588.1735229492188\n", + "global step=4325376, episodic return=578.0582885742188\n", + "global step=4325376, episodic return=575.6097412109375\n", + "global step=4325376, episodic return=575.146728515625\n", + "global step=4325376, episodic return=553.9169311523438\n", + "global step=4325376, episodic return=552.6768188476562\n", + "global step=4327424, episodic return=538.0619506835938\n", + "global step=4327424, episodic return=564.119873046875\n", + "global step=4327424, episodic return=569.8004760742188\n", + "global step=4327424, episodic return=578.4152221679688\n", + "global step=4327424, episodic return=567.9859619140625\n", + "global step=4327424, episodic return=579.195556640625\n", + "global step=4327424, episodic return=596.2098388671875\n", + "global step=4327424, episodic return=543.9578247070312\n", + "global step=4327424, episodic return=556.8416137695312\n", + "global step=4327424, episodic return=554.5640869140625\n", + "global step=4327424, episodic return=620.9955444335938\n", + "global step=4329472, episodic return=570.0107421875\n", + "global step=4329472, episodic return=545.5646362304688\n", + "global step=4329472, episodic return=547.8185424804688\n", + "global step=4329472, episodic return=601.8436279296875\n", + "global step=4329472, episodic return=583.9908447265625\n", + "global step=4329472, episodic return=594.1295776367188\n", + "global step=4329472, episodic return=610.0725708007812\n", + "global step=4329472, episodic return=541.6994018554688\n", + "global step=4329472, episodic return=544.2891235351562\n", + "global step=4329472, episodic return=578.6005249023438\n", + "global step=4329472, episodic return=579.4968872070312\n", + "global step=4329472, episodic return=607.0900268554688\n", + "global step=4329472, episodic return=541.0372924804688\n", + "global step=4329472, episodic return=607.2858276367188\n", + "global step=4329472, episodic return=583.8851928710938\n", + "global step=4329472, episodic return=527.9465942382812\n", + "global step=4329472, episodic return=562.830810546875\n", + "global step=4329472, episodic return=640.7974853515625\n", + "global step=4329472, episodic return=582.847412109375\n", + "global step=4331520, episodic return=611.4730224609375\n", + "global step=4331520, episodic return=529.6044311523438\n", + "global step=4331520, episodic return=607.3017578125\n", + "global step=4331520, episodic return=591.2892456054688\n", + "global step=4331520, episodic return=607.5350952148438\n", + "global step=4331520, episodic return=601.70068359375\n", + "global step=4331520, episodic return=561.387451171875\n", + "global step=4331520, episodic return=613.4528198242188\n", + "global step=4331520, episodic return=583.6126098632812\n", + "global step=4331520, episodic return=534.5563354492188\n", + "global step=4331520, episodic return=601.184326171875\n", + "global step=4331520, episodic return=556.2820434570312\n", + "global step=4331520, episodic return=589.950927734375\n", + "global step=4331520, episodic return=609.0676879882812\n", + "global step=4331520, episodic return=600.0587768554688\n", + "global step=4331520, episodic return=319.56463623046875\n", + "global step=4331520, episodic return=571.75146484375\n", + "global step=4331520, episodic return=629.2796020507812\n", + "global step=4333568, episodic return=571.1218872070312\n", + "global step=4333568, episodic return=617.1961669921875\n", + "global step=4333568, episodic return=595.6058959960938\n", + "global step=4333568, episodic return=618.4840087890625\n", + "global step=4333568, episodic return=552.1893310546875\n", + "global step=4333568, episodic return=584.867919921875\n", + "global step=4333568, episodic return=594.870361328125\n", + "global step=4333568, episodic return=617.6696166992188\n", + "global step=4333568, episodic return=584.6632690429688\n", + "global step=4333568, episodic return=536.3511962890625\n", + "global step=4333568, episodic return=562.802734375\n", + "global step=4333568, episodic return=554.09716796875\n", + "global step=4333568, episodic return=569.3402709960938\n", + "global step=4333568, episodic return=623.8297729492188\n", + "global step=4333568, episodic return=592.7388305664062\n", + "global step=4335616, episodic return=619.8250732421875\n", + "global step=4335616, episodic return=578.6055908203125\n", + "global step=4335616, episodic return=561.3612670898438\n", + "global step=4335616, episodic return=539.8909912109375\n", + "global step=4335616, episodic return=594.8463134765625\n", + "global step=4335616, episodic return=612.0591430664062\n", + "global step=4335616, episodic return=601.5826416015625\n", + "global step=4335616, episodic return=546.2026977539062\n", + "global step=4335616, episodic return=562.0324096679688\n", + "global step=4335616, episodic return=577.57177734375\n", + "global step=4335616, episodic return=547.68603515625\n", + "global step=4335616, episodic return=559.9571533203125\n", + "global step=4335616, episodic return=626.9678955078125\n", + "global step=4337664, episodic return=564.8326416015625\n", + "global step=4337664, episodic return=651.037841796875\n", + "global step=4337664, episodic return=597.7109985351562\n", + "global step=4337664, episodic return=554.836669921875\n", + "global step=4337664, episodic return=562.8961181640625\n", + "global step=4337664, episodic return=600.21923828125\n", + "global step=4337664, episodic return=587.7302856445312\n", + "global step=4337664, episodic return=550.0906982421875\n", + "global step=4337664, episodic return=584.412353515625\n", + "global step=4337664, episodic return=576.9744873046875\n", + "global step=4337664, episodic return=569.1307373046875\n", + "global step=4337664, episodic return=631.8145141601562\n", + "global step=4337664, episodic return=532.6021728515625\n", + "global step=4337664, episodic return=626.9627075195312\n", + "global step=4337664, episodic return=595.0621337890625\n", + "global step=4337664, episodic return=577.6435546875\n", + "global step=4337664, episodic return=576.3284912109375\n", + "global step=4339712, episodic return=573.724853515625\n", + "global step=4339712, episodic return=575.6685791015625\n", + "global step=4339712, episodic return=552.6695556640625\n", + "global step=4339712, episodic return=548.9146728515625\n", + "global step=4339712, episodic return=639.4608154296875\n", + "global step=4339712, episodic return=572.9235229492188\n", + "global step=4339712, episodic return=574.620849609375\n", + "global step=4339712, episodic return=602.8766479492188\n", + "global step=4339712, episodic return=542.27734375\n", + "global step=4339712, episodic return=562.777587890625\n", + "global step=4339712, episodic return=595.8469848632812\n", + "global step=4339712, episodic return=578.1193237304688\n", + "global step=4339712, episodic return=539.9266967773438\n", + "global step=4339712, episodic return=551.8372802734375\n", + "global step=4339712, episodic return=559.3038330078125\n", + "global step=4339712, episodic return=553.4281616210938\n", + "global step=4339712, episodic return=606.1554565429688\n", + "global step=4339712, episodic return=592.7777709960938\n", + "global step=4339712, episodic return=602.4450073242188\n", + "global step=4339712, episodic return=527.0574951171875\n", + "global step=4339712, episodic return=557.0831909179688\n", + "global step=4341760, episodic return=664.9517822265625\n", + "global step=4341760, episodic return=616.8399047851562\n", + "global step=4341760, episodic return=561.8677368164062\n", + "global step=4341760, episodic return=582.7396240234375\n", + "global step=4341760, episodic return=603.0713500976562\n", + "global step=4341760, episodic return=570.467529296875\n", + "global step=4341760, episodic return=581.7420654296875\n", + "global step=4341760, episodic return=606.2642211914062\n", + "global step=4341760, episodic return=554.4550170898438\n", + "global step=4341760, episodic return=567.5616455078125\n", + "global step=4341760, episodic return=571.4212646484375\n", + "global step=4341760, episodic return=538.9522094726562\n", + "global step=4341760, episodic return=532.2408447265625\n", + "global step=4341760, episodic return=580.709228515625\n", + "global step=4341760, episodic return=541.37451171875\n", + "global step=4341760, episodic return=614.9818725585938\n", + "global step=4341760, episodic return=545.74609375\n", + "global step=4341760, episodic return=598.9022827148438\n", + "global step=4341760, episodic return=565.2332763671875\n", + "global step=4341760, episodic return=637.2877807617188\n", + "global step=4341760, episodic return=592.146728515625\n", + "global step=4341760, episodic return=598.7869262695312\n", + "global step=4341760, episodic return=576.39697265625\n", + "global step=4341760, episodic return=586.0950317382812\n", + "global step=4341760, episodic return=568.8781127929688\n", + "global step=4341760, episodic return=546.033935546875\n", + "global step=4341760, episodic return=582.113037109375\n", + "global step=4341760, episodic return=561.3228149414062\n", + "global step=4341760, episodic return=602.3403930664062\n", + "global step=4341760, episodic return=581.1934814453125\n", + "global step=4343808, episodic return=556.610107421875\n", + "global step=4343808, episodic return=569.1159057617188\n", + "global step=4343808, episodic return=548.3344116210938\n", + "global step=4343808, episodic return=595.2891845703125\n", + "global step=4343808, episodic return=567.26025390625\n", + "global step=4343808, episodic return=596.3297729492188\n", + "global step=4343808, episodic return=572.75341796875\n", + "global step=4343808, episodic return=601.3906860351562\n", + "global step=4343808, episodic return=589.0502319335938\n", + "global step=4343808, episodic return=594.5946044921875\n", + "global step=4343808, episodic return=570.8458251953125\n", + "global step=4343808, episodic return=542.8684692382812\n", + "global step=4343808, episodic return=583.9089965820312\n", + "global step=4343808, episodic return=571.939697265625\n", + "global step=4343808, episodic return=593.3447875976562\n", + "global step=4343808, episodic return=598.2892456054688\n", + "global step=4343808, episodic return=579.2374267578125\n", + "global step=4345856, episodic return=567.2214965820312\n", + "global step=4345856, episodic return=560.9733276367188\n", + "global step=4345856, episodic return=586.756103515625\n", + "global step=4345856, episodic return=570.8766479492188\n", + "global step=4345856, episodic return=625.6514892578125\n", + "global step=4345856, episodic return=599.39892578125\n", + "global step=4345856, episodic return=554.5182495117188\n", + "global step=4345856, episodic return=588.602783203125\n", + "global step=4345856, episodic return=592.5551147460938\n", + "global step=4345856, episodic return=546.5241088867188\n", + "global step=4345856, episodic return=539.4066162109375\n", + "global step=4345856, episodic return=582.8145141601562\n", + "global step=4345856, episodic return=560.3250122070312\n", + "global step=4347904, episodic return=597.5660400390625\n", + "global step=4347904, episodic return=571.9630737304688\n", + "global step=4347904, episodic return=579.9837036132812\n", + "global step=4347904, episodic return=612.055908203125\n", + "global step=4347904, episodic return=543.0126953125\n", + "global step=4347904, episodic return=612.5584106445312\n", + "global step=4347904, episodic return=581.649658203125\n", + "global step=4347904, episodic return=632.0319213867188\n", + "global step=4347904, episodic return=538.0634765625\n", + "global step=4347904, episodic return=569.3349609375\n", + "global step=4347904, episodic return=607.96044921875\n", + "global step=4347904, episodic return=640.890869140625\n", + "global step=4347904, episodic return=571.7682495117188\n", + "global step=4347904, episodic return=620.4318237304688\n", + "global step=4347904, episodic return=643.2356567382812\n", + "global step=4347904, episodic return=583.2464599609375\n", + "global step=4347904, episodic return=564.1865844726562\n", + "global step=4349952, episodic return=615.6777954101562\n", + "global step=4349952, episodic return=568.1732177734375\n", + "global step=4349952, episodic return=585.7747802734375\n", + "global step=4349952, episodic return=552.6375732421875\n", + "global step=4349952, episodic return=544.6394653320312\n", + "global step=4349952, episodic return=576.9011840820312\n", + "global step=4349952, episodic return=620.6759643554688\n", + "global step=4349952, episodic return=573.6542358398438\n", + "global step=4349952, episodic return=535.9484252929688\n", + "global step=4349952, episodic return=569.21240234375\n", + "global step=4349952, episodic return=555.9393920898438\n", + "global step=4349952, episodic return=582.5128173828125\n", + "global step=4349952, episodic return=569.63623046875\n", + "global step=4352000, episodic return=551.89794921875\n", + "global step=4352000, episodic return=580.3115844726562\n", + "global step=4352000, episodic return=556.1105346679688\n", + "global step=4352000, episodic return=585.9415893554688\n", + "global step=4352000, episodic return=633.1511840820312\n", + "global step=4352000, episodic return=532.6228637695312\n", + "global step=4352000, episodic return=601.3798828125\n", + "global step=4352000, episodic return=516.5106811523438\n", + "global step=4352000, episodic return=523.8290405273438\n", + "global step=4352000, episodic return=576.7084350585938\n", + "global step=4352000, episodic return=625.2642822265625\n", + "global step=4352000, episodic return=589.0203857421875\n", + "global step=4352000, episodic return=584.4166259765625\n", + "global step=4352000, episodic return=590.0341186523438\n", + "global step=4352000, episodic return=584.5777587890625\n", + "global step=4354048, episodic return=609.0070190429688\n", + "global step=4354048, episodic return=568.121337890625\n", + "global step=4354048, episodic return=554.1820068359375\n", + "global step=4354048, episodic return=572.1268920898438\n", + "global step=4354048, episodic return=583.6136474609375\n", + "global step=4354048, episodic return=625.9388427734375\n", + "global step=4354048, episodic return=549.937744140625\n", + "global step=4354048, episodic return=550.640625\n", + "global step=4354048, episodic return=593.380126953125\n", + "global step=4354048, episodic return=618.2560424804688\n", + "global step=4354048, episodic return=604.5203247070312\n", + "global step=4354048, episodic return=562.423828125\n", + "global step=4354048, episodic return=605.549560546875\n", + "global step=4354048, episodic return=580.0682373046875\n", + "global step=4354048, episodic return=580.4881591796875\n", + "global step=4356096, episodic return=595.2342529296875\n", + "global step=4356096, episodic return=628.40625\n", + "global step=4356096, episodic return=548.665771484375\n", + "global step=4356096, episodic return=524.7756958007812\n", + "global step=4356096, episodic return=589.8724365234375\n", + "global step=4356096, episodic return=581.5149536132812\n", + "global step=4356096, episodic return=582.2919921875\n", + "global step=4356096, episodic return=595.793701171875\n", + "global step=4356096, episodic return=541.7698364257812\n", + "global step=4356096, episodic return=585.4425048828125\n", + "global step=4356096, episodic return=626.2442626953125\n", + "global step=4356096, episodic return=546.3682250976562\n", + "global step=4356096, episodic return=615.0033569335938\n", + "global step=4356096, episodic return=586.577392578125\n", + "global step=4358144, episodic return=594.2896728515625\n", + "global step=4358144, episodic return=555.30078125\n", + "global step=4358144, episodic return=619.4375\n", + "global step=4358144, episodic return=561.4998779296875\n", + "global step=4358144, episodic return=550.8169555664062\n", + "global step=4358144, episodic return=617.8285522460938\n", + "global step=4358144, episodic return=609.6922607421875\n", + "global step=4358144, episodic return=562.2907104492188\n", + "global step=4358144, episodic return=590.2648315429688\n", + "global step=4358144, episodic return=553.39794921875\n", + "global step=4358144, episodic return=575.7188110351562\n", + "global step=4358144, episodic return=595.3118896484375\n", + "global step=4358144, episodic return=581.34326171875\n", + "global step=4360192, episodic return=607.760009765625\n", + "global step=4360192, episodic return=566.3115844726562\n", + "global step=4360192, episodic return=508.2829895019531\n", + "global step=4360192, episodic return=616.4539184570312\n", + "global step=4360192, episodic return=577.9180297851562\n", + "global step=4360192, episodic return=507.5782470703125\n", + "global step=4360192, episodic return=604.3965454101562\n", + "global step=4360192, episodic return=594.6085205078125\n", + "global step=4360192, episodic return=588.2733764648438\n", + "global step=4360192, episodic return=597.0326538085938\n", + "global step=4360192, episodic return=583.75439453125\n", + "global step=4360192, episodic return=582.5608520507812\n", + "global step=4360192, episodic return=594.8174438476562\n", + "global step=4360192, episodic return=614.7661743164062\n", + "global step=4360192, episodic return=568.0835571289062\n", + "global step=4360192, episodic return=631.5930786132812\n", + "global step=4360192, episodic return=528.6810913085938\n", + "global step=4360192, episodic return=568.3651123046875\n", + "global step=4360192, episodic return=590.196533203125\n", + "global step=4360192, episodic return=595.496826171875\n", + "global step=4362240, episodic return=598.2001953125\n", + "global step=4362240, episodic return=656.6864624023438\n", + "global step=4362240, episodic return=594.0323486328125\n", + "global step=4362240, episodic return=593.4738159179688\n", + "global step=4362240, episodic return=608.7974243164062\n", + "global step=4362240, episodic return=585.5553588867188\n", + "global step=4362240, episodic return=564.47265625\n", + "global step=4362240, episodic return=518.65283203125\n", + "global step=4362240, episodic return=568.4515380859375\n", + "global step=4362240, episodic return=564.7875366210938\n", + "global step=4362240, episodic return=591.365478515625\n", + "global step=4362240, episodic return=560.5427856445312\n", + "global step=4362240, episodic return=573.3344116210938\n", + "global step=4362240, episodic return=566.23046875\n", + "global step=4362240, episodic return=561.62158203125\n", + "global step=4362240, episodic return=562.9697875976562\n", + "global step=4362240, episodic return=529.4014282226562\n", + "global step=4362240, episodic return=558.978271484375\n", + "global step=4362240, episodic return=551.3710327148438\n", + "global step=4362240, episodic return=570.1563720703125\n", + "global step=4362240, episodic return=619.800537109375\n", + "global step=4362240, episodic return=654.0833740234375\n", + "global step=4362240, episodic return=555.6456298828125\n", + "global step=4364288, episodic return=551.6663208007812\n", + "global step=4364288, episodic return=579.0656127929688\n", + "global step=4364288, episodic return=593.632080078125\n", + "global step=4364288, episodic return=624.985107421875\n", + "global step=4364288, episodic return=599.7398681640625\n", + "global step=4364288, episodic return=615.476318359375\n", + "global step=4364288, episodic return=597.8328247070312\n", + "global step=4364288, episodic return=576.6204223632812\n", + "global step=4364288, episodic return=597.266845703125\n", + "global step=4364288, episodic return=595.2464599609375\n", + "global step=4364288, episodic return=609.4832763671875\n", + "global step=4364288, episodic return=616.0980224609375\n", + "global step=4364288, episodic return=628.8263549804688\n", + "global step=4364288, episodic return=635.206787109375\n", + "global step=4364288, episodic return=592.5087890625\n", + "global step=4364288, episodic return=610.01904296875\n", + "global step=4364288, episodic return=565.6751098632812\n", + "global step=4364288, episodic return=611.7930908203125\n", + "global step=4364288, episodic return=573.22216796875\n", + "global step=4364288, episodic return=582.7092895507812\n", + "global step=4366336, episodic return=524.3386840820312\n", + "global step=4366336, episodic return=606.2926635742188\n", + "global step=4366336, episodic return=553.2498168945312\n", + "global step=4366336, episodic return=608.90869140625\n", + "global step=4366336, episodic return=574.2158813476562\n", + "global step=4366336, episodic return=559.7366333007812\n", + "global step=4366336, episodic return=603.0904541015625\n", + "global step=4366336, episodic return=559.2369995117188\n", + "global step=4366336, episodic return=560.1979370117188\n", + "global step=4366336, episodic return=575.321044921875\n", + "global step=4366336, episodic return=575.4580688476562\n", + "global step=4366336, episodic return=595.1741333007812\n", + "global step=4368384, episodic return=552.8494262695312\n", + "global step=4368384, episodic return=602.9124145507812\n", + "global step=4368384, episodic return=637.4244384765625\n", + "global step=4368384, episodic return=610.0970458984375\n", + "global step=4368384, episodic return=566.2467651367188\n", + "global step=4368384, episodic return=582.8152465820312\n", + "global step=4368384, episodic return=579.2348022460938\n", + "global step=4368384, episodic return=551.6885375976562\n", + "global step=4368384, episodic return=624.398193359375\n", + "global step=4368384, episodic return=570.5501098632812\n", + "global step=4368384, episodic return=571.8307495117188\n", + "global step=4368384, episodic return=598.6495361328125\n", + "global step=4368384, episodic return=582.7418212890625\n", + "global step=4370432, episodic return=566.0276489257812\n", + "global step=4370432, episodic return=582.6991577148438\n", + "global step=4370432, episodic return=619.5720825195312\n", + "global step=4370432, episodic return=539.8131103515625\n", + "global step=4370432, episodic return=565.0814208984375\n", + "global step=4370432, episodic return=565.13037109375\n", + "global step=4372480, episodic return=604.5169677734375\n", + "global step=4372480, episodic return=576.6781005859375\n", + "global step=4372480, episodic return=609.8753051757812\n", + "global step=4372480, episodic return=569.19384765625\n", + "global step=4372480, episodic return=565.4030151367188\n", + "global step=4372480, episodic return=580.1419067382812\n", + "global step=4372480, episodic return=574.9878540039062\n", + "global step=4372480, episodic return=579.718994140625\n", + "global step=4372480, episodic return=593.4052734375\n", + "global step=4372480, episodic return=578.3443603515625\n", + "global step=4372480, episodic return=613.1343994140625\n", + "global step=4372480, episodic return=540.8622436523438\n", + "global step=4372480, episodic return=560.4768676757812\n", + "global step=4372480, episodic return=553.2572631835938\n", + "global step=4372480, episodic return=610.40478515625\n", + "global step=4372480, episodic return=547.7962036132812\n", + "global step=4374528, episodic return=581.5206298828125\n", + "global step=4374528, episodic return=544.5661010742188\n", + "global step=4374528, episodic return=563.4420776367188\n", + "global step=4374528, episodic return=564.6642456054688\n", + "global step=4374528, episodic return=575.9884033203125\n", + "global step=4374528, episodic return=549.8251342773438\n", + "global step=4374528, episodic return=656.1670532226562\n", + "global step=4374528, episodic return=553.8099975585938\n", + "global step=4374528, episodic return=551.3128662109375\n", + "global step=4374528, episodic return=539.0062866210938\n", + "global step=4374528, episodic return=624.7034301757812\n", + "global step=4374528, episodic return=567.763427734375\n", + "global step=4374528, episodic return=554.283203125\n", + "global step=4374528, episodic return=609.48193359375\n", + "global step=4374528, episodic return=587.8984985351562\n", + "global step=4374528, episodic return=575.662353515625\n", + "global step=4376576, episodic return=519.6101684570312\n", + "global step=4376576, episodic return=581.1331176757812\n", + "global step=4376576, episodic return=603.0153198242188\n", + "global step=4376576, episodic return=607.4285278320312\n", + "global step=4376576, episodic return=604.2681274414062\n", + "global step=4376576, episodic return=560.1806030273438\n", + "global step=4376576, episodic return=561.5630493164062\n", + "global step=4376576, episodic return=595.8869018554688\n", + "global step=4376576, episodic return=567.6045532226562\n", + "global step=4376576, episodic return=592.1181640625\n", + "global step=4376576, episodic return=573.131591796875\n", + "global step=4376576, episodic return=613.542724609375\n", + "global step=4376576, episodic return=588.8324584960938\n", + "global step=4376576, episodic return=604.811767578125\n", + "global step=4376576, episodic return=551.1812133789062\n", + "global step=4376576, episodic return=580.6126098632812\n", + "global step=4376576, episodic return=578.5125732421875\n", + "global step=4376576, episodic return=603.513916015625\n", + "global step=4378624, episodic return=646.49267578125\n", + "global step=4378624, episodic return=554.15673828125\n", + "global step=4378624, episodic return=580.1834716796875\n", + "global step=4378624, episodic return=592.443115234375\n", + "global step=4378624, episodic return=637.7257690429688\n", + "global step=4378624, episodic return=569.5855712890625\n", + "global step=4378624, episodic return=579.6470947265625\n", + "global step=4378624, episodic return=544.0223388671875\n", + "global step=4378624, episodic return=585.6463623046875\n", + "global step=4378624, episodic return=596.2295532226562\n", + "global step=4378624, episodic return=592.62939453125\n", + "global step=4378624, episodic return=592.04833984375\n", + "global step=4378624, episodic return=566.43017578125\n", + "global step=4378624, episodic return=573.0888671875\n", + "global step=4378624, episodic return=569.6275024414062\n", + "global step=4378624, episodic return=593.6069946289062\n", + "global step=4378624, episodic return=574.7220458984375\n", + "global step=4378624, episodic return=604.07763671875\n", + "global step=4380672, episodic return=558.2667236328125\n", + "global step=4380672, episodic return=581.2782592773438\n", + "global step=4380672, episodic return=608.70654296875\n", + "global step=4380672, episodic return=589.4425048828125\n", + "global step=4380672, episodic return=615.7966918945312\n", + "global step=4380672, episodic return=575.4957885742188\n", + "global step=4380672, episodic return=560.8306884765625\n", + "global step=4380672, episodic return=631.7723999023438\n", + "global step=4380672, episodic return=572.2943725585938\n", + "global step=4380672, episodic return=676.6903076171875\n", + "global step=4380672, episodic return=660.2162475585938\n", + "global step=4380672, episodic return=568.2728881835938\n", + "global step=4380672, episodic return=625.4397583007812\n", + "global step=4380672, episodic return=579.1769409179688\n", + "global step=4380672, episodic return=615.5541381835938\n", + "global step=4380672, episodic return=495.64239501953125\n", + "global step=4380672, episodic return=596.935791015625\n", + "global step=4380672, episodic return=575.7814331054688\n", + "global step=4382720, episodic return=635.5784301757812\n", + "global step=4382720, episodic return=581.6317749023438\n", + "global step=4382720, episodic return=552.732177734375\n", + "global step=4382720, episodic return=594.3565063476562\n", + "global step=4382720, episodic return=602.576904296875\n", + "global step=4382720, episodic return=559.8094482421875\n", + "global step=4382720, episodic return=606.0524291992188\n", + "global step=4382720, episodic return=660.336181640625\n", + "global step=4382720, episodic return=530.108642578125\n", + "global step=4382720, episodic return=632.239013671875\n", + "global step=4382720, episodic return=605.6116333007812\n", + "global step=4382720, episodic return=561.2686767578125\n", + "global step=4382720, episodic return=590.1675415039062\n", + "global step=4382720, episodic return=657.9635009765625\n", + "global step=4382720, episodic return=624.3126220703125\n", + "global step=4382720, episodic return=596.5052490234375\n", + "global step=4382720, episodic return=570.0616455078125\n", + "global step=4382720, episodic return=496.33782958984375\n", + "global step=4382720, episodic return=603.3492431640625\n", + "global step=4382720, episodic return=575.9808349609375\n", + "global step=4382720, episodic return=550.08984375\n", + "global step=4382720, episodic return=552.777587890625\n", + "global step=4382720, episodic return=576.8113403320312\n", + "global step=4382720, episodic return=658.8692016601562\n", + "global step=4382720, episodic return=555.6785278320312\n", + "global step=4382720, episodic return=604.2835693359375\n", + "global step=4384768, episodic return=582.84375\n", + "global step=4384768, episodic return=615.5764770507812\n", + "global step=4384768, episodic return=551.0455322265625\n", + "global step=4384768, episodic return=609.744384765625\n", + "global step=4384768, episodic return=566.724609375\n", + "global step=4384768, episodic return=574.1453247070312\n", + "global step=4384768, episodic return=588.2963256835938\n", + "global step=4384768, episodic return=604.3098754882812\n", + "global step=4384768, episodic return=543.309326171875\n", + "global step=4384768, episodic return=574.4791259765625\n", + "global step=4384768, episodic return=592.7592163085938\n", + "global step=4384768, episodic return=577.207763671875\n", + "global step=4384768, episodic return=618.5818481445312\n", + "global step=4384768, episodic return=612.208984375\n", + "global step=4384768, episodic return=601.7332763671875\n", + "global step=4384768, episodic return=608.7960205078125\n", + "global step=4384768, episodic return=553.0274047851562\n", + "global step=4384768, episodic return=589.2403564453125\n", + "global step=4384768, episodic return=580.8907470703125\n", + "global step=4384768, episodic return=576.8212280273438\n", + "global step=4384768, episodic return=559.0752563476562\n", + "global step=4384768, episodic return=562.3468017578125\n", + "global step=4384768, episodic return=587.5327758789062\n", + "global step=4386816, episodic return=604.6502075195312\n", + "global step=4386816, episodic return=582.1005249023438\n", + "global step=4386816, episodic return=589.5048828125\n", + "global step=4386816, episodic return=590.4454956054688\n", + "global step=4386816, episodic return=631.6047973632812\n", + "global step=4386816, episodic return=655.2443237304688\n", + "global step=4386816, episodic return=584.3220825195312\n", + "global step=4386816, episodic return=575.7337646484375\n", + "global step=4386816, episodic return=596.1448364257812\n", + "global step=4386816, episodic return=589.2196044921875\n", + "global step=4386816, episodic return=568.3253784179688\n", + "global step=4386816, episodic return=637.8732299804688\n", + "global step=4386816, episodic return=503.6356506347656\n", + "global step=4386816, episodic return=578.2782592773438\n", + "global step=4386816, episodic return=623.3607177734375\n", + "global step=4386816, episodic return=631.1694946289062\n", + "global step=4386816, episodic return=587.7572631835938\n", + "global step=4386816, episodic return=606.890869140625\n", + "global step=4386816, episodic return=538.2213745117188\n", + "global step=4386816, episodic return=605.498046875\n", + "global step=4388864, episodic return=563.3703002929688\n", + "global step=4388864, episodic return=579.6966552734375\n", + "global step=4388864, episodic return=533.7568359375\n", + "global step=4388864, episodic return=590.0545043945312\n", + "global step=4388864, episodic return=580.0020751953125\n", + "global step=4388864, episodic return=614.7752685546875\n", + "global step=4388864, episodic return=596.853759765625\n", + "global step=4388864, episodic return=574.1422729492188\n", + "global step=4388864, episodic return=608.9116821289062\n", + "global step=4388864, episodic return=588.4028930664062\n", + "global step=4388864, episodic return=567.3347778320312\n", + "global step=4388864, episodic return=570.3233032226562\n", + "global step=4390912, episodic return=524.7740478515625\n", + "global step=4390912, episodic return=561.798583984375\n", + "global step=4390912, episodic return=556.1068115234375\n", + "global step=4390912, episodic return=566.8311767578125\n", + "global step=4390912, episodic return=558.8333129882812\n", + "global step=4390912, episodic return=586.8453979492188\n", + "global step=4390912, episodic return=571.791748046875\n", + "global step=4390912, episodic return=618.5132446289062\n", + "global step=4390912, episodic return=545.0084838867188\n", + "global step=4390912, episodic return=551.8589477539062\n", + "global step=4390912, episodic return=562.69091796875\n", + "global step=4390912, episodic return=611.4548950195312\n", + "global step=4390912, episodic return=574.6077880859375\n", + "global step=4390912, episodic return=597.2848510742188\n", + "global step=4390912, episodic return=593.8023071289062\n", + "global step=4390912, episodic return=599.6061401367188\n", + "global step=4392960, episodic return=567.8776245117188\n", + "global step=4392960, episodic return=603.466796875\n", + "global step=4392960, episodic return=602.2759399414062\n", + "global step=4392960, episodic return=590.4837036132812\n", + "global step=4392960, episodic return=568.7193603515625\n", + "global step=4392960, episodic return=577.0047607421875\n", + "global step=4392960, episodic return=585.0663452148438\n", + "global step=4392960, episodic return=650.3666381835938\n", + "global step=4392960, episodic return=562.2496948242188\n", + "global step=4392960, episodic return=546.6084594726562\n", + "global step=4392960, episodic return=567.5573120117188\n", + "global step=4392960, episodic return=565.3539428710938\n", + "global step=4392960, episodic return=593.983154296875\n", + "global step=4392960, episodic return=590.4681396484375\n", + "global step=4392960, episodic return=594.0769653320312\n", + "global step=4392960, episodic return=562.972412109375\n", + "global step=4392960, episodic return=589.9788208007812\n", + "global step=4392960, episodic return=619.6554565429688\n", + "global step=4392960, episodic return=605.7575073242188\n", + "global step=4392960, episodic return=604.3572998046875\n", + "global step=4392960, episodic return=565.55908203125\n", + "global step=4392960, episodic return=571.7975463867188\n", + "global step=4392960, episodic return=632.5374145507812\n", + "global step=4395008, episodic return=620.6314086914062\n", + "global step=4395008, episodic return=574.8154907226562\n", + "global step=4395008, episodic return=551.2290649414062\n", + "global step=4395008, episodic return=599.446044921875\n", + "global step=4395008, episodic return=562.5297241210938\n", + "global step=4395008, episodic return=580.7196655273438\n", + "global step=4395008, episodic return=636.4290771484375\n", + "global step=4395008, episodic return=658.7344360351562\n", + "global step=4395008, episodic return=561.2172241210938\n", + "global step=4395008, episodic return=579.84912109375\n", + "global step=4395008, episodic return=594.6593017578125\n", + "global step=4395008, episodic return=599.057861328125\n", + "global step=4395008, episodic return=551.641845703125\n", + "global step=4397056, episodic return=582.2059326171875\n", + "global step=4397056, episodic return=574.0565795898438\n", + "global step=4397056, episodic return=572.8964233398438\n", + "global step=4397056, episodic return=569.4838256835938\n", + "global step=4397056, episodic return=563.83349609375\n", + "global step=4397056, episodic return=587.5223999023438\n", + "global step=4397056, episodic return=591.5947265625\n", + "global step=4397056, episodic return=575.0861206054688\n", + "global step=4397056, episodic return=597.4942016601562\n", + "global step=4397056, episodic return=578.1896362304688\n", + "global step=4397056, episodic return=614.48046875\n", + "global step=4399104, episodic return=577.64306640625\n", + "global step=4399104, episodic return=603.4201049804688\n", + "global step=4399104, episodic return=590.6876831054688\n", + "global step=4399104, episodic return=556.0110473632812\n", + "global step=4399104, episodic return=567.7567749023438\n", + "global step=4399104, episodic return=612.6196899414062\n", + "global step=4399104, episodic return=625.99853515625\n", + "global step=4399104, episodic return=679.5830078125\n", + "global step=4399104, episodic return=662.0170288085938\n", + "global step=4399104, episodic return=613.9065551757812\n", + "global step=4399104, episodic return=597.78466796875\n", + "global step=4399104, episodic return=605.530517578125\n", + "global step=4401152, episodic return=603.17333984375\n", + "global step=4401152, episodic return=601.3449096679688\n", + "global step=4401152, episodic return=657.5963134765625\n", + "global step=4401152, episodic return=595.6741943359375\n", + "global step=4401152, episodic return=580.6837768554688\n", + "global step=4401152, episodic return=607.0935668945312\n", + "global step=4401152, episodic return=543.7315673828125\n", + "global step=4401152, episodic return=647.6704711914062\n", + "global step=4401152, episodic return=657.5060424804688\n", + "global step=4401152, episodic return=559.615478515625\n", + "global step=4401152, episodic return=597.900634765625\n", + "global step=4401152, episodic return=593.2266845703125\n", + "global step=4401152, episodic return=559.3361206054688\n", + "global step=4401152, episodic return=571.0468139648438\n", + "global step=4403200, episodic return=555.6328125\n", + "global step=4403200, episodic return=608.384521484375\n", + "global step=4403200, episodic return=611.108154296875\n", + "global step=4403200, episodic return=559.4698486328125\n", + "global step=4403200, episodic return=578.4038696289062\n", + "global step=4403200, episodic return=621.412841796875\n", + "global step=4403200, episodic return=560.469970703125\n", + "global step=4403200, episodic return=570.3954467773438\n", + "global step=4405248, episodic return=620.3133544921875\n", + "global step=4405248, episodic return=572.0538940429688\n", + "global step=4405248, episodic return=551.502197265625\n", + "global step=4405248, episodic return=610.9514770507812\n", + "global step=4405248, episodic return=514.9639892578125\n", + "global step=4405248, episodic return=599.4415283203125\n", + "global step=4405248, episodic return=675.1921997070312\n", + "global step=4405248, episodic return=591.824462890625\n", + "global step=4405248, episodic return=622.3296508789062\n", + "global step=4405248, episodic return=622.806884765625\n", + "global step=4405248, episodic return=640.34033203125\n", + "global step=4405248, episodic return=574.5588989257812\n", + "global step=4405248, episodic return=538.7188720703125\n", + "global step=4405248, episodic return=635.0363159179688\n", + "global step=4405248, episodic return=637.5944213867188\n", + "global step=4407296, episodic return=581.9349365234375\n", + "global step=4407296, episodic return=623.290771484375\n", + "global step=4407296, episodic return=537.1362915039062\n", + "global step=4407296, episodic return=576.291259765625\n", + "global step=4407296, episodic return=562.7640380859375\n", + "global step=4407296, episodic return=606.4638671875\n", + "global step=4407296, episodic return=591.9389038085938\n", + "global step=4407296, episodic return=577.7992553710938\n", + "global step=4407296, episodic return=651.6563720703125\n", + "global step=4407296, episodic return=556.1139526367188\n", + "global step=4407296, episodic return=596.599365234375\n", + "global step=4409344, episodic return=574.3912353515625\n", + "global step=4409344, episodic return=536.7764892578125\n", + "global step=4409344, episodic return=606.632568359375\n", + "global step=4409344, episodic return=558.6976318359375\n", + "global step=4409344, episodic return=590.9627075195312\n", + "global step=4409344, episodic return=611.878662109375\n", + "global step=4409344, episodic return=622.2842407226562\n", + "global step=4409344, episodic return=599.9279174804688\n", + "global step=4409344, episodic return=654.6231689453125\n", + "global step=4409344, episodic return=587.63037109375\n", + "global step=4409344, episodic return=556.9379272460938\n", + "global step=4409344, episodic return=608.35693359375\n", + "global step=4411392, episodic return=541.0551147460938\n", + "global step=4411392, episodic return=566.30859375\n", + "global step=4411392, episodic return=622.2723999023438\n", + "global step=4411392, episodic return=581.6561889648438\n", + "global step=4411392, episodic return=565.2415161132812\n", + "global step=4411392, episodic return=604.8181762695312\n", + "global step=4411392, episodic return=604.3043212890625\n", + "global step=4411392, episodic return=579.2542724609375\n", + "global step=4411392, episodic return=654.099365234375\n", + "global step=4411392, episodic return=608.1880493164062\n", + "global step=4411392, episodic return=553.0339965820312\n", + "global step=4411392, episodic return=552.4118041992188\n", + "global step=4411392, episodic return=585.6624145507812\n", + "global step=4411392, episodic return=577.9301147460938\n", + "global step=4411392, episodic return=660.7557983398438\n", + "global step=4413440, episodic return=577.40673828125\n", + "global step=4413440, episodic return=590.1602783203125\n", + "global step=4413440, episodic return=561.12646484375\n", + "global step=4413440, episodic return=565.8876342773438\n", + "global step=4413440, episodic return=572.5520629882812\n", + "global step=4413440, episodic return=587.6823120117188\n", + "global step=4413440, episodic return=556.3218383789062\n", + "global step=4413440, episodic return=608.072998046875\n", + "global step=4413440, episodic return=613.3043212890625\n", + "global step=4413440, episodic return=579.4832153320312\n", + "global step=4413440, episodic return=575.8327026367188\n", + "global step=4413440, episodic return=610.1705322265625\n", + "global step=4413440, episodic return=555.722412109375\n", + "global step=4413440, episodic return=619.1709594726562\n", + "global step=4413440, episodic return=568.6040649414062\n", + "global step=4413440, episodic return=549.107666015625\n", + "global step=4413440, episodic return=614.7835083007812\n", + "global step=4413440, episodic return=582.3570556640625\n", + "global step=4413440, episodic return=584.4796752929688\n", + "global step=4413440, episodic return=606.6084594726562\n", + "global step=4415488, episodic return=658.7944946289062\n", + "global step=4415488, episodic return=586.11962890625\n", + "global step=4415488, episodic return=589.2698364257812\n", + "global step=4415488, episodic return=598.6178588867188\n", + "global step=4415488, episodic return=600.810302734375\n", + "global step=4415488, episodic return=567.529541015625\n", + "global step=4415488, episodic return=580.2780151367188\n", + "global step=4415488, episodic return=563.9423828125\n", + "global step=4415488, episodic return=559.72119140625\n", + "global step=4415488, episodic return=596.8388671875\n", + "global step=4415488, episodic return=605.3428344726562\n", + "global step=4415488, episodic return=587.8650512695312\n", + "global step=4415488, episodic return=635.2443237304688\n", + "global step=4417536, episodic return=623.806396484375\n", + "global step=4417536, episodic return=570.5025024414062\n", + "global step=4417536, episodic return=613.1719970703125\n", + "global step=4417536, episodic return=581.7445068359375\n", + "global step=4417536, episodic return=653.1985473632812\n", + "global step=4417536, episodic return=592.859130859375\n", + "global step=4417536, episodic return=600.889404296875\n", + "global step=4417536, episodic return=592.6910400390625\n", + "global step=4417536, episodic return=546.9004516601562\n", + "global step=4417536, episodic return=536.6383666992188\n", + "global step=4417536, episodic return=566.4903564453125\n", + "global step=4417536, episodic return=566.3234252929688\n", + "global step=4417536, episodic return=566.6864013671875\n", + "global step=4417536, episodic return=608.3706665039062\n", + "global step=4419584, episodic return=568.3442993164062\n", + "global step=4419584, episodic return=605.9036865234375\n", + "global step=4419584, episodic return=596.9798583984375\n", + "global step=4419584, episodic return=626.9385375976562\n", + "global step=4419584, episodic return=559.8353271484375\n", + "global step=4419584, episodic return=573.6963500976562\n", + "global step=4419584, episodic return=590.4208374023438\n", + "global step=4419584, episodic return=578.9619140625\n", + "global step=4419584, episodic return=643.5166015625\n", + "global step=4419584, episodic return=568.3103637695312\n", + "global step=4419584, episodic return=584.8776245117188\n", + "global step=4419584, episodic return=533.47314453125\n", + "global step=4421632, episodic return=591.4218139648438\n", + "global step=4421632, episodic return=580.3016967773438\n", + "global step=4421632, episodic return=600.6259155273438\n", + "global step=4421632, episodic return=607.6636352539062\n", + "global step=4421632, episodic return=576.9566040039062\n", + "global step=4421632, episodic return=559.2158813476562\n", + "global step=4421632, episodic return=595.0241088867188\n", + "global step=4421632, episodic return=584.7384033203125\n", + "global step=4421632, episodic return=624.947998046875\n", + "global step=4421632, episodic return=578.0382690429688\n", + "global step=4421632, episodic return=590.592529296875\n", + "global step=4421632, episodic return=643.8447875976562\n", + "global step=4421632, episodic return=585.5453491210938\n", + "global step=4421632, episodic return=610.026611328125\n", + "global step=4421632, episodic return=601.1573486328125\n", + "global step=4423680, episodic return=613.9598999023438\n", + "global step=4423680, episodic return=537.068115234375\n", + "global step=4423680, episodic return=585.888427734375\n", + "global step=4423680, episodic return=598.7426147460938\n", + "global step=4423680, episodic return=606.9581298828125\n", + "global step=4423680, episodic return=622.3259887695312\n", + "global step=4423680, episodic return=576.3997802734375\n", + "global step=4423680, episodic return=536.0972900390625\n", + "global step=4423680, episodic return=590.4351196289062\n", + "global step=4423680, episodic return=611.093017578125\n", + "global step=4423680, episodic return=578.7025756835938\n", + "global step=4423680, episodic return=595.1475830078125\n", + "global step=4423680, episodic return=563.512939453125\n", + "global step=4423680, episodic return=579.0682983398438\n", + "global step=4423680, episodic return=586.6124267578125\n", + "global step=4423680, episodic return=587.9736938476562\n", + "global step=4425728, episodic return=528.0924682617188\n", + "global step=4425728, episodic return=591.8050537109375\n", + "global step=4425728, episodic return=570.9331665039062\n", + "global step=4425728, episodic return=574.8077392578125\n", + "global step=4425728, episodic return=649.7998046875\n", + "global step=4425728, episodic return=616.1754760742188\n", + "global step=4425728, episodic return=620.1865844726562\n", + "global step=4425728, episodic return=595.244140625\n", + "global step=4425728, episodic return=615.8558349609375\n", + "global step=4425728, episodic return=608.0181274414062\n", + "global step=4425728, episodic return=590.8327026367188\n", + "global step=4425728, episodic return=586.9208374023438\n", + "global step=4427776, episodic return=589.7827758789062\n", + "global step=4427776, episodic return=571.5496826171875\n", + "global step=4427776, episodic return=592.3818969726562\n", + "global step=4427776, episodic return=559.264892578125\n", + "global step=4427776, episodic return=603.7445068359375\n", + "global step=4427776, episodic return=559.835205078125\n", + "global step=4427776, episodic return=615.1903686523438\n", + "global step=4427776, episodic return=556.2183227539062\n", + "global step=4427776, episodic return=603.1598510742188\n", + "global step=4429824, episodic return=584.6577758789062\n", + "global step=4429824, episodic return=615.3532104492188\n", + "global step=4429824, episodic return=577.8504638671875\n", + "global step=4429824, episodic return=588.1195068359375\n", + "global step=4429824, episodic return=619.2122802734375\n", + "global step=4429824, episodic return=626.5482177734375\n", + "global step=4429824, episodic return=598.0560913085938\n", + "global step=4429824, episodic return=590.2374267578125\n", + "global step=4431872, episodic return=625.8356323242188\n", + "global step=4431872, episodic return=581.056396484375\n", + "global step=4431872, episodic return=575.0852661132812\n", + "global step=4431872, episodic return=572.8138427734375\n", + "global step=4431872, episodic return=654.01318359375\n", + "global step=4431872, episodic return=617.4962768554688\n", + "global step=4431872, episodic return=559.6028442382812\n", + "global step=4431872, episodic return=667.2525634765625\n", + "global step=4431872, episodic return=590.6256713867188\n", + "global step=4431872, episodic return=600.76513671875\n", + "global step=4431872, episodic return=606.9205932617188\n", + "global step=4431872, episodic return=607.8334350585938\n", + "global step=4431872, episodic return=594.7548217773438\n", + "global step=4431872, episodic return=589.9466552734375\n", + "global step=4433920, episodic return=589.71044921875\n", + "global step=4433920, episodic return=631.1304931640625\n", + "global step=4433920, episodic return=578.18994140625\n", + "global step=4433920, episodic return=595.8402709960938\n", + "global step=4433920, episodic return=632.9157104492188\n", + "global step=4433920, episodic return=518.79443359375\n", + "global step=4433920, episodic return=639.1680908203125\n", + "global step=4433920, episodic return=633.0015258789062\n", + "global step=4433920, episodic return=575.9396362304688\n", + "global step=4433920, episodic return=579.4456176757812\n", + "global step=4433920, episodic return=595.0435791015625\n", + "global step=4433920, episodic return=613.5012817382812\n", + "global step=4433920, episodic return=642.2836303710938\n", + "global step=4435968, episodic return=530.9605712890625\n", + "global step=4435968, episodic return=559.2777099609375\n", + "global step=4435968, episodic return=602.0859985351562\n", + "global step=4435968, episodic return=608.8109741210938\n", + "global step=4435968, episodic return=589.328369140625\n", + "global step=4435968, episodic return=620.00537109375\n", + "global step=4435968, episodic return=657.2981567382812\n", + "global step=4435968, episodic return=610.8695678710938\n", + "global step=4438016, episodic return=678.542236328125\n", + "global step=4438016, episodic return=648.066162109375\n", + "global step=4438016, episodic return=525.3236083984375\n", + "global step=4438016, episodic return=607.406982421875\n", + "global step=4438016, episodic return=596.3286743164062\n", + "global step=4438016, episodic return=568.443359375\n", + "global step=4440064, episodic return=586.1924438476562\n", + "global step=4440064, episodic return=660.2691040039062\n", + "global step=4440064, episodic return=576.9750366210938\n", + "global step=4440064, episodic return=582.8446044921875\n", + "global step=4440064, episodic return=581.6824951171875\n", + "global step=4440064, episodic return=526.0507202148438\n", + "global step=4440064, episodic return=540.2425537109375\n", + "global step=4440064, episodic return=616.7234497070312\n", + "global step=4440064, episodic return=678.1049194335938\n", + "global step=4440064, episodic return=560.2042846679688\n", + "global step=4440064, episodic return=600.9994506835938\n", + "global step=4440064, episodic return=654.0242919921875\n", + "global step=4440064, episodic return=598.293212890625\n", + "global step=4440064, episodic return=601.833984375\n", + "global step=4440064, episodic return=602.7131958007812\n", + "global step=4440064, episodic return=577.3265991210938\n", + "global step=4440064, episodic return=550.53076171875\n", + "global step=4440064, episodic return=566.8956909179688\n", + "global step=4440064, episodic return=593.7577514648438\n", + "global step=4440064, episodic return=622.6795043945312\n", + "global step=4442112, episodic return=637.1442260742188\n", + "global step=4442112, episodic return=638.4838256835938\n", + "global step=4442112, episodic return=621.7133178710938\n", + "global step=4442112, episodic return=556.9923706054688\n", + "global step=4442112, episodic return=634.2066040039062\n", + "global step=4442112, episodic return=597.5928955078125\n", + "global step=4442112, episodic return=604.138671875\n", + "global step=4442112, episodic return=580.28662109375\n", + "global step=4442112, episodic return=607.3004760742188\n", + "global step=4442112, episodic return=574.1111450195312\n", + "global step=4442112, episodic return=627.8829956054688\n", + "global step=4442112, episodic return=538.0836791992188\n", + "global step=4442112, episodic return=584.39697265625\n", + "global step=4442112, episodic return=564.876708984375\n", + "global step=4442112, episodic return=582.8765869140625\n", + "global step=4442112, episodic return=591.4422607421875\n", + "global step=4444160, episodic return=609.3436889648438\n", + "global step=4444160, episodic return=572.1415405273438\n", + "global step=4444160, episodic return=637.9323120117188\n", + "global step=4444160, episodic return=610.51806640625\n", + "global step=4444160, episodic return=520.1759033203125\n", + "global step=4444160, episodic return=614.3671264648438\n", + "global step=4444160, episodic return=590.0269165039062\n", + "global step=4444160, episodic return=591.9573364257812\n", + "global step=4446208, episodic return=597.6729736328125\n", + "global step=4446208, episodic return=591.2164916992188\n", + "global step=4446208, episodic return=609.9188842773438\n", + "global step=4446208, episodic return=646.8084716796875\n", + "global step=4446208, episodic return=601.1975708007812\n", + "global step=4446208, episodic return=615.9299926757812\n", + "global step=4446208, episodic return=588.8313598632812\n", + "global step=4446208, episodic return=557.6099853515625\n", + "global step=4446208, episodic return=607.936767578125\n", + "global step=4448256, episodic return=608.7986450195312\n", + "global step=4448256, episodic return=658.2130737304688\n", + "global step=4448256, episodic return=594.9222412109375\n", + "global step=4448256, episodic return=607.2816772460938\n", + "global step=4448256, episodic return=621.9175415039062\n", + "global step=4448256, episodic return=623.9067993164062\n", + "global step=4448256, episodic return=571.4193115234375\n", + "global step=4448256, episodic return=633.725341796875\n", + "global step=4448256, episodic return=621.5267944335938\n", + "global step=4448256, episodic return=625.7778930664062\n", + "global step=4448256, episodic return=560.8353881835938\n", + "global step=4448256, episodic return=603.1167602539062\n", + "global step=4448256, episodic return=569.9219970703125\n", + "global step=4448256, episodic return=697.5415649414062\n", + "global step=4450304, episodic return=599.377197265625\n", + "global step=4450304, episodic return=605.7907104492188\n", + "global step=4450304, episodic return=557.8873291015625\n", + "global step=4450304, episodic return=554.7860107421875\n", + "global step=4450304, episodic return=634.84375\n", + "global step=4450304, episodic return=514.2391967773438\n", + "global step=4450304, episodic return=594.274169921875\n", + "global step=4450304, episodic return=593.091796875\n", + "global step=4450304, episodic return=633.8502197265625\n", + "global step=4450304, episodic return=608.857666015625\n", + "global step=4450304, episodic return=643.9029541015625\n", + "global step=4450304, episodic return=568.8294677734375\n", + "global step=4450304, episodic return=569.7713012695312\n", + "global step=4452352, episodic return=593.6455688476562\n", + "global step=4452352, episodic return=599.8052978515625\n", + "global step=4452352, episodic return=519.910400390625\n", + "global step=4452352, episodic return=562.8164672851562\n", + "global step=4452352, episodic return=635.7162475585938\n", + "global step=4452352, episodic return=604.6400146484375\n", + "global step=4452352, episodic return=637.1596069335938\n", + "global step=4452352, episodic return=548.4755859375\n", + "global step=4452352, episodic return=608.9781494140625\n", + "global step=4452352, episodic return=583.0301513671875\n", + "global step=4452352, episodic return=642.6002197265625\n", + "global step=4452352, episodic return=619.6331787109375\n", + "global step=4454400, episodic return=627.6992797851562\n", + "global step=4454400, episodic return=579.5825805664062\n", + "global step=4454400, episodic return=582.633056640625\n", + "global step=4454400, episodic return=614.7802734375\n", + "global step=4454400, episodic return=600.7566528320312\n", + "global step=4454400, episodic return=609.2263793945312\n", + "global step=4454400, episodic return=603.3607177734375\n", + "global step=4454400, episodic return=611.4918823242188\n", + "global step=4454400, episodic return=615.8272705078125\n", + "global step=4454400, episodic return=605.7042846679688\n", + "global step=4454400, episodic return=616.40966796875\n", + "global step=4454400, episodic return=580.6615600585938\n", + "global step=4456448, episodic return=602.56982421875\n", + "global step=4456448, episodic return=582.9437255859375\n", + "global step=4456448, episodic return=604.2843627929688\n", + "global step=4456448, episodic return=598.0430908203125\n", + "global step=4456448, episodic return=663.2548217773438\n", + "global step=4458496, episodic return=605.7171020507812\n", + "global step=4458496, episodic return=606.9991455078125\n", + "global step=4458496, episodic return=628.4398193359375\n", + "global step=4458496, episodic return=608.7999267578125\n", + "global step=4458496, episodic return=542.2865600585938\n", + "global step=4458496, episodic return=588.289306640625\n", + "global step=4458496, episodic return=572.1188354492188\n", + "global step=4458496, episodic return=600.4253540039062\n", + "global step=4458496, episodic return=573.415771484375\n", + "global step=4458496, episodic return=625.9154663085938\n", + "global step=4458496, episodic return=614.3092041015625\n", + "global step=4460544, episodic return=566.7590942382812\n", + "global step=4460544, episodic return=612.1095581054688\n", + "global step=4460544, episodic return=576.4591064453125\n", + "global step=4460544, episodic return=617.7714233398438\n", + "global step=4460544, episodic return=604.201904296875\n", + "global step=4460544, episodic return=621.6107788085938\n", + "global step=4460544, episodic return=627.3888549804688\n", + "global step=4460544, episodic return=585.178466796875\n", + "global step=4460544, episodic return=580.484130859375\n", + "global step=4460544, episodic return=611.7460327148438\n", + "global step=4460544, episodic return=634.2042846679688\n", + "global step=4460544, episodic return=625.6583862304688\n", + "global step=4460544, episodic return=582.0737915039062\n", + "global step=4460544, episodic return=647.5171508789062\n", + "global step=4460544, episodic return=615.8693237304688\n", + "global step=4460544, episodic return=605.2225952148438\n", + "global step=4462592, episodic return=615.6065063476562\n", + "global step=4462592, episodic return=538.5415649414062\n", + "global step=4462592, episodic return=594.973388671875\n", + "global step=4462592, episodic return=545.8532104492188\n", + "global step=4462592, episodic return=602.1895141601562\n", + "global step=4464640, episodic return=568.647705078125\n", + "global step=4464640, episodic return=590.8343505859375\n", + "global step=4464640, episodic return=616.7161254882812\n", + "global step=4464640, episodic return=617.7666015625\n", + "global step=4464640, episodic return=584.6422729492188\n", + "global step=4464640, episodic return=605.5659790039062\n", + "global step=4464640, episodic return=621.2216186523438\n", + "global step=4464640, episodic return=537.2227783203125\n", + "global step=4464640, episodic return=601.6129760742188\n", + "global step=4466688, episodic return=624.5599975585938\n", + "global step=4466688, episodic return=610.9637451171875\n", + "global step=4466688, episodic return=619.8411254882812\n", + "global step=4466688, episodic return=598.5362548828125\n", + "global step=4466688, episodic return=605.6128540039062\n", + "global step=4466688, episodic return=626.3994140625\n", + "global step=4466688, episodic return=617.9642944335938\n", + "global step=4466688, episodic return=582.9638061523438\n", + "global step=4466688, episodic return=625.7522583007812\n", + "global step=4468736, episodic return=691.9270629882812\n", + "global step=4468736, episodic return=594.4376220703125\n", + "global step=4468736, episodic return=681.7882080078125\n", + "global step=4468736, episodic return=624.5729370117188\n", + "global step=4468736, episodic return=609.8336791992188\n", + "global step=4468736, episodic return=650.7281494140625\n", + "global step=4468736, episodic return=619.7283935546875\n", + "global step=4468736, episodic return=604.5067749023438\n", + "global step=4468736, episodic return=664.9422607421875\n", + "global step=4468736, episodic return=664.102294921875\n", + "global step=4468736, episodic return=574.566650390625\n", + "global step=4468736, episodic return=625.9779663085938\n", + "global step=4468736, episodic return=635.1414794921875\n", + "global step=4468736, episodic return=597.0079956054688\n", + "global step=4468736, episodic return=631.626953125\n", + "global step=4468736, episodic return=594.8195190429688\n", + "global step=4468736, episodic return=574.6839599609375\n", + "global step=4470784, episodic return=576.584228515625\n", + "global step=4470784, episodic return=590.0944213867188\n", + "global step=4470784, episodic return=622.2361450195312\n", + "global step=4470784, episodic return=585.4674682617188\n", + "global step=4470784, episodic return=570.6903076171875\n", + "global step=4470784, episodic return=638.1544799804688\n", + "global step=4470784, episodic return=612.704833984375\n", + "global step=4470784, episodic return=626.3552856445312\n", + "global step=4470784, episodic return=571.7803344726562\n", + "global step=4470784, episodic return=615.3660278320312\n", + "global step=4470784, episodic return=628.904052734375\n", + "global step=4470784, episodic return=543.6961669921875\n", + "global step=4472832, episodic return=597.1859130859375\n", + "global step=4472832, episodic return=590.5880737304688\n", + "global step=4472832, episodic return=623.2509765625\n", + "global step=4472832, episodic return=623.6224365234375\n", + "global step=4472832, episodic return=564.106689453125\n", + "global step=4472832, episodic return=536.2412109375\n", + "global step=4472832, episodic return=633.35693359375\n", + "global step=4474880, episodic return=675.8455200195312\n", + "global step=4474880, episodic return=529.6475219726562\n", + "global step=4474880, episodic return=571.2849731445312\n", + "global step=4474880, episodic return=617.6325073242188\n", + "global step=4474880, episodic return=586.6222534179688\n", + "global step=4474880, episodic return=596.28076171875\n", + "global step=4474880, episodic return=634.9703369140625\n", + "global step=4474880, episodic return=606.1049194335938\n", + "global step=4476928, episodic return=633.504150390625\n", + "global step=4476928, episodic return=588.7546997070312\n", + "global step=4476928, episodic return=575.7090454101562\n", + "global step=4476928, episodic return=624.5029907226562\n", + "global step=4476928, episodic return=565.0122680664062\n", + "global step=4476928, episodic return=593.1137084960938\n", + "global step=4476928, episodic return=598.1481323242188\n", + "global step=4476928, episodic return=636.0382690429688\n", + "global step=4476928, episodic return=593.3366088867188\n", + "global step=4476928, episodic return=621.3641967773438\n", + "global step=4478976, episodic return=576.7589111328125\n", + "global step=4478976, episodic return=644.872802734375\n", + "global step=4478976, episodic return=615.6370849609375\n", + "global step=4478976, episodic return=567.0881958007812\n", + "global step=4478976, episodic return=611.6929931640625\n", + "global step=4478976, episodic return=539.2185668945312\n", + "global step=4478976, episodic return=629.6703491210938\n", + "global step=4478976, episodic return=605.03564453125\n", + "global step=4478976, episodic return=574.8125\n", + "global step=4478976, episodic return=643.3896484375\n", + "global step=4478976, episodic return=652.7664794921875\n", + "global step=4478976, episodic return=619.450927734375\n", + "global step=4481024, episodic return=582.43505859375\n", + "global step=4481024, episodic return=582.0855712890625\n", + "global step=4481024, episodic return=575.9887084960938\n", + "global step=4481024, episodic return=592.21630859375\n", + "global step=4481024, episodic return=584.79736328125\n", + "global step=4481024, episodic return=586.9542846679688\n", + "global step=4481024, episodic return=614.4763793945312\n", + "global step=4481024, episodic return=55.999786376953125\n", + "global step=4481024, episodic return=548.9984130859375\n", + "global step=4481024, episodic return=563.2330932617188\n", + "global step=4483072, episodic return=604.93701171875\n", + "global step=4483072, episodic return=581.125732421875\n", + "global step=4483072, episodic return=575.21484375\n", + "global step=4483072, episodic return=645.3101196289062\n", + "global step=4485120, episodic return=644.3563232421875\n", + "global step=4485120, episodic return=607.2163696289062\n", + "global step=4485120, episodic return=600.4937744140625\n", + "global step=4485120, episodic return=585.8045043945312\n", + "global step=4485120, episodic return=620.3466796875\n", + "global step=4485120, episodic return=603.1213989257812\n", + "global step=4485120, episodic return=631.9888916015625\n", + "global step=4485120, episodic return=575.0765380859375\n", + "global step=4485120, episodic return=607.0487060546875\n", + "global step=4485120, episodic return=678.2904663085938\n", + "global step=4485120, episodic return=612.4839477539062\n", + "global step=4485120, episodic return=612.6163330078125\n", + "global step=4487168, episodic return=610.0233764648438\n", + "global step=4487168, episodic return=651.6412963867188\n", + "global step=4487168, episodic return=582.0209350585938\n", + "global step=4487168, episodic return=615.5159301757812\n", + "global step=4487168, episodic return=648.4154663085938\n", + "global step=4487168, episodic return=552.5015869140625\n", + "global step=4487168, episodic return=504.9902648925781\n", + "global step=4487168, episodic return=629.3284301757812\n", + "global step=4489216, episodic return=680.2897338867188\n", + "global step=4489216, episodic return=576.7442626953125\n", + "global step=4489216, episodic return=618.7360229492188\n", + "global step=4489216, episodic return=596.8953857421875\n", + "global step=4489216, episodic return=654.4771118164062\n", + "global step=4489216, episodic return=591.3760375976562\n", + "global step=4489216, episodic return=620.8861083984375\n", + "global step=4491264, episodic return=624.2174682617188\n", + "global step=4491264, episodic return=668.0303344726562\n", + "global step=4491264, episodic return=526.1271362304688\n", + "global step=4491264, episodic return=603.6735229492188\n", + "global step=4491264, episodic return=605.1682739257812\n", + "global step=4491264, episodic return=587.541259765625\n", + "global step=4491264, episodic return=611.310791015625\n", + "global step=4491264, episodic return=634.6182250976562\n", + "global step=4491264, episodic return=569.0630493164062\n", + "global step=4491264, episodic return=579.7007446289062\n", + "global step=4493312, episodic return=613.2578125\n", + "global step=4493312, episodic return=618.2092895507812\n", + "global step=4493312, episodic return=627.6079711914062\n", + "global step=4493312, episodic return=625.3115234375\n", + "global step=4493312, episodic return=615.2470703125\n", + "global step=4495360, episodic return=596.64404296875\n", + "global step=4495360, episodic return=537.5704345703125\n", + "global step=4495360, episodic return=589.5747680664062\n", + "global step=4495360, episodic return=529.0335693359375\n", + "global step=4495360, episodic return=600.4027709960938\n", + "global step=4497408, episodic return=613.0611572265625\n", + "global step=4497408, episodic return=509.3742370605469\n", + "global step=4497408, episodic return=648.1358642578125\n", + "global step=4497408, episodic return=571.2229614257812\n", + "global step=4497408, episodic return=634.67236328125\n", + "global step=4499456, episodic return=582.2621459960938\n", + "global step=4499456, episodic return=584.7352905273438\n", + "global step=4499456, episodic return=609.523681640625\n", + "global step=4499456, episodic return=628.3923950195312\n", + "global step=4499456, episodic return=574.6923828125\n", + "global step=4499456, episodic return=549.049560546875\n", + "global step=4499456, episodic return=572.3154907226562\n", + "global step=4501504, episodic return=610.3843994140625\n", + "global step=4501504, episodic return=585.3544311523438\n", + "global step=4501504, episodic return=577.8033447265625\n", + "global step=4501504, episodic return=560.2484130859375\n", + "global step=4501504, episodic return=591.3339233398438\n", + "global step=4501504, episodic return=556.723388671875\n", + "global step=4501504, episodic return=638.3052368164062\n", + "global step=4501504, episodic return=612.4599609375\n", + "global step=4503552, episodic return=593.216064453125\n", + "global step=4503552, episodic return=594.7061767578125\n", + "global step=4503552, episodic return=616.8497314453125\n", + "global step=4503552, episodic return=620.2198486328125\n", + "global step=4503552, episodic return=529.4830322265625\n", + "global step=4505600, episodic return=609.7799072265625\n", + "global step=4505600, episodic return=548.741943359375\n", + "global step=4505600, episodic return=565.43701171875\n", + "global step=4505600, episodic return=621.4035034179688\n", + "global step=4505600, episodic return=590.4058227539062\n", + "global step=4505600, episodic return=547.0033569335938\n", + "global step=4507648, episodic return=596.150634765625\n", + "global step=4507648, episodic return=30.113292694091797\n", + "global step=4507648, episodic return=573.8346557617188\n", + "global step=4507648, episodic return=574.96435546875\n", + "global step=4507648, episodic return=602.8367919921875\n", + "global step=4507648, episodic return=586.3255615234375\n", + "global step=4507648, episodic return=590.6316528320312\n", + "global step=4509696, episodic return=594.0414428710938\n", + "global step=4509696, episodic return=588.6436157226562\n", + "global step=4509696, episodic return=716.3702392578125\n", + "global step=4509696, episodic return=632.8717041015625\n", + "global step=4509696, episodic return=581.9337158203125\n", + "global step=4509696, episodic return=588.9000244140625\n", + "global step=4509696, episodic return=616.3413696289062\n", + "global step=4509696, episodic return=582.1179809570312\n", + "global step=4509696, episodic return=548.77685546875\n", + "global step=4509696, episodic return=601.7886962890625\n", + "global step=4511744, episodic return=632.3793334960938\n", + "global step=4511744, episodic return=538.3754272460938\n", + "global step=4511744, episodic return=657.9957885742188\n", + "global step=4511744, episodic return=628.8858032226562\n", + "global step=4511744, episodic return=588.8707275390625\n", + "global step=4511744, episodic return=595.9788818359375\n", + "global step=4511744, episodic return=608.809326171875\n", + "global step=4513792, episodic return=568.2080078125\n", + "global step=4513792, episodic return=637.5913696289062\n", + "global step=4513792, episodic return=606.9562377929688\n", + "global step=4513792, episodic return=706.7608642578125\n", + "global step=4513792, episodic return=59.695281982421875\n", + "global step=4513792, episodic return=575.5406494140625\n", + "global step=4515840, episodic return=593.2061157226562\n", + "global step=4515840, episodic return=603.7440185546875\n", + "global step=4515840, episodic return=29.20882225036621\n", + "global step=4515840, episodic return=580.2670288085938\n", + "global step=4515840, episodic return=585.7635498046875\n", + "global step=4515840, episodic return=583.2276000976562\n", + "global step=4515840, episodic return=31.861989974975586\n", + "global step=4517888, episodic return=586.175537109375\n", + "global step=4517888, episodic return=587.5931396484375\n", + "global step=4517888, episodic return=602.3182373046875\n", + "global step=4517888, episodic return=23.448362350463867\n", + "global step=4517888, episodic return=543.941162109375\n", + "global step=4517888, episodic return=559.4893188476562\n", + "global step=4517888, episodic return=523.9031982421875\n", + "global step=4517888, episodic return=561.1112670898438\n", + "global step=4517888, episodic return=595.5418701171875\n", + "global step=4517888, episodic return=600.1954956054688\n", + "global step=4517888, episodic return=573.553466796875\n", + "global step=4519936, episodic return=590.4063110351562\n", + "global step=4519936, episodic return=593.0437622070312\n", + "global step=4519936, episodic return=29.751741409301758\n", + "global step=4521984, episodic return=517.023193359375\n", + "global step=4521984, episodic return=518.4444580078125\n", + "global step=4521984, episodic return=591.0309448242188\n", + "global step=4521984, episodic return=554.5117797851562\n", + "global step=4524032, episodic return=522.2538452148438\n", + "global step=4524032, episodic return=591.0955200195312\n", + "global step=4524032, episodic return=612.5089721679688\n", + "global step=4524032, episodic return=648.8941040039062\n", + "global step=4526080, episodic return=689.7066040039062\n", + "global step=4526080, episodic return=27.058395385742188\n", + "global step=4526080, episodic return=614.3258666992188\n", + "global step=4526080, episodic return=592.3775024414062\n", + "global step=4526080, episodic return=512.35888671875\n", + "global step=4526080, episodic return=634.6556396484375\n", + "global step=4526080, episodic return=632.421630859375\n", + "global step=4528128, episodic return=607.924072265625\n", + "global step=4528128, episodic return=585.43798828125\n", + "global step=4528128, episodic return=646.072998046875\n", + "global step=4528128, episodic return=625.7169189453125\n", + "global step=4528128, episodic return=675.946044921875\n", + "global step=4528128, episodic return=598.5015869140625\n", + "global step=4528128, episodic return=507.1873779296875\n", + "global step=4528128, episodic return=613.463134765625\n", + "global step=4528128, episodic return=32.5610466003418\n", + "global step=4530176, episodic return=591.3099365234375\n", + "global step=4530176, episodic return=592.6680297851562\n", + "global step=4530176, episodic return=691.142822265625\n", + "global step=4532224, episodic return=620.25537109375\n", + "global step=4532224, episodic return=589.1126708984375\n", + "global step=4532224, episodic return=561.3853149414062\n", + "global step=4532224, episodic return=676.9241943359375\n", + "global step=4532224, episodic return=612.6602783203125\n", + "global step=4532224, episodic return=35.26994323730469\n", + "global step=4534272, episodic return=654.2387084960938\n", + "global step=4534272, episodic return=638.498779296875\n", + "global step=4534272, episodic return=615.7406616210938\n", + "global step=4534272, episodic return=523.1917724609375\n", + "global step=4534272, episodic return=610.0092163085938\n", + "global step=4536320, episodic return=551.404052734375\n", + "global step=4536320, episodic return=615.530029296875\n", + "global step=4536320, episodic return=715.3389282226562\n", + "global step=4536320, episodic return=635.8933715820312\n", + "global step=4536320, episodic return=609.937255859375\n", + "global step=4536320, episodic return=601.7200317382812\n", + "global step=4536320, episodic return=584.2676391601562\n", + "global step=4536320, episodic return=610.0901489257812\n", + "global step=4536320, episodic return=537.615234375\n", + "global step=4536320, episodic return=601.30712890625\n", + "global step=4536320, episodic return=620.628662109375\n", + "global step=4536320, episodic return=26.354795455932617\n", + "global step=4538368, episodic return=559.657470703125\n", + "global step=4538368, episodic return=604.4524536132812\n", + "global step=4538368, episodic return=659.1621704101562\n", + "global step=4538368, episodic return=594.542236328125\n", + "global step=4540416, episodic return=523.2064208984375\n", + "global step=4540416, episodic return=619.671630859375\n", + "global step=4540416, episodic return=606.5255737304688\n", + "global step=4540416, episodic return=621.859375\n", + "global step=4540416, episodic return=582.08544921875\n", + "global step=4542464, episodic return=29.07339096069336\n", + "global step=4542464, episodic return=614.6632690429688\n", + "global step=4542464, episodic return=529.2872314453125\n", + "global step=4544512, episodic return=631.5675659179688\n", + "global step=4544512, episodic return=569.0814208984375\n", + "global step=4544512, episodic return=578.3812255859375\n", + "global step=4544512, episodic return=610.9478149414062\n", + "global step=4544512, episodic return=586.2283935546875\n", + "global step=4544512, episodic return=667.7721557617188\n", + "global step=4546560, episodic return=604.2354736328125\n", + "global step=4546560, episodic return=35.157588958740234\n", + "global step=4546560, episodic return=575.7772827148438\n", + "global step=4546560, episodic return=602.8380126953125\n", + "global step=4546560, episodic return=576.3599243164062\n", + "global step=4546560, episodic return=609.1071166992188\n", + "global step=4548608, episodic return=596.142333984375\n", + "global step=4548608, episodic return=595.804443359375\n", + "global step=4548608, episodic return=595.6392211914062\n", + "global step=4548608, episodic return=689.9507446289062\n", + "global step=4548608, episodic return=21.222078323364258\n", + "global step=4548608, episodic return=629.1971435546875\n", + "global step=4550656, episodic return=630.2637329101562\n", + "global step=4550656, episodic return=603.7039184570312\n", + "global step=4550656, episodic return=623.3517456054688\n", + "global step=4552704, episodic return=26.434207916259766\n", + "global step=4552704, episodic return=569.2225341796875\n", + "global step=4554752, episodic return=629.5960693359375\n", + "global step=4554752, episodic return=605.6085815429688\n", + "global step=4554752, episodic return=643.078857421875\n", + "global step=4554752, episodic return=616.8466186523438\n", + "global step=4554752, episodic return=608.5938720703125\n", + "global step=4556800, episodic return=601.6880493164062\n", + "global step=4556800, episodic return=661.841552734375\n", + "global step=4556800, episodic return=591.5416259765625\n", + "global step=4556800, episodic return=604.431396484375\n", + "global step=4556800, episodic return=608.7404174804688\n", + "global step=4556800, episodic return=593.8527221679688\n", + "global step=4556800, episodic return=605.7743530273438\n", + "global step=4556800, episodic return=602.3739624023438\n", + "global step=4556800, episodic return=591.9825439453125\n", + "global step=4558848, episodic return=642.0370483398438\n", + "global step=4558848, episodic return=613.4450073242188\n", + "global step=4558848, episodic return=586.127197265625\n", + "global step=4558848, episodic return=635.0225830078125\n", + "global step=4558848, episodic return=562.8848876953125\n", + "global step=4560896, episodic return=599.6589965820312\n", + "global step=4560896, episodic return=604.807373046875\n", + "global step=4560896, episodic return=603.10595703125\n", + "global step=4560896, episodic return=592.4795532226562\n", + "global step=4560896, episodic return=586.8936157226562\n", + "global step=4560896, episodic return=581.7810668945312\n", + "global step=4560896, episodic return=534.7542724609375\n", + "global step=4560896, episodic return=611.9319458007812\n", + "global step=4562944, episodic return=569.2830200195312\n", + "global step=4562944, episodic return=707.8085327148438\n", + "global step=4562944, episodic return=577.2581787109375\n", + "global step=4562944, episodic return=607.64404296875\n", + "global step=4564992, episodic return=600.1344604492188\n", + "global step=4564992, episodic return=526.1214599609375\n", + "global step=4564992, episodic return=608.5929565429688\n", + "global step=4564992, episodic return=610.6033325195312\n", + "global step=4567040, episodic return=604.2611083984375\n", + "global step=4569088, episodic return=546.3419799804688\n", + "global step=4569088, episodic return=602.701904296875\n", + "global step=4569088, episodic return=564.908935546875\n", + "global step=4569088, episodic return=611.159423828125\n", + "global step=4569088, episodic return=590.6908569335938\n", + "global step=4569088, episodic return=25.76885223388672\n", + "global step=4571136, episodic return=571.6761474609375\n", + "global step=4571136, episodic return=584.2294311523438\n", + "global step=4573184, episodic return=578.85986328125\n", + "global step=4573184, episodic return=619.7649536132812\n", + "global step=4573184, episodic return=574.1082763671875\n", + "global step=4575232, episodic return=595.7103271484375\n", + "global step=4575232, episodic return=600.7535400390625\n", + "global step=4575232, episodic return=567.0538940429688\n", + "global step=4577280, episodic return=517.99267578125\n", + "global step=4579328, episodic return=602.3579711914062\n", + "global step=4581376, episodic return=574.7462158203125\n", + "global step=4581376, episodic return=611.8336791992188\n", + "global step=4581376, episodic return=29.470821380615234\n", + "global step=4583424, episodic return=599.8809204101562\n", + "global step=4583424, episodic return=577.9915771484375\n", + "global step=4585472, episodic return=591.7229614257812\n", + "global step=4585472, episodic return=712.5413208007812\n", + "global step=4585472, episodic return=618.3614501953125\n", + "global step=4585472, episodic return=598.425048828125\n", + "global step=4587520, episodic return=719.2388916015625\n", + "global step=4587520, episodic return=584.7286987304688\n", + "global step=4587520, episodic return=577.3187255859375\n", + "global step=4587520, episodic return=662.3789672851562\n", + "global step=4587520, episodic return=576.0932006835938\n", + "global step=4589568, episodic return=575.707763671875\n", + "global step=4591616, episodic return=578.8779296875\n", + "global step=4591616, episodic return=589.8529052734375\n", + "global step=4591616, episodic return=578.2001953125\n", + "global step=4591616, episodic return=571.7540283203125\n", + "global step=4593664, episodic return=608.1117553710938\n", + "global step=4593664, episodic return=598.7078247070312\n", + "global step=4593664, episodic return=609.212890625\n", + "global step=4593664, episodic return=610.5747680664062\n", + "global step=4595712, episodic return=611.7290649414062\n", + "global step=4597760, episodic return=579.5875244140625\n", + "global step=4605952, episodic return=19.918432235717773\n", + "global step=4605952, episodic return=591.9270629882812\n", + "global step=4605952, episodic return=588.4039916992188\n", + "global step=4605952, episodic return=615.8405151367188\n", + "global step=4608000, episodic return=607.0617065429688\n", + "global step=4608000, episodic return=617.2634887695312\n", + "global step=4608000, episodic return=589.9705810546875\n", + "global step=4608000, episodic return=550.2901611328125\n", + "global step=4608000, episodic return=614.1085815429688\n", + "global step=4612096, episodic return=28.976701736450195\n", + "global step=4614144, episodic return=589.8562622070312\n", + "global step=4616192, episodic return=528.5098876953125\n", + "global step=4616192, episodic return=618.032958984375\n", + "global step=4616192, episodic return=617.6339721679688\n", + "global step=4618240, episodic return=641.4823608398438\n", + "global step=4618240, episodic return=555.3792114257812\n", + "global step=4620288, episodic return=29.594730377197266\n", + "global step=4620288, episodic return=32.089210510253906\n", + "global step=4622336, episodic return=606.9434204101562\n", + "global step=4622336, episodic return=540.7054443359375\n", + "global step=4622336, episodic return=602.9163818359375\n", + "global step=4622336, episodic return=625.9275512695312\n", + "global step=4626432, episodic return=730.751953125\n", + "global step=4626432, episodic return=801.141357421875\n", + "global step=4626432, episodic return=593.1759033203125\n", + "global step=4626432, episodic return=598.192626953125\n", + "global step=4626432, episodic return=572.7047119140625\n", + "global step=4626432, episodic return=584.4960327148438\n", + "global step=4628480, episodic return=609.5094604492188\n", + "global step=4628480, episodic return=596.1841430664062\n", + "global step=4628480, episodic return=621.7564086914062\n", + "global step=4630528, episodic return=612.2288818359375\n", + "global step=4630528, episodic return=596.5332641601562\n", + "global step=4630528, episodic return=578.6676635742188\n", + "global step=4630528, episodic return=620.2068481445312\n", + "global step=4632576, episodic return=589.4290771484375\n", + "global step=4636672, episodic return=578.2177124023438\n", + "global step=4638720, episodic return=584.569091796875\n", + "global step=4638720, episodic return=595.1162719726562\n", + "global step=4638720, episodic return=580.294677734375\n", + "global step=4638720, episodic return=567.88525390625\n", + "global step=4640768, episodic return=618.2122802734375\n", + "global step=4640768, episodic return=26.960817337036133\n", + "global step=4642816, episodic return=593.7539672851562\n", + "global step=4644864, episodic return=738.4595336914062\n", + "global step=4644864, episodic return=611.7003784179688\n", + "global step=4648960, episodic return=600.7677612304688\n", + "global step=4648960, episodic return=610.816650390625\n", + "global step=4648960, episodic return=587.9114379882812\n", + "global step=4651008, episodic return=575.5775756835938\n", + "global step=4651008, episodic return=559.44384765625\n", + "global step=4651008, episodic return=606.996337890625\n", + "global step=4651008, episodic return=603.3960571289062\n", + "global step=4651008, episodic return=26.664817810058594\n", + "global step=4651008, episodic return=79.69292449951172\n", + "global step=4653056, episodic return=589.4854736328125\n", + "global step=4655104, episodic return=588.5093383789062\n", + "global step=4655104, episodic return=572.7140502929688\n", + "global step=4657152, episodic return=608.9061279296875\n", + "global step=4657152, episodic return=589.4598388671875\n", + "global step=4659200, episodic return=594.37744140625\n", + "global step=4659200, episodic return=591.99853515625\n", + "global step=4659200, episodic return=586.7876586914062\n", + "global step=4661248, episodic return=598.8064575195312\n", + "global step=4661248, episodic return=562.9617309570312\n", + "global step=4661248, episodic return=581.58056640625\n", + "global step=4663296, episodic return=597.5970458984375\n", + "global step=4663296, episodic return=623.3239135742188\n", + "global step=4663296, episodic return=560.5679931640625\n", + "global step=4663296, episodic return=591.3673706054688\n", + "global step=4665344, episodic return=593.4332885742188\n", + "global step=4665344, episodic return=599.6096801757812\n", + "global step=4667392, episodic return=610.6520385742188\n", + "global step=4669440, episodic return=576.7491455078125\n", + "global step=4671488, episodic return=634.7777099609375\n", + "global step=4671488, episodic return=593.5743408203125\n", + "global step=4673536, episodic return=611.4057006835938\n", + "global step=4673536, episodic return=594.820556640625\n", + "global step=4673536, episodic return=569.6917724609375\n", + "global step=4675584, episodic return=593.5220336914062\n", + "global step=4675584, episodic return=584.4310302734375\n", + "global step=4677632, episodic return=586.5088500976562\n", + "global step=4677632, episodic return=563.1248168945312\n", + "global step=4679680, episodic return=597.4848022460938\n", + "global step=4681728, episodic return=578.6375122070312\n", + "global step=4681728, episodic return=604.2434692382812\n", + "global step=4687872, episodic return=588.7354736328125\n", + "global step=4689920, episodic return=583.2872924804688\n", + "global step=4689920, episodic return=594.0230712890625\n", + "global step=4694016, episodic return=587.2826538085938\n", + "global step=4696064, episodic return=807.9833984375\n", + "global step=4696064, episodic return=579.9547729492188\n", + "global step=4702208, episodic return=603.4376831054688\n", + "global step=4702208, episodic return=587.741455078125\n", + "global step=4704256, episodic return=596.1394653320312\n", + "global step=4704256, episodic return=654.4703979492188\n", + "global step=4706304, episodic return=627.9920654296875\n", + "global step=4706304, episodic return=564.4124145507812\n", + "global step=4708352, episodic return=554.032958984375\n", + "global step=4710400, episodic return=597.4634399414062\n", + "global step=4710400, episodic return=599.8228759765625\n", + "global step=4712448, episodic return=602.9022827148438\n", + "global step=4712448, episodic return=573.6976928710938\n", + "global step=4716544, episodic return=583.4611206054688\n", + "global step=4718592, episodic return=600.29736328125\n", + "global step=4722688, episodic return=570.4867553710938\n", + "global step=4724736, episodic return=572.7200317382812\n", + "global step=4726784, episodic return=631.3419799804688\n", + "global step=4728832, episodic return=602.1646728515625\n", + "global step=4730880, episodic return=580.6680297851562\n", + "global step=4734976, episodic return=575.7882080078125\n", + "global step=4737024, episodic return=586.1808471679688\n", + "global step=4741120, episodic return=632.4760131835938\n", + "global step=4743168, episodic return=583.3375854492188\n", + "global step=4743168, episodic return=571.18017578125\n", + "global step=4743168, episodic return=617.2742919921875\n", + "global step=4745216, episodic return=575.0709228515625\n", + "global step=4745216, episodic return=601.6646118164062\n", + "global step=4753408, episodic return=594.0416870117188\n", + "global step=4753408, episodic return=589.2913818359375\n", + "global step=4753408, episodic return=615.1480712890625\n", + "global step=4753408, episodic return=617.54736328125\n", + "global step=4753408, episodic return=592.3613891601562\n", + "global step=4757504, episodic return=584.0848388671875\n", + "global step=4761600, episodic return=616.7763061523438\n", + "global step=4771840, episodic return=612.569091796875\n", + "global step=4771840, episodic return=611.7686157226562\n", + "global step=4775936, episodic return=600.8557739257812\n", + "global step=4788224, episodic return=549.5399169921875\n", + "global step=4790272, episodic return=566.703857421875\n", + "global step=4794368, episodic return=611.0432739257812\n", + "global step=4802560, episodic return=616.6146850585938\n", + "global step=4802560, episodic return=548.5451049804688\n", + "global step=4802560, episodic return=585.485595703125\n", + "global step=4810752, episodic return=632.5506591796875\n", + "global step=4812800, episodic return=594.4912109375\n", + "global step=4812800, episodic return=615.497802734375\n", + "global step=4814848, episodic return=615.5654907226562\n", + "global step=4818944, episodic return=608.0699462890625\n", + "global step=4820992, episodic return=576.1906127929688\n", + "global step=4827136, episodic return=584.8549194335938\n", + "global step=4829184, episodic return=577.5637817382812\n", + "global step=4833280, episodic return=647.2490844726562\n", + "global step=4833280, episodic return=629.4730224609375\n", + "global step=4835328, episodic return=580.0103759765625\n", + "global step=4835328, episodic return=553.3807983398438\n", + "global step=4837376, episodic return=566.6536254882812\n", + "global step=4837376, episodic return=526.8690795898438\n", + "global step=4839424, episodic return=562.1295776367188\n", + "global step=4841472, episodic return=617.5358276367188\n", + "global step=4843520, episodic return=646.6483764648438\n", + "global step=4843520, episodic return=213.67153930664062\n", + "global step=4847616, episodic return=612.4693603515625\n", + "global step=4855808, episodic return=531.1995849609375\n", + "global step=4857856, episodic return=589.1709594726562\n", + "global step=4857856, episodic return=541.7449340820312\n", + "global step=4859904, episodic return=555.8805541992188\n", + "global step=4861952, episodic return=550.9251708984375\n", + "global step=4861952, episodic return=590.5122680664062\n", + "global step=4868096, episodic return=546.84765625\n", + "global step=4868096, episodic return=524.7655029296875\n", + "global step=4870144, episodic return=673.5052490234375\n", + "global step=4870144, episodic return=576.0431518554688\n", + "global step=4870144, episodic return=639.421142578125\n", + "global step=4878336, episodic return=572.5654296875\n", + "global step=4882432, episodic return=459.935546875\n", + "global step=4882432, episodic return=541.6381225585938\n", + "global step=4884480, episodic return=560.240234375\n", + "global step=4886528, episodic return=568.0408935546875\n", + "global step=4888576, episodic return=545.239990234375\n", + "global step=4888576, episodic return=585.6445922851562\n", + "global step=4888576, episodic return=622.4419555664062\n", + "global step=4888576, episodic return=559.2921142578125\n", + "global step=4888576, episodic return=577.83349609375\n", + "global step=4890624, episodic return=567.6170654296875\n", + "global step=4896768, episodic return=553.779296875\n", + "global step=4896768, episodic return=406.6592712402344\n", + "global step=4896768, episodic return=560.8989868164062\n", + "global step=4898816, episodic return=608.0416259765625\n", + "global step=4898816, episodic return=595.5224609375\n", + "global step=4898816, episodic return=533.6660766601562\n", + "global step=4898816, episodic return=559.947265625\n", + "global step=4898816, episodic return=584.939697265625\n", + "global step=4900864, episodic return=585.8446655273438\n", + "global step=4900864, episodic return=561.922607421875\n", + "global step=4900864, episodic return=564.6423950195312\n", + "global step=4900864, episodic return=558.1748657226562\n", + "global step=4902912, episodic return=547.1853637695312\n", + "global step=4902912, episodic return=561.8580322265625\n", + "global step=4904960, episodic return=561.4786987304688\n", + "global step=4907008, episodic return=544.7718505859375\n", + "global step=4907008, episodic return=555.0641479492188\n", + "global step=4907008, episodic return=550.1177978515625\n", + "global step=4907008, episodic return=605.3369140625\n", + "global step=4907008, episodic return=561.7413940429688\n", + "global step=4909056, episodic return=566.6205444335938\n", + "global step=4911104, episodic return=582.8474731445312\n", + "global step=4911104, episodic return=562.5160522460938\n", + "global step=4913152, episodic return=535.8073120117188\n", + "global step=4913152, episodic return=593.7761840820312\n", + "global step=4915200, episodic return=65.35284423828125\n", + "global step=4915200, episodic return=558.8633422851562\n", + "global step=4915200, episodic return=561.9652709960938\n", + "global step=4917248, episodic return=586.2621459960938\n", + "global step=4917248, episodic return=662.7879028320312\n", + "global step=4917248, episodic return=603.2898559570312\n", + "global step=4917248, episodic return=577.8448486328125\n", + "global step=4917248, episodic return=577.3063354492188\n", + "global step=4917248, episodic return=563.072021484375\n", + "global step=4917248, episodic return=606.1220703125\n", + "global step=4917248, episodic return=555.724853515625\n", + "global step=4917248, episodic return=609.8486328125\n", + "global step=4917248, episodic return=579.3672485351562\n", + "global step=4919296, episodic return=582.3278198242188\n", + "global step=4919296, episodic return=630.6318969726562\n", + "global step=4921344, episodic return=93.25114440917969\n", + "global step=4921344, episodic return=560.6508178710938\n", + "global step=4921344, episodic return=547.28662109375\n", + "global step=4923392, episodic return=552.8575439453125\n", + "global step=4923392, episodic return=571.2841186523438\n", + "global step=4923392, episodic return=562.7478637695312\n", + "global step=4925440, episodic return=660.0968627929688\n", + "global step=4925440, episodic return=527.5048217773438\n", + "global step=4925440, episodic return=536.4951782226562\n", + "global step=4925440, episodic return=589.7599487304688\n", + "global step=4925440, episodic return=587.4116821289062\n", + "global step=4925440, episodic return=585.0991821289062\n", + "global step=4927488, episodic return=608.6535034179688\n", + "global step=4927488, episodic return=480.2887268066406\n", + "global step=4929536, episodic return=588.0183715820312\n", + "global step=4929536, episodic return=590.9551391601562\n", + "global step=4931584, episodic return=570.83056640625\n", + "global step=4933632, episodic return=583.2543334960938\n", + "global step=4933632, episodic return=557.0462646484375\n", + "global step=4933632, episodic return=597.1187133789062\n", + "global step=4933632, episodic return=545.4187622070312\n", + "global step=4935680, episodic return=589.1060791015625\n", + "global step=4937728, episodic return=551.4612426757812\n", + "global step=4937728, episodic return=573.6245727539062\n", + "global step=4939776, episodic return=493.9139099121094\n", + "global step=4939776, episodic return=572.6038208007812\n", + "global step=4941824, episodic return=599.6771850585938\n", + "global step=4943872, episodic return=553.9243774414062\n", + "global step=4943872, episodic return=83.32637023925781\n", + "global step=4943872, episodic return=590.1180419921875\n", + "global step=4943872, episodic return=584.1175537109375\n", + "global step=4945920, episodic return=569.9127807617188\n", + "global step=4945920, episodic return=406.0331726074219\n", + "global step=4947968, episodic return=589.7159423828125\n", + "global step=4950016, episodic return=549.944091796875\n", + "global step=4950016, episodic return=601.7757568359375\n", + "global step=4950016, episodic return=581.2999877929688\n", + "global step=4952064, episodic return=550.0537109375\n", + "global step=4952064, episodic return=647.9478149414062\n", + "global step=4954112, episodic return=591.747802734375\n", + "global step=4956160, episodic return=555.0576171875\n", + "global step=4956160, episodic return=536.4226684570312\n", + "global step=4958208, episodic return=575.5767211914062\n", + "global step=4958208, episodic return=566.0845336914062\n", + "global step=4958208, episodic return=597.0575561523438\n", + "global step=4958208, episodic return=598.3816528320312\n", + "global step=4960256, episodic return=532.5001831054688\n", + "global step=4960256, episodic return=558.8004760742188\n", + "global step=4960256, episodic return=545.0895385742188\n", + "global step=4962304, episodic return=623.2891235351562\n", + "global step=4962304, episodic return=572.7557373046875\n", + "global step=4962304, episodic return=576.1162719726562\n", + "global step=4962304, episodic return=575.4553833007812\n", + "global step=4962304, episodic return=582.6622924804688\n", + "global step=4962304, episodic return=573.428955078125\n", + "global step=4962304, episodic return=599.799560546875\n", + "global step=4964352, episodic return=640.5347900390625\n", + "global step=4964352, episodic return=544.6113891601562\n", + "global step=4964352, episodic return=568.0700073242188\n", + "global step=4964352, episodic return=575.6771240234375\n", + "global step=4966400, episodic return=572.8092041015625\n", + "global step=4966400, episodic return=597.7703247070312\n", + "global step=4968448, episodic return=553.2081298828125\n", + "global step=4968448, episodic return=616.8070678710938\n", + "global step=4968448, episodic return=570.889892578125\n", + "global step=4968448, episodic return=583.7060546875\n", + "global step=4970496, episodic return=621.3291625976562\n", + "global step=4970496, episodic return=570.3638305664062\n", + "global step=4970496, episodic return=531.5891723632812\n", + "global step=4970496, episodic return=600.2186889648438\n", + "global step=4970496, episodic return=611.0189819335938\n", + "global step=4970496, episodic return=573.6130981445312\n", + "global step=4970496, episodic return=571.4669189453125\n", + "global step=4972544, episodic return=588.4319458007812\n", + "global step=4972544, episodic return=617.7968139648438\n", + "global step=4974592, episodic return=558.0929565429688\n", + "global step=4974592, episodic return=609.6549682617188\n", + "global step=4974592, episodic return=608.028564453125\n", + "global step=4976640, episodic return=570.3995361328125\n", + "global step=4978688, episodic return=608.315673828125\n", + "global step=4978688, episodic return=571.4441528320312\n", + "global step=4978688, episodic return=546.6116333007812\n", + "global step=4980736, episodic return=578.4075317382812\n", + "global step=4980736, episodic return=615.9187622070312\n", + "global step=4980736, episodic return=591.2341918945312\n", + "global step=4980736, episodic return=577.4959106445312\n", + "global step=4980736, episodic return=616.62451171875\n", + "global step=4980736, episodic return=592.2908325195312\n", + "global step=4980736, episodic return=561.0222778320312\n", + "global step=4982784, episodic return=593.970458984375\n", + "global step=4982784, episodic return=559.6903076171875\n", + "global step=4982784, episodic return=542.97802734375\n", + "global step=4982784, episodic return=655.0321655273438\n", + "global step=4982784, episodic return=562.8645629882812\n", + "global step=4982784, episodic return=549.932861328125\n", + "global step=4982784, episodic return=601.8392944335938\n", + "global step=4984832, episodic return=583.3294067382812\n", + "global step=4984832, episodic return=617.39306640625\n", + "global step=4984832, episodic return=594.177734375\n", + "global step=4984832, episodic return=550.684326171875\n", + "global step=4984832, episodic return=606.072998046875\n", + "global step=4986880, episodic return=579.238037109375\n", + "global step=4986880, episodic return=589.13671875\n", + "global step=4986880, episodic return=708.9058837890625\n", + "global step=4988928, episodic return=549.4042358398438\n", + "global step=4988928, episodic return=620.3067626953125\n", + "global step=4988928, episodic return=635.1585693359375\n", + "global step=4988928, episodic return=587.5234375\n", + "global step=4988928, episodic return=557.1412963867188\n", + "global step=4988928, episodic return=589.1357421875\n", + "global step=4988928, episodic return=563.6912231445312\n", + "global step=4990976, episodic return=603.15625\n", + "global step=4990976, episodic return=569.7109985351562\n", + "global step=4990976, episodic return=606.4815063476562\n", + "global step=4990976, episodic return=602.6221923828125\n", + "global step=4990976, episodic return=580.5748901367188\n", + "global step=4990976, episodic return=563.1175537109375\n", + "global step=4990976, episodic return=587.7916870117188\n", + "global step=4993024, episodic return=559.7921752929688\n", + "global step=4993024, episodic return=592.6565551757812\n", + "global step=4993024, episodic return=582.0515747070312\n", + "global step=4993024, episodic return=435.18634033203125\n", + "global step=4993024, episodic return=585.4257202148438\n", + "global step=4995072, episodic return=568.8787841796875\n", + "global step=4995072, episodic return=573.8114013671875\n", + "global step=4995072, episodic return=78.97296905517578\n", + "global step=4995072, episodic return=619.0308227539062\n", + "global step=4995072, episodic return=570.318115234375\n", + "global step=4995072, episodic return=570.1473388671875\n", + "global step=4997120, episodic return=580.7760009765625\n", + "global step=4997120, episodic return=554.5697631835938\n", + "global step=4997120, episodic return=612.0386352539062\n", + "global step=4999168, episodic return=635.494140625\n", + "global step=4999168, episodic return=610.1087646484375\n", + "global step=5001216, episodic return=569.6090087890625\n", + "global step=5001216, episodic return=582.9075927734375\n", + "global step=5001216, episodic return=572.8162231445312\n", + "global step=5001216, episodic return=578.288818359375\n", + "global step=5001216, episodic return=580.91943359375\n", + "global step=5001216, episodic return=626.9228515625\n", + "global step=5003264, episodic return=545.938232421875\n", + "global step=5003264, episodic return=589.6392822265625\n", + "global step=5003264, episodic return=590.454345703125\n", + "global step=5003264, episodic return=565.4016723632812\n", + "global step=5003264, episodic return=569.5081176757812\n", + "global step=5003264, episodic return=605.3684692382812\n", + "global step=5003264, episodic return=569.2824096679688\n", + "global step=5003264, episodic return=623.1805419921875\n", + "global step=5005312, episodic return=568.818603515625\n", + "global step=5005312, episodic return=565.3272705078125\n", + "global step=5005312, episodic return=569.67041015625\n", + "global step=5005312, episodic return=585.4934692382812\n", + "global step=5005312, episodic return=606.4593505859375\n", + "global step=5007360, episodic return=592.130615234375\n", + "global step=5007360, episodic return=560.93017578125\n", + "global step=5007360, episodic return=566.4998168945312\n", + "global step=5007360, episodic return=590.6752319335938\n", + "global step=5007360, episodic return=576.9082641601562\n", + "global step=5009408, episodic return=602.9510498046875\n", + "global step=5009408, episodic return=601.2559204101562\n", + "global step=5009408, episodic return=571.9557495117188\n", + "global step=5009408, episodic return=574.3258056640625\n", + "global step=5009408, episodic return=566.5360717773438\n", + "global step=5009408, episodic return=568.0203247070312\n", + "global step=5011456, episodic return=575.4376831054688\n", + "global step=5011456, episodic return=595.1268920898438\n", + "global step=5011456, episodic return=543.4634399414062\n", + "global step=5011456, episodic return=579.8348999023438\n", + "global step=5011456, episodic return=578.2542114257812\n", + "global step=5011456, episodic return=590.9218139648438\n", + "global step=5011456, episodic return=595.9147338867188\n", + "global step=5011456, episodic return=573.9378051757812\n", + "global step=5011456, episodic return=450.4339599609375\n", + "global step=5013504, episodic return=605.0347900390625\n", + "global step=5013504, episodic return=625.0722045898438\n", + "global step=5013504, episodic return=591.3990478515625\n", + "global step=5013504, episodic return=574.3457641601562\n", + "global step=5013504, episodic return=569.6273803710938\n", + "global step=5013504, episodic return=578.6371459960938\n", + "global step=5013504, episodic return=601.68994140625\n", + "global step=5015552, episodic return=581.5289306640625\n", + "global step=5015552, episodic return=557.5361328125\n", + "global step=5015552, episodic return=562.1244506835938\n", + "global step=5015552, episodic return=593.00439453125\n", + "global step=5015552, episodic return=608.5062255859375\n", + "global step=5015552, episodic return=587.7700805664062\n", + "global step=5015552, episodic return=631.5242919921875\n", + "global step=5017600, episodic return=580.638427734375\n", + "global step=5017600, episodic return=598.6240844726562\n", + "global step=5017600, episodic return=551.1023559570312\n", + "global step=5017600, episodic return=558.1376342773438\n", + "global step=5017600, episodic return=527.61669921875\n", + "global step=5017600, episodic return=526.5696411132812\n", + "global step=5017600, episodic return=591.3616943359375\n", + "global step=5017600, episodic return=611.5479736328125\n", + "global step=5017600, episodic return=579.60302734375\n", + "global step=5017600, episodic return=578.2930908203125\n", + "global step=5019648, episodic return=597.7858276367188\n", + "global step=5019648, episodic return=541.81640625\n", + "global step=5019648, episodic return=577.8049926757812\n", + "global step=5019648, episodic return=609.0341186523438\n", + "global step=5019648, episodic return=549.05810546875\n", + "global step=5019648, episodic return=614.416015625\n", + "global step=5019648, episodic return=570.6146240234375\n", + "global step=5019648, episodic return=574.1024780273438\n", + "global step=5021696, episodic return=567.6651611328125\n", + "global step=5021696, episodic return=597.9834594726562\n", + "global step=5021696, episodic return=595.5968627929688\n", + "global step=5021696, episodic return=578.447509765625\n", + "global step=5021696, episodic return=592.7299194335938\n", + "global step=5021696, episodic return=516.802978515625\n", + "global step=5021696, episodic return=642.4095458984375\n", + "global step=5021696, episodic return=571.8213500976562\n", + "global step=5021696, episodic return=598.3829345703125\n", + "global step=5021696, episodic return=606.8287963867188\n", + "global step=5023744, episodic return=626.6854858398438\n", + "global step=5023744, episodic return=565.247802734375\n", + "global step=5023744, episodic return=586.1886596679688\n", + "global step=5023744, episodic return=568.5015869140625\n", + "global step=5023744, episodic return=579.9406127929688\n", + "global step=5023744, episodic return=606.7989501953125\n", + "global step=5023744, episodic return=604.9100952148438\n", + "global step=5023744, episodic return=599.8626708984375\n", + "global step=5025792, episodic return=636.1288452148438\n", + "global step=5025792, episodic return=581.3180541992188\n", + "global step=5025792, episodic return=621.9286499023438\n", + "global step=5025792, episodic return=568.3578491210938\n", + "global step=5025792, episodic return=554.525146484375\n", + "global step=5025792, episodic return=595.0970458984375\n", + "global step=5025792, episodic return=579.7463989257812\n", + "global step=5027840, episodic return=571.4910278320312\n", + "global step=5027840, episodic return=514.35595703125\n", + "global step=5027840, episodic return=596.8850708007812\n", + "global step=5027840, episodic return=618.8889770507812\n", + "global step=5029888, episodic return=630.651123046875\n", + "global step=5029888, episodic return=645.6676025390625\n", + "global step=5029888, episodic return=614.7850952148438\n", + "global step=5029888, episodic return=583.0621948242188\n", + "global step=5029888, episodic return=496.93572998046875\n", + "global step=5029888, episodic return=588.8539428710938\n", + "global step=5029888, episodic return=583.0165405273438\n", + "global step=5031936, episodic return=581.956298828125\n", + "global step=5031936, episodic return=618.872802734375\n", + "global step=5031936, episodic return=557.2924194335938\n", + "global step=5031936, episodic return=608.0723876953125\n", + "global step=5031936, episodic return=578.943115234375\n", + "global step=5033984, episodic return=655.2744140625\n", + "global step=5033984, episodic return=633.9605102539062\n", + "global step=5033984, episodic return=577.2069702148438\n", + "global step=5033984, episodic return=585.76416015625\n", + "global step=5033984, episodic return=556.6143798828125\n", + "global step=5033984, episodic return=567.2974853515625\n", + "global step=5033984, episodic return=555.3651123046875\n", + "global step=5033984, episodic return=541.5552978515625\n", + "global step=5033984, episodic return=535.66259765625\n", + "global step=5033984, episodic return=617.0858154296875\n", + "global step=5033984, episodic return=588.1466674804688\n", + "global step=5033984, episodic return=575.2426147460938\n", + "global step=5036032, episodic return=592.830078125\n", + "global step=5036032, episodic return=607.91064453125\n", + "global step=5036032, episodic return=604.157470703125\n", + "global step=5036032, episodic return=570.46875\n", + "global step=5036032, episodic return=537.7896728515625\n", + "global step=5036032, episodic return=554.9345092773438\n", + "global step=5036032, episodic return=594.3795776367188\n", + "global step=5036032, episodic return=542.0072021484375\n", + "global step=5036032, episodic return=597.9738159179688\n", + "global step=5036032, episodic return=564.7495727539062\n", + "global step=5036032, episodic return=624.265869140625\n", + "global step=5036032, episodic return=609.8289794921875\n", + "global step=5038080, episodic return=533.6897583007812\n", + "global step=5038080, episodic return=562.7064208984375\n", + "global step=5038080, episodic return=583.2199096679688\n", + "global step=5038080, episodic return=591.0000610351562\n", + "global step=5038080, episodic return=609.9501342773438\n", + "global step=5038080, episodic return=617.060546875\n", + "global step=5038080, episodic return=577.6726684570312\n", + "global step=5038080, episodic return=544.7901611328125\n", + "global step=5040128, episodic return=558.409912109375\n", + "global step=5040128, episodic return=594.261962890625\n", + "global step=5040128, episodic return=622.7744140625\n", + "global step=5040128, episodic return=636.3510131835938\n", + "global step=5040128, episodic return=531.1229248046875\n", + "global step=5040128, episodic return=588.8785400390625\n", + "global step=5040128, episodic return=557.0869750976562\n", + "global step=5040128, episodic return=579.2567749023438\n", + "global step=5040128, episodic return=537.556396484375\n", + "global step=5040128, episodic return=583.7874145507812\n", + "global step=5040128, episodic return=567.78173828125\n", + "global step=5042176, episodic return=602.156494140625\n", + "global step=5042176, episodic return=592.685791015625\n", + "global step=5044224, episodic return=539.268798828125\n", + "global step=5044224, episodic return=585.91064453125\n", + "global step=5044224, episodic return=594.6505126953125\n", + "global step=5044224, episodic return=588.5325317382812\n", + "global step=5046272, episodic return=636.2476806640625\n", + "global step=5046272, episodic return=600.21533203125\n", + "global step=5048320, episodic return=600.6181030273438\n", + "global step=5048320, episodic return=611.2715454101562\n", + "global step=5048320, episodic return=580.3086547851562\n", + "global step=5048320, episodic return=599.512451171875\n", + "global step=5048320, episodic return=603.8435668945312\n", + "global step=5048320, episodic return=541.7333984375\n", + "global step=5048320, episodic return=571.7318115234375\n", + "global step=5048320, episodic return=546.512451171875\n", + "global step=5048320, episodic return=542.9639892578125\n", + "global step=5050368, episodic return=590.0360107421875\n", + "global step=5050368, episodic return=551.5383911132812\n", + "global step=5050368, episodic return=578.9475708007812\n", + "global step=5050368, episodic return=505.35394287109375\n", + "global step=5050368, episodic return=612.30712890625\n", + "global step=5050368, episodic return=568.1807250976562\n", + "global step=5050368, episodic return=605.4133911132812\n", + "global step=5050368, episodic return=592.2162475585938\n", + "global step=5050368, episodic return=580.11181640625\n", + "global step=5052416, episodic return=600.7512817382812\n", + "global step=5052416, episodic return=605.9932861328125\n", + "global step=5052416, episodic return=615.4857177734375\n", + "global step=5054464, episodic return=589.7462768554688\n", + "global step=5054464, episodic return=579.8395385742188\n", + "global step=5054464, episodic return=553.1900634765625\n", + "global step=5054464, episodic return=583.0641479492188\n", + "global step=5056512, episodic return=563.6980590820312\n", + "global step=5056512, episodic return=633.368896484375\n", + "global step=5056512, episodic return=563.3157958984375\n", + "global step=5056512, episodic return=598.7010498046875\n", + "global step=5056512, episodic return=547.6521606445312\n", + "global step=5056512, episodic return=581.5271606445312\n", + "global step=5056512, episodic return=604.6200561523438\n", + "global step=5056512, episodic return=578.6939697265625\n", + "global step=5056512, episodic return=561.8610229492188\n", + "global step=5056512, episodic return=593.6494140625\n", + "global step=5056512, episodic return=345.662353515625\n", + "global step=5056512, episodic return=566.083251953125\n", + "global step=5058560, episodic return=592.9130249023438\n", + "global step=5058560, episodic return=591.868408203125\n", + "global step=5058560, episodic return=606.9841918945312\n", + "global step=5058560, episodic return=612.852783203125\n", + "global step=5058560, episodic return=609.7611694335938\n", + "global step=5058560, episodic return=604.8353881835938\n", + "global step=5058560, episodic return=574.46923828125\n", + "global step=5058560, episodic return=595.8820190429688\n", + "global step=5058560, episodic return=621.701904296875\n", + "global step=5058560, episodic return=534.5713500976562\n", + "global step=5058560, episodic return=623.7160034179688\n", + "global step=5058560, episodic return=593.6730346679688\n", + "global step=5058560, episodic return=584.9284057617188\n", + "global step=5058560, episodic return=638.9566040039062\n", + "global step=5060608, episodic return=576.14599609375\n", + "global step=5060608, episodic return=643.0463256835938\n", + "global step=5060608, episodic return=596.3865356445312\n", + "global step=5060608, episodic return=622.6851806640625\n", + "global step=5060608, episodic return=576.6525268554688\n", + "global step=5060608, episodic return=591.6124267578125\n", + "global step=5060608, episodic return=595.4087524414062\n", + "global step=5060608, episodic return=551.6198120117188\n", + "global step=5060608, episodic return=590.4409790039062\n", + "global step=5060608, episodic return=589.6671142578125\n", + "global step=5060608, episodic return=588.7852783203125\n", + "global step=5060608, episodic return=509.74859619140625\n", + "global step=5060608, episodic return=562.32568359375\n", + "global step=5062656, episodic return=566.8951416015625\n", + "global step=5062656, episodic return=552.5914916992188\n", + "global step=5062656, episodic return=576.7864379882812\n", + "global step=5062656, episodic return=570.9324340820312\n", + "global step=5064704, episodic return=539.6044921875\n", + "global step=5064704, episodic return=584.8250732421875\n", + "global step=5064704, episodic return=521.4306640625\n", + "global step=5064704, episodic return=598.528564453125\n", + "global step=5064704, episodic return=534.4515991210938\n", + "global step=5064704, episodic return=606.63427734375\n", + "global step=5064704, episodic return=608.6937255859375\n", + "global step=5064704, episodic return=563.470703125\n", + "global step=5064704, episodic return=630.1222534179688\n", + "global step=5066752, episodic return=572.5372314453125\n", + "global step=5066752, episodic return=590.5922241210938\n", + "global step=5066752, episodic return=582.6475219726562\n", + "global step=5066752, episodic return=593.8765869140625\n", + "global step=5066752, episodic return=567.9754028320312\n", + "global step=5068800, episodic return=628.6912841796875\n", + "global step=5068800, episodic return=584.0341186523438\n", + "global step=5068800, episodic return=591.0222778320312\n", + "global step=5068800, episodic return=562.7591552734375\n", + "global step=5070848, episodic return=599.7949829101562\n", + "global step=5070848, episodic return=606.9010620117188\n", + "global step=5070848, episodic return=594.09716796875\n", + "global step=5070848, episodic return=572.0332641601562\n", + "global step=5070848, episodic return=599.3523559570312\n", + "global step=5070848, episodic return=602.3626708984375\n", + "global step=5070848, episodic return=583.5407104492188\n", + "global step=5070848, episodic return=618.2392578125\n", + "global step=5070848, episodic return=598.3341064453125\n", + "global step=5072896, episodic return=654.1483154296875\n", + "global step=5072896, episodic return=551.4261474609375\n", + "global step=5072896, episodic return=475.76434326171875\n", + "global step=5072896, episodic return=545.0016479492188\n", + "global step=5072896, episodic return=635.1718139648438\n", + "global step=5074944, episodic return=604.2203979492188\n", + "global step=5074944, episodic return=624.9345703125\n", + "global step=5074944, episodic return=583.6034545898438\n", + "global step=5074944, episodic return=625.5145263671875\n", + "global step=5074944, episodic return=596.7125854492188\n", + "global step=5074944, episodic return=646.0070190429688\n", + "global step=5076992, episodic return=602.7474365234375\n", + "global step=5076992, episodic return=599.4810791015625\n", + "global step=5076992, episodic return=589.070068359375\n", + "global step=5076992, episodic return=589.2984619140625\n", + "global step=5076992, episodic return=601.1868896484375\n", + "global step=5076992, episodic return=577.9173583984375\n", + "global step=5076992, episodic return=617.5260620117188\n", + "global step=5076992, episodic return=630.6383056640625\n", + "global step=5076992, episodic return=609.843994140625\n", + "global step=5079040, episodic return=594.3921508789062\n", + "global step=5079040, episodic return=582.5671997070312\n", + "global step=5079040, episodic return=599.311279296875\n", + "global step=5079040, episodic return=582.0000610351562\n", + "global step=5079040, episodic return=531.0455932617188\n", + "global step=5079040, episodic return=579.968017578125\n", + "global step=5079040, episodic return=564.39794921875\n", + "global step=5079040, episodic return=581.4278564453125\n", + "global step=5079040, episodic return=536.55712890625\n", + "global step=5079040, episodic return=617.436279296875\n", + "global step=5079040, episodic return=618.9420776367188\n", + "global step=5079040, episodic return=582.7188110351562\n", + "global step=5079040, episodic return=582.6159057617188\n", + "global step=5081088, episodic return=627.36328125\n", + "global step=5081088, episodic return=590.650390625\n", + "global step=5081088, episodic return=572.365966796875\n", + "global step=5081088, episodic return=621.1588134765625\n", + "global step=5083136, episodic return=578.6221923828125\n", + "global step=5083136, episodic return=614.9046630859375\n", + "global step=5083136, episodic return=578.392333984375\n", + "global step=5083136, episodic return=545.62255859375\n", + "global step=5083136, episodic return=637.209228515625\n", + "global step=5083136, episodic return=633.425048828125\n", + "global step=5083136, episodic return=595.2911376953125\n", + "global step=5083136, episodic return=566.5833129882812\n", + "global step=5083136, episodic return=598.64111328125\n", + "global step=5083136, episodic return=616.6051635742188\n", + "global step=5083136, episodic return=601.920654296875\n", + "global step=5083136, episodic return=596.2213134765625\n", + "global step=5083136, episodic return=590.9158325195312\n", + "global step=5083136, episodic return=581.8014526367188\n", + "global step=5083136, episodic return=579.0694580078125\n", + "global step=5085184, episodic return=596.5374755859375\n", + "global step=5085184, episodic return=596.2122192382812\n", + "global step=5085184, episodic return=611.6113891601562\n", + "global step=5085184, episodic return=629.5302124023438\n", + "global step=5085184, episodic return=603.3663330078125\n", + "global step=5085184, episodic return=569.1875610351562\n", + "global step=5085184, episodic return=606.8333129882812\n", + "global step=5085184, episodic return=560.1571655273438\n", + "global step=5085184, episodic return=618.9428100585938\n", + "global step=5087232, episodic return=612.7098999023438\n", + "global step=5087232, episodic return=589.0642700195312\n", + "global step=5087232, episodic return=623.282958984375\n", + "global step=5087232, episodic return=582.7639770507812\n", + "global step=5087232, episodic return=604.2305297851562\n", + "global step=5087232, episodic return=623.5048217773438\n", + "global step=5087232, episodic return=610.1699829101562\n", + "global step=5087232, episodic return=601.4246826171875\n", + "global step=5087232, episodic return=614.5101928710938\n", + "global step=5087232, episodic return=607.05615234375\n", + "global step=5087232, episodic return=605.697998046875\n", + "global step=5087232, episodic return=683.0888061523438\n", + "global step=5087232, episodic return=595.8951416015625\n", + "global step=5087232, episodic return=611.4449462890625\n", + "global step=5087232, episodic return=546.2922973632812\n", + "global step=5089280, episodic return=611.6987915039062\n", + "global step=5089280, episodic return=574.1553344726562\n", + "global step=5089280, episodic return=648.6248168945312\n", + "global step=5089280, episodic return=586.451416015625\n", + "global step=5089280, episodic return=636.5747680664062\n", + "global step=5089280, episodic return=496.99285888671875\n", + "global step=5089280, episodic return=603.9456176757812\n", + "global step=5089280, episodic return=610.6715087890625\n", + "global step=5089280, episodic return=590.1735229492188\n", + "global step=5089280, episodic return=610.92822265625\n", + "global step=5089280, episodic return=632.4392700195312\n", + "global step=5089280, episodic return=606.8327026367188\n", + "global step=5089280, episodic return=272.2872619628906\n", + "global step=5089280, episodic return=588.783447265625\n", + "global step=5091328, episodic return=629.1318359375\n", + "global step=5091328, episodic return=585.1678466796875\n", + "global step=5091328, episodic return=569.5492553710938\n", + "global step=5091328, episodic return=643.2598876953125\n", + "global step=5091328, episodic return=610.8287353515625\n", + "global step=5091328, episodic return=624.5838012695312\n", + "global step=5091328, episodic return=604.5616455078125\n", + "global step=5091328, episodic return=536.7005615234375\n", + "global step=5091328, episodic return=596.7944946289062\n", + "global step=5091328, episodic return=620.419189453125\n", + "global step=5093376, episodic return=593.6752319335938\n", + "global step=5093376, episodic return=607.5708618164062\n", + "global step=5093376, episodic return=588.886962890625\n", + "global step=5093376, episodic return=605.3655395507812\n", + "global step=5093376, episodic return=596.3121337890625\n", + "global step=5093376, episodic return=613.8325805664062\n", + "global step=5093376, episodic return=586.5947265625\n", + "global step=5093376, episodic return=613.352294921875\n", + "global step=5093376, episodic return=612.9302978515625\n", + "global step=5093376, episodic return=600.7081909179688\n", + "global step=5095424, episodic return=590.7109375\n", + "global step=5095424, episodic return=582.6474609375\n", + "global step=5095424, episodic return=564.5751953125\n", + "global step=5095424, episodic return=588.54296875\n", + "global step=5095424, episodic return=570.090576171875\n", + "global step=5095424, episodic return=620.0983276367188\n", + "global step=5095424, episodic return=634.6380615234375\n", + "global step=5095424, episodic return=589.4073486328125\n", + "global step=5097472, episodic return=570.890869140625\n", + "global step=5097472, episodic return=597.9219970703125\n", + "global step=5097472, episodic return=588.9066772460938\n", + "global step=5097472, episodic return=565.7445678710938\n", + "global step=5097472, episodic return=590.3858032226562\n", + "global step=5097472, episodic return=602.2691040039062\n", + "global step=5097472, episodic return=630.8787231445312\n", + "global step=5097472, episodic return=639.0653076171875\n", + "global step=5097472, episodic return=605.9761352539062\n", + "global step=5097472, episodic return=586.7450561523438\n", + "global step=5097472, episodic return=643.4752197265625\n", + "global step=5097472, episodic return=609.9071044921875\n", + "global step=5099520, episodic return=611.2670288085938\n", + "global step=5099520, episodic return=569.3582763671875\n", + "global step=5099520, episodic return=599.4060668945312\n", + "global step=5099520, episodic return=576.354736328125\n", + "global step=5099520, episodic return=643.8480834960938\n", + "global step=5099520, episodic return=613.1583862304688\n", + "global step=5099520, episodic return=566.7774047851562\n", + "global step=5099520, episodic return=614.0238647460938\n", + "global step=5099520, episodic return=623.75537109375\n", + "global step=5099520, episodic return=600.443603515625\n", + "global step=5099520, episodic return=631.9645385742188\n", + "global step=5099520, episodic return=639.4935913085938\n", + "global step=5101568, episodic return=612.3001708984375\n", + "global step=5101568, episodic return=584.9627075195312\n", + "global step=5101568, episodic return=633.7061157226562\n", + "global step=5101568, episodic return=600.5426025390625\n", + "global step=5101568, episodic return=567.8445434570312\n", + "global step=5101568, episodic return=638.5191040039062\n", + "global step=5101568, episodic return=583.182373046875\n", + "global step=5101568, episodic return=588.5772705078125\n", + "global step=5101568, episodic return=596.1924438476562\n", + "global step=5101568, episodic return=604.4649658203125\n", + "global step=5101568, episodic return=574.1229858398438\n", + "global step=5101568, episodic return=595.6290893554688\n", + "global step=5103616, episodic return=640.3904418945312\n", + "global step=5103616, episodic return=603.1982421875\n", + "global step=5103616, episodic return=573.7407836914062\n", + "global step=5103616, episodic return=610.5602416992188\n", + "global step=5103616, episodic return=582.6622924804688\n", + "global step=5103616, episodic return=600.9329223632812\n", + "global step=5103616, episodic return=614.59423828125\n", + "global step=5103616, episodic return=624.5933837890625\n", + "global step=5103616, episodic return=606.111328125\n", + "global step=5103616, episodic return=635.7355346679688\n", + "global step=5103616, episodic return=599.6996459960938\n", + "global step=5105664, episodic return=604.0625\n", + "global step=5105664, episodic return=572.7860107421875\n", + "global step=5105664, episodic return=613.7220458984375\n", + "global step=5105664, episodic return=627.665283203125\n", + "global step=5105664, episodic return=587.9298095703125\n", + "global step=5105664, episodic return=620.633544921875\n", + "global step=5105664, episodic return=621.2948608398438\n", + "global step=5105664, episodic return=610.8108520507812\n", + "global step=5105664, episodic return=618.9623413085938\n", + "global step=5105664, episodic return=633.7335205078125\n", + "global step=5105664, episodic return=618.4755859375\n", + "global step=5105664, episodic return=587.9287719726562\n", + "global step=5105664, episodic return=629.8074340820312\n", + "global step=5105664, episodic return=645.3038330078125\n", + "global step=5107712, episodic return=597.2988891601562\n", + "global step=5107712, episodic return=591.1946411132812\n", + "global step=5107712, episodic return=625.2064819335938\n", + "global step=5107712, episodic return=610.3209838867188\n", + "global step=5107712, episodic return=630.8678588867188\n", + "global step=5107712, episodic return=646.8426513671875\n", + "global step=5107712, episodic return=580.9659423828125\n", + "global step=5109760, episodic return=590.509521484375\n", + "global step=5109760, episodic return=624.4567260742188\n", + "global step=5109760, episodic return=295.88299560546875\n", + "global step=5109760, episodic return=627.4341430664062\n", + "global step=5109760, episodic return=595.4462280273438\n", + "global step=5109760, episodic return=580.1199951171875\n", + "global step=5109760, episodic return=640.2491455078125\n", + "global step=5109760, episodic return=674.7764282226562\n", + "global step=5109760, episodic return=653.3772583007812\n", + "global step=5109760, episodic return=643.8780517578125\n", + "global step=5109760, episodic return=607.0026245117188\n", + "global step=5109760, episodic return=638.6688842773438\n", + "global step=5109760, episodic return=669.9710083007812\n", + "global step=5111808, episodic return=676.8015747070312\n", + "global step=5111808, episodic return=581.0381469726562\n", + "global step=5111808, episodic return=619.8705444335938\n", + "global step=5111808, episodic return=668.9489135742188\n", + "global step=5111808, episodic return=618.2855834960938\n", + "global step=5111808, episodic return=620.1047973632812\n", + "global step=5111808, episodic return=606.4739379882812\n", + "global step=5111808, episodic return=607.8142700195312\n", + "global step=5111808, episodic return=583.6567993164062\n", + "global step=5111808, episodic return=618.6586303710938\n", + "global step=5111808, episodic return=622.9943237304688\n", + "global step=5113856, episodic return=604.5216064453125\n", + "global step=5113856, episodic return=603.3986206054688\n", + "global step=5113856, episodic return=585.33056640625\n", + "global step=5113856, episodic return=633.79541015625\n", + "global step=5113856, episodic return=595.3162841796875\n", + "global step=5113856, episodic return=614.2276000976562\n", + "global step=5113856, episodic return=590.0916748046875\n", + "global step=5113856, episodic return=613.7190551757812\n", + "global step=5113856, episodic return=634.1707153320312\n", + "global step=5113856, episodic return=660.0169067382812\n", + "global step=5113856, episodic return=601.6282958984375\n", + "global step=5113856, episodic return=618.8161010742188\n", + "global step=5113856, episodic return=641.1119384765625\n", + "global step=5113856, episodic return=570.355712890625\n", + "global step=5113856, episodic return=596.8552856445312\n", + "global step=5113856, episodic return=33.65165328979492\n", + "global step=5115904, episodic return=637.1481323242188\n", + "global step=5115904, episodic return=661.681396484375\n", + "global step=5115904, episodic return=617.4784545898438\n", + "global step=5115904, episodic return=566.2025756835938\n", + "global step=5115904, episodic return=608.704833984375\n", + "global step=5115904, episodic return=610.0399169921875\n", + "global step=5115904, episodic return=599.3954467773438\n", + "global step=5115904, episodic return=598.8369750976562\n", + "global step=5115904, episodic return=609.22265625\n", + "global step=5115904, episodic return=602.9557495117188\n", + "global step=5115904, episodic return=577.9991455078125\n", + "global step=5115904, episodic return=35.391780853271484\n", + "global step=5115904, episodic return=623.690185546875\n", + "global step=5115904, episodic return=632.4583740234375\n", + "global step=5115904, episodic return=593.436767578125\n", + "global step=5115904, episodic return=602.3038940429688\n", + "global step=5117952, episodic return=599.4119873046875\n", + "global step=5117952, episodic return=589.3348999023438\n", + "global step=5117952, episodic return=590.1211547851562\n", + "global step=5117952, episodic return=623.1922607421875\n", + "global step=5117952, episodic return=603.552734375\n", + "global step=5117952, episodic return=596.25537109375\n", + "global step=5117952, episodic return=612.7259521484375\n", + "global step=5120000, episodic return=559.3260498046875\n", + "global step=5120000, episodic return=605.6296997070312\n", + "global step=5120000, episodic return=688.0507202148438\n", + "global step=5120000, episodic return=580.85791015625\n", + "global step=5120000, episodic return=604.6439208984375\n", + "global step=5120000, episodic return=605.3905639648438\n", + "global step=5120000, episodic return=607.99853515625\n", + "global step=5120000, episodic return=647.6409912109375\n", + "global step=5120000, episodic return=592.2023315429688\n", + "global step=5122048, episodic return=595.7874145507812\n", + "global step=5122048, episodic return=573.9401245117188\n", + "global step=5122048, episodic return=578.8733520507812\n", + "global step=5122048, episodic return=594.3817749023438\n", + "global step=5122048, episodic return=577.529296875\n", + "global step=5122048, episodic return=715.4560546875\n", + "global step=5122048, episodic return=578.8335571289062\n", + "global step=5122048, episodic return=628.774169921875\n", + "global step=5122048, episodic return=618.27978515625\n", + "global step=5122048, episodic return=620.8086547851562\n", + "global step=5122048, episodic return=622.6527709960938\n", + "global step=5122048, episodic return=582.9424438476562\n", + "global step=5122048, episodic return=599.9970703125\n", + "global step=5122048, episodic return=615.30517578125\n", + "global step=5122048, episodic return=610.0314331054688\n", + "global step=5124096, episodic return=603.3828735351562\n", + "global step=5124096, episodic return=634.7608032226562\n", + "global step=5124096, episodic return=598.7283935546875\n", + "global step=5124096, episodic return=594.0494384765625\n", + "global step=5124096, episodic return=591.1399536132812\n", + "global step=5124096, episodic return=651.6432495117188\n", + "global step=5124096, episodic return=614.0723876953125\n", + "global step=5124096, episodic return=601.0467529296875\n", + "global step=5124096, episodic return=602.9110717773438\n", + "global step=5124096, episodic return=575.869384765625\n", + "global step=5124096, episodic return=591.458984375\n", + "global step=5124096, episodic return=638.60791015625\n", + "global step=5124096, episodic return=620.7817993164062\n", + "global step=5124096, episodic return=615.4548950195312\n", + "global step=5124096, episodic return=611.7453002929688\n", + "global step=5124096, episodic return=629.6066284179688\n", + "global step=5126144, episodic return=578.1702270507812\n", + "global step=5126144, episodic return=631.8434448242188\n", + "global step=5126144, episodic return=632.3737182617188\n", + "global step=5126144, episodic return=605.1843872070312\n", + "global step=5126144, episodic return=620.9209594726562\n", + "global step=5126144, episodic return=584.9526977539062\n", + "global step=5126144, episodic return=651.2028198242188\n", + "global step=5126144, episodic return=583.4744873046875\n", + "global step=5126144, episodic return=609.8112182617188\n", + "global step=5126144, episodic return=603.4144287109375\n", + "global step=5128192, episodic return=613.324462890625\n", + "global step=5128192, episodic return=622.76904296875\n", + "global step=5128192, episodic return=608.6109619140625\n", + "global step=5128192, episodic return=583.3646850585938\n", + "global step=5128192, episodic return=657.0053100585938\n", + "global step=5128192, episodic return=616.3324584960938\n", + "global step=5128192, episodic return=612.7376708984375\n", + "global step=5128192, episodic return=631.6676025390625\n", + "global step=5128192, episodic return=647.7693481445312\n", + "global step=5128192, episodic return=633.68505859375\n", + "global step=5128192, episodic return=617.8853149414062\n", + "global step=5128192, episodic return=600.631103515625\n", + "global step=5128192, episodic return=603.8831176757812\n", + "global step=5128192, episodic return=604.4271850585938\n", + "global step=5128192, episodic return=293.4053649902344\n", + "global step=5128192, episodic return=628.4340209960938\n", + "global step=5128192, episodic return=615.0779418945312\n", + "global step=5128192, episodic return=595.823974609375\n", + "global step=5130240, episodic return=584.8359375\n", + "global step=5130240, episodic return=630.6535034179688\n", + "global step=5130240, episodic return=604.8980102539062\n", + "global step=5130240, episodic return=586.9215087890625\n", + "global step=5130240, episodic return=647.9927978515625\n", + "global step=5130240, episodic return=594.551513671875\n", + "global step=5130240, episodic return=613.6608276367188\n", + "global step=5130240, episodic return=578.9954833984375\n", + "global step=5130240, episodic return=564.5960693359375\n", + "global step=5130240, episodic return=608.982666015625\n", + "global step=5130240, episodic return=619.2681884765625\n", + "global step=5132288, episodic return=606.2949829101562\n", + "global step=5132288, episodic return=602.9368286132812\n", + "global step=5132288, episodic return=631.6641845703125\n", + "global step=5132288, episodic return=605.9046020507812\n", + "global step=5132288, episodic return=584.207763671875\n", + "global step=5132288, episodic return=581.6153564453125\n", + "global step=5132288, episodic return=611.7136840820312\n", + "global step=5132288, episodic return=626.8385620117188\n", + "global step=5132288, episodic return=648.7269287109375\n", + "global step=5132288, episodic return=626.7913818359375\n", + "global step=5132288, episodic return=611.3782958984375\n", + "global step=5134336, episodic return=645.155517578125\n", + "global step=5134336, episodic return=604.4815063476562\n", + "global step=5134336, episodic return=597.575927734375\n", + "global step=5134336, episodic return=652.5698852539062\n", + "global step=5136384, episodic return=656.4052734375\n", + "global step=5136384, episodic return=605.66015625\n", + "global step=5136384, episodic return=610.3479614257812\n", + "global step=5136384, episodic return=608.4749755859375\n", + "global step=5136384, episodic return=627.6055297851562\n", + "global step=5136384, episodic return=617.439453125\n", + "global step=5136384, episodic return=604.2197265625\n", + "global step=5136384, episodic return=575.3069458007812\n", + "global step=5136384, episodic return=568.502197265625\n", + "global step=5136384, episodic return=591.340576171875\n", + "global step=5136384, episodic return=659.08349609375\n", + "global step=5136384, episodic return=626.4317016601562\n", + "global step=5136384, episodic return=614.1539916992188\n", + "global step=5136384, episodic return=592.94921875\n", + "global step=5136384, episodic return=618.3599243164062\n", + "global step=5136384, episodic return=611.644775390625\n", + "global step=5136384, episodic return=602.9049682617188\n", + "global step=5136384, episodic return=575.679443359375\n", + "global step=5136384, episodic return=604.3794555664062\n", + "global step=5138432, episodic return=572.3618774414062\n", + "global step=5138432, episodic return=618.8941650390625\n", + "global step=5138432, episodic return=622.5377197265625\n", + "global step=5138432, episodic return=582.3279418945312\n", + "global step=5138432, episodic return=597.3107299804688\n", + "global step=5138432, episodic return=628.421142578125\n", + "global step=5138432, episodic return=600.6522827148438\n", + "global step=5138432, episodic return=637.4691162109375\n", + "global step=5138432, episodic return=636.1614990234375\n", + "global step=5138432, episodic return=655.441650390625\n", + "global step=5138432, episodic return=565.3365478515625\n", + "global step=5138432, episodic return=590.8837280273438\n", + "global step=5140480, episodic return=608.631591796875\n", + "global step=5140480, episodic return=624.4097290039062\n", + "global step=5140480, episodic return=645.9498291015625\n", + "global step=5140480, episodic return=606.4974975585938\n", + "global step=5140480, episodic return=607.3486938476562\n", + "global step=5140480, episodic return=603.7313842773438\n", + "global step=5140480, episodic return=591.1570434570312\n", + "global step=5140480, episodic return=583.837158203125\n", + "global step=5140480, episodic return=581.2959594726562\n", + "global step=5140480, episodic return=621.9878540039062\n", + "global step=5140480, episodic return=600.19775390625\n", + "global step=5140480, episodic return=635.4524536132812\n", + "global step=5140480, episodic return=602.3920288085938\n", + "global step=5140480, episodic return=631.5745849609375\n", + "global step=5140480, episodic return=638.858154296875\n", + "global step=5140480, episodic return=592.5628662109375\n", + "global step=5140480, episodic return=307.8760986328125\n", + "global step=5142528, episodic return=572.9307250976562\n", + "global step=5142528, episodic return=608.2569580078125\n", + "global step=5142528, episodic return=568.636474609375\n", + "global step=5142528, episodic return=590.8151245117188\n", + "global step=5142528, episodic return=598.6751708984375\n", + "global step=5142528, episodic return=603.4317626953125\n", + "global step=5142528, episodic return=611.9609985351562\n", + "global step=5142528, episodic return=629.8641357421875\n", + "global step=5142528, episodic return=625.5650634765625\n", + "global step=5142528, episodic return=632.9417114257812\n", + "global step=5142528, episodic return=603.575927734375\n", + "global step=5144576, episodic return=606.0477294921875\n", + "global step=5144576, episodic return=593.2548828125\n", + "global step=5144576, episodic return=615.7786865234375\n", + "global step=5144576, episodic return=633.6640625\n", + "global step=5144576, episodic return=603.1165771484375\n", + "global step=5144576, episodic return=622.0570678710938\n", + "global step=5146624, episodic return=605.3079223632812\n", + "global step=5146624, episodic return=620.11962890625\n", + "global step=5146624, episodic return=615.5176391601562\n", + "global step=5146624, episodic return=617.3246459960938\n", + "global step=5146624, episodic return=614.9310302734375\n", + "global step=5146624, episodic return=599.8840942382812\n", + "global step=5146624, episodic return=601.7604370117188\n", + "global step=5146624, episodic return=598.4862670898438\n", + "global step=5148672, episodic return=628.940673828125\n", + "global step=5148672, episodic return=659.92919921875\n", + "global step=5148672, episodic return=591.6519775390625\n", + "global step=5148672, episodic return=592.0704956054688\n", + "global step=5148672, episodic return=577.9915161132812\n", + "global step=5148672, episodic return=624.5174560546875\n", + "global step=5148672, episodic return=656.8322143554688\n", + "global step=5148672, episodic return=596.9825439453125\n", + "global step=5148672, episodic return=609.643310546875\n", + "global step=5150720, episodic return=639.0701904296875\n", + "global step=5150720, episodic return=614.0150146484375\n", + "global step=5150720, episodic return=640.45703125\n", + "global step=5150720, episodic return=606.7057495117188\n", + "global step=5150720, episodic return=715.091552734375\n", + "global step=5150720, episodic return=572.9714965820312\n", + "global step=5150720, episodic return=628.4278564453125\n", + "global step=5150720, episodic return=598.1112060546875\n", + "global step=5150720, episodic return=609.5701293945312\n", + "global step=5150720, episodic return=592.359130859375\n", + "global step=5152768, episodic return=601.3106689453125\n", + "global step=5152768, episodic return=577.6166381835938\n", + "global step=5152768, episodic return=601.9371948242188\n", + "global step=5152768, episodic return=642.038330078125\n", + "global step=5152768, episodic return=602.1328125\n", + "global step=5152768, episodic return=628.8273315429688\n", + "global step=5152768, episodic return=618.1797485351562\n", + "global step=5152768, episodic return=593.7684326171875\n", + "global step=5152768, episodic return=579.453125\n", + "global step=5152768, episodic return=622.1343383789062\n", + "global step=5152768, episodic return=598.7427368164062\n", + "global step=5152768, episodic return=607.785888671875\n", + "global step=5152768, episodic return=614.282470703125\n", + "global step=5152768, episodic return=553.1404418945312\n", + "global step=5152768, episodic return=602.340576171875\n", + "global step=5154816, episodic return=621.6611328125\n", + "global step=5154816, episodic return=608.7799682617188\n", + "global step=5154816, episodic return=598.6754150390625\n", + "global step=5154816, episodic return=594.9358520507812\n", + "global step=5154816, episodic return=643.0523071289062\n", + "global step=5154816, episodic return=659.3948364257812\n", + "global step=5154816, episodic return=649.890869140625\n", + "global step=5154816, episodic return=570.0770874023438\n", + "global step=5154816, episodic return=656.4260864257812\n", + "global step=5154816, episodic return=651.4044189453125\n", + "global step=5154816, episodic return=586.7232666015625\n", + "global step=5154816, episodic return=70.01954650878906\n", + "global step=5154816, episodic return=609.0624389648438\n", + "global step=5154816, episodic return=608.2897338867188\n", + "global step=5154816, episodic return=616.8013305664062\n", + "global step=5154816, episodic return=609.3950805664062\n", + "global step=5154816, episodic return=618.7086791992188\n", + "global step=5156864, episodic return=582.8685302734375\n", + "global step=5156864, episodic return=636.65380859375\n", + "global step=5156864, episodic return=663.8831176757812\n", + "global step=5156864, episodic return=624.0686645507812\n", + "global step=5156864, episodic return=634.8313598632812\n", + "global step=5156864, episodic return=641.0806274414062\n", + "global step=5156864, episodic return=631.4494018554688\n", + "global step=5156864, episodic return=319.4589538574219\n", + "global step=5156864, episodic return=625.5125732421875\n", + "global step=5156864, episodic return=643.1749267578125\n", + "global step=5156864, episodic return=625.0927734375\n", + "global step=5156864, episodic return=655.9043579101562\n", + "global step=5158912, episodic return=613.6604614257812\n", + "global step=5158912, episodic return=637.3961181640625\n", + "global step=5158912, episodic return=642.5236206054688\n", + "global step=5158912, episodic return=630.161865234375\n", + "global step=5158912, episodic return=593.5216674804688\n", + "global step=5158912, episodic return=609.8177490234375\n", + "global step=5158912, episodic return=605.6224975585938\n", + "global step=5158912, episodic return=621.127685546875\n", + "global step=5158912, episodic return=618.3399658203125\n", + "global step=5158912, episodic return=600.4696655273438\n", + "global step=5158912, episodic return=608.6038208007812\n", + "global step=5158912, episodic return=632.1082763671875\n", + "global step=5158912, episodic return=628.552978515625\n", + "global step=5160960, episodic return=634.522216796875\n", + "global step=5160960, episodic return=662.88427734375\n", + "global step=5160960, episodic return=604.8665161132812\n", + "global step=5160960, episodic return=562.2521362304688\n", + "global step=5160960, episodic return=598.852783203125\n", + "global step=5160960, episodic return=599.8607177734375\n", + "global step=5160960, episodic return=577.4625854492188\n", + "global step=5160960, episodic return=615.4234008789062\n", + "global step=5160960, episodic return=588.9681396484375\n", + "global step=5160960, episodic return=632.1785278320312\n", + "global step=5160960, episodic return=633.6858520507812\n", + "global step=5160960, episodic return=588.207275390625\n", + "global step=5160960, episodic return=639.8680419921875\n", + "global step=5163008, episodic return=600.9874877929688\n", + "global step=5163008, episodic return=629.8988037109375\n", + "global step=5163008, episodic return=651.57080078125\n", + "global step=5163008, episodic return=608.82958984375\n", + "global step=5163008, episodic return=580.2218627929688\n", + "global step=5163008, episodic return=651.2608032226562\n", + "global step=5163008, episodic return=614.8222045898438\n", + "global step=5163008, episodic return=575.7389526367188\n", + "global step=5163008, episodic return=614.0418701171875\n", + "global step=5163008, episodic return=600.9932861328125\n", + "global step=5163008, episodic return=670.5127563476562\n", + "global step=5163008, episodic return=598.0626220703125\n", + "global step=5163008, episodic return=672.444580078125\n", + "global step=5163008, episodic return=605.1983032226562\n", + "global step=5163008, episodic return=600.334716796875\n", + "global step=5163008, episodic return=659.5841064453125\n", + "global step=5163008, episodic return=650.8423461914062\n", + "global step=5165056, episodic return=657.5034790039062\n", + "global step=5165056, episodic return=586.1983642578125\n", + "global step=5165056, episodic return=609.6826782226562\n", + "global step=5165056, episodic return=600.5963134765625\n", + "global step=5165056, episodic return=587.0189208984375\n", + "global step=5165056, episodic return=595.025390625\n", + "global step=5165056, episodic return=587.599853515625\n", + "global step=5165056, episodic return=665.9725952148438\n", + "global step=5165056, episodic return=646.9668579101562\n", + "global step=5165056, episodic return=607.0314331054688\n", + "global step=5165056, episodic return=607.5143432617188\n", + "global step=5165056, episodic return=629.8734741210938\n", + "global step=5167104, episodic return=607.3511962890625\n", + "global step=5167104, episodic return=602.1091918945312\n", + "global step=5167104, episodic return=654.0911254882812\n", + "global step=5167104, episodic return=599.70263671875\n", + "global step=5167104, episodic return=641.5161743164062\n", + "global step=5167104, episodic return=616.5681762695312\n", + "global step=5167104, episodic return=601.9549560546875\n", + "global step=5167104, episodic return=625.082275390625\n", + "global step=5167104, episodic return=645.3862915039062\n", + "global step=5167104, episodic return=610.8325805664062\n", + "global step=5167104, episodic return=613.12451171875\n", + "global step=5167104, episodic return=606.5340576171875\n", + "global step=5167104, episodic return=584.8678588867188\n", + "global step=5167104, episodic return=616.6297607421875\n", + "global step=5169152, episodic return=585.1533813476562\n", + "global step=5169152, episodic return=589.9432983398438\n", + "global step=5169152, episodic return=579.0053100585938\n", + "global step=5169152, episodic return=570.9828491210938\n", + "global step=5169152, episodic return=591.9542846679688\n", + "global step=5169152, episodic return=612.0496215820312\n", + "global step=5169152, episodic return=567.4844360351562\n", + "global step=5169152, episodic return=606.0888061523438\n", + "global step=5171200, episodic return=590.1361694335938\n", + "global step=5171200, episodic return=648.58154296875\n", + "global step=5171200, episodic return=665.1446533203125\n", + "global step=5171200, episodic return=644.4774780273438\n", + "global step=5171200, episodic return=596.7357177734375\n", + "global step=5171200, episodic return=590.8134155273438\n", + "global step=5171200, episodic return=623.1884155273438\n", + "global step=5171200, episodic return=631.3956298828125\n", + "global step=5171200, episodic return=592.4811401367188\n", + "global step=5171200, episodic return=639.2092895507812\n", + "global step=5173248, episodic return=588.6618041992188\n", + "global step=5173248, episodic return=614.980224609375\n", + "global step=5173248, episodic return=627.88623046875\n", + "global step=5173248, episodic return=631.7078247070312\n", + "global step=5173248, episodic return=658.2491455078125\n", + "global step=5173248, episodic return=591.050048828125\n", + "global step=5173248, episodic return=620.8047485351562\n", + "global step=5173248, episodic return=644.9056396484375\n", + "global step=5173248, episodic return=612.2203979492188\n", + "global step=5173248, episodic return=610.6053466796875\n", + "global step=5173248, episodic return=664.7679443359375\n", + "global step=5173248, episodic return=665.8975219726562\n", + "global step=5173248, episodic return=592.7967529296875\n", + "global step=5173248, episodic return=627.3102416992188\n", + "global step=5173248, episodic return=599.5216674804688\n", + "global step=5173248, episodic return=642.587890625\n", + "global step=5173248, episodic return=626.9056396484375\n", + "global step=5173248, episodic return=596.1981201171875\n", + "global step=5173248, episodic return=615.0413818359375\n", + "global step=5175296, episodic return=617.5319213867188\n", + "global step=5175296, episodic return=653.37158203125\n", + "global step=5175296, episodic return=605.5764770507812\n", + "global step=5175296, episodic return=626.7757568359375\n", + "global step=5175296, episodic return=674.7996826171875\n", + "global step=5175296, episodic return=609.7734985351562\n", + "global step=5175296, episodic return=579.9537963867188\n", + "global step=5175296, episodic return=623.6991577148438\n", + "global step=5175296, episodic return=619.215576171875\n", + "global step=5175296, episodic return=615.573486328125\n", + "global step=5175296, episodic return=28.983930587768555\n", + "global step=5177344, episodic return=599.51611328125\n", + "global step=5177344, episodic return=651.7926025390625\n", + "global step=5177344, episodic return=623.1871948242188\n", + "global step=5177344, episodic return=580.8203735351562\n", + "global step=5177344, episodic return=61.0257453918457\n", + "global step=5177344, episodic return=627.2902221679688\n", + "global step=5177344, episodic return=611.4431762695312\n", + "global step=5177344, episodic return=621.1773681640625\n", + "global step=5177344, episodic return=629.8770141601562\n", + "global step=5177344, episodic return=683.8163452148438\n", + "global step=5177344, episodic return=624.21923828125\n", + "global step=5177344, episodic return=662.8571166992188\n", + "global step=5177344, episodic return=633.0520629882812\n", + "global step=5177344, episodic return=615.49658203125\n", + "global step=5177344, episodic return=561.5386352539062\n", + "global step=5177344, episodic return=638.6819458007812\n", + "global step=5177344, episodic return=590.6036987304688\n", + "global step=5177344, episodic return=659.2921752929688\n", + "global step=5179392, episodic return=658.1264038085938\n", + "global step=5179392, episodic return=641.3983154296875\n", + "global step=5179392, episodic return=636.2133178710938\n", + "global step=5179392, episodic return=662.0154418945312\n", + "global step=5179392, episodic return=616.5162353515625\n", + "global step=5179392, episodic return=607.5750122070312\n", + "global step=5179392, episodic return=604.0042724609375\n", + "global step=5179392, episodic return=687.7971801757812\n", + "global step=5179392, episodic return=606.8518676757812\n", + "global step=5179392, episodic return=603.2756958007812\n", + "global step=5179392, episodic return=617.1109619140625\n", + "global step=5179392, episodic return=600.365966796875\n", + "global step=5179392, episodic return=614.915771484375\n", + "global step=5179392, episodic return=635.7002563476562\n", + "global step=5179392, episodic return=614.1854858398438\n", + "global step=5179392, episodic return=617.2661743164062\n", + "global step=5179392, episodic return=601.4727172851562\n", + "global step=5181440, episodic return=648.8128051757812\n", + "global step=5181440, episodic return=645.8741455078125\n", + "global step=5181440, episodic return=608.9323120117188\n", + "global step=5181440, episodic return=651.8685302734375\n", + "global step=5181440, episodic return=619.1972045898438\n", + "global step=5181440, episodic return=34.454044342041016\n", + "global step=5181440, episodic return=647.0814819335938\n", + "global step=5181440, episodic return=604.3965454101562\n", + "global step=5181440, episodic return=655.3143920898438\n", + "global step=5181440, episodic return=632.7717895507812\n", + "global step=5183488, episodic return=616.947021484375\n", + "global step=5183488, episodic return=651.8038940429688\n", + "global step=5183488, episodic return=648.0913696289062\n", + "global step=5183488, episodic return=633.9962768554688\n", + "global step=5183488, episodic return=594.3756103515625\n", + "global step=5183488, episodic return=633.0397338867188\n", + "global step=5183488, episodic return=623.7515258789062\n", + "global step=5183488, episodic return=643.8820190429688\n", + "global step=5183488, episodic return=622.1837768554688\n", + "global step=5183488, episodic return=616.4383544921875\n", + "global step=5185536, episodic return=627.0806884765625\n", + "global step=5185536, episodic return=616.5957641601562\n", + "global step=5185536, episodic return=562.3992309570312\n", + "global step=5185536, episodic return=624.0328369140625\n", + "global step=5185536, episodic return=637.1142578125\n", + "global step=5185536, episodic return=676.1500854492188\n", + "global step=5185536, episodic return=600.5775756835938\n", + "global step=5185536, episodic return=611.6666870117188\n", + "global step=5185536, episodic return=635.0875244140625\n", + "global step=5185536, episodic return=630.5265502929688\n", + "global step=5185536, episodic return=620.6907348632812\n", + "global step=5185536, episodic return=618.7870483398438\n", + "global step=5185536, episodic return=605.4657592773438\n", + "global step=5185536, episodic return=598.8153076171875\n", + "global step=5185536, episodic return=603.2189331054688\n", + "global step=5185536, episodic return=598.1657104492188\n", + "global step=5185536, episodic return=592.204833984375\n", + "global step=5185536, episodic return=666.6708374023438\n", + "global step=5185536, episodic return=609.2161865234375\n", + "global step=5187584, episodic return=585.8363037109375\n", + "global step=5187584, episodic return=599.6138916015625\n", + "global step=5187584, episodic return=621.8112182617188\n", + "global step=5187584, episodic return=597.8556518554688\n", + "global step=5187584, episodic return=595.7138061523438\n", + "global step=5187584, episodic return=616.8081665039062\n", + "global step=5187584, episodic return=595.0440673828125\n", + "global step=5187584, episodic return=576.8500366210938\n", + "global step=5187584, episodic return=642.2015380859375\n", + "global step=5187584, episodic return=650.980224609375\n", + "global step=5187584, episodic return=670.8358764648438\n", + "global step=5187584, episodic return=639.622314453125\n", + "global step=5187584, episodic return=570.4405517578125\n", + "global step=5187584, episodic return=622.2393798828125\n", + "global step=5187584, episodic return=592.9302978515625\n", + "global step=5187584, episodic return=631.1561279296875\n", + "global step=5189632, episodic return=602.7958374023438\n", + "global step=5189632, episodic return=603.0202026367188\n", + "global step=5189632, episodic return=632.3566284179688\n", + "global step=5189632, episodic return=620.6420288085938\n", + "global step=5189632, episodic return=590.2260131835938\n", + "global step=5189632, episodic return=61.30743408203125\n", + "global step=5189632, episodic return=610.546875\n", + "global step=5189632, episodic return=622.1998901367188\n", + "global step=5189632, episodic return=607.9293823242188\n", + "global step=5189632, episodic return=586.9067993164062\n", + "global step=5191680, episodic return=586.883544921875\n", + "global step=5191680, episodic return=667.2875366210938\n", + "global step=5191680, episodic return=630.626220703125\n", + "global step=5191680, episodic return=629.690673828125\n", + "global step=5191680, episodic return=641.9575805664062\n", + "global step=5191680, episodic return=643.3143310546875\n", + "global step=5191680, episodic return=579.2135009765625\n", + "global step=5191680, episodic return=602.9811401367188\n", + "global step=5191680, episodic return=633.1012573242188\n", + "global step=5191680, episodic return=690.58837890625\n", + "global step=5191680, episodic return=614.313232421875\n", + "global step=5191680, episodic return=610.1926879882812\n", + "global step=5191680, episodic return=632.4825439453125\n", + "global step=5191680, episodic return=622.3580322265625\n", + "global step=5191680, episodic return=590.22802734375\n", + "global step=5191680, episodic return=634.5332641601562\n", + "global step=5191680, episodic return=629.6210327148438\n", + "global step=5191680, episodic return=580.8507690429688\n", + "global step=5191680, episodic return=600.8818969726562\n", + "global step=5193728, episodic return=585.9656982421875\n", + "global step=5193728, episodic return=642.69677734375\n", + "global step=5193728, episodic return=599.8875732421875\n", + "global step=5193728, episodic return=576.8310546875\n", + "global step=5193728, episodic return=650.0556030273438\n", + "global step=5193728, episodic return=600.3463134765625\n", + "global step=5193728, episodic return=710.6758422851562\n", + "global step=5193728, episodic return=696.3068237304688\n", + "global step=5193728, episodic return=622.4160766601562\n", + "global step=5193728, episodic return=651.4197387695312\n", + "global step=5193728, episodic return=590.4376831054688\n", + "global step=5195776, episodic return=715.9458618164062\n", + "global step=5195776, episodic return=572.7481689453125\n", + "global step=5195776, episodic return=589.28759765625\n", + "global step=5195776, episodic return=670.717529296875\n", + "global step=5195776, episodic return=606.0286254882812\n", + "global step=5195776, episodic return=588.831787109375\n", + "global step=5195776, episodic return=611.5962524414062\n", + "global step=5195776, episodic return=611.60009765625\n", + "global step=5195776, episodic return=623.860107421875\n", + "global step=5195776, episodic return=651.4969482421875\n", + "global step=5195776, episodic return=620.6112060546875\n", + "global step=5195776, episodic return=668.16259765625\n", + "global step=5195776, episodic return=579.0947265625\n", + "global step=5195776, episodic return=667.835205078125\n", + "global step=5197824, episodic return=605.612548828125\n", + "global step=5197824, episodic return=596.8270874023438\n", + "global step=5197824, episodic return=672.3112182617188\n", + "global step=5197824, episodic return=599.915771484375\n", + "global step=5197824, episodic return=620.6065673828125\n", + "global step=5197824, episodic return=643.1921997070312\n", + "global step=5197824, episodic return=609.677001953125\n", + "global step=5197824, episodic return=648.697509765625\n", + "global step=5197824, episodic return=619.0821533203125\n", + "global step=5197824, episodic return=626.0111694335938\n", + "global step=5197824, episodic return=612.3220825195312\n", + "global step=5197824, episodic return=649.0147705078125\n", + "global step=5197824, episodic return=612.3486938476562\n", + "global step=5197824, episodic return=687.6575317382812\n", + "global step=5199872, episodic return=616.3145751953125\n", + "global step=5199872, episodic return=663.9088745117188\n", + "global step=5199872, episodic return=654.7295532226562\n", + "global step=5199872, episodic return=655.388671875\n", + "global step=5201920, episodic return=591.3031616210938\n", + "global step=5201920, episodic return=618.2640991210938\n", + "global step=5201920, episodic return=673.8997802734375\n", + "global step=5201920, episodic return=612.1436157226562\n", + "global step=5201920, episodic return=603.5760498046875\n", + "global step=5201920, episodic return=619.403076171875\n", + "global step=5201920, episodic return=640.5201416015625\n", + "global step=5201920, episodic return=604.364013671875\n", + "global step=5201920, episodic return=610.2244262695312\n", + "global step=5201920, episodic return=568.6348266601562\n", + "global step=5201920, episodic return=63.34177780151367\n", + "global step=5201920, episodic return=602.32373046875\n", + "global step=5201920, episodic return=570.0501708984375\n", + "global step=5201920, episodic return=642.9141845703125\n", + "global step=5201920, episodic return=592.2899169921875\n", + "global step=5201920, episodic return=653.8820190429688\n", + "global step=5201920, episodic return=632.6693115234375\n", + "global step=5201920, episodic return=629.269775390625\n", + "global step=5203968, episodic return=630.662353515625\n", + "global step=5203968, episodic return=642.8707275390625\n", + "global step=5203968, episodic return=594.38427734375\n", + "global step=5203968, episodic return=636.056640625\n", + "global step=5203968, episodic return=627.0972290039062\n", + "global step=5203968, episodic return=650.4408569335938\n", + "global step=5203968, episodic return=626.6357421875\n", + "global step=5203968, episodic return=656.7879028320312\n", + "global step=5203968, episodic return=583.5455322265625\n", + "global step=5203968, episodic return=618.08740234375\n", + "global step=5203968, episodic return=597.67138671875\n", + "global step=5203968, episodic return=757.976806640625\n", + "global step=5203968, episodic return=663.7684326171875\n", + "global step=5203968, episodic return=688.3214721679688\n", + "global step=5203968, episodic return=641.205810546875\n", + "global step=5203968, episodic return=595.1320190429688\n", + "global step=5203968, episodic return=636.6547241210938\n", + "global step=5203968, episodic return=657.1840209960938\n", + "global step=5203968, episodic return=625.4979248046875\n", + "global step=5203968, episodic return=663.7206420898438\n", + "global step=5203968, episodic return=664.1152954101562\n", + "global step=5203968, episodic return=640.512939453125\n", + "global step=5203968, episodic return=598.2183837890625\n", + "global step=5206016, episodic return=575.2639770507812\n", + "global step=5206016, episodic return=635.15625\n", + "global step=5206016, episodic return=637.2669067382812\n", + "global step=5206016, episodic return=604.976806640625\n", + "global step=5206016, episodic return=638.8969116210938\n", + "global step=5206016, episodic return=667.0431518554688\n", + "global step=5206016, episodic return=310.676025390625\n", + "global step=5206016, episodic return=600.0615234375\n", + "global step=5206016, episodic return=588.8531494140625\n", + "global step=5208064, episodic return=603.6174926757812\n", + "global step=5208064, episodic return=604.1224975585938\n", + "global step=5208064, episodic return=612.9074096679688\n", + "global step=5208064, episodic return=601.25341796875\n", + "global step=5208064, episodic return=664.6986694335938\n", + "global step=5208064, episodic return=628.5797729492188\n", + "global step=5208064, episodic return=672.906494140625\n", + "global step=5208064, episodic return=647.8893432617188\n", + "global step=5208064, episodic return=559.3707885742188\n", + "global step=5208064, episodic return=623.880126953125\n", + "global step=5208064, episodic return=614.3561401367188\n", + "global step=5208064, episodic return=665.8265991210938\n", + "global step=5210112, episodic return=633.2887573242188\n", + "global step=5210112, episodic return=559.1546020507812\n", + "global step=5210112, episodic return=566.4758911132812\n", + "global step=5210112, episodic return=630.9348754882812\n", + "global step=5210112, episodic return=633.0692749023438\n", + "global step=5210112, episodic return=645.3363647460938\n", + "global step=5210112, episodic return=692.4860229492188\n", + "global step=5210112, episodic return=611.875244140625\n", + "global step=5210112, episodic return=614.196044921875\n", + "global step=5210112, episodic return=606.134765625\n", + "global step=5212160, episodic return=66.58577728271484\n", + "global step=5212160, episodic return=625.0568237304688\n", + "global step=5212160, episodic return=616.5380859375\n", + "global step=5212160, episodic return=644.702392578125\n", + "global step=5212160, episodic return=640.7827758789062\n", + "global step=5212160, episodic return=654.114990234375\n", + "global step=5212160, episodic return=665.067626953125\n", + "global step=5212160, episodic return=663.4154663085938\n", + "global step=5214208, episodic return=607.2587280273438\n", + "global step=5214208, episodic return=634.0904541015625\n", + "global step=5214208, episodic return=600.9984741210938\n", + "global step=5214208, episodic return=591.272705078125\n", + "global step=5214208, episodic return=606.7841796875\n", + "global step=5214208, episodic return=611.9652709960938\n", + "global step=5214208, episodic return=612.7061767578125\n", + "global step=5214208, episodic return=642.2018432617188\n", + "global step=5214208, episodic return=623.8590087890625\n", + "global step=5214208, episodic return=585.9341430664062\n", + "global step=5216256, episodic return=619.3017578125\n", + "global step=5216256, episodic return=674.1321411132812\n", + "global step=5216256, episodic return=567.6336059570312\n", + "global step=5216256, episodic return=672.9282836914062\n", + "global step=5216256, episodic return=599.5435791015625\n", + "global step=5216256, episodic return=617.0983276367188\n", + "global step=5216256, episodic return=575.3636474609375\n", + "global step=5216256, episodic return=681.2445678710938\n", + "global step=5216256, episodic return=619.141845703125\n", + "global step=5216256, episodic return=617.9200439453125\n", + "global step=5218304, episodic return=572.1824951171875\n", + "global step=5218304, episodic return=637.1734619140625\n", + "global step=5218304, episodic return=626.521728515625\n", + "global step=5218304, episodic return=620.6513671875\n", + "global step=5218304, episodic return=643.6136474609375\n", + "global step=5218304, episodic return=642.3555297851562\n", + "global step=5218304, episodic return=602.836669921875\n", + "global step=5218304, episodic return=655.5697021484375\n", + "global step=5218304, episodic return=607.8347778320312\n", + "global step=5218304, episodic return=628.1375122070312\n", + "global step=5220352, episodic return=594.012939453125\n", + "global step=5220352, episodic return=607.958984375\n", + "global step=5220352, episodic return=609.807861328125\n", + "global step=5220352, episodic return=655.0716552734375\n", + "global step=5220352, episodic return=639.85400390625\n", + "global step=5220352, episodic return=629.1296997070312\n", + "global step=5220352, episodic return=594.046142578125\n", + "global step=5220352, episodic return=635.5880737304688\n", + "global step=5220352, episodic return=648.3486938476562\n", + "global step=5220352, episodic return=597.602783203125\n", + "global step=5220352, episodic return=637.994873046875\n", + "global step=5222400, episodic return=683.0927734375\n", + "global step=5222400, episodic return=656.3822021484375\n", + "global step=5222400, episodic return=678.422607421875\n", + "global step=5222400, episodic return=634.3383178710938\n", + "global step=5222400, episodic return=588.6725463867188\n", + "global step=5222400, episodic return=661.0325927734375\n", + "global step=5222400, episodic return=590.9171752929688\n", + "global step=5222400, episodic return=625.9844360351562\n", + "global step=5222400, episodic return=631.086181640625\n", + "global step=5222400, episodic return=627.3495483398438\n", + "global step=5222400, episodic return=629.3206176757812\n", + "global step=5222400, episodic return=645.23876953125\n", + "global step=5222400, episodic return=285.3448181152344\n", + "global step=5224448, episodic return=647.1748657226562\n", + "global step=5224448, episodic return=614.1210327148438\n", + "global step=5224448, episodic return=657.0226440429688\n", + "global step=5224448, episodic return=613.1779174804688\n", + "global step=5224448, episodic return=622.9779663085938\n", + "global step=5224448, episodic return=635.6128540039062\n", + "global step=5224448, episodic return=647.9238891601562\n", + "global step=5224448, episodic return=638.1814575195312\n", + "global step=5224448, episodic return=645.9076538085938\n", + "global step=5224448, episodic return=625.8195190429688\n", + "global step=5224448, episodic return=547.2806396484375\n", + "global step=5224448, episodic return=641.96337890625\n", + "global step=5224448, episodic return=595.4371337890625\n", + "global step=5224448, episodic return=597.1548461914062\n", + "global step=5224448, episodic return=632.2796630859375\n", + "global step=5224448, episodic return=652.5112915039062\n", + "global step=5224448, episodic return=629.0872192382812\n", + "global step=5224448, episodic return=694.02490234375\n", + "global step=5224448, episodic return=648.9485473632812\n", + "global step=5224448, episodic return=660.7252197265625\n", + "global step=5226496, episodic return=639.8241577148438\n", + "global step=5226496, episodic return=542.4263916015625\n", + "global step=5226496, episodic return=620.85791015625\n", + "global step=5226496, episodic return=613.38232421875\n", + "global step=5226496, episodic return=598.24462890625\n", + "global step=5226496, episodic return=607.04833984375\n", + "global step=5226496, episodic return=621.81591796875\n", + "global step=5226496, episodic return=631.5736083984375\n", + "global step=5226496, episodic return=612.7119750976562\n", + "global step=5226496, episodic return=618.074951171875\n", + "global step=5226496, episodic return=619.9122924804688\n", + "global step=5226496, episodic return=639.7661743164062\n", + "global step=5226496, episodic return=629.1875610351562\n", + "global step=5228544, episodic return=599.644287109375\n", + "global step=5228544, episodic return=716.9554443359375\n", + "global step=5228544, episodic return=684.4171752929688\n", + "global step=5228544, episodic return=609.4622192382812\n", + "global step=5228544, episodic return=606.8876342773438\n", + "global step=5228544, episodic return=705.8807983398438\n", + "global step=5228544, episodic return=629.748779296875\n", + "global step=5228544, episodic return=650.4839477539062\n", + "global step=5228544, episodic return=682.1510620117188\n", + "global step=5228544, episodic return=652.2127075195312\n", + "global step=5228544, episodic return=614.3834228515625\n", + "global step=5228544, episodic return=652.114013671875\n", + "global step=5228544, episodic return=65.82569885253906\n", + "global step=5228544, episodic return=639.0073852539062\n", + "global step=5228544, episodic return=614.7367553710938\n", + "global step=5230592, episodic return=609.47265625\n", + "global step=5230592, episodic return=651.6464233398438\n", + "global step=5230592, episodic return=644.6083984375\n", + "global step=5230592, episodic return=654.1095581054688\n", + "global step=5230592, episodic return=594.728515625\n", + "global step=5230592, episodic return=637.9467163085938\n", + "global step=5230592, episodic return=684.0352172851562\n", + "global step=5230592, episodic return=630.6866455078125\n", + "global step=5230592, episodic return=639.9364013671875\n", + "global step=5230592, episodic return=599.7675170898438\n", + "global step=5230592, episodic return=626.8016357421875\n", + "global step=5230592, episodic return=625.9105834960938\n", + "global step=5230592, episodic return=666.8551635742188\n", + "global step=5230592, episodic return=694.8543090820312\n", + "global step=5232640, episodic return=290.7532043457031\n", + "global step=5232640, episodic return=648.2282104492188\n", + "global step=5232640, episodic return=620.4243774414062\n", + "global step=5232640, episodic return=619.726318359375\n", + "global step=5232640, episodic return=615.887451171875\n", + "global step=5232640, episodic return=637.5964965820312\n", + "global step=5232640, episodic return=624.5189819335938\n", + "global step=5232640, episodic return=729.216552734375\n", + "global step=5232640, episodic return=606.25830078125\n", + "global step=5232640, episodic return=673.4599609375\n", + "global step=5232640, episodic return=627.859130859375\n", + "global step=5232640, episodic return=586.4544067382812\n", + "global step=5232640, episodic return=673.8976440429688\n", + "global step=5232640, episodic return=612.7149047851562\n", + "global step=5232640, episodic return=617.0775756835938\n", + "global step=5232640, episodic return=651.9752197265625\n", + "global step=5232640, episodic return=607.9014892578125\n", + "global step=5234688, episodic return=630.5896606445312\n", + "global step=5234688, episodic return=603.7306518554688\n", + "global step=5234688, episodic return=605.8331298828125\n", + "global step=5234688, episodic return=566.7064208984375\n", + "global step=5234688, episodic return=616.7496337890625\n", + "global step=5234688, episodic return=661.728759765625\n", + "global step=5234688, episodic return=632.2880859375\n", + "global step=5234688, episodic return=649.5692749023438\n", + "global step=5234688, episodic return=656.107177734375\n", + "global step=5234688, episodic return=633.9389038085938\n", + "global step=5234688, episodic return=639.4007568359375\n", + "global step=5234688, episodic return=623.0028686523438\n", + "global step=5234688, episodic return=685.8606567382812\n", + "global step=5234688, episodic return=639.5209350585938\n", + "global step=5234688, episodic return=625.6826171875\n", + "global step=5234688, episodic return=631.218505859375\n", + "global step=5236736, episodic return=581.0064697265625\n", + "global step=5236736, episodic return=682.5772094726562\n", + "global step=5236736, episodic return=635.2119140625\n", + "global step=5236736, episodic return=693.1658935546875\n", + "global step=5236736, episodic return=620.6924438476562\n", + "global step=5236736, episodic return=580.1548461914062\n", + "global step=5236736, episodic return=685.561767578125\n", + "global step=5238784, episodic return=627.9703369140625\n", + "global step=5238784, episodic return=610.824951171875\n", + "global step=5238784, episodic return=648.040771484375\n", + "global step=5238784, episodic return=631.392333984375\n", + "global step=5238784, episodic return=623.0205078125\n", + "global step=5238784, episodic return=619.0783081054688\n", + "global step=5238784, episodic return=695.4048461914062\n", + "global step=5238784, episodic return=661.197509765625\n", + "global step=5238784, episodic return=623.6445922851562\n", + "global step=5238784, episodic return=675.3781127929688\n", + "global step=5238784, episodic return=638.6668701171875\n", + "global step=5238784, episodic return=650.9675903320312\n", + "global step=5240832, episodic return=304.2007141113281\n", + "global step=5240832, episodic return=659.4464721679688\n", + "global step=5240832, episodic return=595.3867797851562\n", + "global step=5240832, episodic return=692.1748657226562\n", + "global step=5240832, episodic return=625.5914306640625\n", + "global step=5240832, episodic return=593.9563598632812\n", + "global step=5240832, episodic return=595.5203857421875\n", + "global step=5240832, episodic return=631.1272583007812\n", + "global step=5240832, episodic return=651.4415893554688\n", + "global step=5240832, episodic return=631.574462890625\n", + "global step=5240832, episodic return=593.478271484375\n", + "global step=5240832, episodic return=608.2906494140625\n", + "global step=5240832, episodic return=655.0799560546875\n", + "global step=5242880, episodic return=651.1309814453125\n", + "global step=5242880, episodic return=672.0596313476562\n", + "global step=5242880, episodic return=627.8905029296875\n", + "global step=5242880, episodic return=642.92578125\n", + "global step=5242880, episodic return=627.4298706054688\n", + "global step=5242880, episodic return=576.8981323242188\n", + "global step=5242880, episodic return=607.6608276367188\n", + "global step=5242880, episodic return=668.8123168945312\n", + "global step=5242880, episodic return=617.7677612304688\n", + "global step=5242880, episodic return=693.9548950195312\n", + "global step=5244928, episodic return=622.8173217773438\n", + "global step=5244928, episodic return=607.9591064453125\n", + "global step=5244928, episodic return=622.7352905273438\n", + "global step=5244928, episodic return=634.8948974609375\n", + "global step=5244928, episodic return=650.229248046875\n", + "global step=5244928, episodic return=667.0759887695312\n", + "global step=5244928, episodic return=654.432373046875\n", + "global step=5244928, episodic return=638.0594482421875\n", + "global step=5244928, episodic return=650.8687744140625\n", + "global step=5244928, episodic return=677.6359252929688\n", + "global step=5244928, episodic return=603.0051879882812\n", + "global step=5244928, episodic return=647.549072265625\n", + "global step=5246976, episodic return=672.6585693359375\n", + "global step=5246976, episodic return=675.0216674804688\n", + "global step=5246976, episodic return=595.2118530273438\n", + "global step=5246976, episodic return=639.5869750976562\n", + "global step=5246976, episodic return=709.89697265625\n", + "global step=5246976, episodic return=612.4201049804688\n", + "global step=5246976, episodic return=685.4403686523438\n", + "global step=5246976, episodic return=652.14306640625\n", + "global step=5246976, episodic return=622.0037841796875\n", + "global step=5246976, episodic return=600.7245483398438\n", + "global step=5246976, episodic return=649.1744384765625\n", + "global step=5246976, episodic return=62.0709228515625\n", + "global step=5246976, episodic return=655.1954956054688\n", + "global step=5246976, episodic return=643.9278564453125\n", + "global step=5249024, episodic return=631.1550903320312\n", + "global step=5249024, episodic return=62.81440353393555\n", + "global step=5249024, episodic return=627.523681640625\n", + "global step=5249024, episodic return=635.3103637695312\n", + "global step=5249024, episodic return=632.1195068359375\n", + "global step=5249024, episodic return=640.4844360351562\n", + "global step=5251072, episodic return=652.840576171875\n", + "global step=5251072, episodic return=32.20970916748047\n", + "global step=5251072, episodic return=627.5399169921875\n", + "global step=5251072, episodic return=622.4411010742188\n", + "global step=5251072, episodic return=662.47900390625\n", + "global step=5251072, episodic return=654.4773559570312\n", + "global step=5251072, episodic return=643.7355346679688\n", + "global step=5251072, episodic return=616.5980224609375\n", + "global step=5253120, episodic return=669.0650634765625\n", + "global step=5253120, episodic return=598.0697021484375\n", + "global step=5253120, episodic return=657.111083984375\n", + "global step=5253120, episodic return=632.9485473632812\n", + "global step=5253120, episodic return=651.9495849609375\n", + "global step=5253120, episodic return=326.6315002441406\n", + "global step=5253120, episodic return=566.5484619140625\n", + "global step=5255168, episodic return=657.0982666015625\n", + "global step=5255168, episodic return=605.8629150390625\n", + "global step=5255168, episodic return=629.6954956054688\n", + "global step=5257216, episodic return=619.3609619140625\n", + "global step=5257216, episodic return=649.561767578125\n", + "global step=5257216, episodic return=571.9902954101562\n", + "global step=5257216, episodic return=317.1146240234375\n", + "global step=5257216, episodic return=628.1953125\n", + "global step=5257216, episodic return=612.3424072265625\n", + "global step=5257216, episodic return=602.2715454101562\n", + "global step=5257216, episodic return=594.9005737304688\n", + "global step=5257216, episodic return=675.3001098632812\n", + "global step=5257216, episodic return=635.7587280273438\n", + "global step=5257216, episodic return=607.4305419921875\n", + "global step=5257216, episodic return=639.7084350585938\n", + "global step=5259264, episodic return=654.01708984375\n", + "global step=5259264, episodic return=613.0088500976562\n", + "global step=5259264, episodic return=591.79638671875\n", + "global step=5259264, episodic return=628.4008178710938\n", + "global step=5259264, episodic return=658.3125610351562\n", + "global step=5259264, episodic return=594.8292846679688\n", + "global step=5259264, episodic return=653.7178955078125\n", + "global step=5259264, episodic return=646.9093627929688\n", + "global step=5259264, episodic return=623.8826904296875\n", + "global step=5259264, episodic return=691.6827392578125\n", + "global step=5261312, episodic return=612.8549194335938\n", + "global step=5261312, episodic return=598.5760498046875\n", + "global step=5261312, episodic return=621.3584594726562\n", + "global step=5261312, episodic return=597.71728515625\n", + "global step=5261312, episodic return=587.4517822265625\n", + "global step=5261312, episodic return=679.5883178710938\n", + "global step=5261312, episodic return=635.1002197265625\n", + "global step=5263360, episodic return=660.755126953125\n", + "global step=5263360, episodic return=625.68017578125\n", + "global step=5263360, episodic return=636.859130859375\n", + "global step=5263360, episodic return=618.4282836914062\n", + "global step=5263360, episodic return=631.1337890625\n", + "global step=5263360, episodic return=616.2676391601562\n", + "global step=5263360, episodic return=607.5552368164062\n", + "global step=5263360, episodic return=642.4713745117188\n", + "global step=5263360, episodic return=647.5347900390625\n", + "global step=5263360, episodic return=626.8975219726562\n", + "global step=5263360, episodic return=686.0106811523438\n", + "global step=5265408, episodic return=626.4571533203125\n", + "global step=5265408, episodic return=706.7305908203125\n", + "global step=5265408, episodic return=632.1259765625\n", + "global step=5265408, episodic return=690.661865234375\n", + "global step=5265408, episodic return=663.8579711914062\n", + "global step=5265408, episodic return=644.2823486328125\n", + "global step=5265408, episodic return=633.1985473632812\n", + "global step=5265408, episodic return=626.7592163085938\n", + "global step=5265408, episodic return=615.9462890625\n", + "global step=5265408, episodic return=557.0911865234375\n", + "global step=5267456, episodic return=636.8449096679688\n", + "global step=5267456, episodic return=629.2088623046875\n", + "global step=5267456, episodic return=637.2739868164062\n", + "global step=5267456, episodic return=604.7921142578125\n", + "global step=5267456, episodic return=665.443115234375\n", + "global step=5267456, episodic return=605.9536743164062\n", + "global step=5267456, episodic return=617.552490234375\n", + "global step=5267456, episodic return=571.05078125\n", + "global step=5267456, episodic return=647.5657958984375\n", + "global step=5269504, episodic return=636.4358520507812\n", + "global step=5269504, episodic return=628.1527709960938\n", + "global step=5269504, episodic return=603.7730712890625\n", + "global step=5269504, episodic return=686.6678466796875\n", + "global step=5269504, episodic return=646.4356689453125\n", + "global step=5269504, episodic return=606.1895141601562\n", + "global step=5271552, episodic return=664.6658325195312\n", + "global step=5271552, episodic return=626.3587646484375\n", + "global step=5271552, episodic return=660.79443359375\n", + "global step=5271552, episodic return=644.0130615234375\n", + "global step=5271552, episodic return=664.32177734375\n", + "global step=5273600, episodic return=682.023193359375\n", + "global step=5273600, episodic return=626.4852294921875\n", + "global step=5273600, episodic return=657.9984130859375\n", + "global step=5273600, episodic return=632.7552490234375\n", + "global step=5273600, episodic return=612.315673828125\n", + "global step=5273600, episodic return=645.0245361328125\n", + "global step=5273600, episodic return=613.004150390625\n", + "global step=5275648, episodic return=701.7227172851562\n", + "global step=5275648, episodic return=697.921142578125\n", + "global step=5275648, episodic return=621.0701293945312\n", + "global step=5275648, episodic return=675.3832397460938\n", + "global step=5275648, episodic return=627.2152709960938\n", + "global step=5275648, episodic return=385.27008056640625\n", + "global step=5275648, episodic return=606.7644653320312\n", + "global step=5277696, episodic return=605.726806640625\n", + "global step=5277696, episodic return=620.4236450195312\n", + "global step=5277696, episodic return=666.197265625\n", + "global step=5277696, episodic return=631.4297485351562\n", + "global step=5277696, episodic return=590.9146728515625\n", + "global step=5277696, episodic return=700.4313354492188\n", + "global step=5277696, episodic return=617.3812866210938\n", + "global step=5277696, episodic return=626.614501953125\n", + "global step=5277696, episodic return=602.02294921875\n", + "global step=5277696, episodic return=570.8069458007812\n", + "global step=5277696, episodic return=615.4955444335938\n", + "global step=5279744, episodic return=611.5760498046875\n", + "global step=5279744, episodic return=639.886962890625\n", + "global step=5279744, episodic return=614.1642456054688\n", + "global step=5279744, episodic return=639.2550659179688\n", + "global step=5279744, episodic return=668.699951171875\n", + "global step=5281792, episodic return=647.4239501953125\n", + "global step=5281792, episodic return=636.2704467773438\n", + "global step=5281792, episodic return=654.0410766601562\n", + "global step=5281792, episodic return=643.8627319335938\n", + "global step=5281792, episodic return=607.8192749023438\n", + "global step=5281792, episodic return=621.9232177734375\n", + "global step=5283840, episodic return=622.0371704101562\n", + "global step=5283840, episodic return=685.7924194335938\n", + "global step=5283840, episodic return=645.23779296875\n", + "global step=5283840, episodic return=702.8129272460938\n", + "global step=5283840, episodic return=672.5112915039062\n", + "global step=5283840, episodic return=604.0900268554688\n", + "global step=5283840, episodic return=645.2406005859375\n", + "global step=5283840, episodic return=705.6588134765625\n", + "global step=5285888, episodic return=704.7090454101562\n", + "global step=5285888, episodic return=658.4385375976562\n", + "global step=5285888, episodic return=618.2920532226562\n", + "global step=5285888, episodic return=660.962158203125\n", + "global step=5285888, episodic return=629.802001953125\n", + "global step=5285888, episodic return=721.868408203125\n", + "global step=5285888, episodic return=680.98486328125\n", + "global step=5285888, episodic return=616.6985473632812\n", + "global step=5287936, episodic return=770.1307373046875\n", + "global step=5287936, episodic return=607.4535522460938\n", + "global step=5287936, episodic return=639.7769775390625\n", + "global step=5287936, episodic return=665.322998046875\n", + "global step=5287936, episodic return=638.8064575195312\n", + "global step=5287936, episodic return=634.9573974609375\n", + "global step=5289984, episodic return=662.0443115234375\n", + "global step=5292032, episodic return=616.7327270507812\n", + "global step=5292032, episodic return=608.6021728515625\n", + "global step=5292032, episodic return=659.1947631835938\n", + "global step=5292032, episodic return=667.7030639648438\n", + "global step=5292032, episodic return=635.8841552734375\n", + "global step=5292032, episodic return=586.5224609375\n", + "global step=5292032, episodic return=613.7193603515625\n", + "global step=5294080, episodic return=570.4088745117188\n", + "global step=5294080, episodic return=676.7667846679688\n", + "global step=5294080, episodic return=652.8207397460938\n", + "global step=5294080, episodic return=641.1796264648438\n", + "global step=5294080, episodic return=663.0514526367188\n", + "global step=5296128, episodic return=674.7783203125\n", + "global step=5296128, episodic return=600.371337890625\n", + "global step=5296128, episodic return=646.9391479492188\n", + "global step=5296128, episodic return=678.3856811523438\n", + "global step=5296128, episodic return=652.3097534179688\n", + "global step=5296128, episodic return=633.0347290039062\n", + "global step=5296128, episodic return=613.7178955078125\n", + "global step=5298176, episodic return=700.8448486328125\n", + "global step=5298176, episodic return=388.6240234375\n", + "global step=5298176, episodic return=706.1891479492188\n", + "global step=5300224, episodic return=729.6641845703125\n", + "global step=5300224, episodic return=649.6249389648438\n", + "global step=5300224, episodic return=320.4809265136719\n", + "global step=5300224, episodic return=660.479248046875\n", + "global step=5300224, episodic return=631.5604248046875\n", + "global step=5300224, episodic return=660.1224365234375\n", + "global step=5300224, episodic return=644.9862060546875\n", + "global step=5302272, episodic return=673.7323608398438\n", + "global step=5302272, episodic return=653.4140625\n", + "global step=5304320, episodic return=732.843505859375\n", + "global step=5304320, episodic return=666.8671264648438\n", + "global step=5304320, episodic return=655.6991577148438\n", + "global step=5304320, episodic return=595.6878662109375\n", + "global step=5304320, episodic return=654.0791015625\n", + "global step=5304320, episodic return=639.605224609375\n", + "global step=5304320, episodic return=652.1682739257812\n", + "global step=5306368, episodic return=686.7042846679688\n", + "global step=5306368, episodic return=654.0108642578125\n", + "global step=5306368, episodic return=630.13525390625\n", + "global step=5306368, episodic return=706.8788452148438\n", + "global step=5306368, episodic return=679.13720703125\n", + "global step=5306368, episodic return=671.0708618164062\n", + "global step=5306368, episodic return=675.498291015625\n", + "global step=5308416, episodic return=625.474609375\n", + "global step=5308416, episodic return=610.4512939453125\n", + "global step=5308416, episodic return=610.5570068359375\n", + "global step=5308416, episodic return=710.3948364257812\n", + "global step=5308416, episodic return=672.144287109375\n", + "global step=5310464, episodic return=642.3428955078125\n", + "global step=5310464, episodic return=711.1589965820312\n", + "global step=5310464, episodic return=624.684814453125\n", + "global step=5310464, episodic return=611.85400390625\n", + "global step=5310464, episodic return=618.458251953125\n", + "global step=5310464, episodic return=642.9126586914062\n", + "global step=5310464, episodic return=645.242431640625\n", + "global step=5310464, episodic return=702.913818359375\n", + "global step=5312512, episodic return=564.9391479492188\n", + "global step=5312512, episodic return=646.8526611328125\n", + "global step=5312512, episodic return=704.0276489257812\n", + "global step=5312512, episodic return=642.9115600585938\n", + "global step=5314560, episodic return=315.79241943359375\n", + "global step=5314560, episodic return=563.3238525390625\n", + "global step=5314560, episodic return=706.52587890625\n", + "global step=5314560, episodic return=610.02783203125\n", + "global step=5314560, episodic return=607.8511352539062\n", + "global step=5316608, episodic return=721.339111328125\n", + "global step=5316608, episodic return=654.6648559570312\n", + "global step=5316608, episodic return=716.8440551757812\n", + "global step=5316608, episodic return=651.7400512695312\n", + "global step=5316608, episodic return=669.7490234375\n", + "global step=5316608, episodic return=739.86669921875\n", + "global step=5316608, episodic return=633.7091674804688\n", + "global step=5316608, episodic return=627.4583129882812\n", + "global step=5318656, episodic return=661.812744140625\n", + "global step=5318656, episodic return=671.0144653320312\n", + "global step=5318656, episodic return=640.2457275390625\n", + "global step=5318656, episodic return=667.7813720703125\n", + "global step=5318656, episodic return=704.7371215820312\n", + "global step=5320704, episodic return=772.3919677734375\n", + "global step=5320704, episodic return=623.9453125\n", + "global step=5320704, episodic return=702.4559326171875\n", + "global step=5322752, episodic return=641.0773315429688\n", + "global step=5322752, episodic return=667.5546264648438\n", + "global step=5322752, episodic return=616.3499755859375\n", + "global step=5322752, episodic return=635.7183227539062\n", + "global step=5322752, episodic return=641.9105224609375\n", + "global step=5324800, episodic return=609.9168701171875\n", + "global step=5324800, episodic return=620.508056640625\n", + "global step=5324800, episodic return=658.709228515625\n", + "global step=5324800, episodic return=609.737548828125\n", + "global step=5326848, episodic return=652.6546630859375\n", + "global step=5326848, episodic return=668.5917358398438\n", + "global step=5326848, episodic return=688.8212890625\n", + "global step=5326848, episodic return=398.3697509765625\n", + "global step=5328896, episodic return=677.7335815429688\n", + "global step=5330944, episodic return=716.8514404296875\n", + "global step=5330944, episodic return=678.0391235351562\n", + "global step=5330944, episodic return=630.7049560546875\n", + "global step=5332992, episodic return=698.9086303710938\n", + "global step=5332992, episodic return=755.039306640625\n", + "global step=5332992, episodic return=645.2531127929688\n", + "global step=5332992, episodic return=603.5419921875\n", + "global step=5332992, episodic return=767.5941772460938\n", + "global step=5335040, episodic return=635.87939453125\n", + "global step=5337088, episodic return=701.532958984375\n", + "global step=5337088, episodic return=657.2025756835938\n", + "global step=5337088, episodic return=628.594970703125\n", + "global step=5339136, episodic return=660.9465942382812\n", + "global step=5339136, episodic return=717.6563720703125\n", + "global step=5339136, episodic return=632.5787963867188\n", + "global step=5341184, episodic return=689.276123046875\n", + "global step=5341184, episodic return=664.5513916015625\n", + "global step=5341184, episodic return=683.427001953125\n", + "global step=5341184, episodic return=616.8742065429688\n", + "global step=5343232, episodic return=640.2868041992188\n", + "global step=5343232, episodic return=642.4263916015625\n", + "global step=5343232, episodic return=661.6450805664062\n", + "global step=5343232, episodic return=649.5109252929688\n", + "global step=5345280, episodic return=662.9122314453125\n", + "global step=5345280, episodic return=664.8787841796875\n", + "global step=5345280, episodic return=699.2980346679688\n", + "global step=5345280, episodic return=686.4073486328125\n", + "global step=5347328, episodic return=696.99462890625\n", + "global step=5347328, episodic return=638.8941650390625\n", + "global step=5347328, episodic return=656.5697631835938\n", + "global step=5347328, episodic return=692.219482421875\n", + "global step=5347328, episodic return=641.1717529296875\n", + "global step=5347328, episodic return=638.637451171875\n", + "global step=5347328, episodic return=678.0902099609375\n", + "global step=5349376, episodic return=623.4686279296875\n", + "global step=5351424, episodic return=659.3401489257812\n", + "global step=5353472, episodic return=676.9901123046875\n", + "global step=5353472, episodic return=769.902587890625\n", + "global step=5353472, episodic return=701.494384765625\n", + "global step=5353472, episodic return=701.8800659179688\n", + "global step=5355520, episodic return=635.9749145507812\n", + "global step=5355520, episodic return=679.0052490234375\n", + "global step=5355520, episodic return=653.2971801757812\n", + "global step=5355520, episodic return=703.0328979492188\n", + "global step=5355520, episodic return=732.3367919921875\n", + "global step=5357568, episodic return=667.6929321289062\n", + "global step=5357568, episodic return=697.3589477539062\n", + "global step=5357568, episodic return=679.4204711914062\n", + "global step=5357568, episodic return=67.75701141357422\n", + "global step=5357568, episodic return=615.405517578125\n", + "global step=5357568, episodic return=651.9676513671875\n", + "global step=5357568, episodic return=641.1396484375\n", + "global step=5359616, episodic return=689.396240234375\n", + "global step=5359616, episodic return=67.37793731689453\n", + "global step=5359616, episodic return=661.8191528320312\n", + "global step=5359616, episodic return=652.335205078125\n", + "global step=5361664, episodic return=722.3037109375\n", + "global step=5361664, episodic return=646.523681640625\n", + "global step=5363712, episodic return=695.2706298828125\n", + "global step=5363712, episodic return=726.4588623046875\n", + "global step=5363712, episodic return=662.1100463867188\n", + "global step=5363712, episodic return=89.16830444335938\n", + "global step=5363712, episodic return=640.6517944335938\n", + "global step=5363712, episodic return=631.1991577148438\n", + "global step=5367808, episodic return=693.5936279296875\n", + "global step=5367808, episodic return=658.937744140625\n", + "global step=5367808, episodic return=750.2405395507812\n", + "global step=5367808, episodic return=651.439208984375\n", + "global step=5369856, episodic return=712.1416625976562\n", + "global step=5369856, episodic return=621.9636840820312\n", + "global step=5369856, episodic return=657.7431640625\n", + "global step=5369856, episodic return=753.203369140625\n", + "global step=5371904, episodic return=656.4210815429688\n", + "global step=5371904, episodic return=654.775634765625\n", + "global step=5376000, episodic return=669.275146484375\n", + "global step=5376000, episodic return=675.9952392578125\n", + "global step=5376000, episodic return=650.1410522460938\n", + "global step=5376000, episodic return=742.326904296875\n", + "global step=5378048, episodic return=687.3168334960938\n", + "global step=5382144, episodic return=714.9330444335938\n", + "global step=5382144, episodic return=638.7525634765625\n", + "global step=5382144, episodic return=662.543212890625\n", + "global step=5384192, episodic return=663.1826171875\n", + "global step=5384192, episodic return=610.3585205078125\n", + "global step=5384192, episodic return=669.6541748046875\n", + "global step=5386240, episodic return=680.4279174804688\n", + "global step=5386240, episodic return=644.914306640625\n", + "global step=5386240, episodic return=677.6314086914062\n", + "global step=5386240, episodic return=598.2760620117188\n", + "global step=5386240, episodic return=698.6987915039062\n", + "global step=5388288, episodic return=660.2737426757812\n", + "global step=5392384, episodic return=674.0093994140625\n", + "global step=5394432, episodic return=597.0267333984375\n", + "global step=5394432, episodic return=601.892822265625\n", + "global step=5394432, episodic return=671.4983520507812\n", + "global step=5394432, episodic return=660.27783203125\n", + "global step=5394432, episodic return=645.5008544921875\n", + "global step=5396480, episodic return=603.7385864257812\n", + "global step=5396480, episodic return=621.9341430664062\n", + "global step=5396480, episodic return=654.5369262695312\n", + "global step=5396480, episodic return=732.480224609375\n", + "global step=5396480, episodic return=692.6469116210938\n", + "global step=5396480, episodic return=662.820556640625\n", + "global step=5396480, episodic return=694.1589965820312\n", + "global step=5398528, episodic return=654.6242065429688\n", + "global step=5398528, episodic return=649.3969116210938\n", + "global step=5398528, episodic return=693.9149780273438\n", + "global step=5398528, episodic return=698.52490234375\n", + "global step=5400576, episodic return=807.7542724609375\n", + "global step=5400576, episodic return=695.2817993164062\n", + "global step=5400576, episodic return=677.540283203125\n", + "global step=5402624, episodic return=817.8336181640625\n", + "global step=5402624, episodic return=665.6968994140625\n", + "global step=5402624, episodic return=687.5794067382812\n", + "global step=5404672, episodic return=661.5276489257812\n", + "global step=5404672, episodic return=657.078125\n", + "global step=5404672, episodic return=741.2431640625\n", + "global step=5404672, episodic return=682.2489624023438\n", + "global step=5406720, episodic return=676.5067138671875\n", + "global step=5406720, episodic return=786.2810668945312\n", + "global step=5408768, episodic return=717.9324340820312\n", + "global step=5408768, episodic return=694.8284301757812\n", + "global step=5408768, episodic return=617.3933715820312\n", + "global step=5408768, episodic return=745.4075317382812\n", + "global step=5410816, episodic return=621.4403076171875\n", + "global step=5410816, episodic return=720.1808471679688\n", + "global step=5410816, episodic return=644.1448974609375\n", + "global step=5410816, episodic return=668.3543701171875\n", + "global step=5410816, episodic return=553.9798583984375\n", + "global step=5412864, episodic return=710.7533569335938\n", + "global step=5412864, episodic return=661.944580078125\n", + "global step=5412864, episodic return=694.7665405273438\n", + "global step=5414912, episodic return=691.9390258789062\n", + "global step=5416960, episodic return=704.5031127929688\n", + "global step=5416960, episodic return=615.2619018554688\n", + "global step=5416960, episodic return=673.5341186523438\n", + "global step=5419008, episodic return=802.3760986328125\n", + "global step=5421056, episodic return=718.9467163085938\n", + "global step=5421056, episodic return=555.3623657226562\n", + "global step=5421056, episodic return=631.0264282226562\n", + "global step=5421056, episodic return=634.0228881835938\n", + "global step=5421056, episodic return=704.6348266601562\n", + "global step=5423104, episodic return=717.308349609375\n", + "global step=5425152, episodic return=620.5338745117188\n", + "global step=5425152, episodic return=717.4968872070312\n", + "global step=5425152, episodic return=686.8567504882812\n", + "global step=5427200, episodic return=566.2892456054688\n", + "global step=5429248, episodic return=668.6034545898438\n", + "global step=5431296, episodic return=681.4927368164062\n", + "global step=5431296, episodic return=709.8892211914062\n", + "global step=5431296, episodic return=642.8612670898438\n", + "global step=5431296, episodic return=698.369873046875\n", + "global step=5433344, episodic return=637.633544921875\n", + "global step=5433344, episodic return=620.2332153320312\n", + "global step=5433344, episodic return=720.447021484375\n", + "global step=5433344, episodic return=621.3598022460938\n", + "global step=5433344, episodic return=648.2162475585938\n", + "global step=5435392, episodic return=638.3790283203125\n", + "global step=5437440, episodic return=642.5171508789062\n", + "global step=5437440, episodic return=650.66796875\n", + "global step=5441536, episodic return=646.9954223632812\n", + "global step=5441536, episodic return=828.24951171875\n", + "global step=5441536, episodic return=713.4769897460938\n", + "global step=5443584, episodic return=646.512451171875\n", + "global step=5443584, episodic return=774.8025512695312\n", + "global step=5445632, episodic return=616.3311157226562\n", + "global step=5449728, episodic return=724.1129150390625\n", + "global step=5449728, episodic return=770.064697265625\n", + "global step=5449728, episodic return=727.8675537109375\n", + "global step=5451776, episodic return=679.5380859375\n", + "global step=5451776, episodic return=615.6384887695312\n", + "global step=5453824, episodic return=691.6370239257812\n", + "global step=5453824, episodic return=683.055419921875\n", + "global step=5455872, episodic return=690.6340942382812\n", + "global step=5455872, episodic return=758.398193359375\n", + "global step=5455872, episodic return=657.4721069335938\n", + "global step=5457920, episodic return=94.64256286621094\n", + "global step=5457920, episodic return=616.3313598632812\n", + "global step=5457920, episodic return=659.4803466796875\n", + "global step=5464064, episodic return=669.6659545898438\n", + "global step=5464064, episodic return=625.0255126953125\n", + "global step=5464064, episodic return=638.7202758789062\n", + "global step=5466112, episodic return=652.2861938476562\n", + "global step=5466112, episodic return=660.949462890625\n", + "global step=5466112, episodic return=648.603759765625\n", + "global step=5466112, episodic return=698.1813354492188\n", + "global step=5466112, episodic return=64.37403106689453\n", + "global step=5468160, episodic return=654.8482055664062\n", + "global step=5468160, episodic return=58.95765686035156\n", + "global step=5470208, episodic return=514.6014404296875\n", + "global step=5472256, episodic return=646.2940063476562\n", + "global step=5472256, episodic return=597.4552001953125\n", + "global step=5474304, episodic return=734.81298828125\n", + "global step=5474304, episodic return=792.0001831054688\n", + "global step=5476352, episodic return=64.58746337890625\n", + "global step=5478400, episodic return=667.6329345703125\n", + "global step=5478400, episodic return=641.15869140625\n", + "global step=5480448, episodic return=688.8885498046875\n", + "global step=5480448, episodic return=660.2988891601562\n", + "global step=5482496, episodic return=691.4967041015625\n", + "global step=5484544, episodic return=664.3704223632812\n", + "global step=5484544, episodic return=641.095947265625\n", + "global step=5484544, episodic return=605.3170776367188\n", + "global step=5486592, episodic return=628.4310913085938\n", + "global step=5488640, episodic return=597.27197265625\n", + "global step=5490688, episodic return=725.4619750976562\n", + "global step=5492736, episodic return=65.70660400390625\n", + "global step=5494784, episodic return=666.3421020507812\n", + "global step=5496832, episodic return=87.26526641845703\n", + "global step=5496832, episodic return=683.03515625\n", + "global step=5496832, episodic return=66.4091567993164\n", + "global step=5498880, episodic return=654.8677368164062\n", + "global step=5500928, episodic return=327.52056884765625\n", + "global step=5502976, episodic return=428.2713623046875\n", + "global step=5502976, episodic return=653.8008422851562\n", + "global step=5507072, episodic return=691.13916015625\n", + "global step=5509120, episodic return=646.053466796875\n", + "global step=5509120, episodic return=600.348876953125\n", + "global step=5511168, episodic return=614.205322265625\n", + "global step=5513216, episodic return=692.828369140625\n", + "global step=5515264, episodic return=631.2180786132812\n", + "global step=5515264, episodic return=653.8685302734375\n", + "global step=5517312, episodic return=702.6557006835938\n", + "global step=5521408, episodic return=516.7696533203125\n", + "global step=5523456, episodic return=588.784912109375\n", + "global step=5523456, episodic return=629.0974731445312\n", + "global step=5525504, episodic return=645.6497192382812\n", + "global step=5525504, episodic return=630.756103515625\n", + "global step=5525504, episodic return=96.8360595703125\n", + "global step=5527552, episodic return=703.2451171875\n", + "global step=5527552, episodic return=644.836181640625\n", + "global step=5529600, episodic return=656.178466796875\n", + "global step=5531648, episodic return=565.3525390625\n", + "global step=5533696, episodic return=285.763427734375\n", + "global step=5533696, episodic return=598.0191650390625\n", + "global step=5535744, episodic return=81.51274108886719\n", + "global step=5535744, episodic return=595.1722412109375\n", + "global step=5537792, episodic return=347.4952697753906\n", + "global step=5539840, episodic return=733.6341552734375\n", + "global step=5539840, episodic return=742.0833740234375\n", + "global step=5539840, episodic return=321.7928161621094\n", + "global step=5539840, episodic return=750.593505859375\n", + "global step=5541888, episodic return=660.823486328125\n", + "global step=5545984, episodic return=89.22893524169922\n", + "global step=5545984, episodic return=656.4190673828125\n", + "global step=5545984, episodic return=627.0523071289062\n", + "global step=5548032, episodic return=89.73589324951172\n", + "global step=5548032, episodic return=352.37237548828125\n", + "global step=5550080, episodic return=663.4484252929688\n", + "global step=5554176, episodic return=590.8989868164062\n", + "global step=5554176, episodic return=717.1324462890625\n", + "global step=5556224, episodic return=683.2357177734375\n", + "global step=5560320, episodic return=666.4533081054688\n", + "global step=5562368, episodic return=378.990234375\n", + "global step=5564416, episodic return=420.8349914550781\n", + "global step=5566464, episodic return=882.2589721679688\n", + "global step=5570560, episodic return=733.8635864257812\n", + "global step=5572608, episodic return=394.76702880859375\n", + "global step=5574656, episodic return=662.3207397460938\n", + "global step=5576704, episodic return=363.0050048828125\n", + "global step=5576704, episodic return=651.9534301757812\n", + "global step=5576704, episodic return=372.9922790527344\n", + "global step=5578752, episodic return=789.032958984375\n", + "global step=5580800, episodic return=445.9175109863281\n", + "global step=5580800, episodic return=392.5862731933594\n", + "global step=5580800, episodic return=704.0050048828125\n", + "global step=5580800, episodic return=662.1965942382812\n", + "global step=5580800, episodic return=303.03765869140625\n", + "global step=5580800, episodic return=277.49908447265625\n", + "global step=5580800, episodic return=873.5137329101562\n", + "global step=5582848, episodic return=293.6781921386719\n", + "global step=5582848, episodic return=752.7628173828125\n", + "global step=5582848, episodic return=323.3268737792969\n", + "global step=5582848, episodic return=358.41058349609375\n", + "global step=5586944, episodic return=775.4999389648438\n", + "global step=5586944, episodic return=389.4069519042969\n", + "global step=5586944, episodic return=615.4740600585938\n", + "global step=5588992, episodic return=321.4891662597656\n", + "global step=5588992, episodic return=664.4111328125\n", + "global step=5588992, episodic return=348.6781921386719\n", + "global step=5591040, episodic return=446.6322326660156\n", + "global step=5597184, episodic return=705.9599609375\n", + "global step=5599232, episodic return=347.8564758300781\n", + "global step=5599232, episodic return=699.5676879882812\n", + "global step=5601280, episodic return=672.6572875976562\n", + "global step=5603328, episodic return=564.9855346679688\n", + "global step=5603328, episodic return=515.7168579101562\n", + "global step=5605376, episodic return=350.1051940917969\n", + "global step=5609472, episodic return=455.4101867675781\n", + "global step=5609472, episodic return=601.9169921875\n", + "global step=5609472, episodic return=315.50927734375\n", + "global step=5609472, episodic return=364.2752685546875\n", + "global step=5609472, episodic return=562.5322875976562\n", + "global step=5611520, episodic return=313.6962585449219\n", + "global step=5611520, episodic return=324.9728698730469\n", + "global step=5611520, episodic return=595.157958984375\n", + "global step=5613568, episodic return=332.9638977050781\n", + "global step=5615616, episodic return=733.166748046875\n", + "global step=5615616, episodic return=733.2127075195312\n", + "global step=5617664, episodic return=591.3390502929688\n", + "global step=5617664, episodic return=760.6119384765625\n", + "global step=5619712, episodic return=601.1095581054688\n", + "global step=5621760, episodic return=386.5661315917969\n", + "global step=5625856, episodic return=493.78460693359375\n", + "global step=5629952, episodic return=366.76849365234375\n", + "global step=5629952, episodic return=558.75634765625\n", + "global step=5632000, episodic return=635.1937866210938\n", + "global step=5632000, episodic return=620.2695922851562\n", + "global step=5634048, episodic return=611.817626953125\n", + "global step=5640192, episodic return=561.297607421875\n", + "global step=5640192, episodic return=595.6516723632812\n", + "global step=5640192, episodic return=596.1533203125\n", + "global step=5640192, episodic return=599.9661254882812\n", + "global step=5640192, episodic return=337.68634033203125\n", + "global step=5640192, episodic return=644.672119140625\n", + "global step=5642240, episodic return=426.60565185546875\n", + "global step=5642240, episodic return=614.27099609375\n", + "global step=5644288, episodic return=430.2791442871094\n", + "global step=5644288, episodic return=722.0999755859375\n", + "global step=5648384, episodic return=387.8649597167969\n", + "global step=5648384, episodic return=642.4248046875\n", + "global step=5652480, episodic return=439.784423828125\n", + "global step=5654528, episodic return=588.368408203125\n", + "global step=5654528, episodic return=636.6552734375\n", + "global step=5656576, episodic return=558.9603271484375\n", + "global step=5658624, episodic return=596.1725463867188\n", + "global step=5658624, episodic return=800.5487060546875\n", + "global step=5658624, episodic return=688.409912109375\n", + "global step=5660672, episodic return=764.6327514648438\n", + "global step=5660672, episodic return=661.3419189453125\n", + "global step=5664768, episodic return=779.8375854492188\n", + "global step=5664768, episodic return=763.135986328125\n", + "global step=5666816, episodic return=680.1424560546875\n", + "global step=5666816, episodic return=631.8992919921875\n", + "global step=5670912, episodic return=725.41259765625\n", + "global step=5672960, episodic return=418.4018859863281\n", + "global step=5672960, episodic return=794.1854248046875\n", + "global step=5679104, episodic return=922.6453247070312\n", + "global step=5689344, episodic return=560.3025512695312\n", + "global step=5691392, episodic return=769.2455444335938\n", + "global step=5691392, episodic return=405.2413330078125\n", + "global step=5693440, episodic return=953.2233276367188\n", + "global step=5695488, episodic return=599.2017822265625\n", + "global step=5695488, episodic return=567.6427612304688\n", + "global step=5695488, episodic return=629.6913452148438\n", + "global step=5695488, episodic return=567.1846313476562\n", + "global step=5695488, episodic return=639.0234985351562\n", + "global step=5699584, episodic return=710.441162109375\n", + "global step=5703680, episodic return=617.7752075195312\n", + "global step=5703680, episodic return=612.7931518554688\n", + "global step=5703680, episodic return=593.1805419921875\n", + "global step=5705728, episodic return=592.3995361328125\n", + "global step=5709824, episodic return=604.995361328125\n", + "global step=5711872, episodic return=533.8548583984375\n", + "global step=5711872, episodic return=630.40283203125\n", + "global step=5713920, episodic return=364.7685241699219\n", + "global step=5713920, episodic return=646.9078979492188\n", + "global step=5715968, episodic return=641.864990234375\n", + "global step=5715968, episodic return=631.5066528320312\n", + "global step=5715968, episodic return=632.8135986328125\n", + "global step=5718016, episodic return=600.8187255859375\n", + "global step=5718016, episodic return=600.0926513671875\n", + "global step=5718016, episodic return=562.076171875\n", + "global step=5720064, episodic return=630.4608764648438\n", + "global step=5720064, episodic return=641.0623779296875\n", + "global step=5720064, episodic return=252.65122985839844\n", + "global step=5722112, episodic return=373.71722412109375\n", + "global step=5728256, episodic return=590.0852661132812\n", + "global step=5728256, episodic return=650.8092041015625\n", + "global step=5730304, episodic return=621.3927612304688\n", + "global step=5730304, episodic return=596.4175415039062\n", + "global step=5732352, episodic return=432.7443542480469\n", + "global step=5734400, episodic return=655.5494384765625\n", + "global step=5734400, episodic return=571.4403076171875\n", + "global step=5736448, episodic return=598.722412109375\n", + "global step=5738496, episodic return=670.41796875\n", + "global step=5738496, episodic return=583.2460327148438\n", + "global step=5738496, episodic return=590.577880859375\n", + "global step=5740544, episodic return=595.2219848632812\n", + "global step=5740544, episodic return=630.400146484375\n", + "global step=5742592, episodic return=559.25146484375\n", + "global step=5742592, episodic return=605.5444946289062\n", + "global step=5744640, episodic return=604.34765625\n", + "global step=5744640, episodic return=557.7633666992188\n", + "global step=5744640, episodic return=594.1712646484375\n", + "global step=5746688, episodic return=596.0386352539062\n", + "global step=5746688, episodic return=633.288818359375\n", + "global step=5746688, episodic return=590.0725708007812\n", + "global step=5748736, episodic return=592.2550048828125\n", + "global step=5750784, episodic return=561.7621459960938\n", + "global step=5750784, episodic return=679.6549072265625\n", + "global step=5750784, episodic return=653.5848999023438\n", + "global step=5750784, episodic return=636.4361572265625\n", + "global step=5750784, episodic return=709.0736694335938\n", + "global step=5752832, episodic return=599.6736450195312\n", + "global step=5754880, episodic return=685.9083862304688\n", + "global step=5754880, episodic return=601.9902954101562\n", + "global step=5754880, episodic return=633.0130615234375\n", + "global step=5756928, episodic return=689.2981567382812\n", + "global step=5756928, episodic return=586.407958984375\n", + "global step=5758976, episodic return=655.125732421875\n", + "global step=5758976, episodic return=658.0921020507812\n", + "global step=5758976, episodic return=614.68017578125\n", + "global step=5758976, episodic return=617.7734985351562\n", + "global step=5758976, episodic return=572.41064453125\n", + "global step=5761024, episodic return=625.8202514648438\n", + "global step=5761024, episodic return=590.546875\n", + "global step=5761024, episodic return=614.6433715820312\n", + "global step=5761024, episodic return=585.355712890625\n", + "global step=5761024, episodic return=609.5829467773438\n", + "global step=5763072, episodic return=682.6653442382812\n", + "global step=5763072, episodic return=589.9059448242188\n", + "global step=5767168, episodic return=589.6114501953125\n", + "global step=5767168, episodic return=613.7197265625\n", + "global step=5767168, episodic return=816.3203735351562\n", + "global step=5771264, episodic return=675.7708129882812\n", + "global step=5771264, episodic return=619.8753662109375\n", + "global step=5771264, episodic return=587.3934326171875\n", + "global step=5771264, episodic return=636.1034545898438\n", + "global step=5771264, episodic return=622.3504638671875\n", + "global step=5773312, episodic return=576.1808471679688\n", + "global step=5773312, episodic return=625.3590087890625\n", + "global step=5775360, episodic return=621.1441650390625\n", + "global step=5775360, episodic return=672.8827514648438\n", + "global step=5775360, episodic return=620.8985595703125\n", + "global step=5777408, episodic return=585.705078125\n", + "global step=5777408, episodic return=677.06689453125\n", + "global step=5777408, episodic return=645.318359375\n", + "global step=5777408, episodic return=600.0698852539062\n", + "global step=5779456, episodic return=637.5350952148438\n", + "global step=5779456, episodic return=607.4562377929688\n", + "global step=5781504, episodic return=671.8256225585938\n", + "global step=5781504, episodic return=592.437744140625\n", + "global step=5781504, episodic return=568.8391723632812\n", + "global step=5781504, episodic return=469.56591796875\n", + "global step=5781504, episodic return=629.76806640625\n", + "global step=5781504, episodic return=602.7476196289062\n", + "global step=5781504, episodic return=684.7566528320312\n", + "global step=5781504, episodic return=583.3258666992188\n", + "global step=5783552, episodic return=602.3884887695312\n", + "global step=5783552, episodic return=564.332275390625\n", + "global step=5783552, episodic return=632.2781982421875\n", + "global step=5783552, episodic return=720.9370727539062\n", + "global step=5783552, episodic return=547.933349609375\n", + "global step=5783552, episodic return=594.652587890625\n", + "global step=5783552, episodic return=681.2526245117188\n", + "global step=5785600, episodic return=616.1417846679688\n", + "global step=5785600, episodic return=609.2925415039062\n", + "global step=5785600, episodic return=383.2574462890625\n", + "global step=5785600, episodic return=658.47412109375\n", + "global step=5785600, episodic return=668.5867309570312\n", + "global step=5787648, episodic return=586.6438598632812\n", + "global step=5787648, episodic return=647.8510131835938\n", + "global step=5787648, episodic return=601.71337890625\n", + "global step=5789696, episodic return=648.392578125\n", + "global step=5791744, episodic return=863.5516967773438\n", + "global step=5791744, episodic return=593.9115600585938\n", + "global step=5793792, episodic return=586.3795776367188\n", + "global step=5793792, episodic return=598.4124755859375\n", + "global step=5793792, episodic return=591.7161254882812\n", + "global step=5793792, episodic return=580.0721435546875\n", + "global step=5793792, episodic return=599.1981811523438\n", + "global step=5793792, episodic return=610.3995361328125\n", + "global step=5793792, episodic return=619.4771118164062\n", + "global step=5795840, episodic return=608.91650390625\n", + "global step=5795840, episodic return=592.0777587890625\n", + "global step=5795840, episodic return=652.2106323242188\n", + "global step=5795840, episodic return=629.8980102539062\n", + "global step=5795840, episodic return=642.4267578125\n", + "global step=5795840, episodic return=621.5704345703125\n", + "global step=5795840, episodic return=684.5874633789062\n", + "global step=5795840, episodic return=823.0423583984375\n", + "global step=5795840, episodic return=615.2171630859375\n", + "global step=5797888, episodic return=664.917236328125\n", + "global step=5797888, episodic return=658.03369140625\n", + "global step=5797888, episodic return=579.335205078125\n", + "global step=5797888, episodic return=623.4204711914062\n", + "global step=5799936, episodic return=595.291748046875\n", + "global step=5799936, episodic return=613.3150634765625\n", + "global step=5799936, episodic return=464.46405029296875\n", + "global step=5799936, episodic return=612.4239501953125\n", + "global step=5801984, episodic return=697.5880737304688\n", + "global step=5801984, episodic return=653.752685546875\n", + "global step=5801984, episodic return=658.2813720703125\n", + "global step=5801984, episodic return=587.514404296875\n", + "global step=5801984, episodic return=635.4183349609375\n", + "global step=5801984, episodic return=612.0143432617188\n", + "global step=5801984, episodic return=592.43115234375\n", + "global step=5804032, episodic return=580.0310668945312\n", + "global step=5804032, episodic return=691.989013671875\n", + "global step=5804032, episodic return=563.6002197265625\n", + "global step=5804032, episodic return=696.4141235351562\n", + "global step=5806080, episodic return=606.3748168945312\n", + "global step=5806080, episodic return=539.2626953125\n", + "global step=5806080, episodic return=578.0823974609375\n", + "global step=5806080, episodic return=672.2589111328125\n", + "global step=5806080, episodic return=625.6405639648438\n", + "global step=5808128, episodic return=700.4249267578125\n", + "global step=5808128, episodic return=579.261962890625\n", + "global step=5808128, episodic return=618.4298095703125\n", + "global step=5808128, episodic return=576.886962890625\n", + "global step=5808128, episodic return=416.4627380371094\n", + "global step=5808128, episodic return=628.4168090820312\n", + "global step=5808128, episodic return=624.6296997070312\n", + "global step=5810176, episodic return=632.4208374023438\n", + "global step=5810176, episodic return=601.4967651367188\n", + "global step=5810176, episodic return=580.3854370117188\n", + "global step=5810176, episodic return=659.7185668945312\n", + "global step=5810176, episodic return=599.2635498046875\n", + "global step=5810176, episodic return=612.7421875\n", + "global step=5812224, episodic return=562.8726806640625\n", + "global step=5812224, episodic return=665.7660522460938\n", + "global step=5812224, episodic return=666.4942626953125\n", + "global step=5812224, episodic return=628.6146240234375\n", + "global step=5812224, episodic return=596.8770751953125\n", + "global step=5814272, episodic return=613.2293090820312\n", + "global step=5814272, episodic return=621.2897338867188\n", + "global step=5814272, episodic return=577.8026733398438\n", + "global step=5816320, episodic return=651.45068359375\n", + "global step=5816320, episodic return=676.6810913085938\n", + "global step=5818368, episodic return=593.810302734375\n", + "global step=5818368, episodic return=682.515869140625\n", + "global step=5818368, episodic return=623.4407348632812\n", + "global step=5818368, episodic return=708.5485229492188\n", + "global step=5820416, episodic return=620.354736328125\n", + "global step=5820416, episodic return=603.2012939453125\n", + "global step=5820416, episodic return=624.7954711914062\n", + "global step=5820416, episodic return=472.507080078125\n", + "global step=5820416, episodic return=628.2493286132812\n", + "global step=5820416, episodic return=626.16259765625\n", + "global step=5820416, episodic return=564.2421875\n", + "global step=5820416, episodic return=644.5235595703125\n", + "global step=5822464, episodic return=590.1212768554688\n", + "global step=5822464, episodic return=672.8508911132812\n", + "global step=5822464, episodic return=458.4953308105469\n", + "global step=5822464, episodic return=633.5403442382812\n", + "global step=5822464, episodic return=649.1212768554688\n", + "global step=5822464, episodic return=560.462158203125\n", + "global step=5824512, episodic return=644.5855102539062\n", + "global step=5824512, episodic return=710.2261352539062\n", + "global step=5824512, episodic return=638.165283203125\n", + "global step=5824512, episodic return=455.4253845214844\n", + "global step=5824512, episodic return=632.1383666992188\n", + "global step=5824512, episodic return=623.3875122070312\n", + "global step=5826560, episodic return=467.3192138671875\n", + "global step=5826560, episodic return=706.0300903320312\n", + "global step=5826560, episodic return=650.3778686523438\n", + "global step=5826560, episodic return=619.7099609375\n", + "global step=5826560, episodic return=465.7298278808594\n", + "global step=5826560, episodic return=580.6357421875\n", + "global step=5828608, episodic return=633.4214477539062\n", + "global step=5828608, episodic return=662.26171875\n", + "global step=5828608, episodic return=622.558349609375\n", + "global step=5828608, episodic return=556.7057495117188\n", + "global step=5828608, episodic return=627.6478881835938\n", + "global step=5828608, episodic return=611.353515625\n", + "global step=5828608, episodic return=543.18359375\n", + "global step=5830656, episodic return=678.08056640625\n", + "global step=5830656, episodic return=606.7595825195312\n", + "global step=5830656, episodic return=798.5696411132812\n", + "global step=5830656, episodic return=653.0865478515625\n", + "global step=5830656, episodic return=646.0960693359375\n", + "global step=5830656, episodic return=631.7772827148438\n", + "global step=5830656, episodic return=595.3363037109375\n", + "global step=5830656, episodic return=605.4927368164062\n", + "global step=5832704, episodic return=580.0809936523438\n", + "global step=5832704, episodic return=648.7097778320312\n", + "global step=5832704, episodic return=636.7898559570312\n", + "global step=5832704, episodic return=595.7180786132812\n", + "global step=5832704, episodic return=627.64208984375\n", + "global step=5832704, episodic return=907.5673217773438\n", + "global step=5832704, episodic return=617.9002685546875\n", + "global step=5832704, episodic return=982.2205200195312\n", + "global step=5834752, episodic return=595.3538208007812\n", + "global step=5834752, episodic return=615.5263671875\n", + "global step=5834752, episodic return=613.5452880859375\n", + "global step=5834752, episodic return=727.5234375\n", + "global step=5834752, episodic return=599.701171875\n", + "global step=5834752, episodic return=624.8179931640625\n", + "global step=5834752, episodic return=636.1403198242188\n", + "global step=5834752, episodic return=644.4451293945312\n", + "global step=5834752, episodic return=620.7215576171875\n", + "global step=5836800, episodic return=616.5003662109375\n", + "global step=5836800, episodic return=581.599365234375\n", + "global step=5836800, episodic return=613.4464721679688\n", + "global step=5836800, episodic return=668.4338989257812\n", + "global step=5836800, episodic return=635.4110717773438\n", + "global step=5836800, episodic return=662.286865234375\n", + "global step=5836800, episodic return=601.4988403320312\n", + "global step=5836800, episodic return=640.7981567382812\n", + "global step=5836800, episodic return=662.6365966796875\n", + "global step=5836800, episodic return=644.5635375976562\n", + "global step=5836800, episodic return=687.624267578125\n", + "global step=5838848, episodic return=592.6593017578125\n", + "global step=5838848, episodic return=581.9010009765625\n", + "global step=5838848, episodic return=591.0210571289062\n", + "global step=5840896, episodic return=643.6475219726562\n", + "global step=5840896, episodic return=605.9266967773438\n", + "global step=5840896, episodic return=603.0797729492188\n", + "global step=5840896, episodic return=592.94873046875\n", + "global step=5840896, episodic return=623.1702880859375\n", + "global step=5840896, episodic return=559.8759155273438\n", + "global step=5840896, episodic return=673.6107177734375\n", + "global step=5840896, episodic return=610.7852783203125\n", + "global step=5840896, episodic return=630.480712890625\n", + "global step=5842944, episodic return=656.3574829101562\n", + "global step=5842944, episodic return=621.1712646484375\n", + "global step=5842944, episodic return=648.281982421875\n", + "global step=5842944, episodic return=590.2776489257812\n", + "global step=5842944, episodic return=657.0327758789062\n", + "global step=5844992, episodic return=747.0557861328125\n", + "global step=5844992, episodic return=629.6680908203125\n", + "global step=5844992, episodic return=616.599365234375\n", + "global step=5844992, episodic return=617.9473876953125\n", + "global step=5844992, episodic return=626.882080078125\n", + "global step=5844992, episodic return=656.6239624023438\n", + "global step=5844992, episodic return=619.5032958984375\n", + "global step=5844992, episodic return=627.8826904296875\n", + "global step=5844992, episodic return=662.1546630859375\n", + "global step=5844992, episodic return=615.06201171875\n", + "global step=5844992, episodic return=581.9945678710938\n", + "global step=5847040, episodic return=655.1497192382812\n", + "global step=5847040, episodic return=596.8683471679688\n", + "global step=5847040, episodic return=592.8773193359375\n", + "global step=5847040, episodic return=617.6464233398438\n", + "global step=5847040, episodic return=643.3262939453125\n", + "global step=5849088, episodic return=603.2793579101562\n", + "global step=5849088, episodic return=639.4901733398438\n", + "global step=5849088, episodic return=653.9493408203125\n", + "global step=5849088, episodic return=624.8074951171875\n", + "global step=5849088, episodic return=639.0095825195312\n", + "global step=5849088, episodic return=639.139404296875\n", + "global step=5849088, episodic return=687.2053833007812\n", + "global step=5849088, episodic return=611.012451171875\n", + "global step=5851136, episodic return=644.3685302734375\n", + "global step=5851136, episodic return=613.3951416015625\n", + "global step=5851136, episodic return=594.2722778320312\n", + "global step=5851136, episodic return=574.0116577148438\n", + "global step=5851136, episodic return=607.4591674804688\n", + "global step=5851136, episodic return=604.5903930664062\n", + "global step=5851136, episodic return=409.1683349609375\n", + "global step=5853184, episodic return=649.1163330078125\n", + "global step=5853184, episodic return=56.83479309082031\n", + "global step=5853184, episodic return=586.766357421875\n", + "global step=5853184, episodic return=589.9508056640625\n", + "global step=5853184, episodic return=655.4603271484375\n", + "global step=5853184, episodic return=678.4169311523438\n", + "global step=5853184, episodic return=638.1808471679688\n", + "global step=5855232, episodic return=561.1795654296875\n", + "global step=5855232, episodic return=648.8402099609375\n", + "global step=5855232, episodic return=585.8013916015625\n", + "global step=5855232, episodic return=685.9794921875\n", + "global step=5855232, episodic return=598.0358276367188\n", + "global step=5855232, episodic return=638.15478515625\n", + "global step=5855232, episodic return=699.658447265625\n", + "global step=5855232, episodic return=675.2522583007812\n", + "global step=5855232, episodic return=646.687255859375\n", + "global step=5855232, episodic return=614.8098754882812\n", + "global step=5857280, episodic return=583.0355224609375\n", + "global step=5857280, episodic return=591.309814453125\n", + "global step=5857280, episodic return=649.6185302734375\n", + "global step=5857280, episodic return=633.721435546875\n", + "global step=5857280, episodic return=673.360595703125\n", + "global step=5857280, episodic return=594.2884521484375\n", + "global step=5857280, episodic return=688.4672241210938\n", + "global step=5857280, episodic return=689.6478881835938\n", + "global step=5859328, episodic return=736.8700561523438\n", + "global step=5859328, episodic return=586.256591796875\n", + "global step=5859328, episodic return=571.9430541992188\n", + "global step=5859328, episodic return=459.43939208984375\n", + "global step=5859328, episodic return=652.315185546875\n", + "global step=5861376, episodic return=420.39166259765625\n", + "global step=5861376, episodic return=666.5260620117188\n", + "global step=5861376, episodic return=592.5418701171875\n", + "global step=5861376, episodic return=662.0208740234375\n", + "global step=5861376, episodic return=614.7584228515625\n", + "global step=5861376, episodic return=573.7753295898438\n", + "global step=5861376, episodic return=724.9509887695312\n", + "global step=5861376, episodic return=606.890380859375\n", + "global step=5863424, episodic return=585.3283081054688\n", + "global step=5863424, episodic return=570.2405395507812\n", + "global step=5863424, episodic return=588.7761840820312\n", + "global step=5863424, episodic return=667.2122802734375\n", + "global step=5863424, episodic return=606.589111328125\n", + "global step=5863424, episodic return=671.6516723632812\n", + "global step=5863424, episodic return=629.8311767578125\n", + "global step=5863424, episodic return=674.1160278320312\n", + "global step=5865472, episodic return=655.3365478515625\n", + "global step=5865472, episodic return=603.5630493164062\n", + "global step=5865472, episodic return=658.905517578125\n", + "global step=5865472, episodic return=687.2435302734375\n", + "global step=5865472, episodic return=385.77490234375\n", + "global step=5865472, episodic return=659.9049682617188\n", + "global step=5865472, episodic return=746.7383422851562\n", + "global step=5865472, episodic return=622.4561157226562\n", + "global step=5865472, episodic return=683.2581176757812\n", + "global step=5865472, episodic return=681.0943603515625\n", + "global step=5867520, episodic return=618.0471801757812\n", + "global step=5867520, episodic return=583.3013916015625\n", + "global step=5867520, episodic return=641.2672729492188\n", + "global step=5867520, episodic return=632.6908569335938\n", + "global step=5867520, episodic return=643.6510009765625\n", + "global step=5867520, episodic return=656.0975341796875\n", + "global step=5867520, episodic return=649.9939575195312\n", + "global step=5867520, episodic return=644.94482421875\n", + "global step=5867520, episodic return=614.6328735351562\n", + "global step=5867520, episodic return=649.3256225585938\n", + "global step=5867520, episodic return=691.71044921875\n", + "global step=5869568, episodic return=642.08837890625\n", + "global step=5869568, episodic return=607.97265625\n", + "global step=5869568, episodic return=670.3087158203125\n", + "global step=5869568, episodic return=622.9708862304688\n", + "global step=5871616, episodic return=621.7507934570312\n", + "global step=5871616, episodic return=660.3695068359375\n", + "global step=5871616, episodic return=627.4620971679688\n", + "global step=5871616, episodic return=635.006103515625\n", + "global step=5871616, episodic return=688.2979736328125\n", + "global step=5871616, episodic return=618.09228515625\n", + "global step=5871616, episodic return=721.255859375\n", + "global step=5873664, episodic return=600.461669921875\n", + "global step=5873664, episodic return=632.971923828125\n", + "global step=5873664, episodic return=654.050048828125\n", + "global step=5873664, episodic return=566.4133911132812\n", + "global step=5873664, episodic return=614.5493774414062\n", + "global step=5873664, episodic return=641.2322998046875\n", + "global step=5873664, episodic return=654.1746826171875\n", + "global step=5873664, episodic return=593.6552734375\n", + "global step=5873664, episodic return=660.0659790039062\n", + "global step=5873664, episodic return=662.7940673828125\n", + "global step=5875712, episodic return=666.32861328125\n", + "global step=5875712, episodic return=627.2630615234375\n", + "global step=5875712, episodic return=703.7809448242188\n", + "global step=5875712, episodic return=587.6097412109375\n", + "global step=5875712, episodic return=582.5523071289062\n", + "global step=5875712, episodic return=591.8479614257812\n", + "global step=5875712, episodic return=644.5892333984375\n", + "global step=5875712, episodic return=675.314697265625\n", + "global step=5875712, episodic return=699.8768310546875\n", + "global step=5875712, episodic return=615.5712890625\n", + "global step=5875712, episodic return=678.0756225585938\n", + "global step=5877760, episodic return=601.109130859375\n", + "global step=5877760, episodic return=646.3936767578125\n", + "global step=5877760, episodic return=597.80859375\n", + "global step=5877760, episodic return=635.3392333984375\n", + "global step=5877760, episodic return=668.1626586914062\n", + "global step=5877760, episodic return=713.0205078125\n", + "global step=5877760, episodic return=594.8797607421875\n", + "global step=5877760, episodic return=639.7211303710938\n", + "global step=5877760, episodic return=644.0133056640625\n", + "global step=5877760, episodic return=614.90869140625\n", + "global step=5877760, episodic return=660.0717163085938\n", + "global step=5877760, episodic return=579.9846801757812\n", + "global step=5877760, episodic return=603.6265258789062\n", + "global step=5877760, episodic return=636.1914672851562\n", + "global step=5877760, episodic return=670.10107421875\n", + "global step=5879808, episodic return=609.169189453125\n", + "global step=5879808, episodic return=645.5263671875\n", + "global step=5879808, episodic return=687.7037963867188\n", + "global step=5879808, episodic return=628.4942626953125\n", + "global step=5879808, episodic return=656.461669921875\n", + "global step=5879808, episodic return=570.3618774414062\n", + "global step=5879808, episodic return=645.3302001953125\n", + "global step=5879808, episodic return=775.6714477539062\n", + "global step=5879808, episodic return=623.2498168945312\n", + "global step=5879808, episodic return=618.5722045898438\n", + "global step=5879808, episodic return=687.0999145507812\n", + "global step=5881856, episodic return=602.6983032226562\n", + "global step=5881856, episodic return=618.5257568359375\n", + "global step=5881856, episodic return=638.8405151367188\n", + "global step=5881856, episodic return=572.5538940429688\n", + "global step=5881856, episodic return=659.4025268554688\n", + "global step=5881856, episodic return=699.8767700195312\n", + "global step=5881856, episodic return=689.9110717773438\n", + "global step=5881856, episodic return=625.951904296875\n", + "global step=5881856, episodic return=617.5609741210938\n", + "global step=5883904, episodic return=616.2011108398438\n", + "global step=5883904, episodic return=574.4970703125\n", + "global step=5883904, episodic return=606.6139526367188\n", + "global step=5883904, episodic return=628.6326293945312\n", + "global step=5883904, episodic return=672.05419921875\n", + "global step=5883904, episodic return=636.947021484375\n", + "global step=5883904, episodic return=621.7733764648438\n", + "global step=5883904, episodic return=675.4810791015625\n", + "global step=5883904, episodic return=629.0943603515625\n", + "global step=5883904, episodic return=659.7179565429688\n", + "global step=5885952, episodic return=761.545654296875\n", + "global step=5885952, episodic return=615.2117309570312\n", + "global step=5885952, episodic return=679.7091674804688\n", + "global step=5885952, episodic return=631.26806640625\n", + "global step=5885952, episodic return=613.8826904296875\n", + "global step=5885952, episodic return=661.4986572265625\n", + "global step=5885952, episodic return=618.2692260742188\n", + "global step=5885952, episodic return=657.8878784179688\n", + "global step=5885952, episodic return=621.0535278320312\n", + "global step=5885952, episodic return=665.7001342773438\n", + "global step=5888000, episodic return=583.264404296875\n", + "global step=5888000, episodic return=639.897705078125\n", + "global step=5888000, episodic return=678.97021484375\n", + "global step=5888000, episodic return=576.06787109375\n", + "global step=5888000, episodic return=602.1923828125\n", + "global step=5888000, episodic return=632.0951538085938\n", + "global step=5888000, episodic return=672.2265625\n", + "global step=5888000, episodic return=646.2489013671875\n", + "global step=5888000, episodic return=640.2692260742188\n", + "global step=5888000, episodic return=742.9000244140625\n", + "global step=5890048, episodic return=616.251708984375\n", + "global step=5890048, episodic return=709.3955078125\n", + "global step=5890048, episodic return=649.9361572265625\n", + "global step=5890048, episodic return=760.1710815429688\n", + "global step=5890048, episodic return=633.9305419921875\n", + "global step=5890048, episodic return=614.1687622070312\n", + "global step=5890048, episodic return=725.1375732421875\n", + "global step=5890048, episodic return=1023.3194580078125\n", + "global step=5890048, episodic return=607.3209228515625\n", + "global step=5892096, episodic return=690.8440551757812\n", + "global step=5892096, episodic return=638.3458251953125\n", + "global step=5892096, episodic return=646.5529174804688\n", + "global step=5892096, episodic return=624.0748901367188\n", + "global step=5892096, episodic return=695.0172729492188\n", + "global step=5892096, episodic return=669.406494140625\n", + "global step=5892096, episodic return=773.27490234375\n", + "global step=5892096, episodic return=634.0614013671875\n", + "global step=5892096, episodic return=666.617919921875\n", + "global step=5892096, episodic return=576.6278076171875\n", + "global step=5892096, episodic return=590.2959594726562\n", + "global step=5892096, episodic return=705.3795776367188\n", + "global step=5894144, episodic return=713.8284912109375\n", + "global step=5894144, episodic return=628.7298583984375\n", + "global step=5894144, episodic return=613.4697265625\n", + "global step=5894144, episodic return=641.6077270507812\n", + "global step=5894144, episodic return=610.8043212890625\n", + "global step=5894144, episodic return=594.1032104492188\n", + "global step=5894144, episodic return=649.3447875976562\n", + "global step=5894144, episodic return=631.2220458984375\n", + "global step=5894144, episodic return=628.6666870117188\n", + "global step=5896192, episodic return=61.427024841308594\n", + "global step=5896192, episodic return=635.6594848632812\n", + "global step=5896192, episodic return=594.68701171875\n", + "global step=5896192, episodic return=764.209228515625\n", + "global step=5896192, episodic return=672.0059814453125\n", + "global step=5896192, episodic return=657.3493041992188\n", + "global step=5896192, episodic return=583.429931640625\n", + "global step=5896192, episodic return=662.0065307617188\n", + "global step=5896192, episodic return=618.879638671875\n", + "global step=5896192, episodic return=607.5860595703125\n", + "global step=5896192, episodic return=631.6729125976562\n", + "global step=5896192, episodic return=679.2022094726562\n", + "global step=5896192, episodic return=688.7566528320312\n", + "global step=5898240, episodic return=629.6576538085938\n", + "global step=5898240, episodic return=674.7061157226562\n", + "global step=5898240, episodic return=664.6511840820312\n", + "global step=5898240, episodic return=622.4411010742188\n", + "global step=5898240, episodic return=639.13037109375\n", + "global step=5898240, episodic return=686.8609619140625\n", + "global step=5898240, episodic return=593.1671142578125\n", + "global step=5898240, episodic return=678.0048217773438\n", + "global step=5900288, episodic return=608.8168334960938\n", + "global step=5900288, episodic return=669.1348876953125\n", + "global step=5900288, episodic return=755.87353515625\n", + "global step=5900288, episodic return=721.9072265625\n", + "global step=5900288, episodic return=660.4608764648438\n", + "global step=5900288, episodic return=686.175048828125\n", + "global step=5900288, episodic return=643.2607421875\n", + "global step=5900288, episodic return=671.47998046875\n", + "global step=5900288, episodic return=722.9134521484375\n", + "global step=5900288, episodic return=658.2685546875\n", + "global step=5900288, episodic return=660.88134765625\n", + "global step=5900288, episodic return=651.575439453125\n", + "global step=5902336, episodic return=651.132080078125\n", + "global step=5902336, episodic return=659.8843994140625\n", + "global step=5902336, episodic return=686.2828979492188\n", + "global step=5902336, episodic return=619.444091796875\n", + "global step=5902336, episodic return=598.2152709960938\n", + "global step=5902336, episodic return=639.8662109375\n", + "global step=5902336, episodic return=584.3082885742188\n", + "global step=5904384, episodic return=721.7507934570312\n", + "global step=5904384, episodic return=638.654541015625\n", + "global step=5904384, episodic return=629.2296142578125\n", + "global step=5904384, episodic return=680.7805786132812\n", + "global step=5904384, episodic return=699.9703979492188\n", + "global step=5904384, episodic return=598.2672119140625\n", + "global step=5904384, episodic return=622.5288696289062\n", + "global step=5906432, episodic return=712.9359130859375\n", + "global step=5906432, episodic return=565.0228271484375\n", + "global step=5906432, episodic return=615.309814453125\n", + "global step=5906432, episodic return=715.867919921875\n", + "global step=5906432, episodic return=626.9931640625\n", + "global step=5906432, episodic return=674.303955078125\n", + "global step=5906432, episodic return=632.593994140625\n", + "global step=5906432, episodic return=668.198974609375\n", + "global step=5908480, episodic return=723.5692138671875\n", + "global step=5908480, episodic return=655.3904418945312\n", + "global step=5908480, episodic return=638.3997192382812\n", + "global step=5908480, episodic return=607.4000854492188\n", + "global step=5908480, episodic return=726.551025390625\n", + "global step=5908480, episodic return=583.6019897460938\n", + "global step=5908480, episodic return=609.0039672851562\n", + "global step=5908480, episodic return=608.4451904296875\n", + "global step=5908480, episodic return=636.3983764648438\n", + "global step=5910528, episodic return=741.7534790039062\n", + "global step=5910528, episodic return=701.35888671875\n", + "global step=5910528, episodic return=693.0194091796875\n", + "global step=5910528, episodic return=637.38134765625\n", + "global step=5910528, episodic return=666.456298828125\n", + "global step=5910528, episodic return=648.4935913085938\n", + "global step=5910528, episodic return=637.3439331054688\n", + "global step=5910528, episodic return=652.2424926757812\n", + "global step=5910528, episodic return=627.1403198242188\n", + "global step=5910528, episodic return=604.2117309570312\n", + "global step=5910528, episodic return=611.1051025390625\n", + "global step=5912576, episodic return=681.4150390625\n", + "global step=5912576, episodic return=603.7704467773438\n", + "global step=5912576, episodic return=712.9537353515625\n", + "global step=5912576, episodic return=689.7841186523438\n", + "global step=5912576, episodic return=663.3703002929688\n", + "global step=5912576, episodic return=670.4683837890625\n", + "global step=5912576, episodic return=682.838623046875\n", + "global step=5912576, episodic return=600.6228637695312\n", + "global step=5912576, episodic return=641.5760498046875\n", + "global step=5912576, episodic return=673.197021484375\n", + "global step=5912576, episodic return=628.5230102539062\n", + "global step=5912576, episodic return=658.03759765625\n", + "global step=5912576, episodic return=620.0006713867188\n", + "global step=5914624, episodic return=622.6224975585938\n", + "global step=5914624, episodic return=663.023193359375\n", + "global step=5914624, episodic return=612.601806640625\n", + "global step=5914624, episodic return=598.038330078125\n", + "global step=5914624, episodic return=725.7792358398438\n", + "global step=5914624, episodic return=608.7901611328125\n", + "global step=5914624, episodic return=772.0552978515625\n", + "global step=5914624, episodic return=629.500732421875\n", + "global step=5914624, episodic return=717.0564575195312\n", + "global step=5916672, episodic return=626.7864379882812\n", + "global step=5916672, episodic return=575.7766723632812\n", + "global step=5916672, episodic return=669.5083618164062\n", + "global step=5916672, episodic return=696.2440795898438\n", + "global step=5916672, episodic return=631.4241333007812\n", + "global step=5916672, episodic return=587.9420776367188\n", + "global step=5916672, episodic return=670.2666625976562\n", + "global step=5916672, episodic return=614.379638671875\n", + "global step=5916672, episodic return=631.9413452148438\n", + "global step=5918720, episodic return=703.1904296875\n", + "global step=5918720, episodic return=706.8200073242188\n", + "global step=5918720, episodic return=663.7342529296875\n", + "global step=5918720, episodic return=655.498779296875\n", + "global step=5918720, episodic return=648.4325561523438\n", + "global step=5918720, episodic return=623.99560546875\n", + "global step=5918720, episodic return=607.7659301757812\n", + "global step=5918720, episodic return=717.5700073242188\n", + "global step=5918720, episodic return=694.9138793945312\n", + "global step=5920768, episodic return=791.8936157226562\n", + "global step=5920768, episodic return=656.5691528320312\n", + "global step=5920768, episodic return=589.4990844726562\n", + "global step=5920768, episodic return=616.1831665039062\n", + "global step=5920768, episodic return=636.628662109375\n", + "global step=5920768, episodic return=665.9895629882812\n", + "global step=5920768, episodic return=661.5372314453125\n", + "global step=5922816, episodic return=615.1744995117188\n", + "global step=5922816, episodic return=612.2894287109375\n", + "global step=5922816, episodic return=681.9805908203125\n", + "global step=5922816, episodic return=411.28997802734375\n", + "global step=5922816, episodic return=703.593017578125\n", + "global step=5922816, episodic return=657.3272094726562\n", + "global step=5922816, episodic return=560.763427734375\n", + "global step=5922816, episodic return=604.514892578125\n", + "global step=5924864, episodic return=638.8597412109375\n", + "global step=5924864, episodic return=682.3360595703125\n", + "global step=5924864, episodic return=655.5256958007812\n", + "global step=5924864, episodic return=651.5398559570312\n", + "global step=5924864, episodic return=627.115234375\n", + "global step=5924864, episodic return=711.71142578125\n", + "global step=5924864, episodic return=665.4976196289062\n", + "global step=5924864, episodic return=639.52783203125\n", + "global step=5924864, episodic return=710.7135009765625\n", + "global step=5924864, episodic return=650.7213134765625\n", + "global step=5924864, episodic return=657.0387573242188\n", + "global step=5924864, episodic return=707.8585815429688\n", + "global step=5926912, episodic return=688.3248901367188\n", + "global step=5926912, episodic return=669.0213623046875\n", + "global step=5926912, episodic return=625.7357788085938\n", + "global step=5926912, episodic return=624.3325805664062\n", + "global step=5926912, episodic return=603.9345092773438\n", + "global step=5926912, episodic return=691.701171875\n", + "global step=5926912, episodic return=720.85791015625\n", + "global step=5928960, episodic return=687.284912109375\n", + "global step=5928960, episodic return=635.11474609375\n", + "global step=5928960, episodic return=570.3952026367188\n", + "global step=5928960, episodic return=623.4588623046875\n", + "global step=5928960, episodic return=678.6070556640625\n", + "global step=5928960, episodic return=742.4110717773438\n", + "global step=5928960, episodic return=678.1552734375\n", + "global step=5928960, episodic return=598.9798583984375\n", + "global step=5928960, episodic return=643.2294311523438\n", + "global step=5928960, episodic return=621.2747802734375\n", + "global step=5928960, episodic return=670.0349731445312\n", + "global step=5928960, episodic return=729.187255859375\n", + "global step=5928960, episodic return=637.7174072265625\n", + "global step=5931008, episodic return=596.3077392578125\n", + "global step=5931008, episodic return=694.6891479492188\n", + "global step=5931008, episodic return=700.0423583984375\n", + "global step=5931008, episodic return=587.787841796875\n", + "global step=5931008, episodic return=605.8231811523438\n", + "global step=5931008, episodic return=635.0477905273438\n", + "global step=5931008, episodic return=617.1826171875\n", + "global step=5931008, episodic return=681.7689208984375\n", + "global step=5931008, episodic return=727.8379516601562\n", + "global step=5931008, episodic return=695.4124145507812\n", + "global step=5931008, episodic return=570.4674072265625\n", + "global step=5931008, episodic return=708.7575073242188\n", + "global step=5931008, episodic return=684.1011962890625\n", + "global step=5933056, episodic return=661.4224243164062\n", + "global step=5933056, episodic return=799.1358032226562\n", + "global step=5933056, episodic return=646.5864868164062\n", + "global step=5933056, episodic return=697.6392211914062\n", + "global step=5933056, episodic return=626.2615356445312\n", + "global step=5933056, episodic return=689.4489135742188\n", + "global step=5933056, episodic return=638.7365112304688\n", + "global step=5933056, episodic return=707.2233276367188\n", + "global step=5933056, episodic return=703.122802734375\n", + "global step=5935104, episodic return=688.5372314453125\n", + "global step=5935104, episodic return=629.3595581054688\n", + "global step=5935104, episodic return=688.3323974609375\n", + "global step=5935104, episodic return=682.4888305664062\n", + "global step=5935104, episodic return=598.933349609375\n", + "global step=5935104, episodic return=626.2164306640625\n", + "global step=5935104, episodic return=633.8161010742188\n", + "global step=5935104, episodic return=1067.1669921875\n", + "global step=5935104, episodic return=667.2026977539062\n", + "global step=5935104, episodic return=614.215087890625\n", + "global step=5935104, episodic return=677.05224609375\n", + "global step=5935104, episodic return=641.7420043945312\n", + "global step=5935104, episodic return=672.233642578125\n", + "global step=5935104, episodic return=623.1893310546875\n", + "global step=5937152, episodic return=616.5791015625\n", + "global step=5937152, episodic return=641.3345336914062\n", + "global step=5937152, episodic return=620.8449096679688\n", + "global step=5937152, episodic return=619.2091674804688\n", + "global step=5937152, episodic return=685.126708984375\n", + "global step=5937152, episodic return=635.4801635742188\n", + "global step=5937152, episodic return=634.127685546875\n", + "global step=5937152, episodic return=703.385986328125\n", + "global step=5937152, episodic return=631.0711669921875\n", + "global step=5937152, episodic return=663.0191040039062\n", + "global step=5939200, episodic return=706.314208984375\n", + "global step=5939200, episodic return=58.60921096801758\n", + "global step=5939200, episodic return=705.8403930664062\n", + "global step=5939200, episodic return=620.0203857421875\n", + "global step=5939200, episodic return=731.65576171875\n", + "global step=5939200, episodic return=692.2072143554688\n", + "global step=5939200, episodic return=666.606689453125\n", + "global step=5939200, episodic return=654.0905151367188\n", + "global step=5941248, episodic return=597.8291625976562\n", + "global step=5941248, episodic return=608.0053100585938\n", + "global step=5941248, episodic return=628.944580078125\n", + "global step=5941248, episodic return=694.2598266601562\n", + "global step=5941248, episodic return=715.9020385742188\n", + "global step=5941248, episodic return=604.66162109375\n", + "global step=5941248, episodic return=688.9959106445312\n", + "global step=5941248, episodic return=620.0780639648438\n", + "global step=5941248, episodic return=627.651123046875\n", + "global step=5943296, episodic return=643.552001953125\n", + "global step=5943296, episodic return=649.638671875\n", + "global step=5943296, episodic return=676.55078125\n", + "global step=5943296, episodic return=740.8211669921875\n", + "global step=5943296, episodic return=670.637451171875\n", + "global step=5943296, episodic return=592.0682373046875\n", + "global step=5943296, episodic return=639.3636474609375\n", + "global step=5943296, episodic return=672.590087890625\n", + "global step=5943296, episodic return=701.6689453125\n", + "global step=5943296, episodic return=651.8762817382812\n", + "global step=5943296, episodic return=654.029541015625\n", + "global step=5943296, episodic return=652.7200317382812\n", + "global step=5945344, episodic return=653.8121337890625\n", + "global step=5945344, episodic return=665.6756591796875\n", + "global step=5945344, episodic return=616.423583984375\n", + "global step=5945344, episodic return=701.4989624023438\n", + "global step=5945344, episodic return=685.4234008789062\n", + "global step=5945344, episodic return=631.0630493164062\n", + "global step=5945344, episodic return=603.7808227539062\n", + "global step=5945344, episodic return=651.2842407226562\n", + "global step=5947392, episodic return=646.3267822265625\n", + "global step=5947392, episodic return=733.9338989257812\n", + "global step=5947392, episodic return=642.0869140625\n", + "global step=5947392, episodic return=691.3790283203125\n", + "global step=5947392, episodic return=640.4990234375\n", + "global step=5947392, episodic return=623.6351318359375\n", + "global step=5947392, episodic return=648.218017578125\n", + "global step=5947392, episodic return=665.38916015625\n", + "global step=5947392, episodic return=631.7504272460938\n", + "global step=5947392, episodic return=624.922119140625\n", + "global step=5947392, episodic return=701.8573608398438\n", + "global step=5949440, episodic return=667.7392578125\n", + "global step=5949440, episodic return=636.7521362304688\n", + "global step=5949440, episodic return=708.2261962890625\n", + "global step=5949440, episodic return=619.9400024414062\n", + "global step=5949440, episodic return=626.4757690429688\n", + "global step=5949440, episodic return=682.6926879882812\n", + "global step=5949440, episodic return=616.9733276367188\n", + "global step=5949440, episodic return=612.321044921875\n", + "global step=5951488, episodic return=658.032470703125\n", + "global step=5951488, episodic return=699.8807983398438\n", + "global step=5951488, episodic return=690.6798706054688\n", + "global step=5951488, episodic return=637.0407104492188\n", + "global step=5951488, episodic return=611.813232421875\n", + "global step=5951488, episodic return=719.85546875\n", + "global step=5951488, episodic return=622.9965209960938\n", + "global step=5951488, episodic return=723.1264038085938\n", + "global step=5951488, episodic return=622.8631591796875\n", + "global step=5951488, episodic return=712.8642578125\n", + "global step=5951488, episodic return=644.1094360351562\n", + "global step=5953536, episodic return=670.3908081054688\n", + "global step=5953536, episodic return=679.9378662109375\n", + "global step=5953536, episodic return=689.9501342773438\n", + "global step=5953536, episodic return=715.9033813476562\n", + "global step=5953536, episodic return=642.4244384765625\n", + "global step=5953536, episodic return=661.9413452148438\n", + "global step=5953536, episodic return=696.8221435546875\n", + "global step=5953536, episodic return=698.6707153320312\n", + "global step=5953536, episodic return=665.3587036132812\n", + "global step=5955584, episodic return=658.803955078125\n", + "global step=5955584, episodic return=678.157470703125\n", + "global step=5955584, episodic return=618.793212890625\n", + "global step=5955584, episodic return=613.8191528320312\n", + "global step=5955584, episodic return=664.8094482421875\n", + "global step=5955584, episodic return=634.4205932617188\n", + "global step=5955584, episodic return=671.73779296875\n", + "global step=5957632, episodic return=697.5115966796875\n", + "global step=5957632, episodic return=571.7708740234375\n", + "global step=5957632, episodic return=671.344482421875\n", + "global step=5957632, episodic return=670.8477172851562\n", + "global step=5957632, episodic return=603.7710571289062\n", + "global step=5957632, episodic return=646.8182373046875\n", + "global step=5957632, episodic return=685.0836181640625\n", + "global step=5959680, episodic return=668.2664184570312\n", + "global step=5959680, episodic return=669.268798828125\n", + "global step=5959680, episodic return=633.824462890625\n", + "global step=5959680, episodic return=682.2263793945312\n", + "global step=5959680, episodic return=591.445556640625\n", + "global step=5959680, episodic return=687.7296752929688\n", + "global step=5959680, episodic return=604.3872680664062\n", + "global step=5959680, episodic return=663.8018798828125\n", + "global step=5959680, episodic return=623.4091796875\n", + "global step=5959680, episodic return=732.0845336914062\n", + "global step=5959680, episodic return=622.4912109375\n", + "global step=5961728, episodic return=683.4946899414062\n", + "global step=5961728, episodic return=640.2957153320312\n", + "global step=5961728, episodic return=680.35986328125\n", + "global step=5961728, episodic return=706.2391357421875\n", + "global step=5961728, episodic return=665.568359375\n", + "global step=5961728, episodic return=601.4121704101562\n", + "global step=5961728, episodic return=672.9067993164062\n", + "global step=5961728, episodic return=611.0497436523438\n", + "global step=5961728, episodic return=673.3671875\n", + "global step=5961728, episodic return=641.902587890625\n", + "global step=5961728, episodic return=620.3023681640625\n", + "global step=5961728, episodic return=604.5635986328125\n", + "global step=5961728, episodic return=661.4027709960938\n", + "global step=5961728, episodic return=710.7296142578125\n", + "global step=5963776, episodic return=701.100830078125\n", + "global step=5963776, episodic return=679.7365112304688\n", + "global step=5963776, episodic return=745.9976806640625\n", + "global step=5963776, episodic return=658.4451904296875\n", + "global step=5963776, episodic return=644.3496704101562\n", + "global step=5963776, episodic return=704.5477905273438\n", + "global step=5963776, episodic return=651.1497192382812\n", + "global step=5963776, episodic return=729.8626708984375\n", + "global step=5963776, episodic return=691.3106079101562\n", + "global step=5963776, episodic return=629.3728637695312\n", + "global step=5963776, episodic return=650.6475219726562\n", + "global step=5963776, episodic return=646.192626953125\n", + "global step=5963776, episodic return=804.2700805664062\n", + "global step=5965824, episodic return=622.183837890625\n", + "global step=5965824, episodic return=673.4827270507812\n", + "global step=5965824, episodic return=711.82470703125\n", + "global step=5965824, episodic return=582.314453125\n", + "global step=5965824, episodic return=684.0181274414062\n", + "global step=5965824, episodic return=655.60546875\n", + "global step=5965824, episodic return=1170.5582275390625\n", + "global step=5965824, episodic return=649.561279296875\n", + "global step=5965824, episodic return=662.72412109375\n", + "global step=5965824, episodic return=605.4723510742188\n", + "global step=5965824, episodic return=614.42578125\n", + "global step=5967872, episodic return=642.7232666015625\n", + "global step=5967872, episodic return=705.6102905273438\n", + "global step=5967872, episodic return=620.6762084960938\n", + "global step=5967872, episodic return=608.2438354492188\n", + "global step=5967872, episodic return=691.7567749023438\n", + "global step=5967872, episodic return=635.9014282226562\n", + "global step=5967872, episodic return=689.444580078125\n", + "global step=5967872, episodic return=695.26123046875\n", + "global step=5967872, episodic return=731.3192138671875\n", + "global step=5969920, episodic return=701.7173461914062\n", + "global step=5969920, episodic return=698.2891235351562\n", + "global step=5969920, episodic return=687.2086181640625\n", + "global step=5969920, episodic return=748.840576171875\n", + "global step=5969920, episodic return=659.6239013671875\n", + "global step=5969920, episodic return=684.0927734375\n", + "global step=5969920, episodic return=615.2003173828125\n", + "global step=5969920, episodic return=702.358642578125\n", + "global step=5969920, episodic return=668.1719360351562\n", + "global step=5969920, episodic return=646.3024291992188\n", + "global step=5969920, episodic return=744.2332153320312\n", + "global step=5969920, episodic return=657.1546020507812\n", + "global step=5969920, episodic return=652.5174560546875\n", + "global step=5971968, episodic return=634.4429321289062\n", + "global step=5971968, episodic return=708.4004516601562\n", + "global step=5971968, episodic return=631.3475341796875\n", + "global step=5971968, episodic return=700.4934692382812\n", + "global step=5971968, episodic return=693.2489013671875\n", + "global step=5971968, episodic return=722.5567626953125\n", + "global step=5971968, episodic return=667.9661865234375\n", + "global step=5971968, episodic return=791.1943359375\n", + "global step=5971968, episodic return=684.3818969726562\n", + "global step=5971968, episodic return=719.4576416015625\n", + "global step=5971968, episodic return=687.2620849609375\n", + "global step=5971968, episodic return=685.2610473632812\n", + "global step=5974016, episodic return=618.4758911132812\n", + "global step=5974016, episodic return=663.7401733398438\n", + "global step=5974016, episodic return=720.5333862304688\n", + "global step=5974016, episodic return=802.4207153320312\n", + "global step=5974016, episodic return=688.1586303710938\n", + "global step=5974016, episodic return=694.7869262695312\n", + "global step=5974016, episodic return=678.1090698242188\n", + "global step=5974016, episodic return=714.1466674804688\n", + "global step=5974016, episodic return=668.3619384765625\n", + "global step=5976064, episodic return=690.649169921875\n", + "global step=5976064, episodic return=621.8778076171875\n", + "global step=5976064, episodic return=405.477294921875\n", + "global step=5976064, episodic return=716.7810668945312\n", + "global step=5976064, episodic return=658.638427734375\n", + "global step=5976064, episodic return=629.9910888671875\n", + "global step=5976064, episodic return=674.4589233398438\n", + "global step=5976064, episodic return=636.119384765625\n", + "global step=5978112, episodic return=624.475830078125\n", + "global step=5978112, episodic return=730.169677734375\n", + "global step=5978112, episodic return=649.1956787109375\n", + "global step=5978112, episodic return=711.8646850585938\n", + "global step=5980160, episodic return=676.7665405273438\n", + "global step=5980160, episodic return=696.045166015625\n", + "global step=5980160, episodic return=670.6255493164062\n", + "global step=5980160, episodic return=700.8226928710938\n", + "global step=5980160, episodic return=745.630615234375\n", + "global step=5980160, episodic return=635.593017578125\n", + "global step=5980160, episodic return=684.9922485351562\n", + "global step=5980160, episodic return=650.5968627929688\n", + "global step=5980160, episodic return=702.4888305664062\n", + "global step=5982208, episodic return=702.6140747070312\n", + "global step=5982208, episodic return=733.63916015625\n", + "global step=5982208, episodic return=697.7476196289062\n", + "global step=5982208, episodic return=635.0154418945312\n", + "global step=5982208, episodic return=635.9099731445312\n", + "global step=5982208, episodic return=642.0188598632812\n", + "global step=5982208, episodic return=674.9500732421875\n", + "global step=5984256, episodic return=717.5799560546875\n", + "global step=5984256, episodic return=641.9492797851562\n", + "global step=5984256, episodic return=632.838134765625\n", + "global step=5984256, episodic return=646.7315673828125\n", + "global step=5984256, episodic return=650.8360595703125\n", + "global step=5984256, episodic return=687.28662109375\n", + "global step=5984256, episodic return=568.1836547851562\n", + "global step=5984256, episodic return=696.0952758789062\n", + "global step=5984256, episodic return=619.0136108398438\n", + "global step=5986304, episodic return=605.1803588867188\n", + "global step=5986304, episodic return=603.982177734375\n", + "global step=5986304, episodic return=588.0703735351562\n", + "global step=5986304, episodic return=693.5331420898438\n", + "global step=5986304, episodic return=698.8812866210938\n", + "global step=5986304, episodic return=786.4456176757812\n", + "global step=5986304, episodic return=680.9658203125\n", + "global step=5986304, episodic return=589.7422485351562\n", + "global step=5986304, episodic return=661.93701171875\n", + "global step=5988352, episodic return=633.9268798828125\n", + "global step=5988352, episodic return=58.311466217041016\n", + "global step=5988352, episodic return=725.416015625\n", + "global step=5988352, episodic return=618.845458984375\n", + "global step=5988352, episodic return=485.30865478515625\n", + "global step=5988352, episodic return=723.97607421875\n", + "global step=5988352, episodic return=692.3369750976562\n", + "global step=5988352, episodic return=639.0523071289062\n", + "global step=5988352, episodic return=664.0946655273438\n", + "global step=5990400, episodic return=674.978759765625\n", + "global step=5990400, episodic return=612.2522583007812\n", + "global step=5990400, episodic return=749.2325439453125\n", + "global step=5990400, episodic return=642.3209228515625\n", + "global step=5990400, episodic return=637.5258178710938\n", + "global step=5990400, episodic return=643.7743530273438\n", + "global step=5990400, episodic return=662.5418090820312\n", + "global step=5990400, episodic return=646.6898193359375\n", + "global step=5990400, episodic return=633.8653564453125\n", + "global step=5990400, episodic return=659.3237915039062\n", + "global step=5990400, episodic return=711.224609375\n", + "global step=5990400, episodic return=708.3023681640625\n", + "global step=5992448, episodic return=697.8252563476562\n", + "global step=5992448, episodic return=665.8604125976562\n", + "global step=5992448, episodic return=652.4722290039062\n", + "global step=5992448, episodic return=666.4310302734375\n", + "global step=5992448, episodic return=424.4784240722656\n", + "global step=5992448, episodic return=639.2647705078125\n", + "global step=5992448, episodic return=685.8331298828125\n", + "global step=5994496, episodic return=694.5791015625\n", + "global step=5994496, episodic return=661.9370727539062\n", + "global step=5994496, episodic return=713.1630249023438\n", + "global step=5994496, episodic return=996.5502319335938\n", + "global step=5994496, episodic return=731.0241088867188\n", + "global step=5994496, episodic return=694.6484375\n", + "global step=5996544, episodic return=633.7266845703125\n", + "global step=5996544, episodic return=649.626708984375\n", + "global step=5996544, episodic return=679.2622680664062\n", + "global step=5996544, episodic return=651.2581787109375\n", + "global step=5996544, episodic return=650.00146484375\n", + "global step=5996544, episodic return=589.1434326171875\n", + "global step=5996544, episodic return=677.5001220703125\n", + "global step=5996544, episodic return=617.1109619140625\n", + "global step=5996544, episodic return=676.764404296875\n", + "global step=5996544, episodic return=704.0180053710938\n", + "global step=5998592, episodic return=623.477783203125\n", + "global step=5998592, episodic return=763.4170532226562\n", + "global step=5998592, episodic return=652.0842895507812\n", + "global step=5998592, episodic return=584.740234375\n", + "global step=5998592, episodic return=695.3331298828125\n", + "global step=5998592, episodic return=661.5440063476562\n", + "global step=5998592, episodic return=649.7647705078125\n", + "global step=6000640, episodic return=740.2948608398438\n", + "global step=6000640, episodic return=741.8612060546875\n", + "global step=6000640, episodic return=706.7750854492188\n", + "global step=6000640, episodic return=622.8145141601562\n", + "global step=6000640, episodic return=693.70849609375\n", + "global step=6000640, episodic return=475.5855712890625\n", + "global step=6002688, episodic return=623.1069946289062\n", + "global step=6002688, episodic return=687.9744262695312\n", + "global step=6002688, episodic return=665.623046875\n", + "global step=6002688, episodic return=682.9469604492188\n", + "global step=6002688, episodic return=685.08056640625\n", + "global step=6002688, episodic return=720.1937255859375\n", + "global step=6002688, episodic return=658.4491577148438\n", + "global step=6002688, episodic return=608.7021484375\n", + "global step=6002688, episodic return=464.64495849609375\n", + "global step=6002688, episodic return=733.59765625\n", + "global step=6002688, episodic return=662.5376586914062\n", + "global step=6002688, episodic return=652.3080444335938\n", + "global step=6004736, episodic return=1063.3233642578125\n", + "global step=6004736, episodic return=648.957275390625\n", + "global step=6004736, episodic return=700.771484375\n", + "global step=6004736, episodic return=648.011474609375\n", + "global step=6004736, episodic return=693.9780883789062\n", + "global step=6004736, episodic return=671.0267944335938\n", + "global step=6004736, episodic return=764.9995727539062\n", + "global step=6004736, episodic return=711.9960327148438\n", + "global step=6004736, episodic return=630.6005859375\n", + "global step=6004736, episodic return=716.5842895507812\n", + "global step=6006784, episodic return=772.45849609375\n", + "global step=6006784, episodic return=679.1270751953125\n", + "global step=6006784, episodic return=669.7953491210938\n", + "global step=6006784, episodic return=692.9503784179688\n", + "global step=6006784, episodic return=713.2901611328125\n", + "global step=6006784, episodic return=659.5972900390625\n", + "global step=6006784, episodic return=613.641357421875\n", + "global step=6006784, episodic return=718.4778442382812\n", + "global step=6006784, episodic return=708.44189453125\n", + "global step=6006784, episodic return=641.1703491210938\n", + "global step=6008832, episodic return=675.380126953125\n", + "global step=6008832, episodic return=692.8976440429688\n", + "global step=6008832, episodic return=651.3138427734375\n", + "global step=6008832, episodic return=712.5142211914062\n", + "global step=6008832, episodic return=622.844970703125\n", + "global step=6008832, episodic return=705.6891479492188\n", + "global step=6008832, episodic return=667.1539306640625\n", + "global step=6008832, episodic return=640.4011840820312\n", + "global step=6008832, episodic return=650.0838623046875\n", + "global step=6010880, episodic return=727.374755859375\n", + "global step=6010880, episodic return=800.1102294921875\n", + "global step=6010880, episodic return=690.4366455078125\n", + "global step=6010880, episodic return=739.9402465820312\n", + "global step=6010880, episodic return=716.320068359375\n", + "global step=6010880, episodic return=689.1805419921875\n", + "global step=6010880, episodic return=674.5443115234375\n", + "global step=6010880, episodic return=695.7102661132812\n", + "global step=6012928, episodic return=621.9493408203125\n", + "global step=6012928, episodic return=707.6773681640625\n", + "global step=6012928, episodic return=673.2600708007812\n", + "global step=6012928, episodic return=715.5179443359375\n", + "global step=6012928, episodic return=721.0271606445312\n", + "global step=6012928, episodic return=788.048583984375\n", + "global step=6012928, episodic return=665.9442749023438\n", + "global step=6012928, episodic return=684.057861328125\n", + "global step=6012928, episodic return=618.7721557617188\n", + "global step=6012928, episodic return=623.6396484375\n", + "global step=6014976, episodic return=707.1613159179688\n", + "global step=6014976, episodic return=693.8432006835938\n", + "global step=6014976, episodic return=688.0979614257812\n", + "global step=6014976, episodic return=643.5947875976562\n", + "global step=6014976, episodic return=736.4688720703125\n", + "global step=6014976, episodic return=664.3695068359375\n", + "global step=6014976, episodic return=648.0531005859375\n", + "global step=6014976, episodic return=832.24462890625\n", + "global step=6017024, episodic return=682.9437866210938\n", + "global step=6017024, episodic return=645.0435791015625\n", + "global step=6019072, episodic return=685.2206420898438\n", + "global step=6019072, episodic return=618.4867553710938\n", + "global step=6019072, episodic return=602.5514526367188\n", + "global step=6019072, episodic return=690.5104370117188\n", + "global step=6019072, episodic return=662.2035522460938\n", + "global step=6021120, episodic return=767.9556274414062\n", + "global step=6021120, episodic return=583.0467529296875\n", + "global step=6021120, episodic return=699.2473754882812\n", + "global step=6021120, episodic return=635.6022338867188\n", + "global step=6021120, episodic return=671.6415405273438\n", + "global step=6021120, episodic return=677.5083618164062\n", + "global step=6021120, episodic return=674.0198974609375\n", + "global step=6021120, episodic return=672.578125\n", + "global step=6021120, episodic return=691.0459594726562\n", + "global step=6021120, episodic return=711.8983764648438\n", + "global step=6021120, episodic return=620.3621215820312\n", + "global step=6023168, episodic return=692.9481811523438\n", + "global step=6023168, episodic return=714.9069213867188\n", + "global step=6023168, episodic return=629.8887329101562\n", + "global step=6023168, episodic return=643.945556640625\n", + "global step=6023168, episodic return=705.8177490234375\n", + "global step=6023168, episodic return=655.7521362304688\n", + "global step=6023168, episodic return=642.5913696289062\n", + "global step=6023168, episodic return=700.3460693359375\n", + "global step=6025216, episodic return=678.54541015625\n", + "global step=6025216, episodic return=678.9303588867188\n", + "global step=6025216, episodic return=679.4202270507812\n", + "global step=6025216, episodic return=620.8861694335938\n", + "global step=6025216, episodic return=748.5258178710938\n", + "global step=6025216, episodic return=659.981689453125\n", + "global step=6025216, episodic return=638.9534912109375\n", + "global step=6025216, episodic return=859.5755004882812\n", + "global step=6025216, episodic return=725.24658203125\n", + "global step=6025216, episodic return=748.2740478515625\n", + "global step=6027264, episodic return=647.2032470703125\n", + "global step=6027264, episodic return=693.9218139648438\n", + "global step=6027264, episodic return=670.1604614257812\n", + "global step=6027264, episodic return=651.9073486328125\n", + "global step=6027264, episodic return=692.7351684570312\n", + "global step=6027264, episodic return=676.98779296875\n", + "global step=6027264, episodic return=741.4469604492188\n", + "global step=6027264, episodic return=737.4393920898438\n", + "global step=6027264, episodic return=665.368896484375\n", + "global step=6027264, episodic return=636.429931640625\n", + "global step=6029312, episodic return=703.4974365234375\n", + "global step=6029312, episodic return=695.8538818359375\n", + "global step=6029312, episodic return=713.1857299804688\n", + "global step=6029312, episodic return=690.7789916992188\n", + "global step=6029312, episodic return=734.0487670898438\n", + "global step=6029312, episodic return=716.8251953125\n", + "global step=6029312, episodic return=643.2705078125\n", + "global step=6029312, episodic return=658.1294555664062\n", + "global step=6031360, episodic return=769.2528686523438\n", + "global step=6031360, episodic return=682.9227294921875\n", + "global step=6031360, episodic return=671.0713500976562\n", + "global step=6031360, episodic return=644.0064697265625\n", + "global step=6031360, episodic return=702.389404296875\n", + "global step=6031360, episodic return=657.0942993164062\n", + "global step=6031360, episodic return=578.2913208007812\n", + "global step=6031360, episodic return=660.3158569335938\n", + "global step=6031360, episodic return=667.3257446289062\n", + "global step=6031360, episodic return=687.4968872070312\n", + "global step=6031360, episodic return=777.2423095703125\n", + "global step=6031360, episodic return=662.6907348632812\n", + "global step=6031360, episodic return=686.7252197265625\n", + "global step=6031360, episodic return=687.9616088867188\n", + "global step=6033408, episodic return=661.0884399414062\n", + "global step=6033408, episodic return=749.2265014648438\n", + "global step=6033408, episodic return=670.1201171875\n", + "global step=6033408, episodic return=653.3763427734375\n", + "global step=6033408, episodic return=682.0756225585938\n", + "global step=6033408, episodic return=649.4845581054688\n", + "global step=6033408, episodic return=724.9537353515625\n", + "global step=6035456, episodic return=707.4769897460938\n", + "global step=6035456, episodic return=673.2261962890625\n", + "global step=6035456, episodic return=693.5977783203125\n", + "global step=6035456, episodic return=747.929443359375\n", + "global step=6035456, episodic return=681.12744140625\n", + "global step=6035456, episodic return=689.1104736328125\n", + "global step=6037504, episodic return=676.6504516601562\n", + "global step=6037504, episodic return=695.5532836914062\n", + "global step=6037504, episodic return=658.3278198242188\n", + "global step=6037504, episodic return=699.670166015625\n", + "global step=6037504, episodic return=663.1132202148438\n", + "global step=6037504, episodic return=680.86767578125\n", + "global step=6039552, episodic return=840.4782104492188\n", + "global step=6039552, episodic return=676.3671264648438\n", + "global step=6039552, episodic return=723.3544311523438\n", + "global step=6039552, episodic return=705.2186889648438\n", + "global step=6039552, episodic return=676.6260986328125\n", + "global step=6039552, episodic return=739.5067138671875\n", + "global step=6039552, episodic return=716.38427734375\n", + "global step=6041600, episodic return=577.0882568359375\n", + "global step=6041600, episodic return=600.7255249023438\n", + "global step=6041600, episodic return=682.2745361328125\n", + "global step=6041600, episodic return=644.6629028320312\n", + "global step=6041600, episodic return=672.5426635742188\n", + "global step=6041600, episodic return=659.202880859375\n", + "global step=6041600, episodic return=688.3417358398438\n", + "global step=6041600, episodic return=634.76123046875\n", + "global step=6041600, episodic return=687.9746704101562\n", + "global step=6041600, episodic return=702.2693481445312\n", + "global step=6043648, episodic return=695.825927734375\n", + "global step=6043648, episodic return=673.3834228515625\n", + "global step=6043648, episodic return=697.3806762695312\n", + "global step=6043648, episodic return=680.0171508789062\n", + "global step=6043648, episodic return=695.5009765625\n", + "global step=6043648, episodic return=638.2872924804688\n", + "global step=6043648, episodic return=676.3600463867188\n", + "global step=6043648, episodic return=670.7517700195312\n", + "global step=6043648, episodic return=688.1831665039062\n", + "global step=6045696, episodic return=719.94287109375\n", + "global step=6045696, episodic return=747.8832397460938\n", + "global step=6045696, episodic return=676.22265625\n", + "global step=6045696, episodic return=660.1856079101562\n", + "global step=6045696, episodic return=701.722412109375\n", + "global step=6045696, episodic return=676.5096435546875\n", + "global step=6047744, episodic return=696.9892578125\n", + "global step=6047744, episodic return=1150.375732421875\n", + "global step=6047744, episodic return=734.1044921875\n", + "global step=6047744, episodic return=705.150146484375\n", + "global step=6047744, episodic return=721.488525390625\n", + "global step=6047744, episodic return=682.7855834960938\n", + "global step=6047744, episodic return=789.6424560546875\n", + "global step=6047744, episodic return=748.0429077148438\n", + "global step=6047744, episodic return=674.8189697265625\n", + "global step=6047744, episodic return=669.4472045898438\n", + "global step=6047744, episodic return=742.932373046875\n", + "global step=6049792, episodic return=734.3253173828125\n", + "global step=6049792, episodic return=719.5095825195312\n", + "global step=6049792, episodic return=688.3408813476562\n", + "global step=6049792, episodic return=675.8954467773438\n", + "global step=6049792, episodic return=678.363525390625\n", + "global step=6049792, episodic return=694.2854614257812\n", + "global step=6049792, episodic return=1086.2022705078125\n", + "global step=6051840, episodic return=672.01318359375\n", + "global step=6051840, episodic return=605.1843872070312\n", + "global step=6051840, episodic return=658.3303833007812\n", + "global step=6051840, episodic return=712.234375\n", + "global step=6051840, episodic return=727.8722534179688\n", + "global step=6051840, episodic return=662.362060546875\n", + "global step=6051840, episodic return=623.8329467773438\n", + "global step=6051840, episodic return=628.5523681640625\n", + "global step=6051840, episodic return=657.1019897460938\n", + "global step=6053888, episodic return=712.3475952148438\n", + "global step=6053888, episodic return=654.5499267578125\n", + "global step=6055936, episodic return=677.5531616210938\n", + "global step=6055936, episodic return=804.578857421875\n", + "global step=6055936, episodic return=665.6803588867188\n", + "global step=6055936, episodic return=835.71533203125\n", + "global step=6057984, episodic return=676.6190185546875\n", + "global step=6057984, episodic return=687.8877563476562\n", + "global step=6057984, episodic return=746.9174194335938\n", + "global step=6057984, episodic return=683.4409790039062\n", + "global step=6057984, episodic return=702.093994140625\n", + "global step=6057984, episodic return=713.811767578125\n", + "global step=6057984, episodic return=653.5572509765625\n", + "global step=6060032, episodic return=643.4494018554688\n", + "global step=6060032, episodic return=690.4339599609375\n", + "global step=6060032, episodic return=637.2786865234375\n", + "global step=6060032, episodic return=672.7948608398438\n", + "global step=6060032, episodic return=650.672607421875\n", + "global step=6060032, episodic return=654.993896484375\n", + "global step=6060032, episodic return=604.2825927734375\n", + "global step=6060032, episodic return=631.9586791992188\n", + "global step=6062080, episodic return=623.771240234375\n", + "global step=6062080, episodic return=722.9533081054688\n", + "global step=6062080, episodic return=649.2850341796875\n", + "global step=6064128, episodic return=746.5858154296875\n", + "global step=6064128, episodic return=717.0205688476562\n", + "global step=6064128, episodic return=620.0936279296875\n", + "global step=6064128, episodic return=699.969482421875\n", + "global step=6064128, episodic return=674.8929443359375\n", + "global step=6064128, episodic return=608.8021240234375\n", + "global step=6066176, episodic return=761.8033447265625\n", + "global step=6066176, episodic return=640.0247192382812\n", + "global step=6066176, episodic return=688.0899658203125\n", + "global step=6066176, episodic return=660.8321533203125\n", + "global step=6066176, episodic return=698.498291015625\n", + "global step=6066176, episodic return=684.059326171875\n", + "global step=6066176, episodic return=698.95458984375\n", + "global step=6066176, episodic return=694.0742797851562\n", + "global step=6068224, episodic return=695.1975708007812\n", + "global step=6068224, episodic return=689.4775390625\n", + "global step=6068224, episodic return=694.9281616210938\n", + "global step=6068224, episodic return=718.2196044921875\n", + "global step=6068224, episodic return=630.8114013671875\n", + "global step=6068224, episodic return=725.7572631835938\n", + "global step=6070272, episodic return=695.1143188476562\n", + "global step=6070272, episodic return=718.254638671875\n", + "global step=6070272, episodic return=697.8939819335938\n", + "global step=6070272, episodic return=684.6936645507812\n", + "global step=6070272, episodic return=699.6834106445312\n", + "global step=6070272, episodic return=760.5548706054688\n", + "global step=6070272, episodic return=680.5932006835938\n", + "global step=6070272, episodic return=752.7496948242188\n", + "global step=6072320, episodic return=676.3064575195312\n", + "global step=6072320, episodic return=700.4050903320312\n", + "global step=6074368, episodic return=765.3275756835938\n", + "global step=6074368, episodic return=669.1914672851562\n", + "global step=6074368, episodic return=718.6751708984375\n", + "global step=6074368, episodic return=666.97705078125\n", + "global step=6074368, episodic return=772.6541137695312\n", + "global step=6074368, episodic return=676.0504150390625\n", + "global step=6076416, episodic return=708.7191772460938\n", + "global step=6076416, episodic return=654.1760864257812\n", + "global step=6078464, episodic return=686.957763671875\n", + "global step=6078464, episodic return=773.5143432617188\n", + "global step=6078464, episodic return=719.9812622070312\n", + "global step=6078464, episodic return=718.8486328125\n", + "global step=6078464, episodic return=640.04638671875\n", + "global step=6078464, episodic return=845.5310668945312\n", + "global step=6080512, episodic return=741.5436401367188\n", + "global step=6080512, episodic return=770.6836547851562\n", + "global step=6080512, episodic return=728.5809326171875\n", + "global step=6080512, episodic return=720.4934692382812\n", + "global step=6080512, episodic return=757.9471435546875\n", + "global step=6080512, episodic return=660.3650512695312\n", + "global step=6080512, episodic return=742.5936279296875\n", + "global step=6080512, episodic return=422.2225341796875\n", + "global step=6082560, episodic return=730.7354736328125\n", + "global step=6082560, episodic return=746.3984375\n", + "global step=6082560, episodic return=741.4783325195312\n", + "global step=6082560, episodic return=791.3284912109375\n", + "global step=6082560, episodic return=667.5186157226562\n", + "global step=6084608, episodic return=678.1381225585938\n", + "global step=6084608, episodic return=693.4969482421875\n", + "global step=6084608, episodic return=738.525634765625\n", + "global step=6084608, episodic return=823.7669677734375\n", + "global step=6084608, episodic return=701.8103637695312\n", + "global step=6084608, episodic return=744.6163330078125\n", + "global step=6084608, episodic return=707.8024291992188\n", + "global step=6084608, episodic return=69.81592559814453\n", + "global step=6086656, episodic return=58.433685302734375\n", + "global step=6086656, episodic return=775.6097412109375\n", + "global step=6086656, episodic return=711.76513671875\n", + "global step=6086656, episodic return=637.083251953125\n", + "global step=6086656, episodic return=822.8919067382812\n", + "global step=6086656, episodic return=742.709716796875\n", + "global step=6088704, episodic return=731.362060546875\n", + "global step=6088704, episodic return=727.8875732421875\n", + "global step=6088704, episodic return=645.4176635742188\n", + "global step=6088704, episodic return=702.9291381835938\n", + "global step=6090752, episodic return=679.828125\n", + "global step=6090752, episodic return=676.1043090820312\n", + "global step=6090752, episodic return=677.812255859375\n", + "global step=6092800, episodic return=732.92724609375\n", + "global step=6092800, episodic return=707.1766357421875\n", + "global step=6094848, episodic return=651.6896362304688\n", + "global step=6094848, episodic return=758.6375122070312\n", + "global step=6094848, episodic return=665.6754760742188\n", + "global step=6094848, episodic return=703.7326049804688\n", + "global step=6096896, episodic return=739.0598754882812\n", + "global step=6096896, episodic return=705.4149169921875\n", + "global step=6096896, episodic return=585.75537109375\n", + "global step=6098944, episodic return=584.6848754882812\n", + "global step=6098944, episodic return=656.6611938476562\n", + "global step=6098944, episodic return=652.920654296875\n", + "global step=6098944, episodic return=651.28759765625\n", + "global step=6100992, episodic return=782.1735229492188\n", + "global step=6100992, episodic return=692.0004272460938\n", + "global step=6100992, episodic return=720.328857421875\n", + "global step=6103040, episodic return=676.1359252929688\n", + "global step=6103040, episodic return=674.1981201171875\n", + "global step=6103040, episodic return=691.9624633789062\n", + "global step=6103040, episodic return=694.53662109375\n", + "global step=6103040, episodic return=589.1708374023438\n", + "global step=6103040, episodic return=690.7604370117188\n", + "global step=6105088, episodic return=665.1602783203125\n", + "global step=6105088, episodic return=749.723388671875\n", + "global step=6105088, episodic return=659.5125122070312\n", + "global step=6105088, episodic return=737.9008178710938\n", + "global step=6107136, episodic return=801.5758056640625\n", + "global step=6107136, episodic return=63.65258026123047\n", + "global step=6107136, episodic return=66.7629165649414\n", + "global step=6109184, episodic return=711.5902099609375\n", + "global step=6109184, episodic return=754.4536743164062\n", + "global step=6109184, episodic return=732.8311767578125\n", + "global step=6109184, episodic return=767.8875122070312\n", + "global step=6111232, episodic return=696.6062622070312\n", + "global step=6111232, episodic return=655.7813110351562\n", + "global step=6111232, episodic return=674.2388305664062\n", + "global step=6113280, episodic return=747.5094604492188\n", + "global step=6113280, episodic return=731.9716186523438\n", + "global step=6113280, episodic return=753.9061889648438\n", + "global step=6115328, episodic return=810.3486938476562\n", + "global step=6115328, episodic return=692.15576171875\n", + "global step=6115328, episodic return=785.3673706054688\n", + "global step=6115328, episodic return=728.991455078125\n", + "global step=6115328, episodic return=688.3710327148438\n", + "global step=6117376, episodic return=678.4021606445312\n", + "global step=6119424, episodic return=706.978759765625\n", + "global step=6119424, episodic return=695.3517456054688\n", + "global step=6121472, episodic return=703.0572509765625\n", + "global step=6121472, episodic return=783.5111083984375\n", + "global step=6121472, episodic return=780.1443481445312\n", + "global step=6121472, episodic return=681.3584594726562\n", + "global step=6121472, episodic return=656.5787353515625\n", + "global step=6123520, episodic return=775.715576171875\n", + "global step=6125568, episodic return=774.9293823242188\n", + "global step=6125568, episodic return=687.743408203125\n", + "global step=6125568, episodic return=678.8087158203125\n", + "global step=6125568, episodic return=694.4830932617188\n", + "global step=6125568, episodic return=710.128173828125\n", + "global step=6127616, episodic return=671.1069946289062\n", + "global step=6127616, episodic return=759.1135864257812\n", + "global step=6127616, episodic return=669.9822998046875\n", + "global step=6127616, episodic return=690.8794555664062\n", + "global step=6127616, episodic return=681.77001953125\n", + "global step=6129664, episodic return=678.020263671875\n", + "global step=6129664, episodic return=656.7971801757812\n", + "global step=6131712, episodic return=672.42236328125\n", + "global step=6131712, episodic return=743.9382934570312\n", + "global step=6131712, episodic return=708.6348266601562\n", + "global step=6131712, episodic return=713.7225952148438\n", + "global step=6131712, episodic return=687.9682006835938\n", + "global step=6133760, episodic return=718.56396484375\n", + "global step=6133760, episodic return=798.5093994140625\n", + "global step=6133760, episodic return=948.6686401367188\n", + "global step=6133760, episodic return=772.694091796875\n", + "global step=6133760, episodic return=745.822265625\n", + "global step=6133760, episodic return=609.1075439453125\n", + "global step=6133760, episodic return=710.9752807617188\n", + "global step=6133760, episodic return=706.2902221679688\n", + "global step=6135808, episodic return=697.99072265625\n", + "global step=6135808, episodic return=1097.4241943359375\n", + "global step=6137856, episodic return=687.3662109375\n", + "global step=6137856, episodic return=741.870361328125\n", + "global step=6137856, episodic return=777.0025024414062\n", + "global step=6137856, episodic return=668.5765991210938\n", + "global step=6137856, episodic return=708.613525390625\n", + "global step=6139904, episodic return=666.9605712890625\n", + "global step=6141952, episodic return=774.6787719726562\n", + "global step=6141952, episodic return=687.0629272460938\n", + "global step=6141952, episodic return=686.1358642578125\n", + "global step=6141952, episodic return=790.4537963867188\n", + "global step=6144000, episodic return=817.1478881835938\n", + "global step=6144000, episodic return=724.3507080078125\n", + "global step=6146048, episodic return=758.9176025390625\n", + "global step=6146048, episodic return=738.8217163085938\n", + "global step=6148096, episodic return=745.3698120117188\n", + "global step=6148096, episodic return=703.07958984375\n", + "global step=6148096, episodic return=812.490478515625\n", + "global step=6148096, episodic return=760.0670776367188\n", + "global step=6148096, episodic return=665.4191284179688\n", + "global step=6150144, episodic return=786.8899536132812\n", + "global step=6152192, episodic return=746.3495483398438\n", + "global step=6152192, episodic return=804.1528930664062\n", + "global step=6152192, episodic return=734.8355712890625\n", + "global step=6152192, episodic return=751.4630126953125\n", + "global step=6152192, episodic return=708.7290649414062\n", + "global step=6152192, episodic return=768.8076782226562\n", + "global step=6154240, episodic return=762.5176391601562\n", + "global step=6154240, episodic return=706.3334350585938\n", + "global step=6154240, episodic return=611.9762573242188\n", + "global step=6154240, episodic return=761.5677490234375\n", + "global step=6156288, episodic return=1261.4794921875\n", + "global step=6156288, episodic return=768.0653686523438\n", + "global step=6156288, episodic return=754.9093017578125\n", + "global step=6156288, episodic return=759.7281494140625\n", + "global step=6158336, episodic return=754.814208984375\n", + "global step=6158336, episodic return=787.9260864257812\n", + "global step=6158336, episodic return=670.2841796875\n", + "global step=6158336, episodic return=792.3829956054688\n", + "global step=6162432, episodic return=751.9937744140625\n", + "global step=6162432, episodic return=869.7835693359375\n", + "global step=6162432, episodic return=762.3988037109375\n", + "global step=6164480, episodic return=682.7754516601562\n", + "global step=6164480, episodic return=765.7953491210938\n", + "global step=6164480, episodic return=941.099365234375\n", + "global step=6164480, episodic return=712.6040649414062\n", + "global step=6164480, episodic return=602.8431396484375\n", + "global step=6166528, episodic return=683.7674560546875\n", + "global step=6166528, episodic return=734.8139038085938\n", + "global step=6166528, episodic return=703.61572265625\n", + "global step=6166528, episodic return=755.2590942382812\n", + "global step=6168576, episodic return=636.1495971679688\n", + "global step=6168576, episodic return=721.7334594726562\n", + "global step=6168576, episodic return=770.9268188476562\n", + "global step=6168576, episodic return=584.7689208984375\n", + "global step=6168576, episodic return=707.7921142578125\n", + "global step=6168576, episodic return=741.5440673828125\n", + "global step=6168576, episodic return=636.2462768554688\n", + "global step=6168576, episodic return=677.0177001953125\n", + "global step=6170624, episodic return=719.7890014648438\n", + "global step=6172672, episodic return=740.2540283203125\n", + "global step=6172672, episodic return=687.5328979492188\n", + "global step=6172672, episodic return=668.5211181640625\n", + "global step=6172672, episodic return=678.9392700195312\n", + "global step=6174720, episodic return=709.74755859375\n", + "global step=6174720, episodic return=811.8819580078125\n", + "global step=6174720, episodic return=710.1739501953125\n", + "global step=6174720, episodic return=730.5596923828125\n", + "global step=6174720, episodic return=616.7854614257812\n", + "global step=6174720, episodic return=736.640869140625\n", + "global step=6174720, episodic return=765.6329345703125\n", + "global step=6174720, episodic return=37.019798278808594\n", + "global step=6176768, episodic return=769.8529663085938\n", + "global step=6176768, episodic return=753.0021362304688\n", + "global step=6176768, episodic return=712.377197265625\n", + "global step=6176768, episodic return=658.6492309570312\n", + "global step=6178816, episodic return=681.8453979492188\n", + "global step=6178816, episodic return=754.2742309570312\n", + "global step=6178816, episodic return=688.63818359375\n", + "global step=6178816, episodic return=692.5597534179688\n", + "global step=6178816, episodic return=712.9234008789062\n", + "global step=6178816, episodic return=795.85986328125\n", + "global step=6180864, episodic return=698.1383666992188\n", + "global step=6180864, episodic return=669.5087890625\n", + "global step=6180864, episodic return=606.267578125\n", + "global step=6182912, episodic return=862.0584716796875\n", + "global step=6182912, episodic return=638.244873046875\n", + "global step=6182912, episodic return=778.340576171875\n", + "global step=6182912, episodic return=794.6077880859375\n", + "global step=6182912, episodic return=685.2728271484375\n", + "global step=6184960, episodic return=714.7289428710938\n", + "global step=6184960, episodic return=772.1969604492188\n", + "global step=6187008, episodic return=679.0196533203125\n", + "global step=6189056, episodic return=813.0294189453125\n", + "global step=6189056, episodic return=734.8587646484375\n", + "global step=6189056, episodic return=747.0947875976562\n", + "global step=6189056, episodic return=810.8775634765625\n", + "global step=6191104, episodic return=748.0907592773438\n", + "global step=6191104, episodic return=761.6093139648438\n", + "global step=6191104, episodic return=794.698486328125\n", + "global step=6193152, episodic return=714.7123413085938\n", + "global step=6193152, episodic return=672.8973388671875\n", + "global step=6195200, episodic return=751.2883911132812\n", + "global step=6195200, episodic return=745.5748901367188\n", + "global step=6195200, episodic return=773.8228149414062\n", + "global step=6197248, episodic return=724.258056640625\n", + "global step=6201344, episodic return=761.64501953125\n", + "global step=6201344, episodic return=734.078857421875\n", + "global step=6201344, episodic return=811.667236328125\n", + "global step=6203392, episodic return=736.2078857421875\n", + "global step=6205440, episodic return=762.5099487304688\n", + "global step=6205440, episodic return=711.9549560546875\n", + "global step=6205440, episodic return=824.7865600585938\n", + "global step=6205440, episodic return=776.6879272460938\n", + "global step=6205440, episodic return=789.3416748046875\n", + "global step=6207488, episodic return=667.7645874023438\n", + "global step=6207488, episodic return=800.9883422851562\n", + "global step=6209536, episodic return=783.0394897460938\n", + "global step=6209536, episodic return=341.262939453125\n", + "global step=6211584, episodic return=716.8822631835938\n", + "global step=6211584, episodic return=787.2269287109375\n", + "global step=6215680, episodic return=698.0012817382812\n", + "global step=6215680, episodic return=802.9393920898438\n", + "global step=6215680, episodic return=771.1158447265625\n", + "global step=6217728, episodic return=715.0179443359375\n", + "global step=6219776, episodic return=781.0195922851562\n", + "global step=6221824, episodic return=823.2967529296875\n", + "global step=6221824, episodic return=826.4723510742188\n", + "global step=6223872, episodic return=722.56982421875\n", + "global step=6223872, episodic return=908.5591430664062\n", + "global step=6223872, episodic return=701.262939453125\n", + "global step=6223872, episodic return=702.2930908203125\n", + "global step=6225920, episodic return=737.0669555664062\n", + "global step=6225920, episodic return=714.0015258789062\n", + "global step=6225920, episodic return=853.7232666015625\n", + "global step=6225920, episodic return=660.283447265625\n", + "global step=6225920, episodic return=834.9248657226562\n", + "global step=6227968, episodic return=796.8246459960938\n", + "global step=6230016, episodic return=602.6392822265625\n", + "global step=6232064, episodic return=650.8252563476562\n", + "global step=6234112, episodic return=709.107421875\n", + "global step=6238208, episodic return=740.5543823242188\n", + "global step=6238208, episodic return=776.8090209960938\n", + "global step=6242304, episodic return=767.646240234375\n", + "global step=6242304, episodic return=1140.512939453125\n", + "global step=6242304, episodic return=706.5646362304688\n", + "global step=6242304, episodic return=779.24560546875\n", + "global step=6244352, episodic return=734.7102661132812\n", + "global step=6244352, episodic return=734.0499267578125\n", + "global step=6244352, episodic return=786.1163940429688\n", + "global step=6246400, episodic return=802.5460205078125\n", + "global step=6246400, episodic return=737.0250854492188\n", + "global step=6250496, episodic return=815.8273315429688\n", + "global step=6254592, episodic return=816.764892578125\n", + "global step=6254592, episodic return=757.4520874023438\n", + "global step=6256640, episodic return=706.0128173828125\n", + "global step=6258688, episodic return=752.2020874023438\n", + "global step=6260736, episodic return=741.2293090820312\n", + "global step=6260736, episodic return=700.6270141601562\n", + "global step=6260736, episodic return=765.2537231445312\n", + "global step=6260736, episodic return=698.2536010742188\n", + "global step=6260736, episodic return=831.8516235351562\n", + "global step=6260736, episodic return=653.0701904296875\n", + "global step=6260736, episodic return=639.3004760742188\n", + "global step=6262784, episodic return=729.8900756835938\n", + "global step=6262784, episodic return=701.2030639648438\n", + "global step=6264832, episodic return=849.2791748046875\n", + "global step=6264832, episodic return=680.5167236328125\n", + "global step=6270976, episodic return=751.4716186523438\n", + "global step=6270976, episodic return=1164.788818359375\n", + "global step=6270976, episodic return=711.3021850585938\n", + "global step=6270976, episodic return=783.457763671875\n", + "global step=6275072, episodic return=665.5033569335938\n", + "global step=6277120, episodic return=809.5292358398438\n", + "global step=6277120, episodic return=794.8192749023438\n", + "global step=6277120, episodic return=857.4666748046875\n", + "global step=6279168, episodic return=662.3641967773438\n", + "global step=6279168, episodic return=681.2470092773438\n", + "global step=6285312, episodic return=742.9024047851562\n", + "global step=6285312, episodic return=770.4519653320312\n", + "global step=6285312, episodic return=845.1363525390625\n", + "global step=6285312, episodic return=746.1976318359375\n", + "global step=6287360, episodic return=250.85073852539062\n", + "global step=6287360, episodic return=237.47802734375\n", + "global step=6287360, episodic return=671.4540405273438\n", + "global step=6289408, episodic return=805.6989135742188\n", + "global step=6289408, episodic return=767.4193115234375\n", + "global step=6293504, episodic return=776.4058837890625\n", + "global step=6293504, episodic return=697.26025390625\n", + "global step=6293504, episodic return=917.2664184570312\n", + "global step=6295552, episodic return=963.8170166015625\n", + "global step=6295552, episodic return=888.5812377929688\n", + "global step=6295552, episodic return=697.2249755859375\n", + "global step=6297600, episodic return=694.6463012695312\n", + "global step=6297600, episodic return=732.2855834960938\n", + "global step=6297600, episodic return=718.4296264648438\n", + "global step=6297600, episodic return=691.1351318359375\n", + "global step=6297600, episodic return=693.7772827148438\n", + "global step=6299648, episodic return=836.6992797851562\n", + "global step=6299648, episodic return=765.4337158203125\n", + "global step=6299648, episodic return=648.3659057617188\n", + "global step=6299648, episodic return=815.67724609375\n", + "global step=6301696, episodic return=632.06640625\n", + "global step=6301696, episodic return=891.4474487304688\n", + "global step=6303744, episodic return=741.8428955078125\n", + "global step=6303744, episodic return=681.3333740234375\n", + "global step=6305792, episodic return=774.1932983398438\n", + "global step=6305792, episodic return=713.4700317382812\n", + "global step=6307840, episodic return=760.2279663085938\n", + "global step=6307840, episodic return=747.2482299804688\n", + "global step=6307840, episodic return=768.9840087890625\n", + "global step=6309888, episodic return=818.1780395507812\n", + "global step=6309888, episodic return=843.7078857421875\n", + "global step=6311936, episodic return=743.9778442382812\n", + "global step=6311936, episodic return=978.1343994140625\n", + "global step=6311936, episodic return=687.6096801757812\n", + "global step=6313984, episodic return=760.2722778320312\n", + "global step=6313984, episodic return=843.5296020507812\n", + "global step=6316032, episodic return=557.1170043945312\n", + "global step=6316032, episodic return=632.6072387695312\n", + "global step=6318080, episodic return=883.3073120117188\n", + "global step=6318080, episodic return=789.4008178710938\n", + "global step=6320128, episodic return=822.4616088867188\n", + "global step=6322176, episodic return=640.9014282226562\n", + "global step=6324224, episodic return=575.4513549804688\n", + "global step=6324224, episodic return=883.05322265625\n", + "global step=6324224, episodic return=987.70068359375\n", + "global step=6324224, episodic return=781.9923095703125\n", + "global step=6326272, episodic return=755.2915649414062\n", + "global step=6330368, episodic return=674.9744873046875\n", + "global step=6330368, episodic return=713.2825317382812\n", + "global step=6332416, episodic return=705.3296508789062\n", + "global step=6332416, episodic return=639.2003173828125\n", + "global step=6338560, episodic return=587.0493774414062\n", + "global step=6338560, episodic return=1024.526611328125\n", + "global step=6338560, episodic return=725.5656127929688\n", + "global step=6342656, episodic return=778.6805419921875\n", + "global step=6342656, episodic return=806.7037963867188\n", + "global step=6342656, episodic return=467.95050048828125\n", + "global step=6342656, episodic return=734.5980224609375\n", + "global step=6344704, episodic return=743.7096557617188\n", + "global step=6346752, episodic return=586.4373168945312\n", + "global step=6346752, episodic return=689.60498046875\n", + "global step=6346752, episodic return=723.4876098632812\n", + "global step=6348800, episodic return=853.2716064453125\n", + "global step=6350848, episodic return=856.565673828125\n", + "global step=6352896, episodic return=649.3047485351562\n", + "global step=6354944, episodic return=33.14252853393555\n", + "global step=6354944, episodic return=855.7023315429688\n", + "global step=6354944, episodic return=685.1970825195312\n", + "global step=6354944, episodic return=688.314208984375\n", + "global step=6356992, episodic return=777.3883056640625\n", + "global step=6359040, episodic return=916.17236328125\n", + "global step=6361088, episodic return=1335.1160888671875\n", + "global step=6363136, episodic return=664.045654296875\n", + "global step=6363136, episodic return=955.631103515625\n", + "global step=6363136, episodic return=902.8037109375\n", + "global step=6365184, episodic return=724.9283447265625\n", + "global step=6365184, episodic return=673.2811889648438\n", + "global step=6369280, episodic return=848.4873046875\n", + "global step=6369280, episodic return=679.4456176757812\n", + "global step=6369280, episodic return=725.6409912109375\n", + "global step=6369280, episodic return=886.0786743164062\n", + "global step=6371328, episodic return=1050.1043701171875\n", + "global step=6371328, episodic return=827.4407348632812\n", + "global step=6373376, episodic return=805.052978515625\n", + "global step=6373376, episodic return=563.1102294921875\n", + "global step=6375424, episodic return=908.3898315429688\n", + "global step=6377472, episodic return=1005.2151489257812\n", + "global step=6377472, episodic return=380.1957092285156\n", + "global step=6381568, episodic return=661.4939575195312\n", + "global step=6381568, episodic return=685.970458984375\n", + "global step=6381568, episodic return=568.122314453125\n", + "global step=6381568, episodic return=918.9680786132812\n", + "global step=6383616, episodic return=664.064208984375\n", + "global step=6385664, episodic return=1243.5594482421875\n", + "global step=6387712, episodic return=675.0901489257812\n", + "global step=6387712, episodic return=767.8388671875\n", + "global step=6389760, episodic return=756.028076171875\n", + "global step=6389760, episodic return=844.2793579101562\n", + "global step=6389760, episodic return=676.6718139648438\n", + "global step=6391808, episodic return=739.8985595703125\n", + "global step=6391808, episodic return=865.2941284179688\n", + "global step=6391808, episodic return=800.5534057617188\n", + "global step=6391808, episodic return=835.6027221679688\n", + "global step=6393856, episodic return=852.7547607421875\n", + "global step=6393856, episodic return=689.9278564453125\n", + "global step=6393856, episodic return=495.5833740234375\n", + "global step=6395904, episodic return=611.8596801757812\n", + "global step=6395904, episodic return=795.77490234375\n", + "global step=6397952, episodic return=641.343994140625\n", + "global step=6397952, episodic return=1268.249755859375\n", + "global step=6400000, episodic return=1288.9208984375\n", + "global step=6400000, episodic return=898.8849487304688\n", + "global step=6402048, episodic return=735.33984375\n", + "global step=6402048, episodic return=627.180419921875\n", + "global step=6404096, episodic return=916.8048095703125\n", + "global step=6404096, episodic return=764.9005737304688\n", + "global step=6406144, episodic return=855.6661987304688\n", + "global step=6406144, episodic return=632.7813110351562\n", + "global step=6406144, episodic return=866.9345092773438\n", + "global step=6406144, episodic return=677.3137817382812\n", + "global step=6406144, episodic return=799.6943359375\n", + "global step=6408192, episodic return=898.3564453125\n", + "global step=6408192, episodic return=969.1915893554688\n", + "global step=6410240, episodic return=625.030029296875\n", + "global step=6412288, episodic return=671.9378051757812\n", + "global step=6412288, episodic return=791.2747802734375\n", + "global step=6412288, episodic return=673.7188720703125\n", + "global step=6414336, episodic return=866.6188354492188\n", + "global step=6414336, episodic return=936.6776733398438\n", + "global step=6414336, episodic return=776.3643188476562\n", + "global step=6416384, episodic return=637.3289184570312\n", + "global step=6416384, episodic return=935.3374633789062\n", + "global step=6416384, episodic return=795.8619384765625\n", + "global step=6418432, episodic return=941.9171752929688\n", + "global step=6418432, episodic return=884.4598999023438\n", + "global step=6420480, episodic return=524.4752197265625\n", + "global step=6420480, episodic return=391.7226867675781\n", + "global step=6422528, episodic return=986.434326171875\n", + "global step=6422528, episodic return=832.164794921875\n", + "global step=6422528, episodic return=667.5210571289062\n", + "global step=6424576, episodic return=949.4027099609375\n", + "global step=6424576, episodic return=689.8189697265625\n", + "global step=6424576, episodic return=745.2417602539062\n", + "global step=6426624, episodic return=723.4967651367188\n", + "global step=6426624, episodic return=888.9381103515625\n", + "global step=6430720, episodic return=1221.2423095703125\n", + "global step=6432768, episodic return=1356.283447265625\n", + "global step=6432768, episodic return=630.478515625\n", + "global step=6432768, episodic return=963.5615234375\n", + "global step=6434816, episodic return=841.9898681640625\n", + "global step=6436864, episodic return=717.9469604492188\n", + "global step=6438912, episodic return=829.7793579101562\n", + "global step=6440960, episodic return=876.458984375\n", + "global step=6440960, episodic return=1432.943115234375\n", + "global step=6440960, episodic return=1018.8463134765625\n", + "global step=6440960, episodic return=872.3385620117188\n", + "global step=6443008, episodic return=644.9569091796875\n", + "global step=6443008, episodic return=842.1239624023438\n", + "global step=6447104, episodic return=1348.5689697265625\n", + "global step=6447104, episodic return=693.9786376953125\n", + "global step=6449152, episodic return=1020.000732421875\n", + "global step=6449152, episodic return=1020.2182006835938\n", + "global step=6451200, episodic return=718.4273681640625\n", + "global step=6451200, episodic return=690.4002685546875\n", + "global step=6451200, episodic return=611.1052856445312\n", + "global step=6453248, episodic return=428.8229675292969\n", + "global step=6455296, episodic return=36.599456787109375\n", + "global step=6459392, episodic return=714.0897827148438\n", + "global step=6459392, episodic return=709.6768188476562\n", + "global step=6459392, episodic return=729.3937377929688\n", + "global step=6461440, episodic return=665.7843017578125\n", + "global step=6463488, episodic return=618.312744140625\n", + "global step=6463488, episodic return=930.5908813476562\n", + "global step=6465536, episodic return=433.6184997558594\n", + "global step=6467584, episodic return=1029.2003173828125\n", + "global step=6469632, episodic return=693.3258056640625\n", + "global step=6469632, episodic return=599.732177734375\n", + "global step=6473728, episodic return=973.2965698242188\n", + "global step=6473728, episodic return=967.324462890625\n", + "global step=6475776, episodic return=686.1211547851562\n", + "global step=6475776, episodic return=656.1021118164062\n", + "global step=6477824, episodic return=793.2149658203125\n", + "global step=6477824, episodic return=766.2673950195312\n", + "global step=6477824, episodic return=918.3676147460938\n", + "global step=6477824, episodic return=975.5820922851562\n", + "global step=6479872, episodic return=829.1478881835938\n", + "global step=6479872, episodic return=489.733154296875\n", + "global step=6479872, episodic return=993.8107299804688\n", + "global step=6479872, episodic return=894.1452026367188\n", + "global step=6479872, episodic return=498.91485595703125\n", + "global step=6481920, episodic return=810.162353515625\n", + "global step=6481920, episodic return=892.2974853515625\n", + "global step=6481920, episodic return=1082.379150390625\n", + "global step=6483968, episodic return=803.3331298828125\n", + "global step=6483968, episodic return=566.5096435546875\n", + "global step=6483968, episodic return=1084.0028076171875\n", + "global step=6486016, episodic return=703.2322387695312\n", + "global step=6488064, episodic return=456.12353515625\n", + "global step=6488064, episodic return=663.9104614257812\n", + "global step=6490112, episodic return=661.9442749023438\n", + "global step=6490112, episodic return=812.9429321289062\n", + "global step=6490112, episodic return=445.9305725097656\n", + "global step=6490112, episodic return=1116.7974853515625\n", + "global step=6492160, episodic return=961.4564819335938\n", + "global step=6492160, episodic return=608.2710571289062\n", + "global step=6492160, episodic return=1009.9061889648438\n", + "global step=6494208, episodic return=665.0985107421875\n", + "global step=6494208, episodic return=846.1907348632812\n", + "global step=6494208, episodic return=803.6929321289062\n", + "global step=6494208, episodic return=574.9922485351562\n", + "global step=6494208, episodic return=578.58935546875\n", + "global step=6494208, episodic return=762.7992553710938\n", + "global step=6494208, episodic return=902.625244140625\n", + "global step=6494208, episodic return=568.88525390625\n", + "global step=6496256, episodic return=796.6090087890625\n", + "global step=6496256, episodic return=275.89666748046875\n", + "global step=6496256, episodic return=446.73150634765625\n", + "global step=6498304, episodic return=765.90087890625\n", + "global step=6498304, episodic return=608.4090576171875\n", + "global step=6498304, episodic return=606.614501953125\n", + "global step=6500352, episodic return=734.7022705078125\n", + "global step=6500352, episodic return=671.4696044921875\n", + "global step=6500352, episodic return=769.35009765625\n", + "global step=6502400, episodic return=587.0360107421875\n", + "global step=6504448, episodic return=725.8007202148438\n", + "global step=6506496, episodic return=801.4678955078125\n", + "global step=6506496, episodic return=907.4954833984375\n", + "global step=6506496, episodic return=684.7603149414062\n", + "global step=6508544, episodic return=814.3953247070312\n", + "global step=6508544, episodic return=720.07373046875\n", + "global step=6512640, episodic return=780.7284545898438\n", + "global step=6512640, episodic return=866.228759765625\n", + "global step=6514688, episodic return=1244.156982421875\n", + "global step=6514688, episodic return=636.5245971679688\n", + "global step=6516736, episodic return=1115.1142578125\n", + "global step=6516736, episodic return=899.6831665039062\n", + "global step=6516736, episodic return=1225.661376953125\n", + "global step=6516736, episodic return=593.0612182617188\n", + "global step=6518784, episodic return=1041.019775390625\n", + "global step=6518784, episodic return=725.095703125\n", + "global step=6518784, episodic return=1050.6610107421875\n", + "global step=6520832, episodic return=632.4125366210938\n", + "global step=6520832, episodic return=703.950927734375\n", + "global step=6522880, episodic return=623.045166015625\n", + "global step=6524928, episodic return=610.9146728515625\n", + "global step=6524928, episodic return=1087.8250732421875\n", + "global step=6524928, episodic return=754.9727783203125\n", + "global step=6526976, episodic return=817.3945922851562\n", + "global step=6526976, episodic return=1347.494140625\n", + "global step=6526976, episodic return=690.9847412109375\n", + "global step=6529024, episodic return=580.773681640625\n", + "global step=6531072, episodic return=1124.3363037109375\n", + "global step=6531072, episodic return=694.24609375\n", + "global step=6535168, episodic return=460.9879150390625\n", + "global step=6535168, episodic return=653.7250366210938\n", + "global step=6539264, episodic return=901.541015625\n", + "global step=6539264, episodic return=634.4978637695312\n", + "global step=6541312, episodic return=626.3186645507812\n", + "global step=6541312, episodic return=770.3294677734375\n", + "global step=6541312, episodic return=833.4313354492188\n", + "global step=6543360, episodic return=695.2047119140625\n", + "global step=6543360, episodic return=690.7128295898438\n", + "global step=6545408, episodic return=614.562255859375\n", + "global step=6547456, episodic return=570.4901733398438\n", + "global step=6551552, episodic return=34.66303634643555\n", + "global step=6551552, episodic return=485.9158020019531\n", + "global step=6551552, episodic return=676.4834594726562\n", + "global step=6553600, episodic return=694.853759765625\n", + "global step=6555648, episodic return=624.9129028320312\n", + "global step=6555648, episodic return=1428.4986572265625\n", + "global step=6557696, episodic return=602.2579345703125\n", + "global step=6557696, episodic return=291.8434753417969\n", + "global step=6557696, episodic return=649.13623046875\n", + "global step=6559744, episodic return=722.9630126953125\n", + "global step=6559744, episodic return=566.1016845703125\n", + "global step=6561792, episodic return=613.2909545898438\n", + "global step=6561792, episodic return=804.2836303710938\n", + "global step=6561792, episodic return=778.4194946289062\n", + "global step=6561792, episodic return=594.8893432617188\n", + "global step=6563840, episodic return=620.982421875\n", + "global step=6565888, episodic return=620.8897705078125\n", + "global step=6569984, episodic return=607.658935546875\n", + "global step=6569984, episodic return=646.30712890625\n", + "global step=6569984, episodic return=615.0358276367188\n", + "global step=6569984, episodic return=610.928955078125\n", + "global step=6572032, episodic return=665.7642211914062\n", + "global step=6572032, episodic return=847.2764892578125\n", + "global step=6574080, episodic return=674.489501953125\n", + "global step=6574080, episodic return=1154.135009765625\n", + "global step=6576128, episodic return=757.39453125\n", + "global step=6576128, episodic return=640.8597412109375\n", + "global step=6576128, episodic return=689.7977905273438\n", + "global step=6578176, episodic return=624.2288208007812\n", + "global step=6580224, episodic return=696.6986694335938\n", + "global step=6580224, episodic return=797.4300537109375\n", + "global step=6580224, episodic return=449.7230224609375\n", + "global step=6582272, episodic return=871.9450073242188\n", + "global step=6582272, episodic return=627.341796875\n", + "global step=6582272, episodic return=664.811279296875\n", + "global step=6582272, episodic return=669.283447265625\n", + "global step=6582272, episodic return=613.167724609375\n", + "global step=6582272, episodic return=937.0994873046875\n", + "global step=6584320, episodic return=31.633255004882812\n", + "global step=6584320, episodic return=721.423583984375\n", + "global step=6586368, episodic return=1085.746826171875\n", + "global step=6586368, episodic return=587.0220336914062\n", + "global step=6586368, episodic return=612.55419921875\n", + "global step=6588416, episodic return=1038.4449462890625\n", + "global step=6588416, episodic return=718.1329956054688\n", + "global step=6590464, episodic return=721.6206665039062\n", + "global step=6590464, episodic return=598.2249755859375\n", + "global step=6590464, episodic return=724.290283203125\n", + "global step=6590464, episodic return=516.0868530273438\n", + "global step=6592512, episodic return=588.2730712890625\n", + "global step=6592512, episodic return=664.9366455078125\n", + "global step=6592512, episodic return=700.211181640625\n", + "global step=6592512, episodic return=677.4942626953125\n", + "global step=6592512, episodic return=688.4740600585938\n", + "global step=6594560, episodic return=639.30322265625\n", + "global step=6594560, episodic return=777.8325805664062\n", + "global step=6594560, episodic return=1129.8453369140625\n", + "global step=6596608, episodic return=663.897705078125\n", + "global step=6596608, episodic return=614.7094116210938\n", + "global step=6596608, episodic return=570.7369384765625\n", + "global step=6596608, episodic return=597.1141357421875\n", + "global step=6596608, episodic return=762.692138671875\n", + "global step=6596608, episodic return=714.4108276367188\n", + "global step=6598656, episodic return=580.0255737304688\n", + "global step=6598656, episodic return=730.586181640625\n", + "global step=6598656, episodic return=591.0404052734375\n", + "global step=6600704, episodic return=1094.242919921875\n", + "global step=6600704, episodic return=1139.54296875\n", + "global step=6600704, episodic return=716.4227294921875\n", + "global step=6602752, episodic return=627.8186645507812\n", + "global step=6602752, episodic return=689.8685913085938\n", + "global step=6604800, episodic return=547.2068481445312\n", + "global step=6604800, episodic return=689.7001953125\n", + "global step=6606848, episodic return=720.1857299804688\n", + "global step=6608896, episodic return=671.0902099609375\n", + "global step=6608896, episodic return=1332.54052734375\n", + "global step=6608896, episodic return=653.6688232421875\n", + "global step=6608896, episodic return=1301.8604736328125\n", + "global step=6610944, episodic return=634.06103515625\n", + "global step=6610944, episodic return=622.0174560546875\n", + "global step=6612992, episodic return=587.1802978515625\n", + "global step=6612992, episodic return=638.2525024414062\n", + "global step=6612992, episodic return=629.1937866210938\n", + "global step=6615040, episodic return=700.7338256835938\n", + "global step=6615040, episodic return=702.3292236328125\n", + "global step=6615040, episodic return=649.79345703125\n", + "global step=6617088, episodic return=686.3795166015625\n", + "global step=6617088, episodic return=618.6652221679688\n", + "global step=6617088, episodic return=598.3660278320312\n", + "global step=6617088, episodic return=668.8739624023438\n", + "global step=6619136, episodic return=673.8282470703125\n", + "global step=6619136, episodic return=696.9918212890625\n", + "global step=6619136, episodic return=761.7274169921875\n", + "global step=6619136, episodic return=677.3861083984375\n", + "global step=6619136, episodic return=559.7434692382812\n", + "global step=6621184, episodic return=602.4265747070312\n", + "global step=6621184, episodic return=560.1336059570312\n", + "global step=6621184, episodic return=1265.9600830078125\n", + "global step=6621184, episodic return=684.9469604492188\n", + "global step=6621184, episodic return=571.892333984375\n", + "global step=6623232, episodic return=638.8496704101562\n", + "global step=6623232, episodic return=695.7650756835938\n", + "global step=6625280, episodic return=1087.0372314453125\n", + "global step=6625280, episodic return=623.450439453125\n", + "global step=6627328, episodic return=685.3516845703125\n", + "global step=6627328, episodic return=746.008544921875\n", + "global step=6627328, episodic return=689.7976684570312\n", + "global step=6627328, episodic return=841.1653442382812\n", + "global step=6627328, episodic return=1187.8099365234375\n", + "global step=6627328, episodic return=593.5139770507812\n", + "global step=6629376, episodic return=593.81005859375\n", + "global step=6629376, episodic return=633.2754516601562\n", + "global step=6629376, episodic return=657.0203247070312\n", + "global step=6629376, episodic return=671.1296997070312\n", + "global step=6629376, episodic return=644.7342529296875\n", + "global step=6629376, episodic return=674.3135375976562\n", + "global step=6629376, episodic return=674.5794067382812\n", + "global step=6631424, episodic return=707.0940551757812\n", + "global step=6631424, episodic return=716.6927490234375\n", + "global step=6631424, episodic return=652.94384765625\n", + "global step=6631424, episodic return=891.2081909179688\n", + "global step=6631424, episodic return=509.9421081542969\n", + "global step=6633472, episodic return=710.4789428710938\n", + "global step=6633472, episodic return=747.9468383789062\n", + "global step=6633472, episodic return=567.487548828125\n", + "global step=6633472, episodic return=724.0364379882812\n", + "global step=6633472, episodic return=649.5270385742188\n", + "global step=6633472, episodic return=705.958251953125\n", + "global step=6633472, episodic return=793.7933349609375\n", + "global step=6635520, episodic return=713.158935546875\n", + "global step=6635520, episodic return=634.2833862304688\n", + "global step=6635520, episodic return=1087.696044921875\n", + "global step=6637568, episodic return=621.1215209960938\n", + "global step=6639616, episodic return=629.2947998046875\n", + "global step=6639616, episodic return=673.5789794921875\n", + "global step=6639616, episodic return=649.183837890625\n", + "global step=6639616, episodic return=664.1181640625\n", + "global step=6639616, episodic return=539.2444458007812\n", + "global step=6641664, episodic return=1026.2974853515625\n", + "global step=6641664, episodic return=706.5435791015625\n", + "global step=6641664, episodic return=582.0303344726562\n", + "global step=6641664, episodic return=621.45263671875\n", + "global step=6643712, episodic return=794.0851440429688\n", + "global step=6643712, episodic return=594.4293823242188\n", + "global step=6643712, episodic return=752.9068603515625\n", + "global step=6643712, episodic return=695.448486328125\n", + "global step=6643712, episodic return=870.1253051757812\n", + "global step=6643712, episodic return=573.5453491210938\n", + "global step=6645760, episodic return=634.9599609375\n", + "global step=6645760, episodic return=1036.745849609375\n", + "global step=6645760, episodic return=601.0073852539062\n", + "global step=6645760, episodic return=624.868896484375\n", + "global step=6645760, episodic return=1013.9547729492188\n", + "global step=6647808, episodic return=605.519287109375\n", + "global step=6647808, episodic return=1065.744140625\n", + "global step=6649856, episodic return=667.7699584960938\n", + "global step=6649856, episodic return=554.6561279296875\n", + "global step=6649856, episodic return=578.4607543945312\n", + "global step=6649856, episodic return=706.1986083984375\n", + "global step=6651904, episodic return=713.9007568359375\n", + "global step=6651904, episodic return=610.6608276367188\n", + "global step=6651904, episodic return=529.9742431640625\n", + "global step=6651904, episodic return=782.3329467773438\n", + "global step=6653952, episodic return=543.4591674804688\n", + "global step=6653952, episodic return=667.1231689453125\n", + "global step=6656000, episodic return=740.3570556640625\n", + "global step=6658048, episodic return=642.5478515625\n", + "global step=6658048, episodic return=776.6536254882812\n", + "global step=6658048, episodic return=614.01025390625\n", + "global step=6658048, episodic return=708.9019165039062\n", + "global step=6660096, episodic return=623.2100830078125\n", + "global step=6660096, episodic return=699.6874389648438\n", + "global step=6660096, episodic return=675.8981323242188\n", + "global step=6660096, episodic return=704.9473266601562\n", + "global step=6660096, episodic return=591.0158081054688\n", + "global step=6660096, episodic return=678.9749145507812\n", + "global step=6660096, episodic return=687.2344360351562\n", + "global step=6660096, episodic return=774.0200805664062\n", + "global step=6662144, episodic return=587.6326293945312\n", + "global step=6662144, episodic return=610.7039184570312\n", + "global step=6662144, episodic return=651.072021484375\n", + "global step=6662144, episodic return=771.2860107421875\n", + "global step=6662144, episodic return=610.744873046875\n", + "global step=6664192, episodic return=690.349609375\n", + "global step=6664192, episodic return=753.4762573242188\n", + "global step=6664192, episodic return=68.0052490234375\n", + "global step=6666240, episodic return=768.9025268554688\n", + "global step=6666240, episodic return=1248.934326171875\n", + "global step=6666240, episodic return=667.4431762695312\n", + "global step=6668288, episodic return=665.318359375\n", + "global step=6668288, episodic return=699.6990356445312\n", + "global step=6668288, episodic return=658.68212890625\n", + "global step=6668288, episodic return=681.6262817382812\n", + "global step=6668288, episodic return=658.6099243164062\n", + "global step=6668288, episodic return=691.062255859375\n", + "global step=6668288, episodic return=670.8245849609375\n", + "global step=6670336, episodic return=691.1734008789062\n", + "global step=6670336, episodic return=673.6597290039062\n", + "global step=6670336, episodic return=716.2056884765625\n", + "global step=6672384, episodic return=757.00146484375\n", + "global step=6672384, episodic return=631.35302734375\n", + "global step=6672384, episodic return=616.1741943359375\n", + "global step=6672384, episodic return=635.4876708984375\n", + "global step=6672384, episodic return=551.4589233398438\n", + "global step=6672384, episodic return=931.9559936523438\n", + "global step=6674432, episodic return=721.440185546875\n", + "global step=6674432, episodic return=669.1173706054688\n", + "global step=6674432, episodic return=773.321533203125\n", + "global step=6674432, episodic return=666.9201049804688\n", + "global step=6676480, episodic return=707.4378051757812\n", + "global step=6676480, episodic return=658.5620727539062\n", + "global step=6678528, episodic return=632.1005249023438\n", + "global step=6678528, episodic return=805.50390625\n", + "global step=6678528, episodic return=684.5809326171875\n", + "global step=6678528, episodic return=784.4512939453125\n", + "global step=6678528, episodic return=709.4290771484375\n", + "global step=6678528, episodic return=714.2164916992188\n", + "global step=6678528, episodic return=738.413818359375\n", + "global step=6678528, episodic return=750.7535400390625\n", + "global step=6680576, episodic return=630.0955810546875\n", + "global step=6680576, episodic return=282.4402770996094\n", + "global step=6680576, episodic return=571.6257934570312\n", + "global step=6680576, episodic return=585.9830322265625\n", + "global step=6680576, episodic return=853.8341674804688\n", + "global step=6682624, episodic return=621.340087890625\n", + "global step=6682624, episodic return=882.8046875\n", + "global step=6682624, episodic return=725.0059204101562\n", + "global step=6682624, episodic return=777.6175537109375\n", + "global step=6682624, episodic return=707.1166381835938\n", + "global step=6682624, episodic return=635.52490234375\n", + "global step=6682624, episodic return=743.2096557617188\n", + "global step=6682624, episodic return=624.0794677734375\n", + "global step=6682624, episodic return=589.904296875\n", + "global step=6682624, episodic return=626.044189453125\n", + "global step=6682624, episodic return=64.80382537841797\n", + "global step=6684672, episodic return=650.8433227539062\n", + "global step=6684672, episodic return=605.6050415039062\n", + "global step=6684672, episodic return=768.024169921875\n", + "global step=6684672, episodic return=996.3763427734375\n", + "global step=6686720, episodic return=726.9451904296875\n", + "global step=6686720, episodic return=629.9829711914062\n", + "global step=6686720, episodic return=811.7897338867188\n", + "global step=6686720, episodic return=572.0626220703125\n", + "global step=6686720, episodic return=637.726806640625\n", + "global step=6686720, episodic return=755.1121215820312\n", + "global step=6686720, episodic return=1320.543701171875\n", + "global step=6686720, episodic return=660.4676513671875\n", + "global step=6686720, episodic return=705.4151000976562\n", + "global step=6686720, episodic return=745.4034423828125\n", + "global step=6688768, episodic return=721.7356567382812\n", + "global step=6688768, episodic return=744.1463623046875\n", + "global step=6688768, episodic return=1321.8548583984375\n", + "global step=6688768, episodic return=717.1505126953125\n", + "global step=6688768, episodic return=597.8065185546875\n", + "global step=6688768, episodic return=597.6686401367188\n", + "global step=6688768, episodic return=799.74609375\n", + "global step=6688768, episodic return=567.708251953125\n", + "global step=6688768, episodic return=681.7498779296875\n", + "global step=6690816, episodic return=770.7654418945312\n", + "global step=6690816, episodic return=778.31787109375\n", + "global step=6690816, episodic return=662.5687255859375\n", + "global step=6690816, episodic return=618.0936889648438\n", + "global step=6690816, episodic return=643.7366333007812\n", + "global step=6690816, episodic return=585.8251953125\n", + "global step=6690816, episodic return=578.735107421875\n", + "global step=6692864, episodic return=657.5721435546875\n", + "global step=6692864, episodic return=714.5523681640625\n", + "global step=6692864, episodic return=661.2899780273438\n", + "global step=6692864, episodic return=667.6907958984375\n", + "global step=6692864, episodic return=729.9756469726562\n", + "global step=6692864, episodic return=1049.1402587890625\n", + "global step=6692864, episodic return=618.2507934570312\n", + "global step=6692864, episodic return=558.5086059570312\n", + "global step=6692864, episodic return=656.9349365234375\n", + "global step=6694912, episodic return=664.9015502929688\n", + "global step=6696960, episodic return=587.1266479492188\n", + "global step=6696960, episodic return=662.41357421875\n", + "global step=6696960, episodic return=634.470947265625\n", + "global step=6696960, episodic return=647.0408325195312\n", + "global step=6696960, episodic return=742.7679443359375\n", + "global step=6699008, episodic return=725.1294555664062\n", + "global step=6699008, episodic return=777.0048217773438\n", + "global step=6699008, episodic return=665.8123168945312\n", + "global step=6701056, episodic return=974.2390747070312\n", + "global step=6701056, episodic return=710.29296875\n", + "global step=6701056, episodic return=676.1375122070312\n", + "global step=6701056, episodic return=1272.2269287109375\n", + "global step=6701056, episodic return=727.0070190429688\n", + "global step=6703104, episodic return=68.8925552368164\n", + "global step=6703104, episodic return=663.2425537109375\n", + "global step=6705152, episodic return=69.67837524414062\n", + "global step=6705152, episodic return=1319.8232421875\n", + "global step=6705152, episodic return=675.1177978515625\n", + "global step=6705152, episodic return=724.3526611328125\n", + "global step=6705152, episodic return=898.682861328125\n", + "global step=6705152, episodic return=676.1322631835938\n", + "global step=6705152, episodic return=672.701904296875\n", + "global step=6705152, episodic return=593.1828002929688\n", + "global step=6705152, episodic return=922.5306396484375\n", + "global step=6707200, episodic return=664.0152587890625\n", + "global step=6707200, episodic return=730.2200927734375\n", + "global step=6707200, episodic return=694.6488647460938\n", + "global step=6707200, episodic return=592.6962280273438\n", + "global step=6707200, episodic return=701.63427734375\n", + "global step=6709248, episodic return=700.9530639648438\n", + "global step=6709248, episodic return=723.526123046875\n", + "global step=6709248, episodic return=624.2685546875\n", + "global step=6709248, episodic return=743.9152221679688\n", + "global step=6709248, episodic return=658.3942260742188\n", + "global step=6709248, episodic return=623.8079223632812\n", + "global step=6709248, episodic return=721.174560546875\n", + "global step=6711296, episodic return=760.9306640625\n", + "global step=6711296, episodic return=658.1751708984375\n", + "global step=6711296, episodic return=640.9724731445312\n", + "global step=6711296, episodic return=663.3214111328125\n", + "global step=6711296, episodic return=662.4611206054688\n", + "global step=6711296, episodic return=850.3583984375\n", + "global step=6711296, episodic return=1496.469970703125\n", + "global step=6711296, episodic return=677.22119140625\n", + "global step=6713344, episodic return=1330.598388671875\n", + "global step=6713344, episodic return=692.2430419921875\n", + "global step=6713344, episodic return=70.53704071044922\n", + "global step=6713344, episodic return=689.9019165039062\n", + "global step=6713344, episodic return=625.3239135742188\n", + "global step=6713344, episodic return=661.6304321289062\n", + "global step=6713344, episodic return=673.282958984375\n", + "global step=6715392, episodic return=681.3751220703125\n", + "global step=6715392, episodic return=250.2311553955078\n", + "global step=6715392, episodic return=601.1904296875\n", + "global step=6715392, episodic return=697.644287109375\n", + "global step=6715392, episodic return=671.9415283203125\n", + "global step=6717440, episodic return=692.1282958984375\n", + "global step=6717440, episodic return=642.2198486328125\n", + "global step=6717440, episodic return=642.684814453125\n", + "global step=6717440, episodic return=579.9729614257812\n", + "global step=6717440, episodic return=702.6268310546875\n", + "global step=6717440, episodic return=652.5738525390625\n", + "global step=6717440, episodic return=640.54296875\n", + "global step=6717440, episodic return=664.3544311523438\n", + "global step=6717440, episodic return=687.4669189453125\n", + "global step=6717440, episodic return=1176.0628662109375\n", + "global step=6719488, episodic return=634.8231811523438\n", + "global step=6719488, episodic return=734.855712890625\n", + "global step=6719488, episodic return=587.8652954101562\n", + "global step=6719488, episodic return=575.529541015625\n", + "global step=6719488, episodic return=713.6297607421875\n", + "global step=6719488, episodic return=706.4459228515625\n", + "global step=6719488, episodic return=726.9885864257812\n", + "global step=6721536, episodic return=876.0103759765625\n", + "global step=6721536, episodic return=756.1966552734375\n", + "global step=6721536, episodic return=829.817626953125\n", + "global step=6721536, episodic return=721.7825927734375\n", + "global step=6721536, episodic return=768.9671020507812\n", + "global step=6721536, episodic return=71.06681060791016\n", + "global step=6723584, episodic return=647.963134765625\n", + "global step=6723584, episodic return=654.9105834960938\n", + "global step=6723584, episodic return=630.3966674804688\n", + "global step=6723584, episodic return=601.2699584960938\n", + "global step=6723584, episodic return=673.4165649414062\n", + "global step=6723584, episodic return=887.8233032226562\n", + "global step=6725632, episodic return=669.7666625976562\n", + "global step=6725632, episodic return=653.9290161132812\n", + "global step=6725632, episodic return=771.306396484375\n", + "global step=6725632, episodic return=659.9717407226562\n", + "global step=6725632, episodic return=699.2825317382812\n", + "global step=6725632, episodic return=642.7224731445312\n", + "global step=6725632, episodic return=1174.5853271484375\n", + "global step=6727680, episodic return=536.08154296875\n", + "global step=6727680, episodic return=646.7389526367188\n", + "global step=6727680, episodic return=689.6835327148438\n", + "global step=6727680, episodic return=700.209716796875\n", + "global step=6727680, episodic return=716.912841796875\n", + "global step=6729728, episodic return=600.4588623046875\n", + "global step=6729728, episodic return=1209.888427734375\n", + "global step=6729728, episodic return=714.6416015625\n", + "global step=6729728, episodic return=712.265869140625\n", + "global step=6731776, episodic return=600.9737548828125\n", + "global step=6731776, episodic return=750.0005493164062\n", + "global step=6733824, episodic return=608.3340454101562\n", + "global step=6733824, episodic return=572.99755859375\n", + "global step=6733824, episodic return=620.1972045898438\n", + "global step=6733824, episodic return=568.01025390625\n", + "global step=6733824, episodic return=701.78564453125\n", + "global step=6733824, episodic return=634.1417236328125\n", + "global step=6733824, episodic return=723.3292236328125\n", + "global step=6733824, episodic return=603.0134887695312\n", + "global step=6735872, episodic return=653.905517578125\n", + "global step=6735872, episodic return=784.7207641601562\n", + "global step=6735872, episodic return=804.3312377929688\n", + "global step=6735872, episodic return=750.1349487304688\n", + "global step=6737920, episodic return=1171.1505126953125\n", + "global step=6737920, episodic return=636.3728637695312\n", + "global step=6737920, episodic return=602.806640625\n", + "global step=6739968, episodic return=634.64111328125\n", + "global step=6739968, episodic return=642.8212890625\n", + "global step=6739968, episodic return=579.9902954101562\n", + "global step=6739968, episodic return=806.607421875\n", + "global step=6739968, episodic return=641.4572143554688\n", + "global step=6742016, episodic return=1273.5767822265625\n", + "global step=6742016, episodic return=750.1561889648438\n", + "global step=6742016, episodic return=648.0887451171875\n", + "global step=6742016, episodic return=678.5823974609375\n", + "global step=6742016, episodic return=616.69287109375\n", + "global step=6742016, episodic return=723.9130249023438\n", + "global step=6742016, episodic return=785.3392944335938\n", + "global step=6742016, episodic return=679.1705322265625\n", + "global step=6742016, episodic return=641.7513427734375\n", + "global step=6744064, episodic return=705.4214477539062\n", + "global step=6744064, episodic return=1041.740478515625\n", + "global step=6744064, episodic return=625.8174438476562\n", + "global step=6744064, episodic return=804.2608642578125\n", + "global step=6744064, episodic return=578.5411376953125\n", + "global step=6744064, episodic return=687.306884765625\n", + "global step=6744064, episodic return=659.1375732421875\n", + "global step=6744064, episodic return=815.1741943359375\n", + "global step=6744064, episodic return=682.1653442382812\n", + "global step=6744064, episodic return=649.9598999023438\n", + "global step=6744064, episodic return=713.4385986328125\n", + "global step=6746112, episodic return=667.0482788085938\n", + "global step=6746112, episodic return=950.0709838867188\n", + "global step=6746112, episodic return=681.8419189453125\n", + "global step=6746112, episodic return=696.8896484375\n", + "global step=6746112, episodic return=703.0655517578125\n", + "global step=6748160, episodic return=661.1780395507812\n", + "global step=6748160, episodic return=690.1123046875\n", + "global step=6748160, episodic return=579.0118408203125\n", + "global step=6748160, episodic return=680.0690307617188\n", + "global step=6748160, episodic return=643.9378051757812\n", + "global step=6748160, episodic return=780.2115478515625\n", + "global step=6750208, episodic return=665.3234252929688\n", + "global step=6750208, episodic return=709.3851928710938\n", + "global step=6750208, episodic return=732.8115234375\n", + "global step=6750208, episodic return=660.6265258789062\n", + "global step=6750208, episodic return=668.340087890625\n", + "global step=6750208, episodic return=614.0\n", + "global step=6752256, episodic return=698.6647338867188\n", + "global step=6752256, episodic return=811.1016235351562\n", + "global step=6752256, episodic return=679.3796997070312\n", + "global step=6752256, episodic return=791.7574462890625\n", + "global step=6754304, episodic return=864.167236328125\n", + "global step=6754304, episodic return=624.8328857421875\n", + "global step=6756352, episodic return=640.345703125\n", + "global step=6756352, episodic return=657.1864013671875\n", + "global step=6756352, episodic return=596.5576171875\n", + "global step=6756352, episodic return=650.9077758789062\n", + "global step=6756352, episodic return=670.2996215820312\n", + "global step=6756352, episodic return=788.6747436523438\n", + "global step=6756352, episodic return=593.7823486328125\n", + "global step=6756352, episodic return=634.02734375\n", + "global step=6756352, episodic return=584.2291870117188\n", + "global step=6758400, episodic return=694.1695556640625\n", + "global step=6758400, episodic return=753.798095703125\n", + "global step=6758400, episodic return=778.3613891601562\n", + "global step=6758400, episodic return=744.6577758789062\n", + "global step=6758400, episodic return=722.945068359375\n", + "global step=6758400, episodic return=654.167236328125\n", + "global step=6758400, episodic return=682.2190551757812\n", + "global step=6758400, episodic return=716.1722412109375\n", + "global step=6760448, episodic return=646.3218383789062\n", + "global step=6760448, episodic return=667.4043579101562\n", + "global step=6760448, episodic return=713.7073364257812\n", + "global step=6760448, episodic return=683.7523803710938\n", + "global step=6760448, episodic return=605.9908447265625\n", + "global step=6760448, episodic return=645.1395874023438\n", + "global step=6760448, episodic return=674.1705322265625\n", + "global step=6760448, episodic return=905.9283447265625\n", + "global step=6762496, episodic return=684.0237426757812\n", + "global step=6762496, episodic return=683.122314453125\n", + "global step=6762496, episodic return=729.599853515625\n", + "global step=6762496, episodic return=714.4805297851562\n", + "global step=6764544, episodic return=616.2294921875\n", + "global step=6764544, episodic return=729.3384399414062\n", + "global step=6764544, episodic return=666.70556640625\n", + "global step=6764544, episodic return=573.79736328125\n", + "global step=6764544, episodic return=795.98193359375\n", + "global step=6764544, episodic return=763.6417236328125\n", + "global step=6764544, episodic return=652.9266357421875\n", + "global step=6764544, episodic return=786.1571655273438\n", + "global step=6766592, episodic return=807.9172973632812\n", + "global step=6766592, episodic return=680.0685424804688\n", + "global step=6766592, episodic return=685.4525756835938\n", + "global step=6766592, episodic return=713.706298828125\n", + "global step=6766592, episodic return=680.310546875\n", + "global step=6768640, episodic return=690.332275390625\n", + "global step=6768640, episodic return=547.7203979492188\n", + "global step=6768640, episodic return=644.3591918945312\n", + "global step=6770688, episodic return=776.5535278320312\n", + "global step=6770688, episodic return=815.3057250976562\n", + "global step=6770688, episodic return=643.50439453125\n", + "global step=6770688, episodic return=758.8753662109375\n", + "global step=6770688, episodic return=702.4124145507812\n", + "global step=6770688, episodic return=740.881591796875\n", + "global step=6770688, episodic return=706.217041015625\n", + "global step=6772736, episodic return=646.7276611328125\n", + "global step=6772736, episodic return=666.6715087890625\n", + "global step=6772736, episodic return=751.4063110351562\n", + "global step=6772736, episodic return=756.4456176757812\n", + "global step=6774784, episodic return=652.1171875\n", + "global step=6774784, episodic return=776.7948608398438\n", + "global step=6774784, episodic return=639.9575805664062\n", + "global step=6774784, episodic return=663.6875610351562\n", + "global step=6776832, episodic return=757.3633422851562\n", + "global step=6776832, episodic return=793.79052734375\n", + "global step=6776832, episodic return=663.8837280273438\n", + "global step=6776832, episodic return=735.2963256835938\n", + "global step=6776832, episodic return=725.4371948242188\n", + "global step=6776832, episodic return=601.4467163085938\n", + "global step=6776832, episodic return=795.84814453125\n", + "global step=6776832, episodic return=766.281494140625\n", + "global step=6776832, episodic return=659.519287109375\n", + "global step=6776832, episodic return=698.7896118164062\n", + "global step=6778880, episodic return=636.3065185546875\n", + "global step=6778880, episodic return=726.5557861328125\n", + "global step=6778880, episodic return=686.8471069335938\n", + "global step=6778880, episodic return=662.7850952148438\n", + "global step=6778880, episodic return=800.8358764648438\n", + "global step=6778880, episodic return=728.396240234375\n", + "global step=6780928, episodic return=203.09376525878906\n", + "global step=6780928, episodic return=861.8872680664062\n", + "global step=6780928, episodic return=648.9974975585938\n", + "global step=6780928, episodic return=553.8572998046875\n", + "global step=6780928, episodic return=762.9641723632812\n", + "global step=6780928, episodic return=688.6809692382812\n", + "global step=6780928, episodic return=808.4335327148438\n", + "global step=6782976, episodic return=765.55712890625\n", + "global step=6782976, episodic return=754.0974731445312\n", + "global step=6782976, episodic return=631.509033203125\n", + "global step=6782976, episodic return=727.2859497070312\n", + "global step=6782976, episodic return=657.730712890625\n", + "global step=6782976, episodic return=653.3900146484375\n", + "global step=6782976, episodic return=753.8869018554688\n", + "global step=6782976, episodic return=726.9874877929688\n", + "global step=6785024, episodic return=772.9456787109375\n", + "global step=6787072, episodic return=813.1941528320312\n", + "global step=6787072, episodic return=792.1693725585938\n", + "global step=6787072, episodic return=660.3851928710938\n", + "global step=6787072, episodic return=735.6065063476562\n", + "global step=6789120, episodic return=807.328369140625\n", + "global step=6789120, episodic return=670.2482299804688\n", + "global step=6791168, episodic return=1282.315185546875\n", + "global step=6791168, episodic return=654.4668579101562\n", + "global step=6793216, episodic return=653.7122802734375\n", + "global step=6793216, episodic return=752.7081909179688\n", + "global step=6793216, episodic return=578.2050170898438\n", + "global step=6793216, episodic return=773.1717529296875\n", + "global step=6793216, episodic return=758.2647094726562\n", + "global step=6793216, episodic return=669.1810913085938\n", + "global step=6795264, episodic return=486.6553039550781\n", + "global step=6795264, episodic return=785.9219970703125\n", + "global step=6795264, episodic return=861.0640258789062\n", + "global step=6795264, episodic return=651.318115234375\n", + "global step=6797312, episodic return=685.6931762695312\n", + "global step=6797312, episodic return=656.9716186523438\n", + "global step=6797312, episodic return=643.44091796875\n", + "global step=6797312, episodic return=669.956298828125\n", + "global step=6799360, episodic return=815.1087036132812\n", + "global step=6799360, episodic return=872.8128051757812\n", + "global step=6799360, episodic return=799.6273193359375\n", + "global step=6801408, episodic return=665.7858276367188\n", + "global step=6801408, episodic return=590.357421875\n", + "global step=6801408, episodic return=689.2542724609375\n", + "global step=6803456, episodic return=842.1896362304688\n", + "global step=6803456, episodic return=666.555908203125\n", + "global step=6803456, episodic return=685.4545288085938\n", + "global step=6803456, episodic return=846.123291015625\n", + "global step=6803456, episodic return=1142.1851806640625\n", + "global step=6805504, episodic return=875.813720703125\n", + "global step=6805504, episodic return=687.3107299804688\n", + "global step=6805504, episodic return=676.6261596679688\n", + "global step=6805504, episodic return=614.106689453125\n", + "global step=6805504, episodic return=802.5364990234375\n", + "global step=6807552, episodic return=807.9378051757812\n", + "global step=6807552, episodic return=803.9730834960938\n", + "global step=6807552, episodic return=722.8018188476562\n", + "global step=6807552, episodic return=744.0371704101562\n", + "global step=6809600, episodic return=743.0716552734375\n", + "global step=6809600, episodic return=745.2295532226562\n", + "global step=6809600, episodic return=673.424560546875\n", + "global step=6809600, episodic return=765.4469604492188\n", + "global step=6811648, episodic return=662.1807861328125\n", + "global step=6811648, episodic return=754.7861938476562\n", + "global step=6813696, episodic return=692.7139282226562\n", + "global step=6813696, episodic return=843.1817016601562\n", + "global step=6815744, episodic return=623.9389038085938\n", + "global step=6815744, episodic return=894.84033203125\n", + "global step=6815744, episodic return=733.105224609375\n", + "global step=6817792, episodic return=740.9803466796875\n", + "global step=6817792, episodic return=620.186767578125\n", + "global step=6817792, episodic return=653.55615234375\n", + "global step=6817792, episodic return=670.0902709960938\n", + "global step=6817792, episodic return=794.4066772460938\n", + "global step=6817792, episodic return=711.4046020507812\n", + "global step=6819840, episodic return=1266.134521484375\n", + "global step=6819840, episodic return=731.8353881835938\n", + "global step=6821888, episodic return=853.0717163085938\n", + "global step=6823936, episodic return=743.7198486328125\n", + "global step=6823936, episodic return=799.9912109375\n", + "global step=6825984, episodic return=751.7575073242188\n", + "global step=6825984, episodic return=778.054443359375\n", + "global step=6825984, episodic return=792.6708374023438\n", + "global step=6825984, episodic return=760.8589477539062\n", + "global step=6825984, episodic return=210.9053955078125\n", + "global step=6825984, episodic return=766.4182739257812\n", + "global step=6830080, episodic return=674.3035888671875\n", + "global step=6830080, episodic return=689.0068969726562\n", + "global step=6830080, episodic return=861.6827392578125\n", + "global step=6830080, episodic return=752.8765258789062\n", + "global step=6830080, episodic return=613.0357666015625\n", + "global step=6830080, episodic return=816.8748168945312\n", + "global step=6830080, episodic return=834.0380249023438\n", + "global step=6832128, episodic return=761.1292114257812\n", + "global step=6832128, episodic return=702.40087890625\n", + "global step=6834176, episodic return=833.293701171875\n", + "global step=6834176, episodic return=861.6932983398438\n", + "global step=6836224, episodic return=583.0446166992188\n", + "global step=6838272, episodic return=666.5606689453125\n", + "global step=6838272, episodic return=734.0144653320312\n", + "global step=6840320, episodic return=702.8619384765625\n", + "global step=6842368, episodic return=731.6921997070312\n", + "global step=6842368, episodic return=783.6643676757812\n", + "global step=6842368, episodic return=1368.14013671875\n", + "global step=6842368, episodic return=712.318603515625\n", + "global step=6842368, episodic return=800.9921264648438\n", + "global step=6844416, episodic return=658.14404296875\n", + "global step=6844416, episodic return=1262.09130859375\n", + "global step=6844416, episodic return=746.705322265625\n", + "global step=6844416, episodic return=664.0977172851562\n", + "global step=6844416, episodic return=825.4187622070312\n", + "global step=6844416, episodic return=792.3833618164062\n", + "global step=6846464, episodic return=761.943115234375\n", + "global step=6846464, episodic return=1215.5621337890625\n", + "global step=6846464, episodic return=740.2383422851562\n", + "global step=6846464, episodic return=592.9864501953125\n", + "global step=6848512, episodic return=771.94091796875\n", + "global step=6848512, episodic return=876.4327392578125\n", + "global step=6848512, episodic return=696.5433959960938\n", + "global step=6848512, episodic return=685.3380126953125\n", + "global step=6848512, episodic return=843.3993530273438\n", + "global step=6850560, episodic return=781.9390258789062\n", + "global step=6850560, episodic return=691.4468383789062\n", + "global step=6850560, episodic return=750.3675537109375\n", + "global step=6852608, episodic return=771.6851196289062\n", + "global step=6852608, episodic return=836.7406005859375\n", + "global step=6852608, episodic return=837.53369140625\n", + "global step=6852608, episodic return=789.1809692382812\n", + "global step=6854656, episodic return=779.9413452148438\n", + "global step=6854656, episodic return=728.6964111328125\n", + "global step=6854656, episodic return=866.7576904296875\n", + "global step=6854656, episodic return=841.3253173828125\n", + "global step=6854656, episodic return=1190.531982421875\n", + "global step=6854656, episodic return=664.9686889648438\n", + "global step=6854656, episodic return=796.0142211914062\n", + "global step=6856704, episodic return=71.4083480834961\n", + "global step=6856704, episodic return=813.6882934570312\n", + "global step=6858752, episodic return=584.5148315429688\n", + "global step=6858752, episodic return=889.506591796875\n", + "global step=6858752, episodic return=690.7398071289062\n", + "global step=6858752, episodic return=700.947265625\n", + "global step=6858752, episodic return=694.0465087890625\n", + "global step=6860800, episodic return=688.0169677734375\n", + "global step=6860800, episodic return=881.0780639648438\n", + "global step=6860800, episodic return=717.4598999023438\n", + "global step=6860800, episodic return=938.4698486328125\n", + "global step=6862848, episodic return=640.508544921875\n", + "global step=6862848, episodic return=880.1385498046875\n", + "global step=6862848, episodic return=871.6739501953125\n", + "global step=6862848, episodic return=612.3942260742188\n", + "global step=6862848, episodic return=855.9376220703125\n", + "global step=6862848, episodic return=838.0371704101562\n", + "global step=6862848, episodic return=680.7792358398438\n", + "global step=6862848, episodic return=670.2487182617188\n", + "global step=6864896, episodic return=588.5090942382812\n", + "global step=6864896, episodic return=705.4434204101562\n", + "global step=6866944, episodic return=781.3170166015625\n", + "global step=6866944, episodic return=793.6739501953125\n", + "global step=6866944, episodic return=844.9241943359375\n", + "global step=6866944, episodic return=792.4647216796875\n", + "global step=6868992, episodic return=609.330810546875\n", + "global step=6868992, episodic return=703.873046875\n", + "global step=6868992, episodic return=801.8385620117188\n", + "global step=6868992, episodic return=770.9865112304688\n", + "global step=6871040, episodic return=594.2645874023438\n", + "global step=6871040, episodic return=1410.5703125\n", + "global step=6871040, episodic return=736.1685180664062\n", + "global step=6871040, episodic return=851.9613037109375\n", + "global step=6871040, episodic return=639.2177124023438\n", + "global step=6871040, episodic return=690.2891235351562\n", + "global step=6871040, episodic return=691.1654052734375\n", + "global step=6871040, episodic return=704.3901977539062\n", + "global step=6873088, episodic return=798.64990234375\n", + "global step=6873088, episodic return=824.9552612304688\n", + "global step=6873088, episodic return=847.2239990234375\n", + "global step=6873088, episodic return=846.8029174804688\n", + "global step=6873088, episodic return=843.54736328125\n", + "global step=6873088, episodic return=730.2966918945312\n", + "global step=6873088, episodic return=605.1538696289062\n", + "global step=6873088, episodic return=794.369384765625\n", + "global step=6873088, episodic return=667.58154296875\n", + "global step=6873088, episodic return=846.4392700195312\n", + "global step=6875136, episodic return=649.5274047851562\n", + "global step=6875136, episodic return=823.2481079101562\n", + "global step=6875136, episodic return=720.0006713867188\n", + "global step=6875136, episodic return=1109.9825439453125\n", + "global step=6875136, episodic return=818.8391723632812\n", + "global step=6875136, episodic return=617.0908203125\n", + "global step=6875136, episodic return=838.20703125\n", + "global step=6875136, episodic return=691.5004272460938\n", + "global step=6877184, episodic return=908.7847290039062\n", + "global step=6877184, episodic return=618.8026123046875\n", + "global step=6877184, episodic return=705.9828491210938\n", + "global step=6877184, episodic return=753.6183471679688\n", + "global step=6877184, episodic return=797.522216796875\n", + "global step=6877184, episodic return=772.7251586914062\n", + "global step=6877184, episodic return=682.622314453125\n", + "global step=6877184, episodic return=795.2770385742188\n", + "global step=6877184, episodic return=851.6654052734375\n", + "global step=6877184, episodic return=681.0230102539062\n", + "global step=6879232, episodic return=646.2047729492188\n", + "global step=6879232, episodic return=730.1820068359375\n", + "global step=6879232, episodic return=708.7420043945312\n", + "global step=6879232, episodic return=956.8590698242188\n", + "global step=6881280, episodic return=732.02734375\n", + "global step=6881280, episodic return=823.079345703125\n", + "global step=6881280, episodic return=871.0026245117188\n", + "global step=6883328, episodic return=767.3208618164062\n", + "global step=6883328, episodic return=1072.7342529296875\n", + "global step=6883328, episodic return=777.8146362304688\n", + "global step=6883328, episodic return=674.6861572265625\n", + "global step=6883328, episodic return=732.1210327148438\n", + "global step=6883328, episodic return=762.1184692382812\n", + "global step=6883328, episodic return=874.5761108398438\n", + "global step=6883328, episodic return=691.9490966796875\n", + "global step=6885376, episodic return=811.753173828125\n", + "global step=6885376, episodic return=629.2380981445312\n", + "global step=6887424, episodic return=1029.5726318359375\n", + "global step=6887424, episodic return=805.04296875\n", + "global step=6887424, episodic return=713.0857543945312\n", + "global step=6889472, episodic return=602.5006713867188\n", + "global step=6889472, episodic return=699.825439453125\n", + "global step=6889472, episodic return=1054.6300048828125\n", + "global step=6889472, episodic return=713.1889038085938\n", + "global step=6889472, episodic return=980.3954467773438\n", + "global step=6889472, episodic return=822.0382690429688\n", + "global step=6889472, episodic return=813.7063598632812\n", + "global step=6889472, episodic return=639.9276123046875\n", + "global step=6891520, episodic return=787.4854125976562\n", + "global step=6891520, episodic return=1204.12060546875\n", + "global step=6891520, episodic return=882.8994140625\n", + "global step=6893568, episodic return=751.7734985351562\n", + "global step=6893568, episodic return=826.3186645507812\n", + "global step=6895616, episodic return=770.27880859375\n", + "global step=6895616, episodic return=807.1950073242188\n", + "global step=6895616, episodic return=684.4451293945312\n", + "global step=6895616, episodic return=814.0692749023438\n", + "global step=6895616, episodic return=838.7540283203125\n", + "global step=6897664, episodic return=737.8799438476562\n", + "global step=6897664, episodic return=766.6071166992188\n", + "global step=6897664, episodic return=719.0779418945312\n", + "global step=6897664, episodic return=820.3135986328125\n", + "global step=6899712, episodic return=722.0328979492188\n", + "global step=6899712, episodic return=866.8886108398438\n", + "global step=6899712, episodic return=642.9121704101562\n", + "global step=6899712, episodic return=783.2958374023438\n", + "global step=6899712, episodic return=754.1932983398438\n", + "global step=6901760, episodic return=869.0256958007812\n", + "global step=6901760, episodic return=872.6605224609375\n", + "global step=6901760, episodic return=789.3519897460938\n", + "global step=6901760, episodic return=698.0896606445312\n", + "global step=6901760, episodic return=819.4111328125\n", + "global step=6903808, episodic return=767.9832763671875\n", + "global step=6903808, episodic return=1406.15673828125\n", + "global step=6903808, episodic return=620.6854248046875\n", + "global step=6905856, episodic return=850.7394409179688\n", + "global step=6905856, episodic return=823.57080078125\n", + "global step=6905856, episodic return=614.9076538085938\n", + "global step=6907904, episodic return=704.235107421875\n", + "global step=6909952, episodic return=677.1588134765625\n", + "global step=6909952, episodic return=733.0162963867188\n", + "global step=6909952, episodic return=917.873291015625\n", + "global step=6909952, episodic return=759.4890747070312\n", + "global step=6912000, episodic return=939.528076171875\n", + "global step=6912000, episodic return=669.0584106445312\n", + "global step=6912000, episodic return=823.0283813476562\n", + "global step=6914048, episodic return=697.8657836914062\n", + "global step=6914048, episodic return=702.8489379882812\n", + "global step=6914048, episodic return=793.1888427734375\n", + "global step=6914048, episodic return=624.3307495117188\n", + "global step=6916096, episodic return=1025.5389404296875\n", + "global step=6916096, episodic return=774.5003662109375\n", + "global step=6916096, episodic return=897.5401611328125\n", + "global step=6916096, episodic return=883.533935546875\n", + "global step=6916096, episodic return=810.8915405273438\n", + "global step=6916096, episodic return=516.2677612304688\n", + "global step=6916096, episodic return=666.9342651367188\n", + "global step=6916096, episodic return=656.2191162109375\n", + "global step=6918144, episodic return=938.1441650390625\n", + "global step=6918144, episodic return=843.8587646484375\n", + "global step=6918144, episodic return=910.9622802734375\n", + "global step=6918144, episodic return=845.4257202148438\n", + "global step=6918144, episodic return=906.1748046875\n", + "global step=6918144, episodic return=734.4036254882812\n", + "global step=6920192, episodic return=824.1166381835938\n", + "global step=6920192, episodic return=1313.4490966796875\n", + "global step=6920192, episodic return=823.4442138671875\n", + "global step=6922240, episodic return=699.641357421875\n", + "global step=6922240, episodic return=624.5164184570312\n", + "global step=6922240, episodic return=835.3231201171875\n", + "global step=6922240, episodic return=628.6843872070312\n", + "global step=6922240, episodic return=937.9426879882812\n", + "global step=6924288, episodic return=843.7882080078125\n", + "global step=6924288, episodic return=619.0983276367188\n", + "global step=6924288, episodic return=791.639892578125\n", + "global step=6924288, episodic return=708.5618286132812\n", + "global step=6924288, episodic return=786.730224609375\n", + "global step=6926336, episodic return=558.59228515625\n", + "global step=6926336, episodic return=752.516845703125\n", + "global step=6926336, episodic return=930.0506591796875\n", + "global step=6926336, episodic return=776.061767578125\n", + "global step=6926336, episodic return=562.0050048828125\n", + "global step=6928384, episodic return=694.8853759765625\n", + "global step=6928384, episodic return=962.4706420898438\n", + "global step=6928384, episodic return=625.671630859375\n", + "global step=6928384, episodic return=997.6488037109375\n", + "global step=6928384, episodic return=848.5311279296875\n", + "global step=6928384, episodic return=710.6029663085938\n", + "global step=6930432, episodic return=772.1455688476562\n", + "global step=6930432, episodic return=790.852294921875\n", + "global step=6932480, episodic return=628.3082885742188\n", + "global step=6932480, episodic return=788.6368408203125\n", + "global step=6932480, episodic return=870.318603515625\n", + "global step=6932480, episodic return=1354.739501953125\n", + "global step=6932480, episodic return=1034.825439453125\n", + "global step=6932480, episodic return=740.1009521484375\n", + "global step=6932480, episodic return=669.3253173828125\n", + "global step=6934528, episodic return=555.5821533203125\n", + "global step=6934528, episodic return=781.413818359375\n", + "global step=6934528, episodic return=1334.638671875\n", + "global step=6934528, episodic return=850.5772705078125\n", + "global step=6934528, episodic return=638.87158203125\n", + "global step=6936576, episodic return=601.4913330078125\n", + "global step=6936576, episodic return=903.2122192382812\n", + "global step=6936576, episodic return=723.91845703125\n", + "global step=6936576, episodic return=567.2064208984375\n", + "global step=6938624, episodic return=535.0413818359375\n", + "global step=6938624, episodic return=877.8125610351562\n", + "global step=6938624, episodic return=991.0938720703125\n", + "global step=6940672, episodic return=923.5357055664062\n", + "global step=6940672, episodic return=810.8621215820312\n", + "global step=6940672, episodic return=586.812744140625\n", + "global step=6940672, episodic return=780.4309692382812\n", + "global step=6940672, episodic return=810.0735473632812\n", + "global step=6940672, episodic return=780.30029296875\n", + "global step=6942720, episodic return=786.77392578125\n", + "global step=6942720, episodic return=1251.611328125\n", + "global step=6942720, episodic return=809.5436401367188\n", + "global step=6942720, episodic return=828.6234130859375\n", + "global step=6944768, episodic return=562.8421020507812\n", + "global step=6944768, episodic return=730.66259765625\n", + "global step=6946816, episodic return=980.6492309570312\n", + "global step=6946816, episodic return=691.955810546875\n", + "global step=6946816, episodic return=689.1505737304688\n", + "global step=6946816, episodic return=788.4473266601562\n", + "global step=6946816, episodic return=856.8276977539062\n", + "global step=6946816, episodic return=795.448974609375\n", + "global step=6948864, episodic return=1294.1458740234375\n", + "global step=6948864, episodic return=795.4646606445312\n", + "global step=6948864, episodic return=533.369384765625\n", + "global step=6948864, episodic return=637.01220703125\n", + "global step=6948864, episodic return=865.2841186523438\n", + "global step=6948864, episodic return=1111.80615234375\n", + "global step=6950912, episodic return=630.6359252929688\n", + "global step=6950912, episodic return=838.5180053710938\n", + "global step=6950912, episodic return=513.42236328125\n", + "global step=6950912, episodic return=897.7543334960938\n", + "global step=6950912, episodic return=665.30810546875\n", + "global step=6952960, episodic return=1411.72216796875\n", + "global step=6952960, episodic return=683.6527099609375\n", + "global step=6952960, episodic return=1034.66796875\n", + "global step=6952960, episodic return=534.6362915039062\n", + "global step=6952960, episodic return=946.618896484375\n", + "global step=6952960, episodic return=937.6679077148438\n", + "global step=6955008, episodic return=715.5256958007812\n", + "global step=6955008, episodic return=515.1797485351562\n", + "global step=6955008, episodic return=767.80859375\n", + "global step=6955008, episodic return=857.6715087890625\n", + "global step=6955008, episodic return=864.5543823242188\n", + "global step=6955008, episodic return=706.2144165039062\n", + "global step=6957056, episodic return=854.5188598632812\n", + "global step=6957056, episodic return=833.7431030273438\n", + "global step=6957056, episodic return=1057.9267578125\n", + "global step=6957056, episodic return=593.0205688476562\n", + "global step=6957056, episodic return=457.2698974609375\n", + "global step=6957056, episodic return=873.6599731445312\n", + "global step=6957056, episodic return=783.0869750976562\n", + "global step=6957056, episodic return=1033.6656494140625\n", + "global step=6957056, episodic return=730.9371948242188\n", + "global step=6957056, episodic return=1032.9976806640625\n", + "global step=6959104, episodic return=590.0126953125\n", + "global step=6959104, episodic return=956.3877563476562\n", + "global step=6959104, episodic return=764.6351318359375\n", + "global step=6959104, episodic return=840.9632568359375\n", + "global step=6959104, episodic return=742.3020629882812\n", + "global step=6959104, episodic return=628.3518676757812\n", + "global step=6961152, episodic return=807.3140258789062\n", + "global step=6961152, episodic return=883.2434692382812\n", + "global step=6961152, episodic return=584.2216186523438\n", + "global step=6961152, episodic return=1464.665283203125\n", + "global step=6963200, episodic return=765.8499755859375\n", + "global step=6963200, episodic return=774.5579833984375\n", + "global step=6965248, episodic return=1384.1729736328125\n", + "global step=6965248, episodic return=1439.1573486328125\n", + "global step=6965248, episodic return=976.5829467773438\n", + "global step=6967296, episodic return=855.7933349609375\n", + "global step=6967296, episodic return=776.4189453125\n", + "global step=6967296, episodic return=549.3366088867188\n", + "global step=6967296, episodic return=503.5113525390625\n", + "global step=6967296, episodic return=760.0554809570312\n", + "global step=6967296, episodic return=683.4559936523438\n", + "global step=6969344, episodic return=505.2947692871094\n", + "global step=6969344, episodic return=500.7664794921875\n", + "global step=6969344, episodic return=852.541259765625\n", + "global step=6969344, episodic return=975.564208984375\n", + "global step=6969344, episodic return=687.6075439453125\n", + "global step=6973440, episodic return=833.5654907226562\n", + "global step=6973440, episodic return=597.9597778320312\n", + "global step=6973440, episodic return=883.18701171875\n", + "global step=6975488, episodic return=738.7807006835938\n", + "global step=6975488, episodic return=991.1060180664062\n", + "global step=6975488, episodic return=748.3521728515625\n", + "global step=6975488, episodic return=1391.1612548828125\n", + "global step=6975488, episodic return=32.420814514160156\n", + "global step=6977536, episodic return=540.36572265625\n", + "global step=6977536, episodic return=749.9497680664062\n", + "global step=6977536, episodic return=698.901611328125\n", + "global step=6977536, episodic return=1224.2662353515625\n", + "global step=6977536, episodic return=866.162353515625\n", + "global step=6979584, episodic return=825.7135620117188\n", + "global step=6979584, episodic return=740.2279052734375\n", + "global step=6979584, episodic return=865.6341552734375\n", + "global step=6979584, episodic return=613.1716918945312\n", + "global step=6981632, episodic return=1417.212158203125\n", + "global step=6981632, episodic return=660.1885986328125\n", + "global step=6981632, episodic return=560.8807373046875\n", + "global step=6983680, episodic return=730.718994140625\n", + "global step=6983680, episodic return=697.263916015625\n", + "global step=6983680, episodic return=878.1241455078125\n", + "global step=6983680, episodic return=1073.3304443359375\n", + "global step=6983680, episodic return=864.160888671875\n", + "global step=6985728, episodic return=1439.0076904296875\n", + "global step=6985728, episodic return=1338.2127685546875\n", + "global step=6985728, episodic return=975.7832641601562\n", + "global step=6985728, episodic return=863.6598510742188\n", + "global step=6987776, episodic return=901.305419921875\n", + "global step=6987776, episodic return=589.1497192382812\n", + "global step=6987776, episodic return=640.2386474609375\n", + "global step=6987776, episodic return=1041.977783203125\n", + "global step=6987776, episodic return=1285.3299560546875\n", + "global step=6987776, episodic return=812.3695068359375\n", + "global step=6989824, episodic return=543.7094116210938\n", + "global step=6989824, episodic return=563.7457885742188\n", + "global step=6989824, episodic return=675.2861938476562\n", + "global step=6989824, episodic return=195.01881408691406\n", + "global step=6989824, episodic return=919.7750244140625\n", + "global step=6989824, episodic return=901.8706665039062\n", + "global step=6989824, episodic return=959.0486450195312\n", + "global step=6989824, episodic return=867.3168334960938\n", + "global step=6989824, episodic return=878.0126342773438\n", + "global step=6989824, episodic return=514.7752075195312\n", + "global step=6989824, episodic return=800.6736450195312\n", + "global step=6991872, episodic return=586.6959838867188\n", + "global step=6991872, episodic return=852.1814575195312\n", + "global step=6991872, episodic return=1144.946044921875\n", + "global step=6993920, episodic return=619.5020751953125\n", + "global step=6993920, episodic return=959.8677368164062\n", + "global step=6993920, episodic return=523.620849609375\n", + "global step=6993920, episodic return=1429.35205078125\n", + "global step=6993920, episodic return=68.78132629394531\n", + "global step=6993920, episodic return=545.2388916015625\n", + "global step=6993920, episodic return=833.9578247070312\n", + "global step=6993920, episodic return=961.4497680664062\n", + "global step=6995968, episodic return=694.4734497070312\n", + "global step=6995968, episodic return=781.6975708007812\n", + "global step=6995968, episodic return=849.3701782226562\n", + "global step=6995968, episodic return=66.62191772460938\n", + "global step=6998016, episodic return=763.2943725585938\n", + "global step=6998016, episodic return=1552.648681640625\n", + "global step=6998016, episodic return=941.4876098632812\n", + "global step=6998016, episodic return=574.3778686523438\n", + "global step=6998016, episodic return=1468.1512451171875\n", + "global step=7000064, episodic return=258.7892761230469\n", + "global step=7000064, episodic return=1399.7513427734375\n", + "global step=7000064, episodic return=638.5216064453125\n", + "global step=7000064, episodic return=831.7852783203125\n", + "global step=7000064, episodic return=806.5718994140625\n", + "global step=7002112, episodic return=662.473388671875\n", + "global step=7002112, episodic return=648.34228515625\n", + "global step=7002112, episodic return=1117.0751953125\n", + "global step=7004160, episodic return=874.1007080078125\n", + "global step=7004160, episodic return=916.8053588867188\n", + "global step=7004160, episodic return=969.27978515625\n", + "global step=7004160, episodic return=1502.2293701171875\n", + "global step=7004160, episodic return=785.826416015625\n", + "global step=7006208, episodic return=547.9454345703125\n", + "global step=7006208, episodic return=580.675048828125\n", + "global step=7006208, episodic return=1032.4508056640625\n", + "global step=7006208, episodic return=538.6931762695312\n", + "global step=7006208, episodic return=780.0380249023438\n", + "global step=7006208, episodic return=578.62451171875\n", + "global step=7008256, episodic return=977.7432250976562\n", + "global step=7008256, episodic return=570.5426025390625\n", + "global step=7008256, episodic return=578.0936889648438\n", + "global step=7010304, episodic return=1531.061767578125\n", + "global step=7010304, episodic return=1562.7408447265625\n", + "global step=7010304, episodic return=516.4395141601562\n", + "global step=7010304, episodic return=1421.374755859375\n", + "global step=7010304, episodic return=1345.2396240234375\n", + "global step=7012352, episodic return=834.1075439453125\n", + "global step=7012352, episodic return=963.7285766601562\n", + "global step=7012352, episodic return=696.9805908203125\n", + "global step=7012352, episodic return=633.4400634765625\n", + "global step=7012352, episodic return=550.2880859375\n", + "global step=7012352, episodic return=557.990234375\n", + "global step=7012352, episodic return=657.0154418945312\n", + "global step=7012352, episodic return=880.276611328125\n", + "global step=7012352, episodic return=1352.619384765625\n", + "global step=7012352, episodic return=616.930908203125\n", + "global step=7012352, episodic return=237.23678588867188\n", + "global step=7014400, episodic return=987.0845336914062\n", + "global step=7014400, episodic return=601.1429443359375\n", + "global step=7014400, episodic return=757.3114624023438\n", + "global step=7014400, episodic return=889.8326416015625\n", + "global step=7014400, episodic return=801.5184326171875\n", + "global step=7016448, episodic return=816.4181518554688\n", + "global step=7016448, episodic return=1065.46142578125\n", + "global step=7016448, episodic return=835.3871459960938\n", + "global step=7016448, episodic return=1587.0548095703125\n", + "global step=7018496, episodic return=939.2890625\n", + "global step=7018496, episodic return=845.7830810546875\n", + "global step=7018496, episodic return=1381.4307861328125\n", + "global step=7018496, episodic return=899.4660034179688\n", + "global step=7018496, episodic return=498.73126220703125\n", + "global step=7018496, episodic return=752.25341796875\n", + "global step=7018496, episodic return=855.8597412109375\n", + "global step=7018496, episodic return=1441.313720703125\n", + "global step=7020544, episodic return=813.6030883789062\n", + "global step=7020544, episodic return=914.6305541992188\n", + "global step=7022592, episodic return=850.7753295898438\n", + "global step=7022592, episodic return=318.0982360839844\n", + "global step=7022592, episodic return=962.5264892578125\n", + "global step=7022592, episodic return=822.0772094726562\n", + "global step=7022592, episodic return=649.7376098632812\n", + "global step=7022592, episodic return=1360.171630859375\n", + "global step=7024640, episodic return=735.138427734375\n", + "global step=7024640, episodic return=683.1593627929688\n", + "global step=7024640, episodic return=1087.0921630859375\n", + "global step=7024640, episodic return=1528.0172119140625\n", + "global step=7024640, episodic return=586.8713989257812\n", + "global step=7024640, episodic return=742.1664428710938\n", + "global step=7024640, episodic return=871.8609008789062\n", + "global step=7026688, episodic return=368.1478576660156\n", + "global step=7026688, episodic return=1024.306884765625\n", + "global step=7026688, episodic return=688.9954833984375\n", + "global step=7026688, episodic return=932.7642822265625\n", + "global step=7026688, episodic return=768.9756469726562\n", + "global step=7026688, episodic return=932.355712890625\n", + "global step=7026688, episodic return=945.468505859375\n", + "global step=7026688, episodic return=666.4494018554688\n", + "global step=7028736, episodic return=640.0155639648438\n", + "global step=7028736, episodic return=798.0000610351562\n", + "global step=7028736, episodic return=691.2945556640625\n", + "global step=7028736, episodic return=577.1729736328125\n", + "global step=7028736, episodic return=927.6390991210938\n", + "global step=7030784, episodic return=896.0385131835938\n", + "global step=7030784, episodic return=996.7963256835938\n", + "global step=7030784, episodic return=703.16845703125\n", + "global step=7030784, episodic return=494.8580017089844\n", + "global step=7030784, episodic return=871.7520751953125\n", + "global step=7030784, episodic return=1060.26611328125\n", + "global step=7030784, episodic return=983.1337890625\n", + "global step=7032832, episodic return=651.491943359375\n", + "global step=7032832, episodic return=509.869384765625\n", + "global step=7032832, episodic return=970.1698608398438\n", + "global step=7032832, episodic return=1025.83251953125\n", + "global step=7032832, episodic return=908.58251953125\n", + "global step=7034880, episodic return=1389.5206298828125\n", + "global step=7034880, episodic return=712.2549438476562\n", + "global step=7034880, episodic return=656.6544799804688\n", + "global step=7034880, episodic return=625.8756103515625\n", + "global step=7036928, episodic return=967.739501953125\n", + "global step=7036928, episodic return=688.0032348632812\n", + "global step=7036928, episodic return=818.0359497070312\n", + "global step=7038976, episodic return=468.315185546875\n", + "global step=7038976, episodic return=1320.7125244140625\n", + "global step=7038976, episodic return=405.1684875488281\n", + "global step=7038976, episodic return=1395.71435546875\n", + "global step=7038976, episodic return=1148.301513671875\n", + "global step=7038976, episodic return=504.5451354980469\n", + "global step=7038976, episodic return=1552.4345703125\n", + "global step=7041024, episodic return=525.5656127929688\n", + "global step=7041024, episodic return=1439.324462890625\n", + "global step=7041024, episodic return=575.8367309570312\n", + "global step=7041024, episodic return=539.985107421875\n", + "global step=7041024, episodic return=1018.179443359375\n", + "global step=7041024, episodic return=593.233154296875\n", + "global step=7041024, episodic return=684.1957397460938\n", + "global step=7041024, episodic return=1297.403076171875\n", + "global step=7041024, episodic return=659.3023071289062\n", + "global step=7043072, episodic return=1021.4473876953125\n", + "global step=7043072, episodic return=938.7333984375\n", + "global step=7043072, episodic return=627.1271362304688\n", + "global step=7043072, episodic return=643.3258666992188\n", + "global step=7045120, episodic return=946.0074462890625\n", + "global step=7045120, episodic return=1185.850341796875\n", + "global step=7045120, episodic return=1351.943359375\n", + "global step=7045120, episodic return=493.05517578125\n", + "global step=7047168, episodic return=1430.65087890625\n", + "global step=7047168, episodic return=787.8489379882812\n", + "global step=7047168, episodic return=1340.09228515625\n", + "global step=7047168, episodic return=511.82269287109375\n", + "global step=7047168, episodic return=665.9205932617188\n", + "global step=7047168, episodic return=1156.0272216796875\n", + "global step=7049216, episodic return=480.5633544921875\n", + "global step=7049216, episodic return=941.614990234375\n", + "global step=7049216, episodic return=1234.7386474609375\n", + "global step=7051264, episodic return=919.2798461914062\n", + "global step=7051264, episodic return=1117.2127685546875\n", + "global step=7051264, episodic return=938.34521484375\n", + "global step=7051264, episodic return=1044.397705078125\n", + "global step=7053312, episodic return=931.7413330078125\n", + "global step=7053312, episodic return=726.1312866210938\n", + "global step=7053312, episodic return=570.2428588867188\n", + "global step=7053312, episodic return=848.6082763671875\n", + "global step=7053312, episodic return=973.993896484375\n", + "global step=7053312, episodic return=778.650634765625\n", + "global step=7053312, episodic return=816.9500122070312\n", + "global step=7055360, episodic return=700.0986328125\n", + "global step=7055360, episodic return=552.7303466796875\n", + "global step=7055360, episodic return=760.5684204101562\n", + "global step=7055360, episodic return=952.5292358398438\n", + "global step=7055360, episodic return=1428.40673828125\n", + "global step=7055360, episodic return=1034.5296630859375\n", + "global step=7055360, episodic return=1027.7044677734375\n", + "global step=7055360, episodic return=1401.401123046875\n", + "global step=7057408, episodic return=594.77587890625\n", + "global step=7057408, episodic return=540.730712890625\n", + "global step=7059456, episodic return=899.5184326171875\n", + "global step=7059456, episodic return=777.020751953125\n", + "global step=7059456, episodic return=1454.7391357421875\n", + "global step=7059456, episodic return=491.064697265625\n", + "global step=7061504, episodic return=822.5858764648438\n", + "global step=7061504, episodic return=970.1472778320312\n", + "global step=7061504, episodic return=830.1634521484375\n", + "global step=7061504, episodic return=1409.8099365234375\n", + "global step=7061504, episodic return=500.3374328613281\n", + "global step=7061504, episodic return=613.679931640625\n", + "global step=7061504, episodic return=1443.3209228515625\n", + "global step=7061504, episodic return=1400.7711181640625\n", + "global step=7061504, episodic return=591.4508056640625\n", + "global step=7061504, episodic return=549.9509887695312\n", + "global step=7063552, episodic return=1019.6807250976562\n", + "global step=7063552, episodic return=921.357177734375\n", + "global step=7063552, episodic return=800.8176879882812\n", + "global step=7063552, episodic return=713.1246948242188\n", + "global step=7063552, episodic return=693.6331176757812\n", + "global step=7063552, episodic return=1340.050048828125\n", + "global step=7065600, episodic return=1331.0499267578125\n", + "global step=7065600, episodic return=806.773681640625\n", + "global step=7065600, episodic return=1016.6535034179688\n", + "global step=7065600, episodic return=627.9225463867188\n", + "global step=7065600, episodic return=1527.47119140625\n", + "global step=7065600, episodic return=892.0665893554688\n", + "global step=7065600, episodic return=566.188232421875\n", + "global step=7067648, episodic return=566.8823852539062\n", + "global step=7067648, episodic return=845.5773315429688\n", + "global step=7067648, episodic return=531.3502807617188\n", + "global step=7067648, episodic return=1052.8497314453125\n", + "global step=7067648, episodic return=586.1270751953125\n", + "global step=7069696, episodic return=1209.7061767578125\n", + "global step=7069696, episodic return=751.1707153320312\n", + "global step=7069696, episodic return=1291.97119140625\n", + "global step=7069696, episodic return=365.43927001953125\n", + "global step=7071744, episodic return=591.4993286132812\n", + "global step=7071744, episodic return=679.046875\n", + "global step=7071744, episodic return=664.5574340820312\n", + "global step=7071744, episodic return=497.5140380859375\n", + "global step=7071744, episodic return=493.34478759765625\n", + "global step=7071744, episodic return=884.9938354492188\n", + "global step=7073792, episodic return=489.56219482421875\n", + "global step=7073792, episodic return=1453.3658447265625\n", + "global step=7073792, episodic return=739.0966796875\n", + "global step=7073792, episodic return=1514.087890625\n", + "global step=7073792, episodic return=937.3099975585938\n", + "global step=7075840, episodic return=523.5074462890625\n", + "global step=7075840, episodic return=958.27294921875\n", + "global step=7075840, episodic return=666.4869384765625\n", + "global step=7075840, episodic return=524.740478515625\n", + "global step=7077888, episodic return=514.2388916015625\n", + "global step=7077888, episodic return=990.5772705078125\n", + "global step=7077888, episodic return=979.2978515625\n", + "global step=7077888, episodic return=943.8574829101562\n", + "global step=7077888, episodic return=552.2108764648438\n", + "global step=7077888, episodic return=850.8145751953125\n", + "global step=7077888, episodic return=1168.12744140625\n", + "global step=7079936, episodic return=573.4203491210938\n", + "global step=7079936, episodic return=1013.9851684570312\n", + "global step=7081984, episodic return=669.1522827148438\n", + "global step=7081984, episodic return=629.0386352539062\n", + "global step=7081984, episodic return=1350.9317626953125\n", + "global step=7084032, episodic return=550.6116333007812\n", + "global step=7084032, episodic return=585.8193969726562\n", + "global step=7084032, episodic return=518.6409912109375\n", + "global step=7084032, episodic return=934.741455078125\n", + "global step=7084032, episodic return=505.0379638671875\n", + "global step=7084032, episodic return=707.19189453125\n", + "global step=7084032, episodic return=1373.7132568359375\n", + "global step=7084032, episodic return=1419.8883056640625\n", + "global step=7086080, episodic return=1085.3427734375\n", + "global step=7086080, episodic return=1041.468505859375\n", + "global step=7086080, episodic return=557.4495849609375\n", + "global step=7086080, episodic return=887.7783813476562\n", + "global step=7086080, episodic return=483.2774353027344\n", + "global step=7088128, episodic return=760.5881958007812\n", + "global step=7088128, episodic return=652.2642211914062\n", + "global step=7088128, episodic return=925.4518432617188\n", + "global step=7088128, episodic return=540.0894775390625\n", + "global step=7088128, episodic return=773.9419555664062\n", + "global step=7088128, episodic return=481.9018249511719\n", + "global step=7090176, episodic return=1068.7177734375\n", + "global step=7090176, episodic return=617.3072509765625\n", + "global step=7090176, episodic return=1357.0709228515625\n", + "global step=7090176, episodic return=502.6568603515625\n", + "global step=7090176, episodic return=641.4577026367188\n", + "global step=7090176, episodic return=955.7060546875\n", + "global step=7090176, episodic return=1314.4722900390625\n", + "global step=7090176, episodic return=861.5426635742188\n", + "global step=7092224, episodic return=688.412353515625\n", + "global step=7092224, episodic return=1011.0224609375\n", + "global step=7094272, episodic return=1489.0391845703125\n", + "global step=7094272, episodic return=649.9500732421875\n", + "global step=7094272, episodic return=660.2150268554688\n", + "global step=7094272, episodic return=616.878662109375\n", + "global step=7096320, episodic return=1434.337646484375\n", + "global step=7096320, episodic return=528.542236328125\n", + "global step=7096320, episodic return=881.9534301757812\n", + "global step=7098368, episodic return=599.8731079101562\n", + "global step=7098368, episodic return=560.8310546875\n", + "global step=7098368, episodic return=506.6854248046875\n", + "global step=7098368, episodic return=525.1371459960938\n", + "global step=7100416, episodic return=487.4735412597656\n", + "global step=7100416, episodic return=926.4058227539062\n", + "global step=7100416, episodic return=1131.426025390625\n", + "global step=7100416, episodic return=1511.2569580078125\n", + "global step=7102464, episodic return=1010.9451293945312\n", + "global step=7102464, episodic return=973.9287719726562\n", + "global step=7102464, episodic return=951.359130859375\n", + "global step=7102464, episodic return=1406.431396484375\n", + "global step=7102464, episodic return=1033.89599609375\n", + "global step=7102464, episodic return=1219.028076171875\n", + "global step=7104512, episodic return=607.8836669921875\n", + "global step=7108608, episodic return=58.24172592163086\n", + "global step=7108608, episodic return=966.4708862304688\n", + "global step=7108608, episodic return=751.3024291992188\n", + "global step=7108608, episodic return=585.3446044921875\n", + "global step=7108608, episodic return=1030.7657470703125\n", + "global step=7110656, episodic return=1499.588134765625\n", + "global step=7110656, episodic return=1025.2467041015625\n", + "global step=7110656, episodic return=984.2344360351562\n", + "global step=7112704, episodic return=475.6542053222656\n", + "global step=7112704, episodic return=823.968994140625\n", + "global step=7112704, episodic return=579.841552734375\n", + "global step=7114752, episodic return=541.7122192382812\n", + "global step=7114752, episodic return=986.7393798828125\n", + "global step=7114752, episodic return=1394.5205078125\n", + "global step=7116800, episodic return=642.6630249023438\n", + "global step=7116800, episodic return=62.653167724609375\n", + "global step=7116800, episodic return=638.0263671875\n", + "global step=7116800, episodic return=763.1578979492188\n", + "global step=7118848, episodic return=535.884765625\n", + "global step=7118848, episodic return=1011.2293701171875\n", + "global step=7118848, episodic return=541.0635986328125\n", + "global step=7120896, episodic return=1174.2060546875\n", + "global step=7120896, episodic return=475.5926818847656\n", + "global step=7120896, episodic return=965.4733276367188\n", + "global step=7120896, episodic return=1449.203857421875\n", + "global step=7122944, episodic return=1211.1373291015625\n", + "global step=7122944, episodic return=1511.1976318359375\n", + "global step=7124992, episodic return=517.3532104492188\n", + "global step=7124992, episodic return=1110.74609375\n", + "global step=7124992, episodic return=1495.8284912109375\n", + "global step=7124992, episodic return=461.5090637207031\n", + "global step=7129088, episodic return=911.9912719726562\n", + "global step=7129088, episodic return=632.8180541992188\n", + "global step=7129088, episodic return=559.4210205078125\n", + "global step=7129088, episodic return=1528.26904296875\n", + "global step=7129088, episodic return=1460.6033935546875\n", + "global step=7131136, episodic return=1467.8636474609375\n", + "global step=7131136, episodic return=461.5297546386719\n", + "global step=7131136, episodic return=1419.0947265625\n", + "global step=7131136, episodic return=1341.1099853515625\n", + "global step=7135232, episodic return=690.8726806640625\n", + "global step=7135232, episodic return=1134.8668212890625\n", + "global step=7135232, episodic return=743.4002685546875\n", + "global step=7137280, episodic return=582.9559326171875\n", + "global step=7137280, episodic return=1074.741455078125\n", + "global step=7137280, episodic return=1042.568359375\n", + "global step=7137280, episodic return=958.659912109375\n", + "global step=7139328, episodic return=793.902587890625\n", + "global step=7141376, episodic return=1057.208740234375\n", + "global step=7141376, episodic return=465.3399963378906\n", + "global step=7143424, episodic return=656.3298950195312\n", + "global step=7143424, episodic return=858.60498046875\n", + "global step=7143424, episodic return=61.286617279052734\n", + "global step=7143424, episodic return=1465.490966796875\n", + "global step=7145472, episodic return=1031.4935302734375\n", + "global step=7145472, episodic return=647.5833740234375\n", + "global step=7145472, episodic return=1051.67822265625\n", + "global step=7145472, episodic return=577.9932250976562\n", + "global step=7145472, episodic return=1025.1954345703125\n", + "global step=7145472, episodic return=516.357666015625\n", + "global step=7147520, episodic return=623.1830444335938\n", + "global step=7147520, episodic return=634.3209228515625\n", + "global step=7147520, episodic return=670.2164306640625\n", + "global step=7147520, episodic return=981.5514526367188\n", + "global step=7147520, episodic return=1059.7017822265625\n", + "global step=7147520, episodic return=1479.4757080078125\n", + "global step=7149568, episodic return=589.8928833007812\n", + "global step=7149568, episodic return=55.19646072387695\n", + "global step=7149568, episodic return=918.0123291015625\n", + "global step=7149568, episodic return=1021.38330078125\n", + "global step=7151616, episodic return=625.5990600585938\n", + "global step=7151616, episodic return=482.8330993652344\n", + "global step=7151616, episodic return=590.8734741210938\n", + "global step=7153664, episodic return=609.207275390625\n", + "global step=7153664, episodic return=580.5775146484375\n", + "global step=7153664, episodic return=1167.11962890625\n", + "global step=7155712, episodic return=600.587158203125\n", + "global step=7155712, episodic return=609.0715942382812\n", + "global step=7157760, episodic return=581.5811157226562\n", + "global step=7159808, episodic return=1012.3673706054688\n", + "global step=7161856, episodic return=500.1387634277344\n", + "global step=7161856, episodic return=593.891357421875\n", + "global step=7161856, episodic return=1088.4439697265625\n", + "global step=7161856, episodic return=687.56787109375\n", + "global step=7163904, episodic return=65.90638732910156\n", + "global step=7163904, episodic return=1526.0111083984375\n", + "global step=7165952, episodic return=1209.557861328125\n", + "global step=7165952, episodic return=407.34228515625\n", + "global step=7165952, episodic return=474.77227783203125\n", + "global step=7165952, episodic return=1126.58447265625\n", + "global step=7168000, episodic return=1178.81640625\n", + "global step=7170048, episodic return=1048.5513916015625\n", + "global step=7170048, episodic return=918.8477783203125\n", + "global step=7170048, episodic return=993.1071166992188\n", + "global step=7170048, episodic return=1033.5875244140625\n", + "global step=7172096, episodic return=905.4690551757812\n", + "global step=7172096, episodic return=585.1019287109375\n", + "global step=7174144, episodic return=600.1550903320312\n", + "global step=7174144, episodic return=63.58393478393555\n", + "global step=7174144, episodic return=965.4398803710938\n", + "global step=7174144, episodic return=590.4074096679688\n", + "global step=7176192, episodic return=644.4963989257812\n", + "global step=7178240, episodic return=460.82122802734375\n", + "global step=7178240, episodic return=1414.46533203125\n", + "global step=7178240, episodic return=932.2596435546875\n", + "global step=7180288, episodic return=258.4972229003906\n", + "global step=7180288, episodic return=74.19060516357422\n", + "global step=7182336, episodic return=645.163818359375\n", + "global step=7182336, episodic return=690.8784790039062\n", + "global step=7182336, episodic return=897.0903930664062\n", + "global step=7182336, episodic return=639.94580078125\n", + "global step=7184384, episodic return=715.7409057617188\n", + "global step=7184384, episodic return=1141.5362548828125\n", + "global step=7184384, episodic return=1040.64306640625\n", + "global step=7186432, episodic return=837.0563354492188\n", + "global step=7188480, episodic return=628.5733642578125\n", + "global step=7188480, episodic return=786.8549194335938\n", + "global step=7188480, episodic return=858.5850219726562\n", + "global step=7190528, episodic return=1586.1361083984375\n", + "global step=7192576, episodic return=687.6044311523438\n", + "global step=7192576, episodic return=1682.4383544921875\n", + "global step=7192576, episodic return=616.0765380859375\n", + "global step=7194624, episodic return=526.2199096679688\n", + "global step=7194624, episodic return=1511.4385986328125\n", + "global step=7196672, episodic return=673.0908813476562\n", + "global step=7196672, episodic return=835.9168090820312\n", + "global step=7196672, episodic return=962.2062377929688\n", + "global step=7198720, episodic return=237.90985107421875\n", + "global step=7200768, episodic return=1508.7647705078125\n", + "global step=7200768, episodic return=885.8838500976562\n", + "global step=7200768, episodic return=969.119384765625\n", + "global step=7202816, episodic return=1115.453857421875\n", + "global step=7202816, episodic return=1048.6771240234375\n", + "global step=7204864, episodic return=1405.4560546875\n", + "global step=7204864, episodic return=187.30416870117188\n", + "global step=7208960, episodic return=1616.4376220703125\n", + "global step=7211008, episodic return=623.7259521484375\n", + "global step=7213056, episodic return=842.5057983398438\n", + "global step=7213056, episodic return=1174.7523193359375\n", + "global step=7213056, episodic return=860.5765380859375\n", + "global step=7213056, episodic return=233.70364379882812\n", + "global step=7215104, episodic return=777.7433471679688\n", + "global step=7215104, episodic return=628.05517578125\n", + "global step=7217152, episodic return=1447.006103515625\n", + "global step=7219200, episodic return=233.67889404296875\n", + "global step=7219200, episodic return=1073.565185546875\n", + "global step=7221248, episodic return=1102.517822265625\n", + "global step=7223296, episodic return=649.9658813476562\n", + "global step=7223296, episodic return=220.41656494140625\n", + "global step=7223296, episodic return=683.6192016601562\n", + "global step=7225344, episodic return=493.18792724609375\n", + "global step=7225344, episodic return=1563.4256591796875\n", + "global step=7225344, episodic return=482.3838806152344\n", + "global step=7225344, episodic return=1271.499755859375\n", + "global step=7225344, episodic return=231.49102783203125\n", + "global step=7225344, episodic return=678.6669921875\n", + "global step=7227392, episodic return=1579.81396484375\n", + "global step=7227392, episodic return=1115.9503173828125\n", + "global step=7229440, episodic return=196.6689910888672\n", + "global step=7229440, episodic return=632.8536987304688\n", + "global step=7229440, episodic return=1372.698486328125\n", + "global step=7231488, episodic return=191.05691528320312\n", + "global step=7231488, episodic return=623.4837036132812\n", + "global step=7231488, episodic return=1657.5953369140625\n", + "global step=7231488, episodic return=1465.0682373046875\n", + "global step=7233536, episodic return=935.6365966796875\n", + "global step=7235584, episodic return=1599.7274169921875\n", + "global step=7235584, episodic return=204.77090454101562\n", + "global step=7235584, episodic return=1457.5435791015625\n", + "global step=7235584, episodic return=1540.458251953125\n", + "global step=7235584, episodic return=793.296630859375\n", + "global step=7237632, episodic return=1292.487548828125\n", + "global step=7239680, episodic return=921.1588745117188\n", + "global step=7239680, episodic return=230.0889892578125\n", + "global step=7239680, episodic return=631.6151733398438\n", + "global step=7239680, episodic return=984.4697875976562\n", + "global step=7241728, episodic return=1559.183837890625\n", + "global step=7241728, episodic return=208.8234405517578\n", + "global step=7241728, episodic return=1109.87744140625\n", + "global step=7243776, episodic return=685.2470703125\n", + "global step=7243776, episodic return=741.1405029296875\n", + "global step=7243776, episodic return=468.0681457519531\n", + "global step=7245824, episodic return=1308.445556640625\n", + "global step=7245824, episodic return=834.328125\n", + "global step=7245824, episodic return=1584.44189453125\n", + "global step=7247872, episodic return=256.1699523925781\n", + "global step=7249920, episodic return=1059.4910888671875\n", + "global step=7251968, episodic return=1684.13916015625\n", + "global step=7254016, episodic return=598.5259399414062\n", + "global step=7254016, episodic return=1231.7275390625\n", + "global step=7256064, episodic return=703.4133911132812\n", + "global step=7256064, episodic return=1111.381103515625\n", + "global step=7258112, episodic return=1058.7574462890625\n", + "global step=7260160, episodic return=672.9984130859375\n", + "global step=7260160, episodic return=1102.205810546875\n", + "global step=7260160, episodic return=884.4656372070312\n", + "global step=7262208, episodic return=1679.28515625\n", + "global step=7262208, episodic return=1544.3902587890625\n", + "global step=7262208, episodic return=455.7832336425781\n", + "global step=7262208, episodic return=1659.0234375\n", + "global step=7262208, episodic return=565.0241088867188\n", + "global step=7264256, episodic return=933.2047119140625\n", + "global step=7264256, episodic return=943.408203125\n", + "global step=7264256, episodic return=1545.4493408203125\n", + "global step=7264256, episodic return=532.3651123046875\n", + "global step=7264256, episodic return=1231.1837158203125\n", + "global step=7266304, episodic return=1524.3497314453125\n", + "global step=7266304, episodic return=791.6695556640625\n", + "global step=7266304, episodic return=1596.6927490234375\n", + "global step=7268352, episodic return=667.9534912109375\n", + "global step=7268352, episodic return=1579.2459716796875\n", + "global step=7268352, episodic return=498.5721740722656\n", + "global step=7270400, episodic return=1592.12646484375\n", + "global step=7270400, episodic return=695.1298217773438\n", + "global step=7270400, episodic return=1588.2784423828125\n", + "global step=7270400, episodic return=1686.1082763671875\n", + "global step=7272448, episodic return=642.2078247070312\n", + "global step=7274496, episodic return=444.6294250488281\n", + "global step=7274496, episodic return=765.669921875\n", + "global step=7274496, episodic return=1468.089111328125\n", + "global step=7274496, episodic return=1200.9443359375\n", + "global step=7274496, episodic return=1752.57568359375\n", + "global step=7274496, episodic return=1491.0013427734375\n", + "global step=7276544, episodic return=961.7804565429688\n", + "global step=7276544, episodic return=1499.544189453125\n", + "global step=7280640, episodic return=1061.845458984375\n", + "global step=7280640, episodic return=730.396728515625\n", + "global step=7280640, episodic return=1119.6788330078125\n", + "global step=7280640, episodic return=1622.142578125\n", + "global step=7280640, episodic return=1614.96826171875\n", + "global step=7282688, episodic return=1632.2911376953125\n", + "global step=7282688, episodic return=1819.7564697265625\n", + "global step=7284736, episodic return=543.3035888671875\n", + "global step=7286784, episodic return=1492.869140625\n", + "global step=7286784, episodic return=1535.407958984375\n", + "global step=7286784, episodic return=841.9300537109375\n", + "global step=7286784, episodic return=716.177734375\n", + "global step=7286784, episodic return=1800.63916015625\n", + "global step=7288832, episodic return=595.8892211914062\n", + "global step=7288832, episodic return=1163.50634765625\n", + "global step=7288832, episodic return=1507.3956298828125\n", + "global step=7288832, episodic return=1126.8682861328125\n", + "global step=7288832, episodic return=993.9680786132812\n", + "global step=7288832, episodic return=1695.314697265625\n", + "global step=7288832, episodic return=1186.5484619140625\n", + "global step=7288832, episodic return=1189.9476318359375\n", + "global step=7288832, episodic return=1097.0654296875\n", + "global step=7290880, episodic return=1607.067626953125\n", + "global step=7290880, episodic return=1556.6090087890625\n", + "global step=7292928, episodic return=595.4242553710938\n", + "global step=7292928, episodic return=633.9833374023438\n", + "global step=7292928, episodic return=1068.9561767578125\n", + "global step=7294976, episodic return=630.2291259765625\n", + "global step=7294976, episodic return=1627.7412109375\n", + "global step=7294976, episodic return=1568.7242431640625\n", + "global step=7294976, episodic return=907.045166015625\n", + "global step=7297024, episodic return=1636.6705322265625\n", + "global step=7299072, episodic return=624.7526245117188\n", + "global step=7301120, episodic return=1131.8629150390625\n", + "global step=7301120, episodic return=738.9244384765625\n", + "global step=7303168, episodic return=636.3345947265625\n", + "global step=7303168, episodic return=448.5353698730469\n", + "global step=7303168, episodic return=1445.6954345703125\n", + "global step=7305216, episodic return=1639.891357421875\n", + "global step=7305216, episodic return=606.9720458984375\n", + "global step=7307264, episodic return=661.3507690429688\n", + "global step=7309312, episodic return=1509.3089599609375\n", + "global step=7309312, episodic return=639.8255004882812\n", + "global step=7311360, episodic return=691.2356567382812\n", + "global step=7311360, episodic return=596.68017578125\n", + "global step=7313408, episodic return=590.4213256835938\n", + "global step=7313408, episodic return=642.2433471679688\n", + "global step=7315456, episodic return=1511.6241455078125\n", + "global step=7315456, episodic return=1426.496826171875\n", + "global step=7315456, episodic return=1195.0517578125\n", + "global step=7315456, episodic return=1689.6197509765625\n", + "global step=7317504, episodic return=1239.9334716796875\n", + "global step=7317504, episodic return=750.929443359375\n", + "global step=7317504, episodic return=599.7813720703125\n", + "global step=7317504, episodic return=608.9710083007812\n", + "global step=7319552, episodic return=1661.32275390625\n", + "global step=7319552, episodic return=680.1033935546875\n", + "global step=7319552, episodic return=1193.2646484375\n", + "global step=7319552, episodic return=255.47715759277344\n", + "global step=7321600, episodic return=581.9801635742188\n", + "global step=7321600, episodic return=558.1078491210938\n", + "global step=7323648, episodic return=876.1187133789062\n", + "global step=7323648, episodic return=695.0888671875\n", + "global step=7323648, episodic return=569.1885986328125\n", + "global step=7325696, episodic return=1529.5108642578125\n", + "global step=7325696, episodic return=490.18408203125\n", + "global step=7325696, episodic return=618.16943359375\n", + "global step=7325696, episodic return=1500.47021484375\n", + "global step=7327744, episodic return=262.6509094238281\n", + "global step=7327744, episodic return=1600.9283447265625\n", + "global step=7327744, episodic return=1141.08544921875\n", + "global step=7327744, episodic return=817.580322265625\n", + "global step=7327744, episodic return=611.8956298828125\n", + "global step=7327744, episodic return=1484.6124267578125\n", + "global step=7329792, episodic return=1441.7435302734375\n", + "global step=7329792, episodic return=1608.156494140625\n", + "global step=7329792, episodic return=1142.642822265625\n", + "global step=7329792, episodic return=647.8264770507812\n", + "global step=7329792, episodic return=587.073974609375\n", + "global step=7331840, episodic return=1228.5269775390625\n", + "global step=7331840, episodic return=498.8217468261719\n", + "global step=7331840, episodic return=1201.43310546875\n", + "global step=7331840, episodic return=625.8209228515625\n", + "global step=7333888, episodic return=508.0826110839844\n", + "global step=7333888, episodic return=1639.128173828125\n", + "global step=7333888, episodic return=1510.5821533203125\n", + "global step=7333888, episodic return=1548.394287109375\n", + "global step=7333888, episodic return=636.3375244140625\n", + "global step=7333888, episodic return=1103.937744140625\n", + "global step=7335936, episodic return=1510.1300048828125\n", + "global step=7335936, episodic return=1085.4764404296875\n", + "global step=7335936, episodic return=585.5315551757812\n", + "global step=7335936, episodic return=1131.624755859375\n", + "global step=7337984, episodic return=1546.9593505859375\n", + "global step=7337984, episodic return=697.90966796875\n", + "global step=7337984, episodic return=625.6370849609375\n", + "global step=7337984, episodic return=1294.9478759765625\n", + "global step=7337984, episodic return=645.0587768554688\n", + "global step=7340032, episodic return=1718.9453125\n", + "global step=7340032, episodic return=635.78125\n", + "global step=7340032, episodic return=784.89453125\n", + "global step=7340032, episodic return=648.8900146484375\n", + "global step=7340032, episodic return=628.7367553710938\n", + "global step=7342080, episodic return=716.3823852539062\n", + "global step=7342080, episodic return=630.9594116210938\n", + "global step=7342080, episodic return=1585.1876220703125\n", + "global step=7342080, episodic return=1568.506591796875\n", + "global step=7342080, episodic return=767.9110107421875\n", + "global step=7342080, episodic return=654.583984375\n", + "global step=7344128, episodic return=527.42724609375\n", + "global step=7344128, episodic return=761.8534545898438\n", + "global step=7344128, episodic return=657.1863403320312\n", + "global step=7344128, episodic return=1221.373291015625\n", + "global step=7344128, episodic return=1269.7232666015625\n", + "global step=7346176, episodic return=547.9014282226562\n", + "global step=7346176, episodic return=587.0339965820312\n", + "global step=7346176, episodic return=1320.7947998046875\n", + "global step=7346176, episodic return=619.7356567382812\n", + "global step=7346176, episodic return=641.2698364257812\n", + "global step=7346176, episodic return=1248.262451171875\n", + "global step=7348224, episodic return=541.5485229492188\n", + "global step=7348224, episodic return=605.91650390625\n", + "global step=7348224, episodic return=643.6299438476562\n", + "global step=7348224, episodic return=574.7254028320312\n", + "global step=7348224, episodic return=569.5218505859375\n", + "global step=7348224, episodic return=1675.138427734375\n", + "global step=7350272, episodic return=615.8648071289062\n", + "global step=7352320, episodic return=605.9388427734375\n", + "global step=7352320, episodic return=764.75\n", + "global step=7352320, episodic return=1196.636962890625\n", + "global step=7352320, episodic return=616.7347412109375\n", + "global step=7352320, episodic return=983.4072875976562\n", + "global step=7354368, episodic return=743.455322265625\n", + "global step=7354368, episodic return=598.2982177734375\n", + "global step=7354368, episodic return=760.0765991210938\n", + "global step=7354368, episodic return=535.2212524414062\n", + "global step=7356416, episodic return=513.6680908203125\n", + "global step=7356416, episodic return=697.6046752929688\n", + "global step=7356416, episodic return=561.0852661132812\n", + "global step=7356416, episodic return=656.14453125\n", + "global step=7356416, episodic return=593.10400390625\n", + "global step=7356416, episodic return=681.9329223632812\n", + "global step=7358464, episodic return=649.7666015625\n", + "global step=7358464, episodic return=786.0533447265625\n", + "global step=7358464, episodic return=620.9691162109375\n", + "global step=7358464, episodic return=502.7684020996094\n", + "global step=7358464, episodic return=1806.0140380859375\n", + "global step=7358464, episodic return=1690.1986083984375\n", + "global step=7358464, episodic return=641.3421630859375\n", + "global step=7358464, episodic return=627.2583618164062\n", + "global step=7358464, episodic return=503.4676818847656\n", + "global step=7358464, episodic return=1216.7000732421875\n", + "global step=7360512, episodic return=1591.7188720703125\n", + "global step=7360512, episodic return=692.5046997070312\n", + "global step=7360512, episodic return=708.7952270507812\n", + "global step=7360512, episodic return=1061.6201171875\n", + "global step=7360512, episodic return=616.8142700195312\n", + "global step=7362560, episodic return=1634.7681884765625\n", + "global step=7362560, episodic return=1029.6510009765625\n", + "global step=7362560, episodic return=583.2139892578125\n", + "global step=7362560, episodic return=1093.9298095703125\n", + "global step=7362560, episodic return=651.2089233398438\n", + "global step=7364608, episodic return=1257.3421630859375\n", + "global step=7364608, episodic return=991.3572387695312\n", + "global step=7364608, episodic return=1444.7786865234375\n", + "global step=7364608, episodic return=568.023193359375\n", + "global step=7364608, episodic return=642.155517578125\n", + "global step=7364608, episodic return=1698.0069580078125\n", + "global step=7366656, episodic return=605.6512451171875\n", + "global step=7366656, episodic return=1220.8270263671875\n", + "global step=7366656, episodic return=1180.708984375\n", + "global step=7366656, episodic return=552.4014892578125\n", + "global step=7368704, episodic return=692.9989624023438\n", + "global step=7368704, episodic return=583.6625366210938\n", + "global step=7368704, episodic return=622.9241943359375\n", + "global step=7370752, episodic return=558.2510986328125\n", + "global step=7370752, episodic return=461.2964172363281\n", + "global step=7372800, episodic return=660.00146484375\n", + "global step=7372800, episodic return=1450.8692626953125\n", + "global step=7372800, episodic return=1191.2413330078125\n", + "global step=7372800, episodic return=866.1322631835938\n", + "global step=7374848, episodic return=1417.554443359375\n", + "global step=7374848, episodic return=649.2354125976562\n", + "global step=7374848, episodic return=608.5072631835938\n", + "global step=7374848, episodic return=668.3450317382812\n", + "global step=7374848, episodic return=1270.1197509765625\n", + "global step=7374848, episodic return=528.6290893554688\n", + "global step=7374848, episodic return=535.9005126953125\n", + "global step=7374848, episodic return=1593.4146728515625\n", + "global step=7376896, episodic return=1211.404296875\n", + "global step=7376896, episodic return=1288.109130859375\n", + "global step=7376896, episodic return=1472.7008056640625\n", + "global step=7376896, episodic return=717.7893676757812\n", + "global step=7376896, episodic return=587.4305419921875\n", + "global step=7376896, episodic return=993.9572143554688\n", + "global step=7376896, episodic return=690.7109985351562\n", + "global step=7376896, episodic return=903.4685668945312\n", + "global step=7376896, episodic return=556.6912841796875\n", + "global step=7376896, episodic return=1341.1912841796875\n", + "global step=7376896, episodic return=1287.728759765625\n", + "global step=7378944, episodic return=1537.19873046875\n", + "global step=7378944, episodic return=652.6566772460938\n", + "global step=7380992, episodic return=971.4185791015625\n", + "global step=7380992, episodic return=1595.07080078125\n", + "global step=7380992, episodic return=1569.4063720703125\n", + "global step=7380992, episodic return=619.0484008789062\n", + "global step=7380992, episodic return=641.876220703125\n", + "global step=7380992, episodic return=977.3099365234375\n", + "global step=7380992, episodic return=727.8912353515625\n", + "global step=7380992, episodic return=525.584228515625\n", + "global step=7383040, episodic return=1261.7332763671875\n", + "global step=7383040, episodic return=1246.9761962890625\n", + "global step=7383040, episodic return=520.4921264648438\n", + "global step=7383040, episodic return=817.9588012695312\n", + "global step=7383040, episodic return=782.6793212890625\n", + "global step=7383040, episodic return=780.868896484375\n", + "global step=7383040, episodic return=724.9623413085938\n", + "global step=7383040, episodic return=678.9308471679688\n", + "global step=7383040, episodic return=544.014892578125\n", + "global step=7383040, episodic return=1461.4481201171875\n", + "global step=7383040, episodic return=1227.75048828125\n", + "global step=7385088, episodic return=802.3323364257812\n", + "global step=7385088, episodic return=1083.14697265625\n", + "global step=7385088, episodic return=614.3318481445312\n", + "global step=7385088, episodic return=1247.144775390625\n", + "global step=7385088, episodic return=553.57373046875\n", + "global step=7385088, episodic return=726.1646118164062\n", + "global step=7385088, episodic return=575.4852905273438\n", + "global step=7385088, episodic return=102.53469848632812\n", + "global step=7385088, episodic return=1042.58935546875\n", + "global step=7385088, episodic return=1632.08544921875\n", + "global step=7387136, episodic return=1308.567138671875\n", + "global step=7387136, episodic return=1208.0458984375\n", + "global step=7389184, episodic return=814.8822631835938\n", + "global step=7389184, episodic return=1255.113037109375\n", + "global step=7389184, episodic return=529.3959350585938\n", + "global step=7389184, episodic return=704.0089111328125\n", + "global step=7389184, episodic return=675.1148071289062\n", + "global step=7389184, episodic return=1175.4722900390625\n", + "global step=7391232, episodic return=1557.83203125\n", + "global step=7391232, episodic return=557.6041870117188\n", + "global step=7391232, episodic return=610.7609252929688\n", + "global step=7391232, episodic return=1290.4444580078125\n", + "global step=7391232, episodic return=888.713623046875\n", + "global step=7393280, episodic return=1606.9951171875\n", + "global step=7393280, episodic return=676.143310546875\n", + "global step=7393280, episodic return=634.4959106445312\n", + "global step=7393280, episodic return=1104.3087158203125\n", + "global step=7393280, episodic return=714.6182250976562\n", + "global step=7395328, episodic return=536.6858520507812\n", + "global step=7395328, episodic return=58.55278778076172\n", + "global step=7395328, episodic return=478.78192138671875\n", + "global step=7395328, episodic return=813.574951171875\n", + "global step=7395328, episodic return=588.456298828125\n", + "global step=7395328, episodic return=1314.6041259765625\n", + "global step=7395328, episodic return=1347.3505859375\n", + "global step=7395328, episodic return=563.1852416992188\n", + "global step=7395328, episodic return=554.1509399414062\n", + "global step=7395328, episodic return=1202.9405517578125\n", + "global step=7395328, episodic return=628.602783203125\n", + "global step=7395328, episodic return=614.5901489257812\n", + "global step=7397376, episodic return=1265.24755859375\n", + "global step=7397376, episodic return=555.4205932617188\n", + "global step=7397376, episodic return=647.7060546875\n", + "global step=7397376, episodic return=628.4949340820312\n", + "global step=7399424, episodic return=574.2490844726562\n", + "global step=7399424, episodic return=607.3601684570312\n", + "global step=7399424, episodic return=742.482421875\n", + "global step=7401472, episodic return=599.8180541992188\n", + "global step=7401472, episodic return=562.5488891601562\n", + "global step=7401472, episodic return=1303.280517578125\n", + "global step=7401472, episodic return=619.6490478515625\n", + "global step=7401472, episodic return=1300.58642578125\n", + "global step=7401472, episodic return=617.9714965820312\n", + "global step=7401472, episodic return=599.0557861328125\n", + "global step=7401472, episodic return=963.2443237304688\n", + "global step=7401472, episodic return=1260.914306640625\n", + "global step=7401472, episodic return=599.604736328125\n", + "global step=7401472, episodic return=1602.7027587890625\n", + "global step=7403520, episodic return=1119.8345947265625\n", + "global step=7403520, episodic return=643.1494140625\n", + "global step=7403520, episodic return=607.4790649414062\n", + "global step=7403520, episodic return=626.3389892578125\n", + "global step=7405568, episodic return=1194.640380859375\n", + "global step=7405568, episodic return=1168.3040771484375\n", + "global step=7405568, episodic return=71.48524475097656\n", + "global step=7405568, episodic return=1130.625732421875\n", + "global step=7405568, episodic return=888.2771606445312\n", + "global step=7405568, episodic return=1683.6226806640625\n", + "global step=7405568, episodic return=565.8820190429688\n", + "global step=7407616, episodic return=1388.572021484375\n", + "global step=7407616, episodic return=625.9635620117188\n", + "global step=7407616, episodic return=762.67578125\n", + "global step=7407616, episodic return=669.4718627929688\n", + "global step=7407616, episodic return=586.4844360351562\n", + "global step=7407616, episodic return=630.8156127929688\n", + "global step=7407616, episodic return=750.0546875\n", + "global step=7407616, episodic return=1189.95947265625\n", + "global step=7409664, episodic return=1286.6290283203125\n", + "global step=7409664, episodic return=537.81298828125\n", + "global step=7409664, episodic return=498.05352783203125\n", + "global step=7409664, episodic return=1253.4945068359375\n", + "global step=7409664, episodic return=1224.8280029296875\n", + "global step=7411712, episodic return=789.2603149414062\n", + "global step=7411712, episodic return=1306.569091796875\n", + "global step=7411712, episodic return=1340.0330810546875\n", + "global step=7411712, episodic return=1268.7623291015625\n", + "global step=7411712, episodic return=583.99560546875\n", + "global step=7411712, episodic return=645.5658569335938\n", + "global step=7413760, episodic return=703.3353881835938\n", + "global step=7413760, episodic return=553.346435546875\n", + "global step=7413760, episodic return=1176.0958251953125\n", + "global step=7413760, episodic return=698.9078979492188\n", + "global step=7413760, episodic return=591.6116333007812\n", + "global step=7413760, episodic return=718.6498413085938\n", + "global step=7413760, episodic return=651.8956909179688\n", + "global step=7413760, episodic return=512.4954223632812\n", + "global step=7413760, episodic return=617.2776489257812\n", + "global step=7413760, episodic return=1475.640869140625\n", + "global step=7413760, episodic return=714.9384155273438\n", + "global step=7415808, episodic return=675.0535278320312\n", + "global step=7415808, episodic return=571.9295654296875\n", + "global step=7415808, episodic return=564.2401123046875\n", + "global step=7415808, episodic return=1175.4317626953125\n", + "global step=7417856, episodic return=581.5648193359375\n", + "global step=7417856, episodic return=672.5714111328125\n", + "global step=7417856, episodic return=518.8914184570312\n", + "global step=7417856, episodic return=61.99678421020508\n", + "global step=7417856, episodic return=936.9822387695312\n", + "global step=7417856, episodic return=578.7305908203125\n", + "global step=7417856, episodic return=660.2884521484375\n", + "global step=7417856, episodic return=542.8999633789062\n", + "global step=7417856, episodic return=660.2820434570312\n", + "global step=7417856, episodic return=1310.5692138671875\n", + "global step=7419904, episodic return=649.6563110351562\n", + "global step=7419904, episodic return=582.239990234375\n", + "global step=7419904, episodic return=1374.932373046875\n", + "global step=7419904, episodic return=712.580810546875\n", + "global step=7419904, episodic return=1368.95751953125\n", + "global step=7419904, episodic return=488.70947265625\n", + "global step=7419904, episodic return=71.81873321533203\n", + "global step=7419904, episodic return=598.3876342773438\n", + "global step=7421952, episodic return=621.5363159179688\n", + "global step=7421952, episodic return=585.0643920898438\n", + "global step=7421952, episodic return=658.1805419921875\n", + "global step=7421952, episodic return=627.5208129882812\n", + "global step=7421952, episodic return=627.7864379882812\n", + "global step=7421952, episodic return=1285.6766357421875\n", + "global step=7421952, episodic return=584.9104614257812\n", + "global step=7421952, episodic return=607.4790649414062\n", + "global step=7421952, episodic return=597.5696411132812\n", + "global step=7424000, episodic return=860.650146484375\n", + "global step=7424000, episodic return=616.0048217773438\n", + "global step=7424000, episodic return=1272.399658203125\n", + "global step=7424000, episodic return=1547.4539794921875\n", + "global step=7424000, episodic return=945.849609375\n", + "global step=7424000, episodic return=625.518798828125\n", + "global step=7424000, episodic return=592.05419921875\n", + "global step=7426048, episodic return=77.74288940429688\n", + "global step=7426048, episodic return=1285.1243896484375\n", + "global step=7426048, episodic return=1460.4241943359375\n", + "global step=7426048, episodic return=592.28515625\n", + "global step=7426048, episodic return=484.26617431640625\n", + "global step=7426048, episodic return=1676.4561767578125\n", + "global step=7426048, episodic return=613.7362670898438\n", + "global step=7426048, episodic return=669.2406616210938\n", + "global step=7426048, episodic return=735.2933349609375\n", + "global step=7428096, episodic return=699.5470581054688\n", + "global step=7428096, episodic return=602.8856811523438\n", + "global step=7428096, episodic return=539.3068237304688\n", + "global step=7428096, episodic return=740.1156616210938\n", + "global step=7428096, episodic return=586.42138671875\n", + "global step=7428096, episodic return=588.7495727539062\n", + "global step=7428096, episodic return=821.0535278320312\n", + "global step=7428096, episodic return=1239.307861328125\n", + "global step=7430144, episodic return=1271.8887939453125\n", + "global step=7430144, episodic return=681.7034912109375\n", + "global step=7430144, episodic return=1630.3353271484375\n", + "global step=7430144, episodic return=1187.20654296875\n", + "global step=7430144, episodic return=579.8150024414062\n", + "global step=7430144, episodic return=1072.9991455078125\n", + "global step=7430144, episodic return=655.7640991210938\n", + "global step=7430144, episodic return=872.8448486328125\n", + "global step=7430144, episodic return=886.4136352539062\n", + "global step=7432192, episodic return=785.949951171875\n", + "global step=7432192, episodic return=1660.822265625\n", + "global step=7432192, episodic return=688.6167602539062\n", + "global step=7432192, episodic return=668.875732421875\n", + "global step=7432192, episodic return=1202.5228271484375\n", + "global step=7432192, episodic return=1552.05078125\n", + "global step=7432192, episodic return=787.4287109375\n", + "global step=7432192, episodic return=1573.85400390625\n", + "global step=7432192, episodic return=495.29620361328125\n", + "global step=7432192, episodic return=637.4132080078125\n", + "global step=7432192, episodic return=1229.4210205078125\n", + "global step=7432192, episodic return=646.6698608398438\n", + "global step=7432192, episodic return=716.129638671875\n", + "global step=7434240, episodic return=603.2249145507812\n", + "global step=7434240, episodic return=1340.626953125\n", + "global step=7434240, episodic return=640.846435546875\n", + "global step=7434240, episodic return=1043.956298828125\n", + "global step=7434240, episodic return=671.885986328125\n", + "global step=7434240, episodic return=661.4282836914062\n", + "global step=7434240, episodic return=1465.1004638671875\n", + "global step=7434240, episodic return=558.2169799804688\n", + "global step=7434240, episodic return=1616.8365478515625\n", + "global step=7434240, episodic return=666.602783203125\n", + "global step=7434240, episodic return=70.46595001220703\n", + "global step=7434240, episodic return=795.4442749023438\n", + "global step=7434240, episodic return=1492.2100830078125\n", + "global step=7434240, episodic return=721.755126953125\n", + "global step=7436288, episodic return=645.3926391601562\n", + "global step=7436288, episodic return=666.6650390625\n", + "global step=7436288, episodic return=593.2066650390625\n", + "global step=7436288, episodic return=611.0046997070312\n", + "global step=7436288, episodic return=1237.5643310546875\n", + "global step=7436288, episodic return=613.2387084960938\n", + "global step=7436288, episodic return=1544.4542236328125\n", + "global step=7436288, episodic return=611.5186767578125\n", + "global step=7436288, episodic return=702.6199340820312\n", + "global step=7438336, episodic return=716.0866088867188\n", + "global step=7438336, episodic return=1671.79931640625\n", + "global step=7438336, episodic return=1212.5736083984375\n", + "global step=7438336, episodic return=637.2675170898438\n", + "global step=7440384, episodic return=580.0054931640625\n", + "global step=7440384, episodic return=621.7854614257812\n", + "global step=7440384, episodic return=680.7960205078125\n", + "global step=7440384, episodic return=665.0032348632812\n", + "global step=7440384, episodic return=607.8603515625\n", + "global step=7440384, episodic return=631.6723022460938\n", + "global step=7440384, episodic return=712.3021240234375\n", + "global step=7440384, episodic return=1008.4910278320312\n", + "global step=7440384, episodic return=789.9774169921875\n", + "global step=7440384, episodic return=461.0487976074219\n", + "global step=7440384, episodic return=1386.1005859375\n", + "global step=7440384, episodic return=749.8487548828125\n", + "global step=7440384, episodic return=1088.9986572265625\n", + "global step=7440384, episodic return=726.9390258789062\n", + "global step=7442432, episodic return=1366.6646728515625\n", + "global step=7442432, episodic return=69.82576751708984\n", + "global step=7442432, episodic return=708.2343139648438\n", + "global step=7442432, episodic return=1677.873046875\n", + "global step=7442432, episodic return=60.95720672607422\n", + "global step=7442432, episodic return=693.0121459960938\n", + "global step=7442432, episodic return=664.740234375\n", + "global step=7442432, episodic return=1155.536376953125\n", + "global step=7444480, episodic return=558.0358276367188\n", + "global step=7444480, episodic return=643.3330688476562\n", + "global step=7444480, episodic return=1262.1009521484375\n", + "global step=7444480, episodic return=1397.9608154296875\n", + "global step=7444480, episodic return=642.3221435546875\n", + "global step=7444480, episodic return=684.9375\n", + "global step=7444480, episodic return=654.371337890625\n", + "global step=7444480, episodic return=684.0531616210938\n", + "global step=7444480, episodic return=675.1326904296875\n", + "global step=7446528, episodic return=1674.2633056640625\n", + "global step=7446528, episodic return=611.233642578125\n", + "global step=7446528, episodic return=1233.6856689453125\n", + "global step=7446528, episodic return=553.1104125976562\n", + "global step=7446528, episodic return=719.9559936523438\n", + "global step=7446528, episodic return=1309.623046875\n", + "global step=7446528, episodic return=1142.1558837890625\n", + "global step=7446528, episodic return=670.5929565429688\n", + "global step=7446528, episodic return=1327.9852294921875\n", + "global step=7446528, episodic return=1208.6231689453125\n", + "global step=7446528, episodic return=962.536376953125\n", + "global step=7446528, episodic return=495.9712219238281\n", + "global step=7446528, episodic return=613.6083984375\n", + "global step=7446528, episodic return=633.7578125\n", + "global step=7446528, episodic return=645.6935424804688\n", + "global step=7446528, episodic return=775.08349609375\n", + "global step=7446528, episodic return=633.1044921875\n", + "global step=7448576, episodic return=738.5281372070312\n", + "global step=7448576, episodic return=679.349853515625\n", + "global step=7448576, episodic return=1239.2607421875\n", + "global step=7448576, episodic return=1670.04833984375\n", + "global step=7450624, episodic return=1222.7589111328125\n", + "global step=7450624, episodic return=736.359619140625\n", + "global step=7450624, episodic return=539.0764770507812\n", + "global step=7450624, episodic return=742.4949340820312\n", + "global step=7450624, episodic return=496.9724426269531\n", + "global step=7450624, episodic return=605.471435546875\n", + "global step=7450624, episodic return=657.358642578125\n", + "global step=7450624, episodic return=518.1058349609375\n", + "global step=7450624, episodic return=1351.420166015625\n", + "global step=7450624, episodic return=880.6405639648438\n", + "global step=7450624, episodic return=597.198974609375\n", + "global step=7452672, episodic return=713.1316528320312\n", + "global step=7452672, episodic return=496.0273132324219\n", + "global step=7452672, episodic return=523.8792114257812\n", + "global step=7452672, episodic return=1410.61474609375\n", + "global step=7452672, episodic return=613.88623046875\n", + "global step=7452672, episodic return=625.5697631835938\n", + "global step=7454720, episodic return=1612.2841796875\n", + "global step=7454720, episodic return=1136.0894775390625\n", + "global step=7454720, episodic return=311.27001953125\n", + "global step=7454720, episodic return=643.5884399414062\n", + "global step=7454720, episodic return=75.787109375\n", + "global step=7454720, episodic return=1409.6651611328125\n", + "global step=7456768, episodic return=692.0072631835938\n", + "global step=7456768, episodic return=634.865478515625\n", + "global step=7456768, episodic return=535.2818603515625\n", + "global step=7456768, episodic return=626.6904296875\n", + "global step=7456768, episodic return=736.166259765625\n", + "global step=7456768, episodic return=65.54216766357422\n", + "global step=7456768, episodic return=1512.1011962890625\n", + "global step=7456768, episodic return=706.8917846679688\n", + "global step=7456768, episodic return=646.599853515625\n", + "global step=7456768, episodic return=1361.1256103515625\n", + "global step=7456768, episodic return=586.3035888671875\n", + "global step=7456768, episodic return=678.920654296875\n", + "global step=7458816, episodic return=643.384765625\n", + "global step=7458816, episodic return=539.7321166992188\n", + "global step=7458816, episodic return=596.0195922851562\n", + "global step=7458816, episodic return=617.877197265625\n", + "global step=7458816, episodic return=833.23681640625\n", + "global step=7458816, episodic return=552.4819946289062\n", + "global step=7458816, episodic return=652.71337890625\n", + "global step=7460864, episodic return=1306.5181884765625\n", + "global step=7460864, episodic return=998.569580078125\n", + "global step=7460864, episodic return=672.0541381835938\n", + "global step=7460864, episodic return=655.2833862304688\n", + "global step=7460864, episodic return=647.4913330078125\n", + "global step=7460864, episodic return=780.2586059570312\n", + "global step=7460864, episodic return=688.1734008789062\n", + "global step=7460864, episodic return=675.580078125\n", + "global step=7460864, episodic return=676.8424072265625\n", + "global step=7460864, episodic return=288.3860168457031\n", + "global step=7460864, episodic return=660.3927612304688\n", + "global step=7460864, episodic return=633.4515991210938\n", + "global step=7460864, episodic return=1274.2760009765625\n", + "global step=7462912, episodic return=702.6317749023438\n", + "global step=7462912, episodic return=1526.7166748046875\n", + "global step=7462912, episodic return=586.21337890625\n", + "global step=7462912, episodic return=1491.941650390625\n", + "global step=7462912, episodic return=1252.1826171875\n", + "global step=7464960, episodic return=979.1167602539062\n", + "global step=7464960, episodic return=874.3035278320312\n", + "global step=7464960, episodic return=824.8035278320312\n", + "global step=7464960, episodic return=1378.4560546875\n", + "global step=7464960, episodic return=681.6057739257812\n", + "global step=7467008, episodic return=631.7084350585938\n", + "global step=7467008, episodic return=552.4795532226562\n", + "global step=7467008, episodic return=575.4102172851562\n", + "global step=7467008, episodic return=763.1629028320312\n", + "global step=7467008, episodic return=1796.28759765625\n", + "global step=7467008, episodic return=533.1046752929688\n", + "global step=7467008, episodic return=712.2359619140625\n", + "global step=7469056, episodic return=643.1671752929688\n", + "global step=7469056, episodic return=1392.6485595703125\n", + "global step=7469056, episodic return=1359.7236328125\n", + "global step=7471104, episodic return=950.978515625\n", + "global step=7471104, episodic return=757.8450317382812\n", + "global step=7471104, episodic return=690.1245727539062\n", + "global step=7471104, episodic return=606.9900512695312\n", + "global step=7473152, episodic return=845.3726806640625\n", + "global step=7473152, episodic return=640.6495971679688\n", + "global step=7473152, episodic return=671.9456787109375\n", + "global step=7473152, episodic return=258.6763610839844\n", + "global step=7473152, episodic return=1517.189208984375\n", + "global step=7473152, episodic return=661.4537963867188\n", + "global step=7475200, episodic return=749.9688720703125\n", + "global step=7475200, episodic return=1496.4522705078125\n", + "global step=7475200, episodic return=664.7970581054688\n", + "global step=7475200, episodic return=588.4727783203125\n", + "global step=7475200, episodic return=652.4268798828125\n", + "global step=7475200, episodic return=640.7904052734375\n", + "global step=7475200, episodic return=468.8974304199219\n", + "global step=7477248, episodic return=1262.22314453125\n", + "global step=7477248, episodic return=1016.015380859375\n", + "global step=7477248, episodic return=658.2618408203125\n", + "global step=7477248, episodic return=696.59521484375\n", + "global step=7477248, episodic return=1223.6591796875\n", + "global step=7477248, episodic return=481.5188903808594\n", + "global step=7477248, episodic return=497.6597595214844\n", + "global step=7477248, episodic return=632.604248046875\n", + "global step=7477248, episodic return=689.6507568359375\n", + "global step=7479296, episodic return=753.0844116210938\n", + "global step=7479296, episodic return=1812.5523681640625\n", + "global step=7479296, episodic return=630.2470703125\n", + "global step=7479296, episodic return=587.3050537109375\n", + "global step=7479296, episodic return=721.5537719726562\n", + "global step=7479296, episodic return=673.413330078125\n", + "global step=7479296, episodic return=631.3966674804688\n", + "global step=7481344, episodic return=710.7797241210938\n", + "global step=7481344, episodic return=621.1514282226562\n", + "global step=7481344, episodic return=760.902587890625\n", + "global step=7481344, episodic return=1351.0252685546875\n", + "global step=7481344, episodic return=651.7608642578125\n", + "global step=7481344, episodic return=1461.069580078125\n", + "global step=7481344, episodic return=605.5165405273438\n", + "global step=7481344, episodic return=622.682373046875\n", + "global step=7481344, episodic return=1341.9041748046875\n", + "global step=7481344, episodic return=296.6153869628906\n", + "global step=7481344, episodic return=732.2943115234375\n", + "global step=7481344, episodic return=1689.927490234375\n", + "global step=7483392, episodic return=673.3067016601562\n", + "global step=7483392, episodic return=560.410888671875\n", + "global step=7483392, episodic return=614.4054565429688\n", + "global step=7483392, episodic return=630.5032958984375\n", + "global step=7483392, episodic return=855.7833862304688\n", + "global step=7483392, episodic return=1437.403564453125\n", + "global step=7485440, episodic return=1258.515625\n", + "global step=7485440, episodic return=545.8148803710938\n", + "global step=7485440, episodic return=1068.6358642578125\n", + "global step=7485440, episodic return=635.2935180664062\n", + "global step=7485440, episodic return=1434.896484375\n", + "global step=7485440, episodic return=1401.449951171875\n", + "global step=7485440, episodic return=812.6322631835938\n", + "global step=7485440, episodic return=1258.63427734375\n", + "global step=7485440, episodic return=882.8868408203125\n", + "global step=7485440, episodic return=552.87548828125\n", + "global step=7487488, episodic return=664.676025390625\n", + "global step=7487488, episodic return=708.7115478515625\n", + "global step=7487488, episodic return=689.9008178710938\n", + "global step=7487488, episodic return=632.6673583984375\n", + "global step=7487488, episodic return=687.1136474609375\n", + "global step=7487488, episodic return=637.0462646484375\n", + "global step=7487488, episodic return=646.5591430664062\n", + "global step=7487488, episodic return=649.753173828125\n", + "global step=7489536, episodic return=515.9575805664062\n", + "global step=7489536, episodic return=700.895263671875\n", + "global step=7489536, episodic return=1376.85009765625\n", + "global step=7489536, episodic return=574.1158447265625\n", + "global step=7491584, episodic return=1430.560546875\n", + "global step=7491584, episodic return=1705.3582763671875\n", + "global step=7491584, episodic return=620.684326171875\n", + "global step=7491584, episodic return=785.3740844726562\n", + "global step=7491584, episodic return=1492.516357421875\n", + "global step=7491584, episodic return=814.8648681640625\n", + "global step=7491584, episodic return=1427.5714111328125\n", + "global step=7491584, episodic return=1483.42236328125\n", + "global step=7493632, episodic return=699.9951171875\n", + "global step=7493632, episodic return=705.5050659179688\n", + "global step=7493632, episodic return=1694.1982421875\n", + "global step=7493632, episodic return=634.7314453125\n", + "global step=7495680, episodic return=588.8961791992188\n", + "global step=7495680, episodic return=756.7030029296875\n", + "global step=7495680, episodic return=270.6962585449219\n", + "global step=7495680, episodic return=1365.110107421875\n", + "global step=7495680, episodic return=674.2698364257812\n", + "global step=7495680, episodic return=536.8994750976562\n", + "global step=7495680, episodic return=712.3914794921875\n", + "global step=7495680, episodic return=671.48779296875\n", + "global step=7495680, episodic return=676.9457397460938\n", + "global step=7495680, episodic return=1356.248046875\n", + "global step=7497728, episodic return=662.6353759765625\n", + "global step=7497728, episodic return=1478.9708251953125\n", + "global step=7497728, episodic return=1711.6253662109375\n", + "global step=7497728, episodic return=672.8681640625\n", + "global step=7499776, episodic return=1474.4197998046875\n", + "global step=7499776, episodic return=570.5535278320312\n", + "global step=7499776, episodic return=532.2318115234375\n", + "global step=7499776, episodic return=692.1865234375\n", + "global step=7499776, episodic return=911.1114501953125\n", + "global step=7499776, episodic return=569.64892578125\n", + "global step=7499776, episodic return=741.3350830078125\n", + "global step=7499776, episodic return=64.29316711425781\n", + "global step=7499776, episodic return=535.4109497070312\n", + "global step=7499776, episodic return=1416.2398681640625\n", + "global step=7499776, episodic return=787.8097534179688\n", + "global step=7499776, episodic return=1476.3544921875\n", + "global step=7501824, episodic return=1687.08251953125\n", + "global step=7501824, episodic return=769.9070434570312\n", + "global step=7501824, episodic return=876.9099731445312\n", + "global step=7501824, episodic return=723.5322875976562\n", + "global step=7501824, episodic return=834.633056640625\n", + "global step=7501824, episodic return=556.3859252929688\n", + "global step=7501824, episodic return=775.6527099609375\n", + "global step=7503872, episodic return=643.0715942382812\n", + "global step=7503872, episodic return=685.6375732421875\n", + "global step=7503872, episodic return=557.90869140625\n", + "global step=7503872, episodic return=1474.4820556640625\n", + "global step=7505920, episodic return=703.1318359375\n", + "global step=7505920, episodic return=714.2620239257812\n", + "global step=7505920, episodic return=596.4598388671875\n", + "global step=7505920, episodic return=659.6430053710938\n", + "global step=7505920, episodic return=720.3012084960938\n", + "global step=7507968, episodic return=685.6434326171875\n", + "global step=7507968, episodic return=601.583251953125\n", + "global step=7507968, episodic return=1338.3433837890625\n", + "global step=7507968, episodic return=908.2293090820312\n", + "global step=7510016, episodic return=877.0711669921875\n", + "global step=7510016, episodic return=1418.4981689453125\n", + "global step=7510016, episodic return=508.57708740234375\n", + "global step=7510016, episodic return=709.59130859375\n", + "global step=7514112, episodic return=777.66015625\n", + "global step=7514112, episodic return=496.16162109375\n", + "global step=7514112, episodic return=769.5233154296875\n", + "global step=7514112, episodic return=754.7464599609375\n", + "global step=7516160, episodic return=726.1734008789062\n", + "global step=7516160, episodic return=588.328369140625\n", + "global step=7516160, episodic return=719.005615234375\n", + "global step=7516160, episodic return=223.16110229492188\n", + "global step=7516160, episodic return=729.2987670898438\n", + "global step=7516160, episodic return=553.7225952148438\n", + "global step=7516160, episodic return=680.2660522460938\n", + "global step=7518208, episodic return=1213.2183837890625\n", + "global step=7518208, episodic return=583.4862670898438\n", + "global step=7518208, episodic return=469.0391540527344\n", + "global step=7518208, episodic return=249.47247314453125\n", + "global step=7518208, episodic return=620.2058715820312\n", + "global step=7518208, episodic return=1202.9154052734375\n", + "global step=7520256, episodic return=646.8858642578125\n", + "global step=7522304, episodic return=702.7070922851562\n", + "global step=7522304, episodic return=804.7376708984375\n", + "global step=7522304, episodic return=750.9122924804688\n", + "global step=7522304, episodic return=719.3043212890625\n", + "global step=7522304, episodic return=652.51220703125\n", + "global step=7522304, episodic return=1695.4525146484375\n", + "global step=7522304, episodic return=699.3128051757812\n", + "global step=7524352, episodic return=780.6344604492188\n", + "global step=7524352, episodic return=1060.26025390625\n", + "global step=7524352, episodic return=628.3267822265625\n", + "global step=7526400, episodic return=698.8546752929688\n", + "global step=7526400, episodic return=1340.16455078125\n", + "global step=7526400, episodic return=733.0289916992188\n", + "global step=7528448, episodic return=593.4007568359375\n", + "global step=7528448, episodic return=611.6925659179688\n", + "global step=7528448, episodic return=702.3439331054688\n", + "global step=7528448, episodic return=786.9774780273438\n", + "global step=7528448, episodic return=606.3134155273438\n", + "global step=7530496, episodic return=564.4572143554688\n", + "global step=7530496, episodic return=903.9408569335938\n", + "global step=7530496, episodic return=798.5739135742188\n", + "global step=7530496, episodic return=740.722900390625\n", + "global step=7530496, episodic return=1566.975341796875\n", + "global step=7530496, episodic return=759.8983764648438\n", + "global step=7532544, episodic return=1362.2615966796875\n", + "global step=7532544, episodic return=1672.1363525390625\n", + "global step=7532544, episodic return=649.3975219726562\n", + "global step=7532544, episodic return=925.560302734375\n", + "global step=7534592, episodic return=207.8551483154297\n", + "global step=7534592, episodic return=682.0975341796875\n", + "global step=7534592, episodic return=1039.1302490234375\n", + "global step=7534592, episodic return=751.8592529296875\n", + "global step=7536640, episodic return=1472.43212890625\n", + "global step=7536640, episodic return=696.8650512695312\n", + "global step=7536640, episodic return=577.9197387695312\n", + "global step=7536640, episodic return=751.6148681640625\n", + "global step=7536640, episodic return=460.9399719238281\n", + "global step=7536640, episodic return=810.2894897460938\n", + "global step=7536640, episodic return=580.5516357421875\n", + "global step=7538688, episodic return=608.1297607421875\n", + "global step=7538688, episodic return=1462.9163818359375\n", + "global step=7538688, episodic return=576.9695434570312\n", + "global step=7538688, episodic return=598.1602172851562\n", + "global step=7538688, episodic return=1483.283935546875\n", + "global step=7538688, episodic return=1288.36962890625\n", + "global step=7540736, episodic return=784.505615234375\n", + "global step=7540736, episodic return=549.5245971679688\n", + "global step=7542784, episodic return=508.2155456542969\n", + "global step=7542784, episodic return=676.9844360351562\n", + "global step=7542784, episodic return=608.451171875\n", + "global step=7544832, episodic return=770.2672729492188\n", + "global step=7544832, episodic return=712.588623046875\n", + "global step=7546880, episodic return=1458.2733154296875\n", + "global step=7546880, episodic return=699.7632446289062\n", + "global step=7546880, episodic return=1394.8314208984375\n", + "global step=7546880, episodic return=1168.027099609375\n", + "global step=7548928, episodic return=1649.6826171875\n", + "global step=7548928, episodic return=486.7660217285156\n", + "global step=7548928, episodic return=1402.8753662109375\n", + "global step=7548928, episodic return=732.82666015625\n", + "global step=7548928, episodic return=1314.9921875\n", + "global step=7550976, episodic return=784.6373901367188\n", + "global step=7550976, episodic return=869.3928833007812\n", + "global step=7550976, episodic return=1439.5166015625\n", + "global step=7553024, episodic return=1370.5926513671875\n", + "global step=7553024, episodic return=480.5010070800781\n", + "global step=7555072, episodic return=1115.6488037109375\n", + "global step=7559168, episodic return=1575.113037109375\n", + "global step=7559168, episodic return=695.532470703125\n", + "global step=7559168, episodic return=1299.4276123046875\n", + "global step=7559168, episodic return=802.0440063476562\n", + "global step=7561216, episodic return=1445.209228515625\n", + "global step=7561216, episodic return=730.4414672851562\n", + "global step=7561216, episodic return=1335.634033203125\n", + "global step=7561216, episodic return=642.7223510742188\n", + "global step=7563264, episodic return=1757.731201171875\n", + "global step=7563264, episodic return=633.1820068359375\n", + "global step=7563264, episodic return=645.4549560546875\n", + "global step=7565312, episodic return=900.8966064453125\n", + "global step=7565312, episodic return=605.068115234375\n", + "global step=7567360, episodic return=609.9498901367188\n", + "global step=7571456, episodic return=831.9179077148438\n", + "global step=7573504, episodic return=1375.623046875\n", + "global step=7573504, episodic return=1479.47021484375\n", + "global step=7575552, episodic return=481.1020202636719\n", + "global step=7575552, episodic return=684.8815307617188\n", + "global step=7577600, episodic return=628.8995971679688\n", + "global step=7579648, episodic return=558.2295532226562\n", + "global step=7579648, episodic return=547.50048828125\n", + "global step=7579648, episodic return=728.3079833984375\n", + "global step=7579648, episodic return=841.0697021484375\n", + "global step=7581696, episodic return=943.6565551757812\n", + "global step=7581696, episodic return=803.5857543945312\n", + "global step=7583744, episodic return=1488.74072265625\n", + "global step=7583744, episodic return=502.29925537109375\n", + "global step=7583744, episodic return=1637.9814453125\n", + "global step=7583744, episodic return=1410.06201171875\n", + "global step=7585792, episodic return=658.5015869140625\n", + "global step=7585792, episodic return=588.6945190429688\n", + "global step=7585792, episodic return=555.0355834960938\n", + "global step=7587840, episodic return=806.7091064453125\n", + "global step=7589888, episodic return=1284.4735107421875\n", + "global step=7589888, episodic return=1758.0887451171875\n", + "global step=7589888, episodic return=795.8351440429688\n", + "global step=7591936, episodic return=1319.282470703125\n", + "global step=7591936, episodic return=735.8985595703125\n", + "global step=7591936, episodic return=659.5896606445312\n", + "global step=7591936, episodic return=705.2422485351562\n", + "global step=7596032, episodic return=833.407958984375\n", + "global step=7598080, episodic return=1355.720458984375\n", + "global step=7598080, episodic return=769.8584594726562\n", + "global step=7598080, episodic return=1658.6068115234375\n", + "global step=7600128, episodic return=686.5254516601562\n", + "global step=7600128, episodic return=1742.400634765625\n", + "global step=7602176, episodic return=788.291015625\n", + "global step=7604224, episodic return=1690.4583740234375\n", + "global step=7606272, episodic return=863.66552734375\n", + "global step=7606272, episodic return=1264.9608154296875\n", + "global step=7608320, episodic return=523.835205078125\n", + "global step=7612416, episodic return=926.4120483398438\n", + "global step=7614464, episodic return=685.8418579101562\n", + "global step=7614464, episodic return=853.9710083007812\n", + "global step=7616512, episodic return=705.860595703125\n", + "global step=7616512, episodic return=726.23486328125\n", + "global step=7618560, episodic return=788.7828369140625\n", + "global step=7618560, episodic return=1373.116943359375\n", + "global step=7618560, episodic return=1398.912841796875\n", + "global step=7618560, episodic return=758.9789428710938\n", + "global step=7620608, episodic return=670.64697265625\n", + "global step=7620608, episodic return=792.2994384765625\n", + "global step=7620608, episodic return=821.0708618164062\n", + "global step=7622656, episodic return=642.457763671875\n", + "global step=7624704, episodic return=721.9686279296875\n", + "global step=7626752, episodic return=1525.31640625\n", + "global step=7626752, episodic return=827.82177734375\n", + "global step=7626752, episodic return=798.7860107421875\n", + "global step=7626752, episodic return=653.128173828125\n", + "global step=7628800, episodic return=1705.250244140625\n", + "global step=7630848, episodic return=692.4547119140625\n", + "global step=7632896, episodic return=853.9509887695312\n", + "global step=7632896, episodic return=698.4732666015625\n", + "global step=7632896, episodic return=843.0357055664062\n", + "global step=7634944, episodic return=877.2823486328125\n", + "global step=7634944, episodic return=950.6978759765625\n", + "global step=7636992, episodic return=708.9603271484375\n", + "global step=7636992, episodic return=684.6051635742188\n", + "global step=7639040, episodic return=722.795166015625\n", + "global step=7639040, episodic return=675.4380493164062\n", + "global step=7641088, episodic return=789.8169555664062\n", + "global step=7643136, episodic return=1562.271240234375\n", + "global step=7645184, episodic return=987.785888671875\n", + "global step=7645184, episodic return=707.1658935546875\n", + "global step=7647232, episodic return=679.455322265625\n", + "global step=7649280, episodic return=697.0921020507812\n", + "global step=7649280, episodic return=1486.955810546875\n", + "global step=7651328, episodic return=805.2191162109375\n", + "global step=7653376, episodic return=644.506591796875\n", + "global step=7653376, episodic return=736.591552734375\n", + "global step=7655424, episodic return=715.7096557617188\n", + "global step=7655424, episodic return=1456.8546142578125\n", + "global step=7655424, episodic return=842.1822509765625\n", + "global step=7655424, episodic return=662.3736572265625\n", + "global step=7655424, episodic return=266.5212097167969\n", + "global step=7655424, episodic return=1099.28271484375\n", + "global step=7657472, episodic return=731.5254516601562\n", + "global step=7657472, episodic return=697.6140747070312\n", + "global step=7657472, episodic return=707.4497680664062\n", + "global step=7657472, episodic return=1600.7799072265625\n", + "global step=7657472, episodic return=1619.0677490234375\n", + "global step=7657472, episodic return=727.9844970703125\n", + "global step=7659520, episodic return=1753.3975830078125\n", + "global step=7661568, episodic return=702.794921875\n", + "global step=7665664, episodic return=1314.359130859375\n", + "global step=7665664, episodic return=1491.6781005859375\n", + "global step=7667712, episodic return=674.7465209960938\n", + "global step=7667712, episodic return=749.3187866210938\n", + "global step=7667712, episodic return=659.4284057617188\n", + "global step=7669760, episodic return=813.852783203125\n", + "global step=7675904, episodic return=737.182861328125\n", + "global step=7675904, episodic return=892.2080688476562\n", + "global step=7675904, episodic return=907.8837280273438\n", + "global step=7675904, episodic return=553.1265869140625\n", + "global step=7677952, episodic return=691.6932983398438\n", + "global step=7680000, episodic return=1500.6522216796875\n", + "global step=7680000, episodic return=638.6007690429688\n", + "global step=7680000, episodic return=740.697021484375\n", + "global step=7682048, episodic return=923.2716064453125\n", + "global step=7682048, episodic return=568.0\n", + "global step=7684096, episodic return=571.715576171875\n", + "global step=7684096, episodic return=951.9912109375\n", + "global step=7686144, episodic return=1059.58544921875\n", + "global step=7686144, episodic return=1597.8299560546875\n", + "global step=7686144, episodic return=686.89111328125\n", + "global step=7686144, episodic return=604.9258422851562\n", + "global step=7686144, episodic return=695.877685546875\n", + "global step=7686144, episodic return=888.0602416992188\n", + "global step=7688192, episodic return=1723.373046875\n", + "global step=7688192, episodic return=713.2667846679688\n", + "global step=7688192, episodic return=1582.1451416015625\n", + "global step=7688192, episodic return=507.9740905761719\n", + "global step=7690240, episodic return=1497.796875\n", + "global step=7690240, episodic return=704.349609375\n", + "global step=7690240, episodic return=793.6267700195312\n", + "global step=7692288, episodic return=752.9400024414062\n", + "global step=7692288, episodic return=1513.4031982421875\n", + "global step=7694336, episodic return=866.7100830078125\n", + "global step=7694336, episodic return=669.3243408203125\n", + "global step=7694336, episodic return=583.9732055664062\n", + "global step=7696384, episodic return=555.96240234375\n", + "global step=7698432, episodic return=703.661376953125\n", + "global step=7698432, episodic return=1600.9176025390625\n", + "global step=7700480, episodic return=1537.7828369140625\n", + "global step=7700480, episodic return=824.46533203125\n", + "global step=7700480, episodic return=573.048828125\n", + "global step=7700480, episodic return=706.9220581054688\n", + "global step=7700480, episodic return=674.240966796875\n", + "global step=7700480, episodic return=761.0157470703125\n", + "global step=7702528, episodic return=641.0601806640625\n", + "global step=7702528, episodic return=678.8604125976562\n", + "global step=7702528, episodic return=811.0711669921875\n", + "global step=7704576, episodic return=452.24530029296875\n", + "global step=7704576, episodic return=650.0535888671875\n", + "global step=7704576, episodic return=579.0784301757812\n", + "global step=7704576, episodic return=755.7106323242188\n", + "global step=7704576, episodic return=601.2550659179688\n", + "global step=7706624, episodic return=620.5223999023438\n", + "global step=7708672, episodic return=876.0226440429688\n", + "global step=7708672, episodic return=1639.2904052734375\n", + "global step=7708672, episodic return=693.8509521484375\n", + "global step=7710720, episodic return=598.8226928710938\n", + "global step=7710720, episodic return=608.9682006835938\n", + "global step=7710720, episodic return=599.6026000976562\n", + "global step=7710720, episodic return=454.4626159667969\n", + "global step=7710720, episodic return=625.52197265625\n", + "global step=7710720, episodic return=1305.2313232421875\n", + "global step=7710720, episodic return=689.278076171875\n", + "global step=7710720, episodic return=578.6151733398438\n", + "global step=7712768, episodic return=558.228271484375\n", + "global step=7712768, episodic return=762.528076171875\n", + "global step=7712768, episodic return=832.7642211914062\n", + "global step=7714816, episodic return=1008.1251220703125\n", + "global step=7714816, episodic return=790.83642578125\n", + "global step=7714816, episodic return=1580.7008056640625\n", + "global step=7716864, episodic return=1464.5096435546875\n", + "global step=7716864, episodic return=698.9747924804688\n", + "global step=7716864, episodic return=608.6109008789062\n", + "global step=7716864, episodic return=877.8973388671875\n", + "global step=7716864, episodic return=847.3427124023438\n", + "global step=7716864, episodic return=925.314453125\n", + "global step=7718912, episodic return=783.6698608398438\n", + "global step=7718912, episodic return=808.4146118164062\n", + "global step=7718912, episodic return=633.8834228515625\n", + "global step=7718912, episodic return=744.0867919921875\n", + "global step=7718912, episodic return=652.6551513671875\n", + "global step=7718912, episodic return=762.5726928710938\n", + "global step=7718912, episodic return=668.3035278320312\n", + "global step=7718912, episodic return=563.4537963867188\n", + "global step=7720960, episodic return=649.4356079101562\n", + "global step=7720960, episodic return=683.3907470703125\n", + "global step=7720960, episodic return=853.8381958007812\n", + "global step=7720960, episodic return=611.7034912109375\n", + "global step=7720960, episodic return=607.7869873046875\n", + "global step=7723008, episodic return=856.7717895507812\n", + "global step=7723008, episodic return=769.6906127929688\n", + "global step=7725056, episodic return=794.6812133789062\n", + "global step=7725056, episodic return=741.7620239257812\n", + "global step=7725056, episodic return=1618.47509765625\n", + "global step=7727104, episodic return=1491.7672119140625\n", + "global step=7727104, episodic return=1556.391845703125\n", + "global step=7727104, episodic return=454.09771728515625\n", + "global step=7727104, episodic return=1528.976806640625\n", + "global step=7729152, episodic return=763.204345703125\n", + "global step=7729152, episodic return=663.4192504882812\n", + "global step=7729152, episodic return=196.97877502441406\n", + "global step=7729152, episodic return=646.7008056640625\n", + "global step=7729152, episodic return=522.6929321289062\n", + "global step=7729152, episodic return=671.635009765625\n", + "global step=7729152, episodic return=699.8655395507812\n", + "global step=7729152, episodic return=803.3403930664062\n", + "global step=7729152, episodic return=698.9861450195312\n", + "global step=7731200, episodic return=626.4004516601562\n", + "global step=7731200, episodic return=678.3902587890625\n", + "global step=7733248, episodic return=712.4749755859375\n", + "global step=7733248, episodic return=732.3069458007812\n", + "global step=7733248, episodic return=639.3990478515625\n", + "global step=7733248, episodic return=667.1456298828125\n", + "global step=7735296, episodic return=760.1493530273438\n", + "global step=7735296, episodic return=1653.99169921875\n", + "global step=7737344, episodic return=652.3104858398438\n", + "global step=7737344, episodic return=647.7123413085938\n", + "global step=7737344, episodic return=1615.1956787109375\n", + "global step=7737344, episodic return=597.662841796875\n", + "global step=7737344, episodic return=730.295166015625\n", + "global step=7739392, episodic return=674.6514282226562\n", + "global step=7739392, episodic return=529.736572265625\n", + "global step=7739392, episodic return=637.036865234375\n", + "global step=7739392, episodic return=1442.6676025390625\n", + "global step=7739392, episodic return=813.8775634765625\n", + "global step=7739392, episodic return=980.00048828125\n", + "global step=7739392, episodic return=760.5728149414062\n", + "global step=7739392, episodic return=692.48291015625\n", + "global step=7741440, episodic return=571.4307861328125\n", + "global step=7741440, episodic return=624.410888671875\n", + "global step=7741440, episodic return=705.8370361328125\n", + "global step=7743488, episodic return=803.141845703125\n", + "global step=7743488, episodic return=1699.7979736328125\n", + "global step=7743488, episodic return=213.158447265625\n", + "global step=7743488, episodic return=1590.3553466796875\n", + "global step=7745536, episodic return=1734.4925537109375\n", + "global step=7745536, episodic return=611.1773071289062\n", + "global step=7745536, episodic return=1598.384765625\n", + "global step=7747584, episodic return=545.033447265625\n", + "global step=7747584, episodic return=608.977783203125\n", + "global step=7747584, episodic return=710.3572998046875\n", + "global step=7747584, episodic return=599.3497924804688\n", + "global step=7749632, episodic return=653.3947143554688\n", + "global step=7749632, episodic return=575.6554565429688\n", + "global step=7749632, episodic return=631.305908203125\n", + "global step=7749632, episodic return=656.5770263671875\n", + "global step=7749632, episodic return=631.81640625\n", + "global step=7749632, episodic return=603.6026611328125\n", + "global step=7751680, episodic return=681.7855834960938\n", + "global step=7751680, episodic return=691.896728515625\n", + "global step=7751680, episodic return=711.5904541015625\n", + "global step=7751680, episodic return=1623.9261474609375\n", + "global step=7751680, episodic return=628.4429931640625\n", + "global step=7751680, episodic return=811.4572143554688\n", + "global step=7751680, episodic return=1325.7564697265625\n", + "global step=7753728, episodic return=646.752197265625\n", + "global step=7753728, episodic return=626.5069580078125\n", + "global step=7753728, episodic return=662.5935668945312\n", + "global step=7753728, episodic return=536.8811645507812\n", + "global step=7753728, episodic return=608.6141967773438\n", + "global step=7753728, episodic return=816.6067504882812\n", + "global step=7753728, episodic return=651.4115600585938\n", + "global step=7753728, episodic return=570.677001953125\n", + "global step=7755776, episodic return=865.8878784179688\n", + "global step=7755776, episodic return=1625.355224609375\n", + "global step=7755776, episodic return=759.1456298828125\n", + "global step=7755776, episodic return=804.324462890625\n", + "global step=7755776, episodic return=705.806884765625\n", + "global step=7755776, episodic return=631.4166259765625\n", + "global step=7757824, episodic return=648.8948974609375\n", + "global step=7757824, episodic return=682.3897705078125\n", + "global step=7757824, episodic return=641.9729614257812\n", + "global step=7757824, episodic return=696.8755493164062\n", + "global step=7757824, episodic return=628.0590209960938\n", + "global step=7757824, episodic return=702.6231689453125\n", + "global step=7757824, episodic return=622.0128784179688\n", + "global step=7757824, episodic return=985.9547729492188\n", + "global step=7759872, episodic return=670.9818725585938\n", + "global step=7759872, episodic return=786.5848388671875\n", + "global step=7759872, episodic return=478.3928527832031\n", + "global step=7759872, episodic return=666.563232421875\n", + "global step=7759872, episodic return=813.237060546875\n", + "global step=7761920, episodic return=548.9297485351562\n", + "global step=7761920, episodic return=739.8020629882812\n", + "global step=7761920, episodic return=700.6764526367188\n", + "global step=7761920, episodic return=890.7644653320312\n", + "global step=7761920, episodic return=459.3196716308594\n", + "global step=7761920, episodic return=641.8084106445312\n", + "global step=7761920, episodic return=759.050048828125\n", + "global step=7761920, episodic return=744.9033203125\n", + "global step=7761920, episodic return=613.3239135742188\n", + "global step=7761920, episodic return=464.60589599609375\n", + "global step=7763968, episodic return=564.105712890625\n", + "global step=7763968, episodic return=824.7965087890625\n", + "global step=7763968, episodic return=734.636474609375\n", + "global step=7763968, episodic return=726.6484375\n", + "global step=7763968, episodic return=698.31884765625\n", + "global step=7763968, episodic return=606.5316772460938\n", + "global step=7763968, episodic return=756.5011596679688\n", + "global step=7763968, episodic return=595.2862548828125\n", + "global step=7763968, episodic return=1105.7587890625\n", + "global step=7766016, episodic return=617.3818969726562\n", + "global step=7766016, episodic return=609.023681640625\n", + "global step=7766016, episodic return=530.1162719726562\n", + "global step=7766016, episodic return=765.3640747070312\n", + "global step=7766016, episodic return=600.5492553710938\n", + "global step=7766016, episodic return=659.75244140625\n", + "global step=7766016, episodic return=608.8876953125\n", + "global step=7766016, episodic return=578.5101318359375\n", + "global step=7766016, episodic return=632.4370727539062\n", + "global step=7766016, episodic return=1769.404052734375\n", + "global step=7766016, episodic return=1662.1307373046875\n", + "global step=7768064, episodic return=800.3021240234375\n", + "global step=7768064, episodic return=1564.8157958984375\n", + "global step=7768064, episodic return=1003.771484375\n", + "global step=7768064, episodic return=539.4483642578125\n", + "global step=7768064, episodic return=707.3862915039062\n", + "global step=7768064, episodic return=675.735107421875\n", + "global step=7770112, episodic return=1570.5413818359375\n", + "global step=7770112, episodic return=927.2474975585938\n", + "global step=7770112, episodic return=768.6366577148438\n", + "global step=7770112, episodic return=1064.940673828125\n", + "global step=7770112, episodic return=647.602294921875\n", + "global step=7770112, episodic return=743.3699340820312\n", + "global step=7770112, episodic return=685.3042602539062\n", + "global step=7772160, episodic return=800.8519897460938\n", + "global step=7772160, episodic return=772.2824096679688\n", + "global step=7772160, episodic return=44.91094207763672\n", + "global step=7772160, episodic return=761.9130859375\n", + "global step=7772160, episodic return=635.147216796875\n", + "global step=7772160, episodic return=733.1818237304688\n", + "global step=7772160, episodic return=563.1732177734375\n", + "global step=7772160, episodic return=637.3984985351562\n", + "global step=7774208, episodic return=1645.653564453125\n", + "global step=7774208, episodic return=853.0211181640625\n", + "global step=7774208, episodic return=790.1093139648438\n", + "global step=7774208, episodic return=697.1381225585938\n", + "global step=7774208, episodic return=513.9406127929688\n", + "global step=7774208, episodic return=760.4872436523438\n", + "global step=7774208, episodic return=975.3915405273438\n", + "global step=7776256, episodic return=1826.050537109375\n", + "global step=7776256, episodic return=1517.4581298828125\n", + "global step=7776256, episodic return=648.6502685546875\n", + "global step=7776256, episodic return=694.6415405273438\n", + "global step=7776256, episodic return=1525.6788330078125\n", + "global step=7776256, episodic return=960.33984375\n", + "global step=7778304, episodic return=694.7009887695312\n", + "global step=7778304, episodic return=805.0062255859375\n", + "global step=7778304, episodic return=817.3468627929688\n", + "global step=7778304, episodic return=729.8157348632812\n", + "global step=7778304, episodic return=826.4470825195312\n", + "global step=7778304, episodic return=723.6838989257812\n", + "global step=7780352, episodic return=1714.560546875\n", + "global step=7780352, episodic return=693.746337890625\n", + "global step=7780352, episodic return=618.2147216796875\n", + "global step=7780352, episodic return=729.927490234375\n", + "global step=7780352, episodic return=722.4710693359375\n", + "global step=7782400, episodic return=729.35986328125\n", + "global step=7782400, episodic return=738.073486328125\n", + "global step=7784448, episodic return=731.3745727539062\n", + "global step=7784448, episodic return=625.0440063476562\n", + "global step=7784448, episodic return=544.8972778320312\n", + "global step=7784448, episodic return=762.4219970703125\n", + "global step=7784448, episodic return=663.439453125\n", + "global step=7784448, episodic return=740.9134521484375\n", + "global step=7786496, episodic return=1685.76953125\n", + "global step=7786496, episodic return=727.4725341796875\n", + "global step=7786496, episodic return=689.9109497070312\n", + "global step=7786496, episodic return=734.8128051757812\n", + "global step=7788544, episodic return=1649.2947998046875\n", + "global step=7788544, episodic return=727.0328369140625\n", + "global step=7788544, episodic return=646.8543090820312\n", + "global step=7788544, episodic return=784.812255859375\n", + "global step=7788544, episodic return=722.9918212890625\n", + "global step=7790592, episodic return=674.2841796875\n", + "global step=7790592, episodic return=713.396484375\n", + "global step=7790592, episodic return=764.6035766601562\n", + "global step=7790592, episodic return=1547.4976806640625\n", + "global step=7790592, episodic return=562.4506225585938\n", + "global step=7790592, episodic return=679.2333374023438\n", + "global step=7790592, episodic return=795.9109497070312\n", + "global step=7790592, episodic return=873.5048828125\n", + "global step=7792640, episodic return=659.1224365234375\n", + "global step=7792640, episodic return=975.4326782226562\n", + "global step=7792640, episodic return=820.3829956054688\n", + "global step=7792640, episodic return=622.39013671875\n", + "global step=7792640, episodic return=718.1220703125\n", + "global step=7792640, episodic return=1715.99755859375\n", + "global step=7794688, episodic return=1007.0433959960938\n", + "global step=7794688, episodic return=744.2164916992188\n", + "global step=7794688, episodic return=1754.1044921875\n", + "global step=7794688, episodic return=605.2640991210938\n", + "global step=7794688, episodic return=686.031982421875\n", + "global step=7794688, episodic return=864.0005493164062\n", + "global step=7796736, episodic return=794.5446166992188\n", + "global step=7796736, episodic return=817.1710815429688\n", + "global step=7796736, episodic return=782.2355346679688\n", + "global step=7796736, episodic return=1044.1710205078125\n", + "global step=7796736, episodic return=883.8901977539062\n", + "global step=7796736, episodic return=826.0532836914062\n", + "global step=7796736, episodic return=699.7252807617188\n", + "global step=7798784, episodic return=524.488037109375\n", + "global step=7798784, episodic return=575.5172729492188\n", + "global step=7798784, episodic return=534.5114135742188\n", + "global step=7798784, episodic return=878.0682983398438\n", + "global step=7798784, episodic return=991.05712890625\n", + "global step=7800832, episodic return=690.574462890625\n", + "global step=7800832, episodic return=552.755126953125\n", + "global step=7800832, episodic return=733.2579956054688\n", + "global step=7802880, episodic return=774.69873046875\n", + "global step=7802880, episodic return=1075.32861328125\n", + "global step=7802880, episodic return=1767.5128173828125\n", + "global step=7802880, episodic return=615.9298706054688\n", + "global step=7802880, episodic return=660.9918212890625\n", + "global step=7804928, episodic return=728.156982421875\n", + "global step=7804928, episodic return=608.2787475585938\n", + "global step=7804928, episodic return=1701.3831787109375\n", + "global step=7804928, episodic return=744.9209594726562\n", + "global step=7806976, episodic return=1546.4913330078125\n", + "global step=7806976, episodic return=705.692626953125\n", + "global step=7806976, episodic return=753.7200927734375\n", + "global step=7809024, episodic return=701.1666870117188\n", + "global step=7809024, episodic return=721.9010009765625\n", + "global step=7811072, episodic return=1658.0594482421875\n", + "global step=7811072, episodic return=878.2006225585938\n", + "global step=7811072, episodic return=826.5172729492188\n", + "global step=7811072, episodic return=1852.8465576171875\n", + "global step=7811072, episodic return=764.905029296875\n", + "global step=7813120, episodic return=1657.47802734375\n", + "global step=7813120, episodic return=836.3458862304688\n", + "global step=7813120, episodic return=275.12933349609375\n", + "global step=7813120, episodic return=1501.88623046875\n", + "global step=7813120, episodic return=847.8302001953125\n", + "global step=7815168, episodic return=683.4382934570312\n", + "global step=7815168, episodic return=963.8873291015625\n", + "global step=7815168, episodic return=1599.621337890625\n", + "global step=7815168, episodic return=586.7689819335938\n", + "global step=7815168, episodic return=740.696044921875\n", + "global step=7815168, episodic return=675.149169921875\n", + "global step=7815168, episodic return=1071.5455322265625\n", + "global step=7815168, episodic return=506.55340576171875\n", + "global step=7815168, episodic return=240.562255859375\n", + "global step=7815168, episodic return=630.3058471679688\n", + "global step=7817216, episodic return=667.6972045898438\n", + "global step=7817216, episodic return=681.306396484375\n", + "global step=7817216, episodic return=880.5820922851562\n", + "global step=7817216, episodic return=788.9696655273438\n", + "global step=7817216, episodic return=729.4425659179688\n", + "global step=7819264, episodic return=673.264892578125\n", + "global step=7819264, episodic return=534.6455688476562\n", + "global step=7819264, episodic return=1719.1787109375\n", + "global step=7819264, episodic return=1648.233154296875\n", + "global step=7819264, episodic return=696.8641357421875\n", + "global step=7821312, episodic return=510.8775329589844\n", + "global step=7821312, episodic return=709.9627685546875\n", + "global step=7821312, episodic return=677.055419921875\n", + "global step=7821312, episodic return=734.6644287109375\n", + "global step=7823360, episodic return=1238.157470703125\n", + "global step=7823360, episodic return=1771.99072265625\n", + "global step=7823360, episodic return=760.3336791992188\n", + "global step=7823360, episodic return=704.1273193359375\n", + "global step=7823360, episodic return=502.4851989746094\n", + "global step=7823360, episodic return=594.6044311523438\n", + "global step=7823360, episodic return=679.57275390625\n", + "global step=7825408, episodic return=1897.6058349609375\n", + "global step=7825408, episodic return=695.927978515625\n", + "global step=7825408, episodic return=256.9779968261719\n", + "global step=7825408, episodic return=592.7911987304688\n", + "global step=7825408, episodic return=916.5328369140625\n", + "global step=7825408, episodic return=801.0256958007812\n", + "global step=7827456, episodic return=931.8695678710938\n", + "global step=7827456, episodic return=664.2222290039062\n", + "global step=7827456, episodic return=528.6417846679688\n", + "global step=7827456, episodic return=965.0242919921875\n", + "global step=7829504, episodic return=635.6004638671875\n", + "global step=7829504, episodic return=674.608642578125\n", + "global step=7829504, episodic return=1593.2745361328125\n", + "global step=7829504, episodic return=714.5782470703125\n", + "global step=7831552, episodic return=1000.8043823242188\n", + "global step=7831552, episodic return=662.3292846679688\n", + "global step=7831552, episodic return=731.1325073242188\n", + "global step=7831552, episodic return=585.251220703125\n", + "global step=7831552, episodic return=1635.636474609375\n", + "global step=7831552, episodic return=855.4048461914062\n", + "global step=7831552, episodic return=1601.1334228515625\n", + "global step=7831552, episodic return=822.7586669921875\n", + "global step=7833600, episodic return=742.1063842773438\n", + "global step=7833600, episodic return=870.008544921875\n", + "global step=7833600, episodic return=1459.417724609375\n", + "global step=7833600, episodic return=1067.283447265625\n", + "global step=7833600, episodic return=1221.247802734375\n", + "global step=7835648, episodic return=730.7486572265625\n", + "global step=7835648, episodic return=1662.7880859375\n", + "global step=7835648, episodic return=566.971923828125\n", + "global step=7835648, episodic return=826.87255859375\n", + "global step=7835648, episodic return=637.9967651367188\n", + "global step=7837696, episodic return=772.9354248046875\n", + "global step=7837696, episodic return=702.9273071289062\n", + "global step=7837696, episodic return=742.0656127929688\n", + "global step=7837696, episodic return=637.5027465820312\n", + "global step=7837696, episodic return=1870.93408203125\n", + "global step=7837696, episodic return=1163.296630859375\n", + "global step=7839744, episodic return=669.9592895507812\n", + "global step=7839744, episodic return=963.2860717773438\n", + "global step=7839744, episodic return=740.83837890625\n", + "global step=7839744, episodic return=1733.9666748046875\n", + "global step=7839744, episodic return=1639.248291015625\n", + "global step=7839744, episodic return=1644.73828125\n", + "global step=7841792, episodic return=317.2733459472656\n", + "global step=7841792, episodic return=862.4970703125\n", + "global step=7841792, episodic return=1805.51708984375\n", + "global step=7841792, episodic return=1613.2030029296875\n", + "global step=7841792, episodic return=749.03466796875\n", + "global step=7841792, episodic return=887.9273071289062\n", + "global step=7841792, episodic return=1415.0634765625\n", + "global step=7843840, episodic return=753.7255249023438\n", + "global step=7845888, episodic return=787.0958862304688\n", + "global step=7845888, episodic return=275.17730712890625\n", + "global step=7845888, episodic return=1106.70556640625\n", + "global step=7845888, episodic return=813.0894165039062\n", + "global step=7845888, episodic return=1685.9344482421875\n", + "global step=7845888, episodic return=679.4620361328125\n", + "global step=7847936, episodic return=377.0470275878906\n", + "global step=7847936, episodic return=832.3695068359375\n", + "global step=7847936, episodic return=1395.11962890625\n", + "global step=7847936, episodic return=1136.0194091796875\n", + "global step=7849984, episodic return=1551.2056884765625\n", + "global step=7849984, episodic return=1705.5125732421875\n", + "global step=7849984, episodic return=903.0607299804688\n", + "global step=7849984, episodic return=622.8929443359375\n", + "global step=7852032, episodic return=777.858642578125\n", + "global step=7852032, episodic return=816.8626708984375\n", + "global step=7854080, episodic return=1167.376953125\n", + "global step=7854080, episodic return=1243.5242919921875\n", + "global step=7854080, episodic return=1038.216552734375\n", + "global step=7854080, episodic return=840.7963256835938\n", + "global step=7854080, episodic return=809.3180541992188\n", + "global step=7854080, episodic return=1854.1771240234375\n", + "global step=7854080, episodic return=274.1835632324219\n", + "global step=7854080, episodic return=866.6346435546875\n", + "global step=7854080, episodic return=795.13525390625\n", + "global step=7854080, episodic return=538.1925048828125\n", + "global step=7854080, episodic return=1715.342529296875\n", + "global step=7856128, episodic return=709.64404296875\n", + "global step=7856128, episodic return=913.53564453125\n", + "global step=7856128, episodic return=810.7164306640625\n", + "global step=7856128, episodic return=1709.49609375\n", + "global step=7856128, episodic return=609.1102905273438\n", + "global step=7856128, episodic return=447.093505859375\n", + "global step=7856128, episodic return=699.939453125\n", + "global step=7856128, episodic return=2018.585205078125\n", + "global step=7858176, episodic return=807.5331420898438\n", + "global step=7858176, episodic return=823.5316772460938\n", + "global step=7858176, episodic return=886.1630249023438\n", + "global step=7858176, episodic return=642.6497192382812\n", + "global step=7858176, episodic return=922.0546875\n", + "global step=7860224, episodic return=310.351806640625\n", + "global step=7860224, episodic return=1583.0159912109375\n", + "global step=7860224, episodic return=1452.99609375\n", + "global step=7860224, episodic return=1711.0496826171875\n", + "global step=7860224, episodic return=830.8338623046875\n", + "global step=7860224, episodic return=1120.8475341796875\n", + "global step=7860224, episodic return=573.7182006835938\n", + "global step=7864320, episodic return=559.0900268554688\n", + "global step=7864320, episodic return=952.6314697265625\n", + "global step=7864320, episodic return=822.642578125\n", + "global step=7866368, episodic return=813.9760131835938\n", + "global step=7866368, episodic return=1743.500732421875\n", + "global step=7866368, episodic return=271.0194091796875\n", + "global step=7866368, episodic return=1872.497314453125\n", + "global step=7868416, episodic return=673.9131469726562\n", + "global step=7868416, episodic return=637.9475708007812\n", + "global step=7868416, episodic return=555.1585693359375\n", + "global step=7868416, episodic return=597.2498779296875\n", + "global step=7868416, episodic return=1057.135009765625\n", + "global step=7870464, episodic return=732.2210083007812\n", + "global step=7872512, episodic return=921.0798950195312\n", + "global step=7874560, episodic return=572.4022827148438\n", + "global step=7874560, episodic return=801.1968383789062\n", + "global step=7874560, episodic return=686.6898193359375\n", + "global step=7874560, episodic return=543.982421875\n", + "global step=7874560, episodic return=963.7918701171875\n", + "global step=7876608, episodic return=1786.87255859375\n", + "global step=7876608, episodic return=715.9758911132812\n", + "global step=7876608, episodic return=696.5125732421875\n", + "global step=7876608, episodic return=1673.733154296875\n", + "global step=7878656, episodic return=768.47607421875\n", + "global step=7878656, episodic return=291.01263427734375\n", + "global step=7878656, episodic return=939.3213500976562\n", + "global step=7880704, episodic return=579.972412109375\n", + "global step=7880704, episodic return=736.7559814453125\n", + "global step=7880704, episodic return=1699.34326171875\n", + "global step=7880704, episodic return=651.511962890625\n", + "global step=7880704, episodic return=747.4945068359375\n", + "global step=7880704, episodic return=1077.1715087890625\n", + "global step=7882752, episodic return=1850.8232421875\n", + "global step=7882752, episodic return=590.2677001953125\n", + "global step=7882752, episodic return=899.0790405273438\n", + "global step=7882752, episodic return=902.369140625\n", + "global step=7884800, episodic return=1927.419189453125\n", + "global step=7884800, episodic return=787.5568237304688\n", + "global step=7884800, episodic return=849.6586303710938\n", + "global step=7884800, episodic return=912.7313842773438\n", + "global step=7884800, episodic return=690.948486328125\n", + "global step=7884800, episodic return=861.7021484375\n", + "global step=7884800, episodic return=1816.5067138671875\n", + "global step=7886848, episodic return=1618.4642333984375\n", + "global step=7886848, episodic return=1937.561279296875\n", + "global step=7888896, episodic return=1712.241943359375\n", + "global step=7888896, episodic return=1807.2230224609375\n", + "global step=7888896, episodic return=634.5761108398438\n", + "global step=7888896, episodic return=1861.7659912109375\n", + "global step=7888896, episodic return=581.3848266601562\n", + "global step=7888896, episodic return=816.5299682617188\n", + "global step=7888896, episodic return=737.8169555664062\n", + "global step=7888896, episodic return=718.1217041015625\n", + "global step=7888896, episodic return=776.3244018554688\n", + "global step=7890944, episodic return=1586.46923828125\n", + "global step=7890944, episodic return=1214.5274658203125\n", + "global step=7890944, episodic return=755.589599609375\n", + "global step=7890944, episodic return=566.2175903320312\n", + "global step=7892992, episodic return=975.9473266601562\n", + "global step=7892992, episodic return=1717.5234375\n", + "global step=7892992, episodic return=665.9981689453125\n", + "global step=7892992, episodic return=1638.7025146484375\n", + "global step=7892992, episodic return=574.0365600585938\n", + "global step=7895040, episodic return=861.4328002929688\n", + "global step=7895040, episodic return=610.0390014648438\n", + "global step=7895040, episodic return=930.966796875\n", + "global step=7895040, episodic return=987.4088745117188\n", + "global step=7897088, episodic return=1719.003662109375\n", + "global step=7897088, episodic return=1812.754150390625\n", + "global step=7897088, episodic return=1699.74609375\n", + "global step=7897088, episodic return=1861.223876953125\n", + "global step=7897088, episodic return=834.871337890625\n", + "global step=7899136, episodic return=733.3619384765625\n", + "global step=7899136, episodic return=643.3521118164062\n", + "global step=7899136, episodic return=541.5260009765625\n", + "global step=7899136, episodic return=833.5249633789062\n", + "global step=7901184, episodic return=943.8598022460938\n", + "global step=7901184, episodic return=754.4356689453125\n", + "global step=7901184, episodic return=1910.048583984375\n", + "global step=7901184, episodic return=1014.7489624023438\n", + "global step=7903232, episodic return=1806.8797607421875\n", + "global step=7903232, episodic return=1858.4224853515625\n", + "global step=7903232, episodic return=952.1832885742188\n", + "global step=7903232, episodic return=856.4222412109375\n", + "global step=7903232, episodic return=811.3519897460938\n", + "global step=7903232, episodic return=682.2637329101562\n", + "global step=7905280, episodic return=1109.7960205078125\n", + "global step=7905280, episodic return=1660.8836669921875\n", + "global step=7905280, episodic return=938.9064331054688\n", + "global step=7905280, episodic return=842.2553100585938\n", + "global step=7905280, episodic return=695.6782836914062\n", + "global step=7905280, episodic return=635.224365234375\n", + "global step=7905280, episodic return=1578.343017578125\n", + "global step=7905280, episodic return=1821.0211181640625\n", + "global step=7907328, episodic return=713.2354736328125\n", + "global step=7907328, episodic return=813.01123046875\n", + "global step=7907328, episodic return=1756.4459228515625\n", + "global step=7909376, episodic return=1964.0703125\n", + "global step=7909376, episodic return=955.396240234375\n", + "global step=7909376, episodic return=784.7232666015625\n", + "global step=7909376, episodic return=745.8258666992188\n", + "global step=7909376, episodic return=856.1104125976562\n", + "global step=7911424, episodic return=826.0103759765625\n", + "global step=7911424, episodic return=1211.2586669921875\n", + "global step=7911424, episodic return=1051.195068359375\n", + "global step=7911424, episodic return=1765.021484375\n", + "global step=7913472, episodic return=1899.47705078125\n", + "global step=7913472, episodic return=965.236572265625\n", + "global step=7913472, episodic return=1870.4111328125\n", + "global step=7913472, episodic return=566.1338500976562\n", + "global step=7913472, episodic return=797.6981201171875\n", + "global step=7915520, episodic return=1882.8702392578125\n", + "global step=7915520, episodic return=1553.2452392578125\n", + "global step=7915520, episodic return=454.2905578613281\n", + "global step=7915520, episodic return=1661.907958984375\n", + "global step=7915520, episodic return=509.5466003417969\n", + "global step=7915520, episodic return=616.473388671875\n", + "global step=7917568, episodic return=590.2941284179688\n", + "global step=7917568, episodic return=993.2655639648438\n", + "global step=7917568, episodic return=1378.6138916015625\n", + "global step=7917568, episodic return=1962.7572021484375\n", + "global step=7917568, episodic return=615.7257080078125\n", + "global step=7917568, episodic return=805.7799072265625\n", + "global step=7919616, episodic return=722.0159912109375\n", + "global step=7919616, episodic return=1925.9102783203125\n", + "global step=7919616, episodic return=793.9547119140625\n", + "global step=7919616, episodic return=484.0374450683594\n", + "global step=7919616, episodic return=633.910888671875\n", + "global step=7921664, episodic return=797.4365234375\n", + "global step=7921664, episodic return=1801.50830078125\n", + "global step=7921664, episodic return=570.2469482421875\n", + "global step=7921664, episodic return=686.3615112304688\n", + "global step=7921664, episodic return=1777.1785888671875\n", + "global step=7921664, episodic return=504.52484130859375\n", + "global step=7923712, episodic return=576.511474609375\n", + "global step=7923712, episodic return=1085.0726318359375\n", + "global step=7923712, episodic return=707.6065673828125\n", + "global step=7923712, episodic return=657.103515625\n", + "global step=7923712, episodic return=1809.084228515625\n", + "global step=7925760, episodic return=1793.0364990234375\n", + "global step=7925760, episodic return=658.2811889648438\n", + "global step=7925760, episodic return=1853.4583740234375\n", + "global step=7927808, episodic return=1690.3245849609375\n", + "global step=7927808, episodic return=643.7778930664062\n", + "global step=7927808, episodic return=689.0350341796875\n", + "global step=7927808, episodic return=818.2145385742188\n", + "global step=7927808, episodic return=511.2674255371094\n", + "global step=7927808, episodic return=504.2710876464844\n", + "global step=7927808, episodic return=1918.3209228515625\n", + "global step=7929856, episodic return=524.0543212890625\n", + "global step=7929856, episodic return=1112.871826171875\n", + "global step=7929856, episodic return=1802.3277587890625\n", + "global step=7931904, episodic return=1844.4268798828125\n", + "global step=7931904, episodic return=1281.9725341796875\n", + "global step=7931904, episodic return=900.54833984375\n", + "global step=7931904, episodic return=1823.077392578125\n", + "global step=7931904, episodic return=639.7700805664062\n", + "global step=7931904, episodic return=1834.7747802734375\n", + "global step=7931904, episodic return=1584.0697021484375\n", + "global step=7931904, episodic return=530.4365844726562\n", + "global step=7933952, episodic return=1744.5072021484375\n", + "global step=7933952, episodic return=1711.2586669921875\n", + "global step=7933952, episodic return=1782.6318359375\n", + "global step=7933952, episodic return=769.972412109375\n", + "global step=7933952, episodic return=823.6939697265625\n", + "global step=7933952, episodic return=48.4854850769043\n", + "global step=7933952, episodic return=1738.236572265625\n", + "global step=7936000, episodic return=1815.1298828125\n", + "global step=7936000, episodic return=1834.3084716796875\n", + "global step=7938048, episodic return=466.9577941894531\n", + "global step=7938048, episodic return=405.9437561035156\n", + "global step=7938048, episodic return=1930.445068359375\n", + "global step=7940096, episodic return=1997.859130859375\n", + "global step=7940096, episodic return=1641.530029296875\n", + "global step=7940096, episodic return=642.99560546875\n", + "global step=7940096, episodic return=1011.969482421875\n", + "global step=7940096, episodic return=1956.2994384765625\n", + "global step=7942144, episodic return=764.1866455078125\n", + "global step=7942144, episodic return=1791.2860107421875\n", + "global step=7942144, episodic return=645.7117309570312\n", + "global step=7942144, episodic return=911.0069580078125\n", + "global step=7944192, episodic return=878.8094482421875\n", + "global step=7944192, episodic return=48.44034194946289\n", + "global step=7944192, episodic return=973.17822265625\n", + "global step=7946240, episodic return=526.0465698242188\n", + "global step=7946240, episodic return=1071.4803466796875\n", + "global step=7946240, episodic return=1677.5118408203125\n", + "global step=7946240, episodic return=1154.4635009765625\n", + "global step=7948288, episodic return=842.8301391601562\n", + "global step=7948288, episodic return=870.501220703125\n", + "global step=7948288, episodic return=831.8247680664062\n", + "global step=7948288, episodic return=585.7718505859375\n", + "global step=7948288, episodic return=607.6651611328125\n", + "global step=7948288, episodic return=1760.123291015625\n", + "global step=7950336, episodic return=710.4601440429688\n", + "global step=7950336, episodic return=845.9798583984375\n", + "global step=7950336, episodic return=1920.5306396484375\n", + "global step=7950336, episodic return=634.8649291992188\n", + "global step=7950336, episodic return=1752.040771484375\n", + "global step=7952384, episodic return=1965.2447509765625\n", + "global step=7952384, episodic return=551.0517578125\n", + "global step=7952384, episodic return=1395.9705810546875\n", + "global step=7952384, episodic return=871.3828125\n", + "global step=7952384, episodic return=923.277587890625\n", + "global step=7952384, episodic return=496.9039611816406\n", + "global step=7952384, episodic return=712.966796875\n", + "global step=7954432, episodic return=892.338623046875\n", + "global step=7954432, episodic return=654.1795043945312\n", + "global step=7954432, episodic return=558.3089599609375\n", + "global step=7956480, episodic return=457.1020202636719\n", + "global step=7956480, episodic return=1677.82177734375\n", + "global step=7956480, episodic return=804.3303833007812\n", + "global step=7958528, episodic return=941.9720458984375\n", + "global step=7958528, episodic return=906.4044189453125\n", + "global step=7958528, episodic return=636.8859252929688\n", + "global step=7958528, episodic return=1563.3641357421875\n", + "global step=7958528, episodic return=994.9791259765625\n", + "global step=7958528, episodic return=477.7076416015625\n", + "global step=7958528, episodic return=609.0996704101562\n", + "global step=7958528, episodic return=1722.5758056640625\n", + "global step=7958528, episodic return=583.8529052734375\n", + "global step=7958528, episodic return=1772.3448486328125\n", + "global step=7960576, episodic return=995.5777587890625\n", + "global step=7960576, episodic return=1726.3636474609375\n", + "global step=7960576, episodic return=868.9625244140625\n", + "global step=7960576, episodic return=1843.9000244140625\n", + "global step=7960576, episodic return=1828.4033203125\n", + "global step=7962624, episodic return=537.392578125\n", + "global step=7962624, episodic return=1111.6195068359375\n", + "global step=7962624, episodic return=1787.3875732421875\n", + "global step=7962624, episodic return=1599.7591552734375\n", + "global step=7962624, episodic return=1770.4178466796875\n", + "global step=7964672, episodic return=591.831298828125\n", + "global step=7964672, episodic return=752.0528564453125\n", + "global step=7964672, episodic return=645.9368896484375\n", + "global step=7964672, episodic return=1514.2208251953125\n", + "global step=7964672, episodic return=1743.2645263671875\n", + "global step=7964672, episodic return=966.0618896484375\n", + "global step=7964672, episodic return=1805.3828125\n", + "global step=7966720, episodic return=531.3574829101562\n", + "global step=7966720, episodic return=589.5995483398438\n", + "global step=7966720, episodic return=868.3463745117188\n", + "global step=7966720, episodic return=1921.2244873046875\n", + "global step=7966720, episodic return=1637.4088134765625\n", + "global step=7966720, episodic return=861.44580078125\n", + "global step=7968768, episodic return=1834.028076171875\n", + "global step=7968768, episodic return=805.7850952148438\n", + "global step=7968768, episodic return=1911.9097900390625\n", + "global step=7970816, episodic return=1802.1817626953125\n", + "global step=7970816, episodic return=1820.0946044921875\n", + "global step=7970816, episodic return=908.9492797851562\n", + "global step=7970816, episodic return=585.1112060546875\n", + "global step=7970816, episodic return=459.43658447265625\n", + "global step=7970816, episodic return=595.3270263671875\n", + "global step=7970816, episodic return=1826.95556640625\n", + "global step=7970816, episodic return=1099.1348876953125\n", + "global step=7970816, episodic return=720.4091796875\n", + "global step=7970816, episodic return=575.6779174804688\n", + "global step=7972864, episodic return=999.9246215820312\n", + "global step=7972864, episodic return=688.3705444335938\n", + "global step=7972864, episodic return=854.9449462890625\n", + "global step=7972864, episodic return=1840.4022216796875\n", + "global step=7972864, episodic return=463.3125\n", + "global step=7972864, episodic return=712.8970336914062\n", + "global step=7974912, episodic return=1898.171630859375\n", + "global step=7974912, episodic return=427.8050537109375\n", + "global step=7974912, episodic return=815.5884399414062\n", + "global step=7974912, episodic return=1855.52197265625\n", + "global step=7974912, episodic return=516.394775390625\n", + "global step=7974912, episodic return=689.5957641601562\n", + "global step=7976960, episodic return=1842.624755859375\n", + "global step=7976960, episodic return=755.5035400390625\n", + "global step=7976960, episodic return=809.488037109375\n", + "global step=7976960, episodic return=1148.520263671875\n", + "global step=7976960, episodic return=116.04187774658203\n", + "global step=7979008, episodic return=521.3392333984375\n", + "global step=7979008, episodic return=1789.533447265625\n", + "global step=7979008, episodic return=1225.5875244140625\n", + "global step=7979008, episodic return=1192.404052734375\n", + "global step=7979008, episodic return=1747.0299072265625\n", + "global step=7979008, episodic return=886.2183837890625\n", + "global step=7979008, episodic return=602.1043090820312\n", + "global step=7979008, episodic return=621.2352294921875\n", + "global step=7981056, episodic return=66.25952911376953\n", + "global step=7981056, episodic return=1696.2315673828125\n", + "global step=7983104, episodic return=819.3373413085938\n", + "global step=7983104, episodic return=1850.2047119140625\n", + "global step=7983104, episodic return=449.050048828125\n", + "global step=7983104, episodic return=1982.714599609375\n", + "global step=7983104, episodic return=1822.27978515625\n", + "global step=7983104, episodic return=586.2333374023438\n", + "global step=7983104, episodic return=808.0370483398438\n", + "global step=7985152, episodic return=973.65234375\n", + "global step=7985152, episodic return=832.94580078125\n", + "global step=7985152, episodic return=1078.968505859375\n", + "global step=7985152, episodic return=66.13297271728516\n", + "global step=7985152, episodic return=810.9859008789062\n", + "global step=7985152, episodic return=1977.7867431640625\n", + "global step=7987200, episodic return=606.3807983398438\n", + "global step=7987200, episodic return=962.2276000976562\n", + "global step=7987200, episodic return=897.3967895507812\n", + "global step=7987200, episodic return=1747.1265869140625\n", + "global step=7987200, episodic return=555.0795288085938\n", + "global step=7987200, episodic return=435.2762756347656\n", + "global step=7989248, episodic return=702.6494750976562\n", + "global step=7989248, episodic return=508.1864929199219\n", + "global step=7989248, episodic return=764.1620483398438\n", + "global step=7989248, episodic return=1706.1302490234375\n", + "global step=7989248, episodic return=1127.93115234375\n", + "global step=7989248, episodic return=1945.282470703125\n", + "global step=7991296, episodic return=492.11834716796875\n", + "global step=7991296, episodic return=632.79931640625\n", + "global step=7991296, episodic return=543.33935546875\n", + "global step=7991296, episodic return=848.6017456054688\n", + "global step=7993344, episodic return=1137.373291015625\n", + "global step=7993344, episodic return=1832.596435546875\n", + "global step=7993344, episodic return=500.4199523925781\n", + "global step=7993344, episodic return=846.8780517578125\n", + "global step=7995392, episodic return=781.497314453125\n", + "global step=7995392, episodic return=1891.7181396484375\n", + "global step=7997440, episodic return=1816.08642578125\n", + "global step=7997440, episodic return=455.9064025878906\n", + "global step=7997440, episodic return=517.6664428710938\n", + "global step=7997440, episodic return=1933.79296875\n", + "global step=7997440, episodic return=574.0330200195312\n", + "global step=7997440, episodic return=447.593505859375\n", + "global step=7999488, episodic return=919.9737548828125\n", + "global step=7999488, episodic return=1821.3907470703125\n", + "global step=7999488, episodic return=561.7061157226562\n", + "global step=7999488, episodic return=848.7630004882812\n", + "global step=7999488, episodic return=777.5618286132812\n", + "global step=7999488, episodic return=802.8551635742188\n", + "global step=7999488, episodic return=1942.121337890625\n", + "global step=7999488, episodic return=2083.04638671875\n", + "global step=8001536, episodic return=897.41259765625\n", + "global step=8001536, episodic return=515.8246459960938\n", + "global step=8001536, episodic return=1848.396728515625\n", + "global step=8001536, episodic return=429.2365417480469\n", + "global step=8003584, episodic return=1740.0323486328125\n", + "global step=8005632, episodic return=2012.2750244140625\n", + "global step=8005632, episodic return=1902.2115478515625\n", + "global step=8005632, episodic return=521.9114379882812\n", + "global step=8005632, episodic return=465.1873779296875\n", + "global step=8005632, episodic return=1336.947265625\n", + "global step=8005632, episodic return=1845.0677490234375\n", + "global step=8005632, episodic return=604.0806274414062\n", + "global step=8005632, episodic return=1963.62744140625\n", + "global step=8005632, episodic return=696.4324340820312\n", + "global step=8007680, episodic return=917.7072143554688\n", + "global step=8007680, episodic return=1947.5706787109375\n", + "global step=8007680, episodic return=1641.8455810546875\n", + "global step=8007680, episodic return=1769.4473876953125\n", + "global step=8009728, episodic return=884.496826171875\n", + "global step=8009728, episodic return=683.3856811523438\n", + "global step=8009728, episodic return=554.21484375\n", + "global step=8009728, episodic return=740.5846557617188\n", + "global step=8011776, episodic return=602.2857666015625\n", + "global step=8011776, episodic return=815.6465454101562\n", + "global step=8011776, episodic return=961.3046875\n", + "global step=8013824, episodic return=584.8244018554688\n", + "global step=8013824, episodic return=685.6190185546875\n", + "global step=8013824, episodic return=759.2047729492188\n", + "global step=8013824, episodic return=565.9061279296875\n", + "global step=8013824, episodic return=1929.5367431640625\n", + "global step=8013824, episodic return=621.387451171875\n", + "global step=8013824, episodic return=571.6550903320312\n", + "global step=8013824, episodic return=849.5416870117188\n", + "global step=8015872, episodic return=861.5376586914062\n", + "global step=8015872, episodic return=877.1474609375\n", + "global step=8015872, episodic return=1006.3524169921875\n", + "global step=8015872, episodic return=1301.3382568359375\n", + "global step=8015872, episodic return=585.8680419921875\n", + "global step=8017920, episodic return=512.4660034179688\n", + "global step=8017920, episodic return=906.5050048828125\n", + "global step=8017920, episodic return=903.0934448242188\n", + "global step=8017920, episodic return=691.2970581054688\n", + "global step=8019968, episodic return=1949.3583984375\n", + "global step=8019968, episodic return=769.1532592773438\n", + "global step=8019968, episodic return=1027.0599365234375\n", + "global step=8019968, episodic return=1786.37939453125\n", + "global step=8022016, episodic return=2148.54638671875\n", + "global step=8022016, episodic return=1842.15087890625\n", + "global step=8022016, episodic return=563.1597900390625\n", + "global step=8022016, episodic return=1131.03515625\n", + "global step=8022016, episodic return=825.5371704101562\n", + "global step=8022016, episodic return=601.3882446289062\n", + "global step=8024064, episodic return=664.6012573242188\n", + "global step=8024064, episodic return=810.7870483398438\n", + "global step=8024064, episodic return=687.6106567382812\n", + "global step=8024064, episodic return=648.786376953125\n", + "global step=8024064, episodic return=984.6365356445312\n", + "global step=8026112, episodic return=1854.7706298828125\n", + "global step=8026112, episodic return=641.7197875976562\n", + "global step=8026112, episodic return=643.5194091796875\n", + "global step=8028160, episodic return=998.24658203125\n", + "global step=8030208, episodic return=627.639404296875\n", + "global step=8030208, episodic return=1827.8712158203125\n", + "global step=8030208, episodic return=596.0724487304688\n", + "global step=8030208, episodic return=1758.8720703125\n", + "global step=8030208, episodic return=502.8271789550781\n", + "global step=8030208, episodic return=561.5479736328125\n", + "global step=8030208, episodic return=1781.6727294921875\n", + "global step=8032256, episodic return=1821.017822265625\n", + "global step=8032256, episodic return=1828.53857421875\n", + "global step=8032256, episodic return=509.6877136230469\n", + "global step=8032256, episodic return=1452.177734375\n", + "global step=8032256, episodic return=600.7117919921875\n", + "global step=8034304, episodic return=1040.17333984375\n", + "global step=8034304, episodic return=546.796875\n", + "global step=8034304, episodic return=541.7874145507812\n", + "global step=8034304, episodic return=724.3846435546875\n", + "global step=8034304, episodic return=1055.0487060546875\n", + "global step=8034304, episodic return=424.82928466796875\n", + "global step=8036352, episodic return=480.2662353515625\n", + "global step=8036352, episodic return=501.0445556640625\n", + "global step=8036352, episodic return=248.30824279785156\n", + "global step=8036352, episodic return=1155.311767578125\n", + "global step=8036352, episodic return=1839.4056396484375\n", + "global step=8038400, episodic return=947.4926147460938\n", + "global step=8038400, episodic return=1801.474609375\n", + "global step=8038400, episodic return=1933.2423095703125\n", + "global step=8038400, episodic return=1755.9444580078125\n", + "global step=8040448, episodic return=1014.8973999023438\n", + "global step=8040448, episodic return=862.5517578125\n", + "global step=8040448, episodic return=257.1509094238281\n", + "global step=8040448, episodic return=616.32470703125\n", + "global step=8040448, episodic return=996.2929077148438\n", + "global step=8040448, episodic return=587.205322265625\n", + "global step=8040448, episodic return=744.9268188476562\n", + "global step=8042496, episodic return=578.8919067382812\n", + "global step=8042496, episodic return=747.4354248046875\n", + "global step=8042496, episodic return=607.0265502929688\n", + "global step=8042496, episodic return=246.93438720703125\n", + "global step=8044544, episodic return=1951.091064453125\n", + "global step=8044544, episodic return=706.0941162109375\n", + "global step=8044544, episodic return=677.5247802734375\n", + "global step=8044544, episodic return=637.544677734375\n", + "global step=8044544, episodic return=247.5889892578125\n", + "global step=8044544, episodic return=676.4431762695312\n", + "global step=8044544, episodic return=580.2158813476562\n", + "global step=8046592, episodic return=643.3434448242188\n", + "global step=8046592, episodic return=960.5541381835938\n", + "global step=8048640, episodic return=1871.033447265625\n", + "global step=8048640, episodic return=745.71337890625\n", + "global step=8048640, episodic return=659.3062133789062\n", + "global step=8050688, episodic return=557.34033203125\n", + "global step=8050688, episodic return=1677.8575439453125\n", + "global step=8050688, episodic return=678.0891723632812\n", + "global step=8050688, episodic return=867.8058471679688\n", + "global step=8050688, episodic return=455.3291931152344\n", + "global step=8050688, episodic return=1869.4752197265625\n", + "global step=8052736, episodic return=595.5935668945312\n", + "global step=8052736, episodic return=649.2333374023438\n", + "global step=8052736, episodic return=633.7981567382812\n", + "global step=8052736, episodic return=1337.3602294921875\n", + "global step=8052736, episodic return=1850.42431640625\n", + "global step=8052736, episodic return=580.9229125976562\n", + "global step=8052736, episodic return=555.97021484375\n", + "global step=8054784, episodic return=735.4351196289062\n", + "global step=8054784, episodic return=775.7423095703125\n", + "global step=8054784, episodic return=526.5145874023438\n", + "global step=8054784, episodic return=623.8504028320312\n", + "global step=8056832, episodic return=529.0509033203125\n", + "global step=8056832, episodic return=832.1588745117188\n", + "global step=8056832, episodic return=736.0717163085938\n", + "global step=8056832, episodic return=609.1734008789062\n", + "global step=8058880, episodic return=519.50927734375\n", + "global step=8058880, episodic return=550.2545776367188\n", + "global step=8060928, episodic return=233.71372985839844\n", + "global step=8060928, episodic return=1798.1549072265625\n", + "global step=8060928, episodic return=657.0100708007812\n", + "global step=8060928, episodic return=522.7627563476562\n", + "global step=8060928, episodic return=1908.1624755859375\n", + "global step=8060928, episodic return=1949.8819580078125\n", + "global step=8060928, episodic return=1846.9473876953125\n", + "global step=8062976, episodic return=562.5164184570312\n", + "global step=8062976, episodic return=522.3893432617188\n", + "global step=8062976, episodic return=972.7966918945312\n", + "global step=8062976, episodic return=551.8474731445312\n", + "global step=8062976, episodic return=878.7774658203125\n", + "global step=8062976, episodic return=999.6123657226562\n", + "global step=8065024, episodic return=700.8240356445312\n", + "global step=8065024, episodic return=1837.89306640625\n", + "global step=8065024, episodic return=837.5892944335938\n", + "global step=8067072, episodic return=637.1298828125\n", + "global step=8067072, episodic return=1899.1495361328125\n", + "global step=8067072, episodic return=498.2057189941406\n", + "global step=8069120, episodic return=1941.2513427734375\n", + "global step=8069120, episodic return=540.0678100585938\n", + "global step=8069120, episodic return=264.9023742675781\n", + "global step=8069120, episodic return=518.01123046875\n", + "global step=8069120, episodic return=1935.2958984375\n", + "global step=8071168, episodic return=719.1329345703125\n", + "global step=8071168, episodic return=256.43804931640625\n", + "global step=8071168, episodic return=889.72607421875\n", + "global step=8071168, episodic return=705.8251953125\n", + "global step=8071168, episodic return=1965.5750732421875\n", + "global step=8071168, episodic return=534.2710571289062\n", + "global step=8073216, episodic return=1089.03125\n", + "global step=8073216, episodic return=1788.70654296875\n", + "global step=8073216, episodic return=1928.7093505859375\n", + "global step=8073216, episodic return=884.6403198242188\n", + "global step=8073216, episodic return=931.4138793945312\n", + "global step=8073216, episodic return=850.4054565429688\n", + "global step=8073216, episodic return=608.5759887695312\n", + "global step=8075264, episodic return=1997.05419921875\n", + "global step=8075264, episodic return=625.3140869140625\n", + "global step=8075264, episodic return=1895.3778076171875\n", + "global step=8075264, episodic return=1862.2806396484375\n", + "global step=8075264, episodic return=615.8113403320312\n", + "global step=8077312, episodic return=1364.9088134765625\n", + "global step=8077312, episodic return=1891.8660888671875\n", + "global step=8077312, episodic return=629.839111328125\n", + "global step=8077312, episodic return=1829.02099609375\n", + "global step=8079360, episodic return=1900.6490478515625\n", + "global step=8079360, episodic return=783.82763671875\n", + "global step=8079360, episodic return=568.9536743164062\n", + "global step=8079360, episodic return=880.5411987304688\n", + "global step=8079360, episodic return=1891.649658203125\n", + "global step=8079360, episodic return=1082.6993408203125\n", + "global step=8079360, episodic return=642.8961791992188\n", + "global step=8081408, episodic return=1192.9847412109375\n", + "global step=8081408, episodic return=1938.1170654296875\n", + "global step=8081408, episodic return=544.94482421875\n", + "global step=8081408, episodic return=795.7660522460938\n", + "global step=8081408, episodic return=579.8131713867188\n", + "global step=8083456, episodic return=484.9539794921875\n", + "global step=8083456, episodic return=669.1436767578125\n", + "global step=8083456, episodic return=645.6682739257812\n", + "global step=8085504, episodic return=1897.95654296875\n", + "global step=8085504, episodic return=576.4776611328125\n", + "global step=8085504, episodic return=1940.9539794921875\n", + "global step=8085504, episodic return=874.771728515625\n", + "global step=8085504, episodic return=1845.7711181640625\n", + "global step=8087552, episodic return=858.4098510742188\n", + "global step=8087552, episodic return=575.8982543945312\n", + "global step=8089600, episodic return=737.4020385742188\n", + "global step=8089600, episodic return=1227.375732421875\n", + "global step=8089600, episodic return=945.4380493164062\n", + "global step=8089600, episodic return=709.4070434570312\n", + "global step=8091648, episodic return=566.7105102539062\n", + "global step=8091648, episodic return=582.912109375\n", + "global step=8091648, episodic return=727.3125610351562\n", + "global step=8091648, episodic return=1807.76904296875\n", + "global step=8091648, episodic return=587.767333984375\n", + "global step=8093696, episodic return=712.9270629882812\n", + "global step=8093696, episodic return=635.8201293945312\n", + "global step=8093696, episodic return=1019.0113525390625\n", + "global step=8095744, episodic return=591.4273681640625\n", + "global step=8095744, episodic return=551.0183715820312\n", + "global step=8095744, episodic return=602.632568359375\n", + "global step=8097792, episodic return=1898.2581787109375\n", + "global step=8097792, episodic return=1191.77001953125\n", + "global step=8097792, episodic return=972.5532836914062\n", + "global step=8097792, episodic return=265.9798278808594\n", + "global step=8097792, episodic return=1425.494873046875\n", + "global step=8097792, episodic return=587.4071044921875\n", + "global step=8097792, episodic return=578.9323120117188\n", + "global step=8097792, episodic return=669.0844116210938\n", + "global step=8097792, episodic return=578.712890625\n", + "global step=8099840, episodic return=563.6134643554688\n", + "global step=8099840, episodic return=1088.81640625\n", + "global step=8099840, episodic return=1073.553466796875\n", + "global step=8099840, episodic return=538.882568359375\n", + "global step=8099840, episodic return=1967.8878173828125\n", + "global step=8099840, episodic return=1676.92822265625\n", + "global step=8101888, episodic return=820.6714477539062\n", + "global step=8101888, episodic return=549.9630126953125\n", + "global step=8101888, episodic return=835.75927734375\n", + "global step=8101888, episodic return=850.2826538085938\n", + "global step=8101888, episodic return=564.1444702148438\n", + "global step=8103936, episodic return=820.1475830078125\n", + "global step=8103936, episodic return=563.6867065429688\n", + "global step=8103936, episodic return=730.4752807617188\n", + "global step=8103936, episodic return=735.029052734375\n", + "global step=8103936, episodic return=1161.7838134765625\n", + "global step=8103936, episodic return=680.5048828125\n", + "global step=8105984, episodic return=562.485107421875\n", + "global step=8105984, episodic return=2004.235595703125\n", + "global step=8105984, episodic return=615.8924560546875\n", + "global step=8105984, episodic return=595.0447387695312\n", + "global step=8105984, episodic return=615.5311279296875\n", + "global step=8105984, episodic return=721.4959716796875\n", + "global step=8105984, episodic return=608.4697265625\n", + "global step=8105984, episodic return=638.4794921875\n", + "global step=8105984, episodic return=1920.9627685546875\n", + "global step=8108032, episodic return=667.0662231445312\n", + "global step=8108032, episodic return=797.964599609375\n", + "global step=8108032, episodic return=568.3204345703125\n", + "global step=8108032, episodic return=646.9841918945312\n", + "global step=8108032, episodic return=612.4276733398438\n", + "global step=8110080, episodic return=605.59326171875\n", + "global step=8110080, episodic return=747.2391357421875\n", + "global step=8110080, episodic return=718.9653930664062\n", + "global step=8110080, episodic return=646.1948852539062\n", + "global step=8110080, episodic return=1846.593505859375\n", + "global step=8110080, episodic return=1175.0233154296875\n", + "global step=8110080, episodic return=609.4053344726562\n", + "global step=8110080, episodic return=742.5999755859375\n", + "global step=8112128, episodic return=667.2150268554688\n", + "global step=8112128, episodic return=707.3102416992188\n", + "global step=8112128, episodic return=630.2036743164062\n", + "global step=8112128, episodic return=1932.8851318359375\n", + "global step=8112128, episodic return=675.6231079101562\n", + "global step=8114176, episodic return=633.1980590820312\n", + "global step=8114176, episodic return=789.1719360351562\n", + "global step=8114176, episodic return=532.6616821289062\n", + "global step=8116224, episodic return=533.4151611328125\n", + "global step=8116224, episodic return=632.6329956054688\n", + "global step=8118272, episodic return=1877.6121826171875\n", + "global step=8118272, episodic return=661.31640625\n", + "global step=8118272, episodic return=626.5747680664062\n", + "global step=8118272, episodic return=751.7232666015625\n", + "global step=8118272, episodic return=804.4462280273438\n", + "global step=8120320, episodic return=784.4230346679688\n", + "global step=8120320, episodic return=627.6371459960938\n", + "global step=8120320, episodic return=582.8660278320312\n", + "global step=8120320, episodic return=576.5172119140625\n", + "global step=8120320, episodic return=603.4856567382812\n", + "global step=8120320, episodic return=1374.6077880859375\n", + "global step=8120320, episodic return=632.9700927734375\n", + "global step=8122368, episodic return=812.718017578125\n", + "global step=8122368, episodic return=643.8623657226562\n", + "global step=8122368, episodic return=663.1118774414062\n", + "global step=8122368, episodic return=626.4559326171875\n", + "global step=8122368, episodic return=705.1934814453125\n", + "global step=8122368, episodic return=609.3027954101562\n", + "global step=8124416, episodic return=735.8208618164062\n", + "global step=8124416, episodic return=527.9298095703125\n", + "global step=8124416, episodic return=66.24616241455078\n", + "global step=8126464, episodic return=1945.6427001953125\n", + "global step=8126464, episodic return=656.3826904296875\n", + "global step=8126464, episodic return=1899.2767333984375\n", + "global step=8126464, episodic return=742.1197509765625\n", + "global step=8128512, episodic return=1863.864990234375\n", + "global step=8128512, episodic return=805.342529296875\n", + "global step=8128512, episodic return=1968.27734375\n", + "global step=8128512, episodic return=1885.001708984375\n", + "global step=8130560, episodic return=661.937744140625\n", + "global step=8130560, episodic return=1792.441162109375\n", + "global step=8130560, episodic return=1922.12255859375\n", + "global step=8130560, episodic return=657.0923461914062\n", + "global step=8130560, episodic return=980.1279907226562\n", + "global step=8132608, episodic return=655.5179443359375\n", + "global step=8132608, episodic return=1470.720947265625\n", + "global step=8132608, episodic return=497.4305114746094\n", + "global step=8132608, episodic return=905.4544067382812\n", + "global step=8132608, episodic return=1085.426513671875\n", + "global step=8132608, episodic return=1760.447021484375\n", + "global step=8132608, episodic return=599.0638427734375\n", + "global step=8132608, episodic return=929.5975341796875\n", + "global step=8134656, episodic return=597.1174926757812\n", + "global step=8134656, episodic return=692.2323608398438\n", + "global step=8134656, episodic return=666.8616333007812\n", + "global step=8134656, episodic return=599.0953979492188\n", + "global step=8136704, episodic return=802.146728515625\n", + "global step=8138752, episodic return=931.5198974609375\n", + "global step=8138752, episodic return=1755.3543701171875\n", + "global step=8138752, episodic return=695.8018798828125\n", + "global step=8138752, episodic return=447.50518798828125\n", + "global step=8140800, episodic return=1725.5753173828125\n", + "global step=8140800, episodic return=1980.0452880859375\n", + "global step=8142848, episodic return=680.5850830078125\n", + "global step=8142848, episodic return=682.3175048828125\n", + "global step=8142848, episodic return=646.954833984375\n", + "global step=8142848, episodic return=677.7779541015625\n", + "global step=8142848, episodic return=1970.817138671875\n", + "global step=8142848, episodic return=610.0911865234375\n", + "global step=8142848, episodic return=739.3713989257812\n", + "global step=8142848, episodic return=593.6307983398438\n", + "global step=8142848, episodic return=590.8908081054688\n", + "global step=8144896, episodic return=970.517578125\n", + "global step=8144896, episodic return=808.3516235351562\n", + "global step=8144896, episodic return=780.9359741210938\n", + "global step=8146944, episodic return=1085.888427734375\n", + "global step=8146944, episodic return=1981.6046142578125\n", + "global step=8146944, episodic return=706.4259643554688\n", + "global step=8146944, episodic return=1919.0498046875\n", + "global step=8148992, episodic return=1861.499267578125\n", + "global step=8148992, episodic return=672.1004638671875\n", + "global step=8148992, episodic return=1766.6492919921875\n", + "global step=8151040, episodic return=601.4265747070312\n", + "global step=8151040, episodic return=681.8513793945312\n", + "global step=8151040, episodic return=605.8204345703125\n", + "global step=8153088, episodic return=1250.82568359375\n", + "global step=8153088, episodic return=66.47859191894531\n", + "global step=8153088, episodic return=733.0859985351562\n", + "global step=8153088, episodic return=939.5732421875\n", + "global step=8153088, episodic return=840.1724243164062\n", + "global step=8153088, episodic return=783.822998046875\n", + "global step=8155136, episodic return=1854.3748779296875\n", + "global step=8155136, episodic return=855.0618896484375\n", + "global step=8155136, episodic return=667.638916015625\n", + "global step=8155136, episodic return=1490.1463623046875\n", + "global step=8155136, episodic return=673.6806030273438\n", + "global step=8157184, episodic return=587.1702270507812\n", + "global step=8157184, episodic return=1817.1976318359375\n", + "global step=8157184, episodic return=625.064697265625\n", + "global step=8157184, episodic return=729.4397583007812\n", + "global step=8157184, episodic return=1180.2042236328125\n", + "global step=8159232, episodic return=1898.1162109375\n", + "global step=8159232, episodic return=705.3373413085938\n", + "global step=8161280, episodic return=646.4035034179688\n", + "global step=8161280, episodic return=1830.0302734375\n", + "global step=8161280, episodic return=499.27557373046875\n", + "global step=8161280, episodic return=581.27294921875\n", + "global step=8161280, episodic return=1338.4193115234375\n", + "global step=8163328, episodic return=1017.8392944335938\n", + "global step=8163328, episodic return=623.5031127929688\n", + "global step=8165376, episodic return=752.890380859375\n", + "global step=8165376, episodic return=544.658935546875\n", + "global step=8167424, episodic return=763.1021728515625\n", + "global step=8167424, episodic return=654.2145385742188\n", + "global step=8167424, episodic return=680.8710327148438\n", + "global step=8167424, episodic return=634.1923828125\n", + "global step=8167424, episodic return=620.777587890625\n", + "global step=8167424, episodic return=601.7633056640625\n", + "global step=8167424, episodic return=647.1075439453125\n", + "global step=8169472, episodic return=435.26019287109375\n", + "global step=8169472, episodic return=647.5099487304688\n", + "global step=8169472, episodic return=669.6314697265625\n", + "global step=8169472, episodic return=1882.86181640625\n", + "global step=8171520, episodic return=854.5751953125\n", + "global step=8171520, episodic return=601.85400390625\n", + "global step=8171520, episodic return=815.7550048828125\n", + "global step=8173568, episodic return=686.9389038085938\n", + "global step=8173568, episodic return=2010.954345703125\n", + "global step=8175616, episodic return=1089.1650390625\n", + "global step=8175616, episodic return=1870.4912109375\n", + "global step=8175616, episodic return=852.9526977539062\n", + "global step=8175616, episodic return=1943.948974609375\n", + "global step=8177664, episodic return=1501.296142578125\n", + "global step=8177664, episodic return=759.4956665039062\n", + "global step=8177664, episodic return=1069.904541015625\n", + "global step=8177664, episodic return=465.14752197265625\n", + "global step=8179712, episodic return=591.8602905273438\n", + "global step=8179712, episodic return=1906.94189453125\n", + "global step=8179712, episodic return=1176.7860107421875\n", + "global step=8183808, episodic return=707.3687133789062\n", + "global step=8183808, episodic return=1838.64208984375\n", + "global step=8183808, episodic return=632.8477783203125\n", + "global step=8183808, episodic return=639.90869140625\n", + "global step=8185856, episodic return=638.8411865234375\n", + "global step=8185856, episodic return=746.474609375\n", + "global step=8185856, episodic return=1913.88427734375\n", + "global step=8185856, episodic return=686.8789672851562\n", + "global step=8185856, episodic return=649.0294799804688\n", + "global step=8185856, episodic return=719.4519653320312\n", + "global step=8185856, episodic return=667.906494140625\n", + "global step=8187904, episodic return=622.1194458007812\n", + "global step=8187904, episodic return=711.8322143554688\n", + "global step=8189952, episodic return=1392.2926025390625\n", + "global step=8189952, episodic return=671.46337890625\n", + "global step=8189952, episodic return=633.7998657226562\n", + "global step=8189952, episodic return=650.2694702148438\n", + "global step=8189952, episodic return=555.853271484375\n", + "global step=8192000, episodic return=734.6768188476562\n", + "global step=8192000, episodic return=686.5474243164062\n", + "global step=8192000, episodic return=848.0134887695312\n", + "global step=8192000, episodic return=1052.6361083984375\n", + "global step=8196096, episodic return=636.7830200195312\n", + "global step=8196096, episodic return=880.3612060546875\n", + "global step=8196096, episodic return=1898.170166015625\n", + "global step=8198144, episodic return=722.7576293945312\n", + "global step=8200192, episodic return=852.638427734375\n", + "global step=8200192, episodic return=741.591064453125\n", + "global step=8200192, episodic return=625.4843139648438\n", + "global step=8200192, episodic return=733.9022827148438\n", + "global step=8200192, episodic return=1802.1749267578125\n", + "global step=8202240, episodic return=2018.598388671875\n", + "global step=8202240, episodic return=669.3994750976562\n", + "global step=8202240, episodic return=1440.35302734375\n", + "global step=8202240, episodic return=805.1677856445312\n", + "global step=8204288, episodic return=765.2525634765625\n", + "global step=8206336, episodic return=714.802001953125\n", + "global step=8206336, episodic return=655.010498046875\n", + "global step=8206336, episodic return=691.9861450195312\n", + "global step=8208384, episodic return=720.4942626953125\n", + "global step=8208384, episodic return=1353.8367919921875\n", + "global step=8208384, episodic return=608.3749389648438\n", + "global step=8208384, episodic return=962.9426879882812\n", + "global step=8210432, episodic return=1077.9296875\n", + "global step=8210432, episodic return=716.05859375\n", + "global step=8210432, episodic return=849.6676635742188\n", + "global step=8212480, episodic return=1897.864013671875\n", + "global step=8212480, episodic return=1842.4476318359375\n", + "global step=8212480, episodic return=509.5157165527344\n", + "global step=8212480, episodic return=763.587646484375\n", + "global step=8214528, episodic return=632.1196899414062\n", + "global step=8214528, episodic return=721.329345703125\n", + "global step=8214528, episodic return=853.539306640625\n", + "global step=8214528, episodic return=1976.12109375\n", + "global step=8216576, episodic return=1819.727294921875\n", + "global step=8216576, episodic return=909.0143432617188\n", + "global step=8216576, episodic return=750.6904907226562\n", + "global step=8222720, episodic return=791.4852905273438\n", + "global step=8222720, episodic return=695.005126953125\n", + "global step=8222720, episodic return=668.0048828125\n", + "global step=8222720, episodic return=683.7183227539062\n", + "global step=8224768, episodic return=649.0789794921875\n", + "global step=8224768, episodic return=1897.44970703125\n", + "global step=8224768, episodic return=624.847900390625\n", + "global step=8226816, episodic return=686.71923828125\n", + "global step=8228864, episodic return=668.6661987304688\n", + "global step=8228864, episodic return=1974.1824951171875\n", + "global step=8230912, episodic return=1966.4239501953125\n", + "global step=8232960, episodic return=663.8132934570312\n", + "global step=8232960, episodic return=1148.4765625\n", + "global step=8232960, episodic return=664.2374267578125\n", + "global step=8232960, episodic return=671.4365234375\n", + "global step=8232960, episodic return=2028.1461181640625\n", + "global step=8232960, episodic return=789.7646484375\n", + "global step=8232960, episodic return=1828.89404296875\n", + "global step=8235008, episodic return=885.8550415039062\n", + "global step=8237056, episodic return=1892.48828125\n", + "global step=8237056, episodic return=690.3888549804688\n", + "global step=8239104, episodic return=775.071533203125\n", + "global step=8241152, episodic return=672.572998046875\n", + "global step=8241152, episodic return=557.9324340820312\n", + "global step=8241152, episodic return=661.4143676757812\n", + "global step=8241152, episodic return=764.33447265625\n", + "global step=8241152, episodic return=776.1058349609375\n", + "global step=8241152, episodic return=1909.1646728515625\n", + "global step=8243200, episodic return=854.3663330078125\n", + "global step=8243200, episodic return=934.6720581054688\n", + "global step=8243200, episodic return=660.0997924804688\n", + "global step=8245248, episodic return=726.3421020507812\n", + "global step=8245248, episodic return=827.5369873046875\n", + "global step=8245248, episodic return=582.7365112304688\n", + "global step=8247296, episodic return=849.5650024414062\n", + "global step=8247296, episodic return=838.9492797851562\n", + "global step=8247296, episodic return=775.6810913085938\n", + "global step=8249344, episodic return=772.3734130859375\n", + "global step=8249344, episodic return=719.173828125\n", + "global step=8249344, episodic return=686.2218627929688\n", + "global step=8251392, episodic return=772.9017944335938\n", + "global step=8251392, episodic return=798.427978515625\n", + "global step=8253440, episodic return=659.0972900390625\n", + "global step=8253440, episodic return=1962.7525634765625\n", + "global step=8253440, episodic return=737.1907348632812\n", + "global step=8253440, episodic return=847.5608520507812\n", + "global step=8253440, episodic return=694.1124877929688\n", + "global step=8255488, episodic return=775.7526245117188\n", + "global step=8255488, episodic return=782.9451904296875\n", + "global step=8255488, episodic return=1866.0054931640625\n", + "global step=8257536, episodic return=1076.996337890625\n", + "global step=8257536, episodic return=757.8737182617188\n", + "global step=8257536, episodic return=548.4470825195312\n", + "global step=8259584, episodic return=1984.800537109375\n", + "global step=8259584, episodic return=1413.6622314453125\n", + "global step=8261632, episodic return=1505.45166015625\n", + "global step=8263680, episodic return=901.2991333007812\n", + "global step=8263680, episodic return=1045.885498046875\n", + "global step=8263680, episodic return=1050.9444580078125\n", + "global step=8263680, episodic return=872.08935546875\n", + "global step=8265728, episodic return=1151.3846435546875\n", + "global step=8265728, episodic return=790.1981811523438\n", + "global step=8265728, episodic return=1347.2872314453125\n", + "global step=8269824, episodic return=579.0654296875\n", + "global step=8269824, episodic return=844.575927734375\n", + "global step=8269824, episodic return=1981.869873046875\n", + "global step=8269824, episodic return=759.6356201171875\n", + "global step=8269824, episodic return=680.5360107421875\n", + "global step=8271872, episodic return=1669.0009765625\n", + "global step=8271872, episodic return=759.6076049804688\n", + "global step=8271872, episodic return=1872.4681396484375\n", + "global step=8273920, episodic return=1914.1025390625\n", + "global step=8273920, episodic return=793.1353759765625\n", + "global step=8273920, episodic return=807.826171875\n", + "global step=8275968, episodic return=1892.237060546875\n", + "global step=8275968, episodic return=732.6865234375\n", + "global step=8278016, episodic return=584.1392211914062\n", + "global step=8280064, episodic return=804.3809204101562\n", + "global step=8280064, episodic return=758.583251953125\n", + "global step=8284160, episodic return=58.84693145751953\n", + "global step=8284160, episodic return=69.60142517089844\n", + "global step=8284160, episodic return=26.39218521118164\n", + "global step=8284160, episodic return=853.0411987304688\n", + "global step=8286208, episodic return=1888.640625\n", + "global step=8290304, episodic return=855.83740234375\n", + "global step=8290304, episodic return=1095.986083984375\n", + "global step=8290304, episodic return=710.6505126953125\n", + "global step=8292352, episodic return=997.5824584960938\n", + "global step=8292352, episodic return=814.072509765625\n", + "global step=8292352, episodic return=808.204345703125\n", + "global step=8292352, episodic return=724.8331909179688\n", + "global step=8292352, episodic return=879.0474853515625\n", + "global step=8294400, episodic return=839.3192138671875\n", + "global step=8294400, episodic return=933.23486328125\n", + "global step=8296448, episodic return=753.4633178710938\n", + "global step=8296448, episodic return=71.59991455078125\n", + "global step=8302592, episodic return=710.2111206054688\n", + "global step=8302592, episodic return=1005.2946166992188\n", + "global step=8302592, episodic return=1884.4296875\n", + "global step=8302592, episodic return=792.8444213867188\n", + "global step=8306688, episodic return=1409.89208984375\n", + "global step=8306688, episodic return=760.9194946289062\n", + "global step=8308736, episodic return=1969.7305908203125\n", + "global step=8310784, episodic return=631.3319702148438\n", + "global step=8310784, episodic return=55.27284240722656\n", + "global step=8310784, episodic return=705.2906494140625\n", + "global step=8310784, episodic return=980.7660522460938\n", + "global step=8312832, episodic return=1932.3619384765625\n", + "global step=8312832, episodic return=916.5509643554688\n", + "global step=8314880, episodic return=63.80293273925781\n", + "global step=8314880, episodic return=771.40234375\n", + "global step=8316928, episodic return=26.59012222290039\n", + "global step=8318976, episodic return=1302.820068359375\n", + "global step=8318976, episodic return=933.017822265625\n", + "global step=8321024, episodic return=731.7496337890625\n", + "global step=8323072, episodic return=1161.63818359375\n", + "global step=8325120, episodic return=596.2866821289062\n", + "global step=8325120, episodic return=739.8768310546875\n", + "global step=8325120, episodic return=624.9414672851562\n", + "global step=8327168, episodic return=862.7527465820312\n", + "global step=8329216, episodic return=814.1594848632812\n", + "global step=8329216, episodic return=896.0663452148438\n", + "global step=8331264, episodic return=1004.6221923828125\n", + "global step=8331264, episodic return=851.6670532226562\n", + "global step=8333312, episodic return=754.5560913085938\n", + "global step=8335360, episodic return=564.0646362304688\n", + "global step=8339456, episodic return=1546.18701171875\n", + "global step=8339456, episodic return=860.068359375\n", + "global step=8339456, episodic return=889.10107421875\n", + "global step=8341504, episodic return=859.2960815429688\n", + "global step=8341504, episodic return=899.0364379882812\n", + "global step=8341504, episodic return=2025.50439453125\n", + "global step=8343552, episodic return=740.7236938476562\n", + "global step=8343552, episodic return=846.3412475585938\n", + "global step=8345600, episodic return=842.4617309570312\n", + "global step=8345600, episodic return=828.3147583007812\n", + "global step=8347648, episodic return=700.359130859375\n", + "global step=8347648, episodic return=523.6610717773438\n", + "global step=8349696, episodic return=552.6511840820312\n", + "global step=8351744, episodic return=1900.06982421875\n", + "global step=8351744, episodic return=847.7867431640625\n", + "global step=8353792, episodic return=730.0501708984375\n", + "global step=8355840, episodic return=912.946044921875\n", + "global step=8357888, episodic return=700.47509765625\n", + "global step=8357888, episodic return=490.2124938964844\n", + "global step=8361984, episodic return=1998.174072265625\n", + "global step=8366080, episodic return=471.4928894042969\n", + "global step=8366080, episodic return=1253.657470703125\n", + "global step=8370176, episodic return=1001.633056640625\n", + "global step=8370176, episodic return=2022.1685791015625\n", + "global step=8372224, episodic return=599.29345703125\n", + "global step=8372224, episodic return=1064.5247802734375\n", + "global step=8372224, episodic return=1395.888671875\n", + "global step=8376320, episodic return=982.261474609375\n", + "global step=8378368, episodic return=851.897705078125\n", + "global step=8378368, episodic return=592.6593627929688\n", + "global step=8380416, episodic return=974.1266479492188\n", + "global step=8380416, episodic return=573.3160400390625\n", + "global step=8384512, episodic return=993.9385986328125\n", + "global step=8384512, episodic return=741.349609375\n", + "global step=8384512, episodic return=538.2597045898438\n", + "global step=8384512, episodic return=1516.6390380859375\n", + "global step=8386560, episodic return=1916.8897705078125\n", + "global step=8386560, episodic return=963.2462768554688\n", + "global step=8388608, episodic return=1512.091064453125\n", + "global step=8388608, episodic return=780.8875122070312\n", + "global step=8392704, episodic return=582.287109375\n", + "global step=8392704, episodic return=565.55029296875\n", + "global step=8394752, episodic return=1080.3082275390625\n", + "global step=8398848, episodic return=1442.7222900390625\n", + "global step=8400896, episodic return=611.5022583007812\n", + "global step=8402944, episodic return=601.4596557617188\n", + "global step=8404992, episodic return=2003.3466796875\n", + "global step=8409088, episodic return=554.20947265625\n", + "global step=8409088, episodic return=1291.1087646484375\n", + "global step=8409088, episodic return=977.7032470703125\n", + "global step=8411136, episodic return=685.4258422851562\n", + "global step=8413184, episodic return=939.2804565429688\n", + "global step=8413184, episodic return=961.7658081054688\n", + "global step=8415232, episodic return=634.0353393554688\n", + "global step=8415232, episodic return=1007.721923828125\n", + "global step=8415232, episodic return=540.9283447265625\n", + "global step=8415232, episodic return=1001.7765502929688\n", + "global step=8415232, episodic return=960.6176147460938\n", + "global step=8417280, episodic return=2007.77978515625\n", + "global step=8419328, episodic return=843.9833984375\n", + "global step=8419328, episodic return=1285.3116455078125\n", + "global step=8419328, episodic return=925.1596069335938\n", + "global step=8421376, episodic return=582.9029541015625\n", + "global step=8421376, episodic return=990.8297729492188\n", + "global step=8423424, episodic return=468.4622802734375\n", + "global step=8423424, episodic return=924.186279296875\n", + "global step=8427520, episodic return=989.76416015625\n", + "global step=8427520, episodic return=647.3096923828125\n", + "global step=8427520, episodic return=993.1395874023438\n", + "global step=8427520, episodic return=944.9718017578125\n", + "global step=8427520, episodic return=483.1934509277344\n", + "global step=8427520, episodic return=975.3819580078125\n", + "global step=8429568, episodic return=1575.0582275390625\n", + "global step=8429568, episodic return=688.4093627929688\n", + "global step=8431616, episodic return=773.933837890625\n", + "global step=8435712, episodic return=526.659912109375\n", + "global step=8435712, episodic return=817.8359985351562\n", + "global step=8435712, episodic return=678.4808349609375\n", + "global step=8435712, episodic return=902.513916015625\n", + "global step=8435712, episodic return=574.80126953125\n", + "global step=8439808, episodic return=1007.4273681640625\n", + "global step=8439808, episodic return=1472.3038330078125\n", + "global step=8439808, episodic return=1013.385986328125\n", + "global step=8439808, episodic return=647.22119140625\n", + "global step=8441856, episodic return=659.5202026367188\n", + "global step=8441856, episodic return=285.6265563964844\n", + "global step=8441856, episodic return=839.8548583984375\n", + "global step=8443904, episodic return=689.8091430664062\n", + "global step=8443904, episodic return=688.1797485351562\n", + "global step=8443904, episodic return=57.195411682128906\n", + "global step=8445952, episodic return=1955.248291015625\n", + "global step=8448000, episodic return=702.1819458007812\n", + "global step=8450048, episodic return=1490.39599609375\n", + "global step=8450048, episodic return=859.7001342773438\n", + "global step=8450048, episodic return=53.76868438720703\n", + "global step=8450048, episodic return=1705.7547607421875\n", + "global step=8450048, episodic return=233.37120056152344\n", + "global step=8450048, episodic return=62.213661193847656\n", + "global step=8450048, episodic return=555.4303588867188\n", + "global step=8450048, episodic return=993.9439697265625\n", + "global step=8452096, episodic return=26.442842483520508\n", + "global step=8454144, episodic return=629.41796875\n", + "global step=8454144, episodic return=1950.622314453125\n", + "global step=8456192, episodic return=676.8388061523438\n", + "global step=8456192, episodic return=1595.203369140625\n", + "global step=8456192, episodic return=709.5294189453125\n", + "global step=8456192, episodic return=704.331787109375\n", + "global step=8458240, episodic return=1236.6993408203125\n", + "global step=8458240, episodic return=489.7772521972656\n", + "global step=8458240, episodic return=803.23828125\n", + "global step=8458240, episodic return=600.0150756835938\n", + "global step=8460288, episodic return=627.3945922851562\n", + "global step=8460288, episodic return=1068.260498046875\n", + "global step=8460288, episodic return=1514.4180908203125\n", + "global step=8460288, episodic return=622.1107177734375\n", + "global step=8462336, episodic return=548.6461791992188\n", + "global step=8466432, episodic return=261.2219543457031\n", + "global step=8466432, episodic return=1035.0506591796875\n", + "global step=8468480, episodic return=461.05023193359375\n", + "global step=8468480, episodic return=664.9039916992188\n", + "global step=8468480, episodic return=906.3596801757812\n", + "global step=8470528, episodic return=507.3971252441406\n", + "global step=8470528, episodic return=701.5103759765625\n", + "global step=8472576, episodic return=1074.9432373046875\n", + "global step=8472576, episodic return=1008.1008911132812\n", + "global step=8474624, episodic return=1076.9136962890625\n", + "global step=8474624, episodic return=1056.05810546875\n", + "global step=8476672, episodic return=1487.652099609375\n", + "global step=8476672, episodic return=1009.0906982421875\n", + "global step=8476672, episodic return=613.8888549804688\n", + "global step=8476672, episodic return=1039.72216796875\n", + "global step=8478720, episodic return=81.94244384765625\n", + "global step=8478720, episodic return=847.5136108398438\n", + "global step=8480768, episodic return=1018.2561645507812\n", + "global step=8480768, episodic return=1016.4492797851562\n", + "global step=8482816, episodic return=1471.7086181640625\n", + "global step=8482816, episodic return=288.68524169921875\n", + "global step=8482816, episodic return=580.7548828125\n", + "global step=8482816, episodic return=975.400390625\n", + "global step=8484864, episodic return=1910.4879150390625\n", + "global step=8488960, episodic return=1181.2083740234375\n", + "global step=8491008, episodic return=453.1252746582031\n", + "global step=8491008, episodic return=1473.82763671875\n", + "global step=8493056, episodic return=1400.5074462890625\n", + "global step=8493056, episodic return=597.8216552734375\n", + "global step=8495104, episodic return=596.9022827148438\n", + "global step=8495104, episodic return=709.1224975585938\n", + "global step=8497152, episodic return=1027.0474853515625\n", + "global step=8497152, episodic return=573.6383666992188\n", + "global step=8501248, episodic return=736.7998046875\n", + "global step=8501248, episodic return=69.80845642089844\n", + "global step=8503296, episodic return=1119.081787109375\n", + "global step=8505344, episodic return=1147.4954833984375\n", + "global step=8509440, episodic return=324.27630615234375\n", + "global step=8509440, episodic return=599.584716796875\n", + "global step=8511488, episodic return=629.7138671875\n", + "global step=8511488, episodic return=884.5316162109375\n", + "global step=8511488, episodic return=689.4434814453125\n", + "global step=8517632, episodic return=1134.5667724609375\n", + "global step=8519680, episodic return=1104.234375\n", + "global step=8519680, episodic return=589.9346923828125\n", + "global step=8519680, episodic return=1051.504150390625\n", + "global step=8519680, episodic return=714.0297241210938\n", + "global step=8519680, episodic return=702.8975830078125\n", + "global step=8523776, episodic return=1895.0260009765625\n", + "global step=8523776, episodic return=672.8596801757812\n", + "global step=8525824, episodic return=1283.66845703125\n", + "global step=8525824, episodic return=522.5107421875\n", + "global step=8525824, episodic return=725.5863647460938\n", + "global step=8527872, episodic return=1125.1507568359375\n", + "global step=8529920, episodic return=688.8106689453125\n", + "global step=8529920, episodic return=353.6446838378906\n", + "global step=8529920, episodic return=808.8402099609375\n", + "global step=8529920, episodic return=693.9619140625\n", + "global step=8536064, episodic return=654.2864379882812\n", + "global step=8538112, episodic return=1182.4696044921875\n", + "global step=8538112, episodic return=430.0254211425781\n", + "global step=8540160, episodic return=764.6378173828125\n", + "global step=8540160, episodic return=1090.0078125\n", + "global step=8540160, episodic return=539.8847045898438\n", + "global step=8542208, episodic return=522.1041259765625\n", + "global step=8542208, episodic return=1478.2874755859375\n", + "global step=8548352, episodic return=1151.3489990234375\n", + "global step=8548352, episodic return=815.2254638671875\n", + "global step=8548352, episodic return=1522.3121337890625\n", + "global step=8556544, episodic return=569.6390380859375\n", + "global step=8556544, episodic return=322.4527893066406\n", + "global step=8560640, episodic return=533.87158203125\n", + "global step=8562688, episodic return=1257.88330078125\n", + "global step=8562688, episodic return=1028.662109375\n", + "global step=8564736, episodic return=1924.8116455078125\n", + "global step=8564736, episodic return=986.3751831054688\n", + "global step=8566784, episodic return=1768.09228515625\n", + "global step=8566784, episodic return=547.5474243164062\n", + "global step=8568832, episodic return=557.0016479492188\n", + "global step=8570880, episodic return=863.480712890625\n", + "global step=8570880, episodic return=636.1642456054688\n", + "global step=8572928, episodic return=550.2830810546875\n", + "global step=8572928, episodic return=488.27130126953125\n", + "global step=8572928, episodic return=716.9223022460938\n", + "global step=8574976, episodic return=640.986328125\n", + "global step=8574976, episodic return=782.400390625\n", + "global step=8577024, episodic return=588.1820678710938\n", + "global step=8579072, episodic return=1170.1707763671875\n", + "global step=8581120, episodic return=1161.4368896484375\n", + "global step=8581120, episodic return=767.09228515625\n", + "global step=8583168, episodic return=1572.6146240234375\n", + "global step=8587264, episodic return=490.80120849609375\n", + "global step=8591360, episodic return=579.2233276367188\n", + "global step=8593408, episodic return=514.459228515625\n", + "global step=8595456, episodic return=1192.945556640625\n", + "global step=8597504, episodic return=1387.923095703125\n", + "global step=8599552, episodic return=997.44140625\n", + "global step=8601600, episodic return=637.7060546875\n", + "global step=8601600, episodic return=820.2491455078125\n", + "global step=8605696, episodic return=629.4783935546875\n", + "global step=8609792, episodic return=2073.09912109375\n", + "global step=8611840, episodic return=570.3873901367188\n", + "global step=8611840, episodic return=741.8344116210938\n", + "global step=8611840, episodic return=795.0045166015625\n", + "global step=8613888, episodic return=833.1112060546875\n", + "global step=8615936, episodic return=810.7091064453125\n", + "global step=8617984, episodic return=559.900146484375\n", + "global step=8617984, episodic return=562.9972534179688\n", + "global step=8617984, episodic return=788.6865844726562\n", + "global step=8617984, episodic return=539.2725830078125\n", + "global step=8620032, episodic return=1839.660400390625\n", + "global step=8620032, episodic return=609.807373046875\n", + "global step=8622080, episodic return=649.30517578125\n", + "global step=8624128, episodic return=986.57568359375\n", + "global step=8624128, episodic return=1220.9271240234375\n", + "global step=8624128, episodic return=1119.69482421875\n", + "global step=8624128, episodic return=1115.96337890625\n", + "global step=8628224, episodic return=816.0372314453125\n", + "global step=8630272, episodic return=1005.0205078125\n", + "global step=8634368, episodic return=650.990478515625\n", + "global step=8634368, episodic return=742.4724731445312\n", + "global step=8636416, episodic return=597.6544189453125\n", + "global step=8638464, episodic return=713.2076416015625\n", + "global step=8638464, episodic return=640.60888671875\n", + "global step=8640512, episodic return=750.4168701171875\n", + "global step=8644608, episodic return=2000.0316162109375\n", + "global step=8644608, episodic return=1958.393798828125\n", + "global step=8646656, episodic return=760.5470581054688\n", + "global step=8646656, episodic return=1946.593994140625\n", + "global step=8646656, episodic return=1555.827392578125\n", + "global step=8646656, episodic return=1121.48876953125\n", + "global step=8650752, episodic return=889.369140625\n", + "global step=8652800, episodic return=873.769775390625\n", + "global step=8656896, episodic return=1400.287109375\n", + "global step=8663040, episodic return=1983.977294921875\n", + "global step=8665088, episodic return=165.92857360839844\n", + "global step=8665088, episodic return=561.873291015625\n", + "global step=8665088, episodic return=602.5747680664062\n", + "global step=8667136, episodic return=1917.074951171875\n", + "global step=8667136, episodic return=602.6705322265625\n", + "global step=8667136, episodic return=519.2207641601562\n", + "global step=8669184, episodic return=2087.089111328125\n", + "global step=8671232, episodic return=910.1464233398438\n", + "global step=8675328, episodic return=559.7872924804688\n", + "global step=8675328, episodic return=854.4915161132812\n", + "global step=8677376, episodic return=1014.3133544921875\n", + "global step=8677376, episodic return=814.962158203125\n", + "global step=8679424, episodic return=153.49803161621094\n", + "global step=8679424, episodic return=1272.8140869140625\n", + "global step=8681472, episodic return=917.6477661132812\n", + "global step=8683520, episodic return=1402.6812744140625\n", + "global step=8683520, episodic return=1297.9923095703125\n", + "global step=8685568, episodic return=1267.6094970703125\n", + "global step=8687616, episodic return=163.24156188964844\n", + "global step=8687616, episodic return=1931.33203125\n", + "global step=8689664, episodic return=794.800048828125\n", + "global step=8693760, episodic return=165.60975646972656\n", + "global step=8693760, episodic return=1192.230224609375\n", + "global step=8693760, episodic return=1182.5810546875\n", + "global step=8693760, episodic return=678.7142944335938\n", + "global step=8695808, episodic return=1087.87109375\n", + "global step=8697856, episodic return=584.7054443359375\n", + "global step=8697856, episodic return=956.5498657226562\n", + "global step=8699904, episodic return=2066.072265625\n", + "global step=8699904, episodic return=898.8115844726562\n", + "global step=8704000, episodic return=192.35914611816406\n", + "global step=8706048, episodic return=1981.78466796875\n", + "global step=8706048, episodic return=1301.1671142578125\n", + "global step=8706048, episodic return=713.7239990234375\n", + "global step=8706048, episodic return=998.8982543945312\n", + "global step=8706048, episodic return=493.75518798828125\n", + "global step=8710144, episodic return=700.8619384765625\n", + "global step=8710144, episodic return=530.4107666015625\n", + "global step=8710144, episodic return=865.0064697265625\n", + "global step=8712192, episodic return=1248.65966796875\n", + "global step=8714240, episodic return=1762.644287109375\n", + "global step=8714240, episodic return=501.6031188964844\n", + "global step=8716288, episodic return=1985.6614990234375\n", + "global step=8716288, episodic return=688.0745849609375\n", + "global step=8718336, episodic return=617.9357299804688\n", + "global step=8718336, episodic return=1152.386962890625\n", + "global step=8718336, episodic return=64.1063232421875\n", + "global step=8720384, episodic return=725.8361206054688\n", + "global step=8720384, episodic return=442.85888671875\n", + "global step=8722432, episodic return=590.6481323242188\n", + "global step=8722432, episodic return=765.2644653320312\n", + "global step=8724480, episodic return=1202.1676025390625\n", + "global step=8724480, episodic return=907.8965454101562\n", + "global step=8724480, episodic return=1278.608642578125\n", + "global step=8726528, episodic return=624.0659790039062\n", + "global step=8728576, episodic return=2059.90771484375\n", + "global step=8728576, episodic return=857.2964477539062\n", + "global step=8728576, episodic return=753.9215087890625\n", + "global step=8728576, episodic return=919.1928100585938\n", + "global step=8730624, episodic return=2126.309814453125\n", + "global step=8730624, episodic return=947.7409057617188\n", + "global step=8730624, episodic return=1389.87353515625\n", + "global step=8730624, episodic return=2007.7474365234375\n", + "global step=8732672, episodic return=189.6493682861328\n", + "global step=8732672, episodic return=451.51202392578125\n", + "global step=8734720, episodic return=1956.8563232421875\n", + "global step=8734720, episodic return=1535.44677734375\n", + "global step=8734720, episodic return=1382.615234375\n", + "global step=8734720, episodic return=1991.7203369140625\n", + "global step=8734720, episodic return=940.7401123046875\n", + "global step=8734720, episodic return=1169.4356689453125\n", + "global step=8736768, episodic return=685.8233642578125\n", + "global step=8738816, episodic return=1934.667724609375\n", + "global step=8740864, episodic return=955.0576782226562\n", + "global step=8740864, episodic return=2133.696533203125\n", + "global step=8740864, episodic return=1825.919921875\n", + "global step=8740864, episodic return=969.10791015625\n", + "global step=8740864, episodic return=2053.401123046875\n", + "global step=8742912, episodic return=761.9487915039062\n", + "global step=8742912, episodic return=1010.6060180664062\n", + "global step=8744960, episodic return=20.024778366088867\n", + "global step=8744960, episodic return=2003.283935546875\n", + "global step=8747008, episodic return=732.2229614257812\n", + "global step=8747008, episodic return=759.4136962890625\n", + "global step=8747008, episodic return=722.7637939453125\n", + "global step=8749056, episodic return=1870.2967529296875\n", + "global step=8751104, episodic return=995.693115234375\n", + "global step=8755200, episodic return=1925.7847900390625\n", + "global step=8757248, episodic return=719.164794921875\n", + "global step=8757248, episodic return=660.02294921875\n", + "global step=8759296, episodic return=1993.2987060546875\n", + "global step=8759296, episodic return=2127.15283203125\n", + "global step=8759296, episodic return=1637.884765625\n", + "global step=8759296, episodic return=973.2672729492188\n", + "global step=8759296, episodic return=818.1602783203125\n", + "global step=8761344, episodic return=878.2227783203125\n", + "global step=8761344, episodic return=1347.6927490234375\n", + "global step=8763392, episodic return=656.7755126953125\n", + "global step=8763392, episodic return=589.6655883789062\n", + "global step=8763392, episodic return=826.3091430664062\n", + "global step=8763392, episodic return=54.68956756591797\n", + "global step=8763392, episodic return=1693.8599853515625\n", + "global step=8765440, episodic return=1816.3626708984375\n", + "global step=8765440, episodic return=775.53515625\n", + "global step=8765440, episodic return=1274.041015625\n", + "global step=8767488, episodic return=1985.528076171875\n", + "global step=8769536, episodic return=647.556396484375\n", + "global step=8769536, episodic return=19.969804763793945\n", + "global step=8769536, episodic return=601.8927612304688\n", + "global step=8769536, episodic return=1001.096435546875\n", + "global step=8771584, episodic return=970.4500122070312\n", + "global step=8771584, episodic return=644.5634155273438\n", + "global step=8771584, episodic return=1178.5833740234375\n", + "global step=8771584, episodic return=1827.3211669921875\n", + "global step=8773632, episodic return=641.34228515625\n", + "global step=8773632, episodic return=702.4573974609375\n", + "global step=8773632, episodic return=1588.7169189453125\n", + "global step=8775680, episodic return=1009.6674194335938\n", + "global step=8775680, episodic return=1438.096923828125\n", + "global step=8775680, episodic return=671.4710693359375\n", + "global step=8775680, episodic return=2019.220947265625\n", + "global step=8777728, episodic return=860.4828491210938\n", + "global step=8779776, episodic return=867.9921264648438\n", + "global step=8779776, episodic return=727.3618774414062\n", + "global step=8781824, episodic return=23.193700790405273\n", + "global step=8785920, episodic return=858.0429077148438\n", + "global step=8785920, episodic return=1553.687744140625\n", + "global step=8785920, episodic return=1360.7415771484375\n", + "global step=8785920, episodic return=1155.9600830078125\n", + "global step=8785920, episodic return=1057.9053955078125\n", + "global step=8787968, episodic return=644.4053344726562\n", + "global step=8787968, episodic return=814.55859375\n", + "global step=8787968, episodic return=1381.3095703125\n", + "global step=8790016, episodic return=723.7889404296875\n", + "global step=8790016, episodic return=2031.51708984375\n", + "global step=8792064, episodic return=954.5068969726562\n", + "global step=8792064, episodic return=625.9244995117188\n", + "global step=8794112, episodic return=803.90087890625\n", + "global step=8794112, episodic return=217.7327423095703\n", + "global step=8796160, episodic return=1128.5758056640625\n", + "global step=8796160, episodic return=1325.738037109375\n", + "global step=8796160, episodic return=750.324462890625\n", + "global step=8798208, episodic return=451.3154602050781\n", + "global step=8798208, episodic return=541.0466918945312\n", + "global step=8802304, episodic return=1356.42724609375\n", + "global step=8804352, episodic return=2061.0947265625\n", + "global step=8804352, episodic return=846.5468139648438\n", + "global step=8804352, episodic return=1299.850830078125\n", + "global step=8806400, episodic return=739.5215454101562\n", + "global step=8806400, episodic return=970.8994140625\n", + "global step=8808448, episodic return=610.038818359375\n", + "global step=8808448, episodic return=60.50224304199219\n", + "global step=8808448, episodic return=506.2541809082031\n", + "global step=8808448, episodic return=2002.648193359375\n", + "global step=8810496, episodic return=1612.9798583984375\n", + "global step=8810496, episodic return=588.6390380859375\n", + "global step=8810496, episodic return=755.4532470703125\n", + "global step=8812544, episodic return=17.670438766479492\n", + "global step=8814592, episodic return=569.3463745117188\n", + "global step=8814592, episodic return=861.8859252929688\n", + "global step=8816640, episodic return=853.9091796875\n", + "global step=8816640, episodic return=1809.0625\n", + "global step=8816640, episodic return=1193.1962890625\n", + "global step=8818688, episodic return=65.46822357177734\n", + "global step=8818688, episodic return=820.2839965820312\n", + "global step=8820736, episodic return=893.8793334960938\n", + "global step=8820736, episodic return=574.0526123046875\n", + "global step=8820736, episodic return=2090.278076171875\n", + "global step=8820736, episodic return=978.0142211914062\n", + "global step=8822784, episodic return=958.0391235351562\n", + "global step=8822784, episodic return=643.1568603515625\n", + "global step=8822784, episodic return=1388.12841796875\n", + "global step=8822784, episodic return=532.2289428710938\n", + "global step=8828928, episodic return=801.5601196289062\n", + "global step=8828928, episodic return=23.9768009185791\n", + "global step=8830976, episodic return=968.0736694335938\n", + "global step=8833024, episodic return=722.5034790039062\n", + "global step=8833024, episodic return=946.3563842773438\n", + "global step=8835072, episodic return=942.9850463867188\n", + "global step=8839168, episodic return=691.2880859375\n", + "global step=8839168, episodic return=713.0406494140625\n", + "global step=8839168, episodic return=535.0133666992188\n", + "global step=8841216, episodic return=957.6734619140625\n", + "global step=8841216, episodic return=1995.2310791015625\n", + "global step=8841216, episodic return=763.263916015625\n", + "global step=8843264, episodic return=900.5303344726562\n", + "global step=8843264, episodic return=1069.3975830078125\n", + "global step=8845312, episodic return=589.199951171875\n", + "global step=8847360, episodic return=736.725341796875\n", + "global step=8847360, episodic return=2095.24072265625\n", + "global step=8849408, episodic return=1349.4915771484375\n", + "global step=8849408, episodic return=2091.467529296875\n", + "global step=8849408, episodic return=1043.62744140625\n", + "global step=8853504, episodic return=2038.2823486328125\n", + "global step=8853504, episodic return=978.290771484375\n", + "global step=8853504, episodic return=69.720458984375\n", + "global step=8855552, episodic return=788.341064453125\n", + "global step=8863744, episodic return=400.8540954589844\n", + "global step=8867840, episodic return=2035.1207275390625\n", + "global step=8869888, episodic return=746.213134765625\n", + "global step=8869888, episodic return=789.87451171875\n", + "global step=8871936, episodic return=195.92169189453125\n", + "global step=8871936, episodic return=2061.6953125\n", + "global step=8876032, episodic return=319.01361083984375\n", + "global step=8878080, episodic return=598.4925537109375\n", + "global step=8878080, episodic return=798.5496826171875\n", + "global step=8880128, episodic return=1077.06396484375\n", + "global step=8880128, episodic return=2050.304931640625\n", + "global step=8882176, episodic return=2061.825927734375\n", + "global step=8884224, episodic return=984.595703125\n", + "global step=8886272, episodic return=624.4327392578125\n", + "global step=8886272, episodic return=1014.9525756835938\n", + "global step=8886272, episodic return=964.323486328125\n", + "global step=8886272, episodic return=643.1392211914062\n", + "global step=8888320, episodic return=1175.3480224609375\n", + "global step=8892416, episodic return=1122.3756103515625\n", + "global step=8892416, episodic return=988.9420776367188\n", + "global step=8892416, episodic return=593.7256469726562\n", + "global step=8892416, episodic return=2035.3226318359375\n", + "global step=8894464, episodic return=916.8912353515625\n", + "global step=8894464, episodic return=2126.08935546875\n", + "global step=8896512, episodic return=2083.676025390625\n", + "global step=8900608, episodic return=544.572021484375\n", + "global step=8900608, episodic return=738.1682739257812\n", + "global step=8900608, episodic return=1062.8218994140625\n", + "global step=8902656, episodic return=1115.1678466796875\n", + "global step=8904704, episodic return=908.4872436523438\n", + "global step=8904704, episodic return=873.5130004882812\n", + "global step=8906752, episodic return=1465.71923828125\n", + "global step=8912896, episodic return=1189.530517578125\n", + "global step=8912896, episodic return=416.9455261230469\n", + "global step=8914944, episodic return=707.0529174804688\n", + "global step=8916992, episodic return=886.0740356445312\n", + "global step=8916992, episodic return=1040.57861328125\n", + "global step=8916992, episodic return=1538.884521484375\n", + "global step=8916992, episodic return=805.4646606445312\n", + "global step=8919040, episodic return=618.3065795898438\n", + "global step=8919040, episodic return=885.4026489257812\n", + "global step=8921088, episodic return=2045.982177734375\n", + "global step=8921088, episodic return=1988.81787109375\n", + "global step=8923136, episodic return=1186.86669921875\n", + "global step=8923136, episodic return=860.2265014648438\n", + "global step=8923136, episodic return=542.8733520507812\n", + "global step=8925184, episodic return=1111.95654296875\n", + "global step=8927232, episodic return=1241.790283203125\n", + "global step=8927232, episodic return=1940.5074462890625\n", + "global step=8927232, episodic return=1649.398681640625\n", + "global step=8927232, episodic return=2123.240478515625\n", + "global step=8929280, episodic return=1839.6375732421875\n", + "global step=8931328, episodic return=919.6370849609375\n", + "global step=8931328, episodic return=2082.508544921875\n", + "global step=8931328, episodic return=1602.0802001953125\n", + "global step=8937472, episodic return=243.60940551757812\n", + "global step=8939520, episodic return=2087.331298828125\n", + "global step=8939520, episodic return=852.918701171875\n", + "global step=8943616, episodic return=582.6209106445312\n", + "global step=8945664, episodic return=670.3422241210938\n", + "global step=8945664, episodic return=2040.7362060546875\n", + "global step=8945664, episodic return=692.251708984375\n", + "global step=8945664, episodic return=492.364501953125\n", + "global step=8951808, episodic return=2089.7724609375\n", + "global step=8953856, episodic return=1452.027099609375\n", + "global step=8955904, episodic return=826.0958251953125\n", + "global step=8955904, episodic return=407.0321960449219\n", + "global step=8955904, episodic return=1668.5048828125\n", + "global step=8960000, episodic return=1272.9051513671875\n", + "global step=8960000, episodic return=2125.375\n", + "global step=8960000, episodic return=792.1663818359375\n", + "global step=8962048, episodic return=1161.3695068359375\n", + "global step=8964096, episodic return=1995.8856201171875\n", + "global step=8964096, episodic return=2087.698974609375\n", + "global step=8964096, episodic return=2037.4293212890625\n", + "global step=8966144, episodic return=781.2218017578125\n", + "global step=8966144, episodic return=2042.8603515625\n", + "global step=8966144, episodic return=240.05006408691406\n", + "global step=8968192, episodic return=1519.15283203125\n", + "global step=8968192, episodic return=425.7635803222656\n", + "global step=8968192, episodic return=2137.671142578125\n", + "global step=8970240, episodic return=2077.652099609375\n", + "global step=8970240, episodic return=1984.591796875\n", + "global step=8970240, episodic return=2039.81494140625\n", + "global step=8972288, episodic return=970.8817138671875\n", + "global step=8972288, episodic return=969.3872680664062\n", + "global step=8974336, episodic return=1010.62646484375\n", + "global step=8976384, episodic return=1157.343994140625\n", + "global step=8976384, episodic return=2026.5198974609375\n", + "global step=8976384, episodic return=68.77893829345703\n", + "global step=8976384, episodic return=2045.066162109375\n", + "global step=8980480, episodic return=2088.843994140625\n", + "global step=8982528, episodic return=2085.531494140625\n", + "global step=8982528, episodic return=2097.001708984375\n", + "global step=8982528, episodic return=953.457763671875\n", + "global step=8982528, episodic return=919.610595703125\n", + "global step=8984576, episodic return=880.8175659179688\n", + "global step=8984576, episodic return=2119.901611328125\n", + "global step=8984576, episodic return=859.6276245117188\n", + "global step=8984576, episodic return=1199.0799560546875\n", + "global step=8986624, episodic return=835.0288696289062\n", + "global step=8986624, episodic return=645.8148193359375\n", + "global step=8986624, episodic return=1001.2828369140625\n", + "global step=8986624, episodic return=459.8232727050781\n", + "global step=8988672, episodic return=2039.3018798828125\n", + "global step=8988672, episodic return=616.4835815429688\n", + "global step=8988672, episodic return=1769.317626953125\n", + "global step=8990720, episodic return=2154.154052734375\n", + "global step=8990720, episodic return=381.47930908203125\n", + "global step=8990720, episodic return=1163.310791015625\n", + "global step=8990720, episodic return=441.7364196777344\n", + "global step=8992768, episodic return=1668.4288330078125\n", + "global step=8992768, episodic return=531.5770263671875\n", + "global step=8992768, episodic return=646.9609375\n", + "global step=8994816, episodic return=710.4681396484375\n", + "global step=8994816, episodic return=779.2806396484375\n", + "global step=8996864, episodic return=571.0889282226562\n", + "global step=8996864, episodic return=871.9007568359375\n", + "global step=8996864, episodic return=2073.850341796875\n", + "global step=8996864, episodic return=894.2540283203125\n", + "global step=8998912, episodic return=2065.5859375\n", + "global step=8998912, episodic return=1209.3924560546875\n", + "global step=8998912, episodic return=2028.2890625\n", + "global step=8998912, episodic return=204.57179260253906\n", + "global step=8998912, episodic return=2145.36181640625\n", + "global step=8998912, episodic return=478.577392578125\n", + "global step=9000960, episodic return=2022.93359375\n", + "global step=9000960, episodic return=2060.185791015625\n", + "global step=9000960, episodic return=157.1439971923828\n", + "global step=9000960, episodic return=2148.3037109375\n", + "global step=9003008, episodic return=170.4395294189453\n", + "global step=9007104, episodic return=855.0392456054688\n", + "global step=9007104, episodic return=923.7310180664062\n", + "global step=9007104, episodic return=979.4198608398438\n", + "global step=9013248, episodic return=545.5698852539062\n", + "global step=9013248, episodic return=168.5703125\n", + "global step=9013248, episodic return=1247.274169921875\n", + "global step=9015296, episodic return=877.063720703125\n", + "global step=9017344, episodic return=541.6179809570312\n", + "global step=9017344, episodic return=1226.7894287109375\n", + "global step=9017344, episodic return=1910.5467529296875\n", + "global step=9017344, episodic return=855.208251953125\n", + "global step=9019392, episodic return=1097.66748046875\n", + "global step=9019392, episodic return=667.883056640625\n", + "global step=9019392, episodic return=844.202880859375\n", + "global step=9019392, episodic return=627.278564453125\n", + "global step=9021440, episodic return=1038.36376953125\n", + "global step=9021440, episodic return=162.05177307128906\n", + "global step=9021440, episodic return=60.37643051147461\n", + "global step=9021440, episodic return=815.1233520507812\n", + "global step=9021440, episodic return=2117.361572265625\n", + "global step=9023488, episodic return=187.07301330566406\n", + "global step=9023488, episodic return=2096.59619140625\n", + "global step=9023488, episodic return=514.1961059570312\n", + "global step=9023488, episodic return=1705.8714599609375\n", + "global step=9025536, episodic return=169.12890625\n", + "global step=9025536, episodic return=212.94015502929688\n", + "global step=9025536, episodic return=2146.037841796875\n", + "global step=9027584, episodic return=2185.670166015625\n", + "global step=9027584, episodic return=953.8114624023438\n", + "global step=9031680, episodic return=1068.8419189453125\n", + "global step=9033728, episodic return=1164.1683349609375\n", + "global step=9033728, episodic return=2033.43408203125\n", + "global step=9035776, episodic return=1039.302001953125\n", + "global step=9035776, episodic return=1134.5592041015625\n", + "global step=9035776, episodic return=924.4722290039062\n", + "global step=9037824, episodic return=2113.652587890625\n", + "global step=9037824, episodic return=196.40792846679688\n", + "global step=9037824, episodic return=2068.7685546875\n", + "global step=9039872, episodic return=1170.4298095703125\n", + "global step=9041920, episodic return=2121.507080078125\n", + "global step=9041920, episodic return=2133.517578125\n", + "global step=9041920, episodic return=685.7560424804688\n", + "global step=9041920, episodic return=1716.3873291015625\n", + "global step=9043968, episodic return=1100.911865234375\n", + "global step=9043968, episodic return=2075.249755859375\n", + "global step=9043968, episodic return=1740.00830078125\n", + "global step=9046016, episodic return=991.1437377929688\n", + "global step=9046016, episodic return=2076.327392578125\n", + "global step=9048064, episodic return=1979.44091796875\n", + "global step=9048064, episodic return=162.12655639648438\n", + "global step=9048064, episodic return=2112.8232421875\n", + "global step=9050112, episodic return=216.02743530273438\n", + "global step=9052160, episodic return=161.2992401123047\n", + "global step=9052160, episodic return=1115.0577392578125\n", + "global step=9052160, episodic return=1237.964599609375\n", + "global step=9052160, episodic return=189.5719451904297\n", + "global step=9054208, episodic return=811.228271484375\n", + "global step=9054208, episodic return=182.20240783691406\n", + "global step=9054208, episodic return=2164.6708984375\n", + "global step=9056256, episodic return=1283.680419921875\n", + "global step=9056256, episodic return=2119.788330078125\n", + "global step=9056256, episodic return=235.45458984375\n", + "global step=9056256, episodic return=1413.880615234375\n", + "global step=9058304, episodic return=2164.765869140625\n", + "global step=9058304, episodic return=847.1494750976562\n", + "global step=9060352, episodic return=2123.33740234375\n", + "global step=9060352, episodic return=2130.97412109375\n", + "global step=9060352, episodic return=940.35302734375\n", + "global step=9060352, episodic return=925.5546264648438\n", + "global step=9060352, episodic return=1973.76025390625\n", + "global step=9062400, episodic return=2047.853515625\n", + "global step=9064448, episodic return=1079.6221923828125\n", + "global step=9064448, episodic return=992.9693603515625\n", + "global step=9064448, episodic return=2088.10205078125\n", + "global step=9064448, episodic return=1444.851318359375\n", + "global step=9066496, episodic return=848.2208251953125\n", + "global step=9066496, episodic return=1190.3841552734375\n", + "global step=9066496, episodic return=1321.2481689453125\n", + "global step=9068544, episodic return=175.76046752929688\n", + "global step=9068544, episodic return=910.62939453125\n", + "global step=9070592, episodic return=2158.750244140625\n", + "global step=9070592, episodic return=1020.7225341796875\n", + "global step=9072640, episodic return=2057.15576171875\n", + "global step=9072640, episodic return=955.5565185546875\n", + "global step=9072640, episodic return=799.4999389648438\n", + "global step=9072640, episodic return=2202.939453125\n", + "global step=9072640, episodic return=166.35482788085938\n", + "global step=9074688, episodic return=172.96881103515625\n", + "global step=9074688, episodic return=776.9321899414062\n", + "global step=9074688, episodic return=1159.5260009765625\n", + "global step=9074688, episodic return=765.79248046875\n", + "global step=9076736, episodic return=1217.3865966796875\n", + "global step=9076736, episodic return=272.38897705078125\n", + "global step=9076736, episodic return=1177.2630615234375\n", + "global step=9076736, episodic return=2056.92626953125\n", + "global step=9078784, episodic return=2066.34423828125\n", + "global step=9078784, episodic return=1672.4901123046875\n", + "global step=9080832, episodic return=1559.9964599609375\n", + "global step=9080832, episodic return=2062.157470703125\n", + "global step=9082880, episodic return=1175.428955078125\n", + "global step=9082880, episodic return=1173.172607421875\n", + "global step=9084928, episodic return=1068.0513916015625\n", + "global step=9084928, episodic return=695.9760131835938\n", + "global step=9084928, episodic return=1774.805908203125\n", + "global step=9084928, episodic return=494.29742431640625\n", + "global step=9086976, episodic return=2031.7108154296875\n", + "global step=9086976, episodic return=517.564453125\n", + "global step=9086976, episodic return=274.5885314941406\n", + "global step=9086976, episodic return=156.40704345703125\n", + "global step=9089024, episodic return=2164.27685546875\n", + "global step=9095168, episodic return=1919.9700927734375\n", + "global step=9097216, episodic return=951.5990600585938\n", + "global step=9097216, episodic return=1069.8546142578125\n", + "global step=9099264, episodic return=1200.441650390625\n", + "global step=9099264, episodic return=224.19610595703125\n", + "global step=9101312, episodic return=1684.6195068359375\n", + "global step=9101312, episodic return=2133.078369140625\n", + "global step=9101312, episodic return=666.7984008789062\n", + "global step=9101312, episodic return=2071.998291015625\n", + "global step=9103360, episodic return=2056.639892578125\n", + "global step=9103360, episodic return=2118.756591796875\n", + "global step=9103360, episodic return=2122.068603515625\n", + "global step=9105408, episodic return=550.7817993164062\n", + "global step=9107456, episodic return=2186.87548828125\n", + "global step=9107456, episodic return=1144.494140625\n", + "global step=9109504, episodic return=2077.46337890625\n", + "global step=9109504, episodic return=893.9701538085938\n", + "global step=9109504, episodic return=2131.043701171875\n", + "global step=9109504, episodic return=1261.4927978515625\n", + "global step=9111552, episodic return=881.622314453125\n", + "global step=9111552, episodic return=1237.329833984375\n", + "global step=9113600, episodic return=1019.2571411132812\n", + "global step=9113600, episodic return=359.1289367675781\n", + "global step=9113600, episodic return=1456.37548828125\n", + "global step=9115648, episodic return=1858.703857421875\n", + "global step=9115648, episodic return=1416.6466064453125\n", + "global step=9115648, episodic return=693.093994140625\n", + "global step=9115648, episodic return=1537.5545654296875\n", + "global step=9117696, episodic return=2114.761962890625\n", + "global step=9117696, episodic return=2152.822021484375\n", + "global step=9117696, episodic return=971.0694580078125\n", + "global step=9117696, episodic return=1197.0833740234375\n", + "global step=9117696, episodic return=1348.9072265625\n", + "global step=9119744, episodic return=672.8165893554688\n", + "global step=9119744, episodic return=1353.6514892578125\n", + "global step=9119744, episodic return=2105.172119140625\n", + "global step=9119744, episodic return=827.8097534179688\n", + "global step=9119744, episodic return=723.6435546875\n", + "global step=9119744, episodic return=1072.2574462890625\n", + "global step=9119744, episodic return=2075.772216796875\n", + "global step=9119744, episodic return=802.5447998046875\n", + "global step=9121792, episodic return=1156.9718017578125\n", + "global step=9121792, episodic return=1117.7479248046875\n", + "global step=9121792, episodic return=1093.480712890625\n", + "global step=9121792, episodic return=1643.4930419921875\n", + "global step=9121792, episodic return=1152.283447265625\n", + "global step=9121792, episodic return=2092.880615234375\n", + "global step=9123840, episodic return=1405.500244140625\n", + "global step=9123840, episodic return=1816.845947265625\n", + "global step=9123840, episodic return=797.1672973632812\n", + "global step=9123840, episodic return=1190.0672607421875\n", + "global step=9125888, episodic return=803.6437377929688\n", + "global step=9125888, episodic return=2181.730224609375\n", + "global step=9125888, episodic return=663.7415771484375\n", + "global step=9125888, episodic return=25.28861427307129\n", + "global step=9129984, episodic return=1098.2064208984375\n", + "global step=9132032, episodic return=1307.439453125\n", + "global step=9132032, episodic return=210.3254852294922\n", + "global step=9132032, episodic return=1089.4312744140625\n", + "global step=9132032, episodic return=1284.132080078125\n", + "global step=9132032, episodic return=2086.802978515625\n", + "global step=9134080, episodic return=1332.1024169921875\n", + "global step=9134080, episodic return=822.7039184570312\n", + "global step=9134080, episodic return=1112.698486328125\n", + "global step=9136128, episodic return=1469.2093505859375\n", + "global step=9136128, episodic return=2170.677978515625\n", + "global step=9136128, episodic return=2170.84130859375\n", + "global step=9136128, episodic return=2132.785888671875\n", + "global step=9138176, episodic return=656.5230102539062\n", + "global step=9140224, episodic return=2164.364990234375\n", + "global step=9140224, episodic return=1101.953857421875\n", + "global step=9142272, episodic return=2214.99365234375\n", + "global step=9144320, episodic return=541.096923828125\n", + "global step=9144320, episodic return=2191.846923828125\n", + "global step=9144320, episodic return=2174.565673828125\n", + "global step=9144320, episodic return=1292.4306640625\n", + "global step=9146368, episodic return=896.764892578125\n", + "global step=9146368, episodic return=306.2567138671875\n", + "global step=9146368, episodic return=2124.91943359375\n", + "global step=9146368, episodic return=650.03759765625\n", + "global step=9148416, episodic return=1427.02001953125\n", + "global step=9148416, episodic return=1810.1055908203125\n", + "global step=9148416, episodic return=1614.702880859375\n", + "global step=9148416, episodic return=588.4519653320312\n", + "global step=9150464, episodic return=2131.179931640625\n", + "global step=9150464, episodic return=1403.3519287109375\n", + "global step=9150464, episodic return=1030.498291015625\n", + "global step=9150464, episodic return=651.3431396484375\n", + "global step=9150464, episodic return=2071.876708984375\n", + "global step=9150464, episodic return=927.8579711914062\n", + "global step=9152512, episodic return=2114.407958984375\n", + "global step=9154560, episodic return=1526.3388671875\n", + "global step=9154560, episodic return=1088.169677734375\n", + "global step=9158656, episodic return=1042.696044921875\n", + "global step=9158656, episodic return=500.7088317871094\n", + "global step=9158656, episodic return=1438.654541015625\n", + "global step=9158656, episodic return=2200.682861328125\n", + "global step=9158656, episodic return=2113.850341796875\n", + "global step=9160704, episodic return=1377.488525390625\n", + "global step=9160704, episodic return=439.3762512207031\n", + "global step=9160704, episodic return=1198.9864501953125\n", + "global step=9160704, episodic return=885.7432861328125\n", + "global step=9160704, episodic return=1463.9012451171875\n", + "global step=9162752, episodic return=34.08372116088867\n", + "global step=9162752, episodic return=2081.841796875\n", + "global step=9162752, episodic return=2106.83251953125\n", + "global step=9162752, episodic return=1470.7867431640625\n", + "global step=9164800, episodic return=890.537841796875\n", + "global step=9164800, episodic return=1840.193603515625\n", + "global step=9166848, episodic return=503.7291259765625\n", + "global step=9166848, episodic return=1510.0316162109375\n", + "global step=9166848, episodic return=1706.77734375\n", + "global step=9168896, episodic return=2141.9345703125\n", + "global step=9168896, episodic return=2165.709228515625\n", + "global step=9168896, episodic return=592.4186401367188\n", + "global step=9168896, episodic return=1285.397216796875\n", + "global step=9168896, episodic return=1202.82275390625\n", + "global step=9170944, episodic return=2198.31787109375\n", + "global step=9172992, episodic return=191.73150634765625\n", + "global step=9172992, episodic return=2124.927734375\n", + "global step=9172992, episodic return=943.4407958984375\n", + "global step=9175040, episodic return=936.95166015625\n", + "global step=9175040, episodic return=1050.24560546875\n", + "global step=9175040, episodic return=421.1503601074219\n", + "global step=9177088, episodic return=2050.48876953125\n", + "global step=9179136, episodic return=1262.0931396484375\n", + "global step=9179136, episodic return=2106.167724609375\n", + "global step=9179136, episodic return=1200.573486328125\n", + "global step=9179136, episodic return=466.53662109375\n", + "global step=9181184, episodic return=817.642333984375\n", + "global step=9181184, episodic return=1156.8394775390625\n", + "global step=9183232, episodic return=54.350860595703125\n", + "global step=9183232, episodic return=1421.981201171875\n", + "global step=9183232, episodic return=1886.8843994140625\n", + "global step=9183232, episodic return=1357.7332763671875\n", + "global step=9185280, episodic return=1073.706298828125\n", + "global step=9185280, episodic return=475.8797302246094\n", + "global step=9185280, episodic return=670.88134765625\n", + "global step=9185280, episodic return=2139.115478515625\n", + "global step=9185280, episodic return=1128.8326416015625\n", + "global step=9185280, episodic return=2171.6240234375\n", + "global step=9187328, episodic return=1459.68701171875\n", + "global step=9187328, episodic return=1874.186279296875\n", + "global step=9189376, episodic return=690.4912719726562\n", + "global step=9189376, episodic return=646.4337158203125\n", + "global step=9189376, episodic return=191.32373046875\n", + "global step=9191424, episodic return=1258.8673095703125\n", + "global step=9191424, episodic return=463.3816833496094\n", + "global step=9191424, episodic return=2107.19140625\n", + "global step=9191424, episodic return=2193.718505859375\n", + "global step=9195520, episodic return=2126.203125\n", + "global step=9195520, episodic return=1800.87109375\n", + "global step=9195520, episodic return=2157.149658203125\n", + "global step=9195520, episodic return=216.162841796875\n", + "global step=9197568, episodic return=1489.176513671875\n", + "global step=9197568, episodic return=274.517333984375\n", + "global step=9197568, episodic return=2066.00244140625\n", + "global step=9197568, episodic return=1211.626220703125\n", + "global step=9197568, episodic return=1104.4945068359375\n", + "global step=9199616, episodic return=762.9395141601562\n", + "global step=9199616, episodic return=1104.5618896484375\n", + "global step=9199616, episodic return=881.3599853515625\n", + "global step=9199616, episodic return=2036.5716552734375\n", + "global step=9199616, episodic return=1490.9041748046875\n", + "global step=9201664, episodic return=240.53553771972656\n", + "global step=9201664, episodic return=1245.7879638671875\n", + "global step=9201664, episodic return=1626.03955078125\n", + "global step=9203712, episodic return=59.89155197143555\n", + "global step=9203712, episodic return=1785.9139404296875\n", + "global step=9203712, episodic return=1499.8050537109375\n", + "global step=9203712, episodic return=204.125732421875\n", + "global step=9205760, episodic return=1928.4222412109375\n", + "global step=9205760, episodic return=1390.2186279296875\n", + "global step=9205760, episodic return=926.4138793945312\n", + "global step=9205760, episodic return=1216.0584716796875\n", + "global step=9205760, episodic return=623.3124389648438\n", + "global step=9205760, episodic return=1188.80078125\n", + "global step=9207808, episodic return=1636.07177734375\n", + "global step=9207808, episodic return=1596.458740234375\n", + "global step=9207808, episodic return=1812.0067138671875\n", + "global step=9209856, episodic return=1830.2744140625\n", + "global step=9209856, episodic return=764.7313232421875\n", + "global step=9209856, episodic return=702.3284301757812\n", + "global step=9211904, episodic return=190.82669067382812\n", + "global step=9211904, episodic return=1207.029296875\n", + "global step=9213952, episodic return=1173.4588623046875\n", + "global step=9213952, episodic return=2146.10791015625\n", + "global step=9213952, episodic return=1266.9945068359375\n", + "global step=9216000, episodic return=504.3130187988281\n", + "global step=9218048, episodic return=1220.560791015625\n", + "global step=9218048, episodic return=1520.48291015625\n", + "global step=9218048, episodic return=1283.90673828125\n", + "global step=9218048, episodic return=1658.953857421875\n", + "global step=9218048, episodic return=834.9141845703125\n", + "global step=9218048, episodic return=1288.1534423828125\n", + "global step=9218048, episodic return=1009.7537841796875\n", + "global step=9220096, episodic return=737.1864624023438\n", + "global step=9220096, episodic return=759.8283081054688\n", + "global step=9220096, episodic return=2076.58984375\n", + "global step=9222144, episodic return=2051.17333984375\n", + "global step=9222144, episodic return=699.7203979492188\n", + "global step=9222144, episodic return=899.1423950195312\n", + "global step=9222144, episodic return=23.037982940673828\n", + "global step=9224192, episodic return=1075.580810546875\n", + "global step=9226240, episodic return=1018.1141357421875\n", + "global step=9228288, episodic return=328.02117919921875\n", + "global step=9228288, episodic return=1394.1766357421875\n", + "global step=9228288, episodic return=1948.167236328125\n", + "global step=9228288, episodic return=1929.4677734375\n", + "global step=9228288, episodic return=1521.2347412109375\n", + "global step=9228288, episodic return=1859.494140625\n", + "global step=9228288, episodic return=25.802459716796875\n", + "global step=9228288, episodic return=2095.746337890625\n", + "global step=9230336, episodic return=1611.0914306640625\n", + "global step=9230336, episodic return=2140.338134765625\n", + "global step=9230336, episodic return=1135.861328125\n", + "global step=9232384, episodic return=721.4598388671875\n", + "global step=9232384, episodic return=54.0992431640625\n", + "global step=9232384, episodic return=2212.80224609375\n", + "global step=9234432, episodic return=1521.5767822265625\n", + "global step=9234432, episodic return=2151.506591796875\n", + "global step=9234432, episodic return=624.1430053710938\n", + "global step=9234432, episodic return=979.7491455078125\n", + "global step=9234432, episodic return=1974.0792236328125\n", + "global step=9234432, episodic return=898.4564819335938\n", + "global step=9236480, episodic return=488.3995056152344\n", + "global step=9238528, episodic return=1532.2227783203125\n", + "global step=9238528, episodic return=238.9089813232422\n", + "global step=9238528, episodic return=1014.9634399414062\n", + "global step=9238528, episodic return=1829.9613037109375\n", + "global step=9238528, episodic return=1959.4739990234375\n", + "global step=9238528, episodic return=1351.1671142578125\n", + "global step=9238528, episodic return=697.1949462890625\n", + "global step=9240576, episodic return=23.432634353637695\n", + "global step=9240576, episodic return=1042.26806640625\n", + "global step=9242624, episodic return=400.008544921875\n", + "global step=9242624, episodic return=1638.27587890625\n", + "global step=9242624, episodic return=1167.481201171875\n", + "global step=9244672, episodic return=1144.3455810546875\n", + "global step=9244672, episodic return=534.3006591796875\n", + "global step=9244672, episodic return=747.7371215820312\n", + "global step=9244672, episodic return=1056.3798828125\n", + "global step=9244672, episodic return=696.6650390625\n", + "global step=9246720, episodic return=1992.2412109375\n", + "global step=9246720, episodic return=867.805419921875\n", + "global step=9248768, episodic return=1070.15576171875\n", + "global step=9248768, episodic return=366.2431335449219\n", + "global step=9248768, episodic return=2054.99658203125\n", + "global step=9250816, episodic return=2119.15771484375\n", + "global step=9252864, episodic return=1569.005126953125\n", + "global step=9252864, episodic return=422.8631896972656\n", + "global step=9252864, episodic return=1610.0650634765625\n", + "global step=9252864, episodic return=842.0570068359375\n", + "global step=9252864, episodic return=1392.2781982421875\n", + "global step=9254912, episodic return=1673.530029296875\n", + "global step=9254912, episodic return=753.779296875\n", + "global step=9256960, episodic return=1456.7611083984375\n", + "global step=9256960, episodic return=449.9487609863281\n", + "global step=9256960, episodic return=1471.162109375\n", + "global step=9259008, episodic return=1700.23583984375\n", + "global step=9259008, episodic return=1781.324951171875\n", + "global step=9259008, episodic return=2138.544921875\n", + "global step=9259008, episodic return=1960.6324462890625\n", + "global step=9259008, episodic return=1063.1358642578125\n", + "global step=9261056, episodic return=573.7535400390625\n", + "global step=9261056, episodic return=1459.0091552734375\n", + "global step=9261056, episodic return=1836.6959228515625\n", + "global step=9263104, episodic return=2170.59375\n", + "global step=9263104, episodic return=153.5363006591797\n", + "global step=9263104, episodic return=1289.905029296875\n", + "global step=9265152, episodic return=807.6953125\n", + "global step=9265152, episodic return=1948.49853515625\n", + "global step=9265152, episodic return=476.84423828125\n", + "global step=9265152, episodic return=1040.1771240234375\n", + "global step=9267200, episodic return=171.272705078125\n", + "global step=9267200, episodic return=520.3134765625\n", + "global step=9267200, episodic return=697.171142578125\n", + "global step=9267200, episodic return=55.259666442871094\n", + "global step=9267200, episodic return=434.38446044921875\n", + "global step=9267200, episodic return=1942.471923828125\n", + "global step=9269248, episodic return=965.9913940429688\n", + "global step=9269248, episodic return=1339.9375\n", + "global step=9269248, episodic return=155.3086395263672\n", + "global step=9269248, episodic return=152.8438720703125\n", + "global step=9273344, episodic return=2167.2978515625\n", + "global step=9273344, episodic return=1531.0478515625\n", + "global step=9273344, episodic return=1525.968505859375\n", + "global step=9273344, episodic return=835.382568359375\n", + "global step=9273344, episodic return=481.6719970703125\n", + "global step=9275392, episodic return=129.4635467529297\n", + "global step=9275392, episodic return=1421.564208984375\n", + "global step=9275392, episodic return=1294.289306640625\n", + "global step=9275392, episodic return=155.88075256347656\n", + "global step=9275392, episodic return=564.6585693359375\n", + "global step=9277440, episodic return=2042.9334716796875\n", + "global step=9279488, episodic return=1784.075439453125\n", + "global step=9279488, episodic return=1198.5048828125\n", + "global step=9279488, episodic return=1000.330810546875\n", + "global step=9279488, episodic return=2075.099853515625\n", + "global step=9281536, episodic return=1470.0848388671875\n", + "global step=9281536, episodic return=1147.78466796875\n", + "global step=9281536, episodic return=121.50650024414062\n", + "global step=9281536, episodic return=1132.686279296875\n", + "global step=9281536, episodic return=1076.5599365234375\n", + "global step=9281536, episodic return=1057.97705078125\n", + "global step=9281536, episodic return=1866.2486572265625\n", + "global step=9283584, episodic return=2169.08935546875\n", + "global step=9283584, episodic return=2154.990478515625\n", + "global step=9283584, episodic return=1972.1038818359375\n", + "global step=9283584, episodic return=1215.6712646484375\n", + "global step=9285632, episodic return=1667.69921875\n", + "global step=9285632, episodic return=1482.451904296875\n", + "global step=9285632, episodic return=127.30015563964844\n", + "global step=9285632, episodic return=476.075927734375\n", + "global step=9285632, episodic return=1331.3389892578125\n", + "global step=9285632, episodic return=1145.5123291015625\n", + "global step=9285632, episodic return=1982.393798828125\n", + "global step=9287680, episodic return=499.5887451171875\n", + "global step=9287680, episodic return=2157.45849609375\n", + "global step=9287680, episodic return=1560.7872314453125\n", + "global step=9289728, episodic return=970.7081909179688\n", + "global step=9289728, episodic return=1405.9381103515625\n", + "global step=9289728, episodic return=1873.8184814453125\n", + "global step=9289728, episodic return=496.6377868652344\n", + "global step=9291776, episodic return=1117.04443359375\n", + "global step=9291776, episodic return=1476.1556396484375\n", + "global step=9291776, episodic return=850.7973022460938\n", + "global step=9291776, episodic return=448.409423828125\n", + "global step=9291776, episodic return=2173.885986328125\n", + "global step=9293824, episodic return=729.8273315429688\n", + "global step=9293824, episodic return=1404.57080078125\n", + "global step=9293824, episodic return=1569.883544921875\n", + "global step=9293824, episodic return=1998.3001708984375\n", + "global step=9293824, episodic return=1468.03564453125\n", + "global step=9293824, episodic return=2253.44091796875\n", + "global step=9293824, episodic return=1423.8511962890625\n", + "global step=9295872, episodic return=1190.098388671875\n", + "global step=9295872, episodic return=1144.841796875\n", + "global step=9295872, episodic return=1642.716064453125\n", + "global step=9295872, episodic return=927.1829833984375\n", + "global step=9297920, episodic return=942.830078125\n", + "global step=9297920, episodic return=1442.6204833984375\n", + "global step=9297920, episodic return=1446.6116943359375\n", + "global step=9297920, episodic return=1594.323974609375\n", + "global step=9299968, episodic return=2075.76904296875\n", + "global step=9299968, episodic return=478.1369934082031\n", + "global step=9299968, episodic return=657.1463012695312\n", + "global step=9299968, episodic return=397.7718811035156\n", + "global step=9302016, episodic return=1253.8236083984375\n", + "global step=9302016, episodic return=925.778076171875\n", + "global step=9302016, episodic return=1850.947021484375\n", + "global step=9302016, episodic return=144.3279266357422\n", + "global step=9302016, episodic return=1671.1019287109375\n", + "global step=9302016, episodic return=1342.411865234375\n", + "global step=9302016, episodic return=1572.9039306640625\n", + "global step=9304064, episodic return=2012.77685546875\n", + "global step=9304064, episodic return=931.9032592773438\n", + "global step=9304064, episodic return=1457.208740234375\n", + "global step=9304064, episodic return=893.4605712890625\n", + "global step=9306112, episodic return=871.9329223632812\n", + "global step=9306112, episodic return=143.30503845214844\n", + "global step=9306112, episodic return=1555.09814453125\n", + "global step=9308160, episodic return=2064.130859375\n", + "global step=9308160, episodic return=2116.634521484375\n", + "global step=9308160, episodic return=148.37249755859375\n", + "global step=9308160, episodic return=1304.83251953125\n", + "global step=9308160, episodic return=1994.08642578125\n", + "global step=9310208, episodic return=2229.881103515625\n", + "global step=9310208, episodic return=2192.772705078125\n", + "global step=9310208, episodic return=152.3162078857422\n", + "global step=9310208, episodic return=147.81178283691406\n", + "global step=9312256, episodic return=1228.0423583984375\n", + "global step=9312256, episodic return=2136.14453125\n", + "global step=9314304, episodic return=582.593994140625\n", + "global step=9314304, episodic return=126.04347229003906\n", + "global step=9314304, episodic return=938.2615356445312\n", + "global step=9314304, episodic return=136.42678833007812\n", + "global step=9314304, episodic return=2009.1302490234375\n", + "global step=9314304, episodic return=612.1746826171875\n", + "global step=9314304, episodic return=584.8060913085938\n", + "global step=9316352, episodic return=564.517333984375\n", + "global step=9316352, episodic return=1886.865234375\n", + "global step=9316352, episodic return=554.328857421875\n", + "global step=9316352, episodic return=2125.201904296875\n", + "global step=9318400, episodic return=2144.67822265625\n", + "global step=9318400, episodic return=1987.1717529296875\n", + "global step=9318400, episodic return=540.4196166992188\n", + "global step=9320448, episodic return=1381.747314453125\n", + "global step=9320448, episodic return=1983.102783203125\n", + "global step=9320448, episodic return=1503.8739013671875\n", + "global step=9320448, episodic return=1244.1917724609375\n", + "global step=9322496, episodic return=464.06597900390625\n", + "global step=9322496, episodic return=2180.323974609375\n", + "global step=9324544, episodic return=2249.9560546875\n", + "global step=9324544, episodic return=1974.1466064453125\n", + "global step=9324544, episodic return=1885.9102783203125\n", + "global step=9324544, episodic return=634.8209228515625\n", + "global step=9326592, episodic return=1063.646484375\n", + "global step=9326592, episodic return=443.6189880371094\n", + "global step=9326592, episodic return=1871.7845458984375\n", + "global step=9326592, episodic return=1960.0736083984375\n", + "global step=9326592, episodic return=937.0158081054688\n", + "global step=9328640, episodic return=1679.32373046875\n", + "global step=9328640, episodic return=2156.98388671875\n", + "global step=9330688, episodic return=2126.61669921875\n", + "global step=9330688, episodic return=1530.224853515625\n", + "global step=9330688, episodic return=1041.87158203125\n", + "global step=9330688, episodic return=1591.622802734375\n", + "global step=9330688, episodic return=1816.0391845703125\n", + "global step=9332736, episodic return=541.5267333984375\n", + "global step=9332736, episodic return=2077.173095703125\n", + "global step=9332736, episodic return=1008.8614501953125\n", + "global step=9332736, episodic return=1331.7760009765625\n", + "global step=9334784, episodic return=1344.3924560546875\n", + "global step=9336832, episodic return=550.06982421875\n", + "global step=9336832, episodic return=622.6345825195312\n", + "global step=9336832, episodic return=2238.750732421875\n", + "global step=9336832, episodic return=2149.248291015625\n", + "global step=9336832, episodic return=461.59979248046875\n", + "global step=9336832, episodic return=1683.0540771484375\n", + "global step=9336832, episodic return=2224.5390625\n", + "global step=9338880, episodic return=1603.53515625\n", + "global step=9338880, episodic return=2202.83837890625\n", + "global step=9338880, episodic return=2122.40869140625\n", + "global step=9340928, episodic return=640.82958984375\n", + "global step=9340928, episodic return=2193.39990234375\n", + "global step=9340928, episodic return=1340.67333984375\n", + "global step=9340928, episodic return=728.0322265625\n", + "global step=9342976, episodic return=1556.4923095703125\n", + "global step=9342976, episodic return=2148.231201171875\n", + "global step=9342976, episodic return=2124.99365234375\n", + "global step=9342976, episodic return=1679.6478271484375\n", + "global step=9342976, episodic return=1771.2772216796875\n", + "global step=9342976, episodic return=2104.797607421875\n", + "global step=9342976, episodic return=631.3936767578125\n", + "global step=9345024, episodic return=1260.2421875\n", + "global step=9345024, episodic return=1026.6083984375\n", + "global step=9345024, episodic return=1787.9822998046875\n", + "global step=9347072, episodic return=611.816650390625\n", + "global step=9347072, episodic return=499.5047912597656\n", + "global step=9347072, episodic return=247.47158813476562\n", + "global step=9347072, episodic return=2243.371826171875\n", + "global step=9347072, episodic return=1104.880859375\n", + "global step=9349120, episodic return=594.3731079101562\n", + "global step=9349120, episodic return=552.4860229492188\n", + "global step=9351168, episodic return=220.8477020263672\n", + "global step=9353216, episodic return=707.0673828125\n", + "global step=9353216, episodic return=1949.3712158203125\n", + "global step=9353216, episodic return=860.0009155273438\n", + "global step=9355264, episodic return=1344.492919921875\n", + "global step=9355264, episodic return=601.7938842773438\n", + "global step=9355264, episodic return=1998.15625\n", + "global step=9355264, episodic return=1605.1966552734375\n", + "global step=9355264, episodic return=232.63095092773438\n", + "global step=9357312, episodic return=2129.28125\n", + "global step=9357312, episodic return=1171.2427978515625\n", + "global step=9357312, episodic return=1642.274658203125\n", + "global step=9357312, episodic return=217.6944580078125\n", + "global step=9357312, episodic return=698.378662109375\n", + "global step=9359360, episodic return=1652.7796630859375\n", + "global step=9359360, episodic return=1691.460693359375\n", + "global step=9359360, episodic return=543.5906372070312\n", + "global step=9359360, episodic return=2192.6826171875\n", + "global step=9361408, episodic return=2179.697265625\n", + "global step=9361408, episodic return=538.818359375\n", + "global step=9361408, episodic return=1698.3328857421875\n", + "global step=9361408, episodic return=1532.429443359375\n", + "global step=9361408, episodic return=669.7607421875\n", + "global step=9363456, episodic return=1752.318603515625\n", + "global step=9363456, episodic return=990.1712646484375\n", + "global step=9363456, episodic return=548.4774169921875\n", + "global step=9363456, episodic return=1189.74267578125\n", + "global step=9363456, episodic return=2179.8544921875\n", + "global step=9363456, episodic return=1548.64697265625\n", + "global step=9363456, episodic return=2031.1121826171875\n", + "global step=9365504, episodic return=2228.2724609375\n", + "global step=9365504, episodic return=1747.4095458984375\n", + "global step=9365504, episodic return=1849.613037109375\n", + "global step=9365504, episodic return=146.74269104003906\n", + "global step=9365504, episodic return=935.3366088867188\n", + "global step=9367552, episodic return=220.4868927001953\n", + "global step=9367552, episodic return=2165.08154296875\n", + "global step=9367552, episodic return=2208.632568359375\n", + "global step=9367552, episodic return=49.68074035644531\n", + "global step=9367552, episodic return=639.2543334960938\n", + "global step=9369600, episodic return=526.5563354492188\n", + "global step=9369600, episodic return=1663.8502197265625\n", + "global step=9369600, episodic return=2214.332763671875\n", + "global step=9369600, episodic return=1037.84912109375\n", + "global step=9369600, episodic return=481.7864990234375\n", + "global step=9369600, episodic return=1185.9822998046875\n", + "global step=9371648, episodic return=1120.906494140625\n", + "global step=9371648, episodic return=773.0848388671875\n", + "global step=9371648, episodic return=1639.492431640625\n", + "global step=9371648, episodic return=1778.3050537109375\n", + "global step=9371648, episodic return=1000.091064453125\n", + "global step=9371648, episodic return=1351.0723876953125\n", + "global step=9373696, episodic return=2177.6640625\n", + "global step=9373696, episodic return=237.51882934570312\n", + "global step=9373696, episodic return=199.57354736328125\n", + "global step=9373696, episodic return=1688.2747802734375\n", + "global step=9373696, episodic return=1901.3360595703125\n", + "global step=9373696, episodic return=2224.0556640625\n", + "global step=9373696, episodic return=1413.2811279296875\n", + "global step=9377792, episodic return=2179.370849609375\n", + "global step=9377792, episodic return=1717.854736328125\n", + "global step=9377792, episodic return=2161.204345703125\n", + "global step=9377792, episodic return=808.95849609375\n", + "global step=9379840, episodic return=237.8138885498047\n", + "global step=9379840, episodic return=1595.2352294921875\n", + "global step=9379840, episodic return=2188.493896484375\n", + "global step=9379840, episodic return=1367.0655517578125\n", + "global step=9379840, episodic return=1392.5733642578125\n", + "global step=9379840, episodic return=2175.26611328125\n", + "global step=9379840, episodic return=183.30441284179688\n", + "global step=9381888, episodic return=1440.145751953125\n", + "global step=9381888, episodic return=1209.1064453125\n", + "global step=9381888, episodic return=2253.57470703125\n", + "global step=9381888, episodic return=1777.1630859375\n", + "global step=9383936, episodic return=1187.5482177734375\n", + "global step=9383936, episodic return=2100.05712890625\n", + "global step=9383936, episodic return=1927.6866455078125\n", + "global step=9383936, episodic return=2244.81884765625\n", + "global step=9383936, episodic return=183.2932891845703\n", + "global step=9385984, episodic return=2104.953369140625\n", + "global step=9385984, episodic return=2178.616455078125\n", + "global step=9385984, episodic return=143.8003387451172\n", + "global step=9385984, episodic return=1786.565185546875\n", + "global step=9385984, episodic return=1553.4981689453125\n", + "global step=9388032, episodic return=572.2344360351562\n", + "global step=9388032, episodic return=498.36676025390625\n", + "global step=9388032, episodic return=1437.2239990234375\n", + "global step=9388032, episodic return=2133.58984375\n", + "global step=9390080, episodic return=222.33624267578125\n", + "global step=9390080, episodic return=1804.4439697265625\n", + "global step=9390080, episodic return=585.2547607421875\n", + "global step=9390080, episodic return=2141.00439453125\n", + "global step=9392128, episodic return=1419.650146484375\n", + "global step=9392128, episodic return=2212.061767578125\n", + "global step=9392128, episodic return=421.36724853515625\n", + "global step=9392128, episodic return=2201.59375\n", + "global step=9392128, episodic return=665.5399169921875\n", + "global step=9392128, episodic return=1494.425537109375\n", + "global step=9394176, episodic return=1749.54150390625\n", + "global step=9394176, episodic return=581.7730102539062\n", + "global step=9394176, episodic return=2183.4228515625\n", + "global step=9394176, episodic return=2140.965576171875\n", + "global step=9394176, episodic return=1723.6815185546875\n", + "global step=9396224, episodic return=2150.879638671875\n", + "global step=9396224, episodic return=1382.1024169921875\n", + "global step=9398272, episodic return=1637.01171875\n", + "global step=9398272, episodic return=224.28219604492188\n", + "global step=9398272, episodic return=1578.6085205078125\n", + "global step=9398272, episodic return=740.6748657226562\n", + "global step=9398272, episodic return=587.8331298828125\n", + "global step=9400320, episodic return=2173.69384765625\n", + "global step=9400320, episodic return=2184.28564453125\n", + "global step=9400320, episodic return=567.4910278320312\n", + "global step=9400320, episodic return=1985.86767578125\n", + "global step=9400320, episodic return=555.6215209960938\n", + "global step=9400320, episodic return=2119.14013671875\n", + "global step=9402368, episodic return=1375.739501953125\n", + "global step=9402368, episodic return=1948.7852783203125\n", + "global step=9402368, episodic return=822.11083984375\n", + "global step=9402368, episodic return=1356.7978515625\n", + "global step=9402368, episodic return=1248.159423828125\n", + "global step=9404416, episodic return=1799.3033447265625\n", + "global step=9404416, episodic return=689.0491943359375\n", + "global step=9404416, episodic return=2293.306884765625\n", + "global step=9404416, episodic return=625.3718872070312\n", + "global step=9406464, episodic return=2191.03076171875\n", + "global step=9406464, episodic return=1805.2904052734375\n", + "global step=9406464, episodic return=2170.042724609375\n", + "global step=9406464, episodic return=2151.10888671875\n", + "global step=9406464, episodic return=1600.7120361328125\n", + "global step=9406464, episodic return=2241.4921875\n", + "global step=9408512, episodic return=1630.7330322265625\n", + "global step=9408512, episodic return=471.805908203125\n", + "global step=9408512, episodic return=2210.446044921875\n", + "global step=9410560, episodic return=645.9999389648438\n", + "global step=9410560, episodic return=2178.20703125\n", + "global step=9412608, episodic return=1656.948486328125\n", + "global step=9412608, episodic return=1871.4056396484375\n", + "global step=9412608, episodic return=2088.26123046875\n", + "global step=9412608, episodic return=2132.16845703125\n", + "global step=9412608, episodic return=893.023681640625\n", + "global step=9412608, episodic return=1391.9244384765625\n", + "global step=9414656, episodic return=744.8855590820312\n", + "global step=9414656, episodic return=1656.044189453125\n", + "global step=9414656, episodic return=2147.7216796875\n", + "global step=9414656, episodic return=699.9368286132812\n", + "global step=9414656, episodic return=533.93798828125\n", + "global step=9414656, episodic return=2276.07421875\n", + "global step=9416704, episodic return=2112.81201171875\n", + "global step=9416704, episodic return=657.4650268554688\n", + "global step=9416704, episodic return=828.5277099609375\n", + "global step=9416704, episodic return=1994.16064453125\n", + "global step=9416704, episodic return=637.4853515625\n", + "global step=9416704, episodic return=2255.036865234375\n", + "global step=9416704, episodic return=1705.1102294921875\n", + "global step=9416704, episodic return=1365.85498046875\n", + "global step=9416704, episodic return=462.3023376464844\n", + "global step=9418752, episodic return=1187.26513671875\n", + "global step=9418752, episodic return=2106.39013671875\n", + "global step=9418752, episodic return=1678.3765869140625\n", + "global step=9418752, episodic return=1811.788330078125\n", + "global step=9420800, episodic return=1521.0482177734375\n", + "global step=9420800, episodic return=2018.5269775390625\n", + "global step=9420800, episodic return=236.46609497070312\n", + "global step=9420800, episodic return=1578.9898681640625\n", + "global step=9420800, episodic return=1564.7244873046875\n", + "global step=9420800, episodic return=2206.619873046875\n", + "global step=9420800, episodic return=642.3215942382812\n", + "global step=9420800, episodic return=2100.054931640625\n", + "global step=9420800, episodic return=562.6852416992188\n", + "global step=9420800, episodic return=1716.8826904296875\n", + "global step=9420800, episodic return=524.7398071289062\n", + "global step=9420800, episodic return=1969.2647705078125\n", + "global step=9422848, episodic return=2199.34033203125\n", + "global step=9422848, episodic return=116.39643096923828\n", + "global step=9422848, episodic return=1732.51904296875\n", + "global step=9422848, episodic return=2205.858642578125\n", + "global step=9422848, episodic return=2146.16455078125\n", + "global step=9424896, episodic return=1475.7872314453125\n", + "global step=9424896, episodic return=2133.8505859375\n", + "global step=9424896, episodic return=1373.015869140625\n", + "global step=9424896, episodic return=2112.304931640625\n", + "global step=9424896, episodic return=2171.289794921875\n", + "global step=9424896, episodic return=2134.293212890625\n", + "global step=9426944, episodic return=1792.3599853515625\n", + "global step=9426944, episodic return=1254.755615234375\n", + "global step=9426944, episodic return=2249.511474609375\n", + "global step=9426944, episodic return=2246.949462890625\n", + "global step=9428992, episodic return=2243.490234375\n", + "global step=9428992, episodic return=2215.2236328125\n", + "global step=9428992, episodic return=2191.0576171875\n", + "global step=9428992, episodic return=2226.35205078125\n", + "global step=9428992, episodic return=1760.216552734375\n", + "global step=9428992, episodic return=2213.172119140625\n", + "global step=9431040, episodic return=266.9371337890625\n", + "global step=9431040, episodic return=2222.278564453125\n", + "global step=9431040, episodic return=1818.380126953125\n", + "global step=9433088, episodic return=2209.10595703125\n", + "global step=9433088, episodic return=2210.52392578125\n", + "global step=9433088, episodic return=594.1987915039062\n", + "global step=9435136, episodic return=627.2615966796875\n", + "global step=9435136, episodic return=2217.430908203125\n", + "global step=9435136, episodic return=2188.426513671875\n", + "global step=9435136, episodic return=914.2276000976562\n", + "global step=9435136, episodic return=806.13134765625\n", + "global step=9435136, episodic return=1397.9652099609375\n", + "global step=9435136, episodic return=185.31130981445312\n", + "global step=9435136, episodic return=1496.2586669921875\n", + "global step=9435136, episodic return=1699.1756591796875\n", + "global step=9435136, episodic return=1086.214599609375\n", + "global step=9437184, episodic return=1625.7960205078125\n", + "global step=9437184, episodic return=1195.1036376953125\n", + "global step=9437184, episodic return=1430.56103515625\n", + "global step=9437184, episodic return=2152.447265625\n", + "global step=9437184, episodic return=2150.4443359375\n", + "global step=9439232, episodic return=1397.1944580078125\n", + "global step=9439232, episodic return=220.1384735107422\n", + "global step=9439232, episodic return=1670.7884521484375\n", + "global step=9439232, episodic return=2179.956298828125\n", + "global step=9439232, episodic return=2200.32958984375\n", + "global step=9441280, episodic return=2161.9443359375\n", + "global step=9441280, episodic return=689.1486206054688\n", + "global step=9441280, episodic return=2302.429443359375\n", + "global step=9441280, episodic return=1825.14892578125\n", + "global step=9441280, episodic return=1528.6158447265625\n", + "global step=9441280, episodic return=828.1055908203125\n", + "global step=9443328, episodic return=2239.7314453125\n", + "global step=9443328, episodic return=1580.5689697265625\n", + "global step=9443328, episodic return=2210.736572265625\n", + "global step=9443328, episodic return=654.5335693359375\n", + "global step=9443328, episodic return=1499.0067138671875\n", + "global step=9443328, episodic return=2024.6507568359375\n", + "global step=9443328, episodic return=2129.872314453125\n", + "global step=9443328, episodic return=2254.83740234375\n", + "global step=9443328, episodic return=2243.204833984375\n", + "global step=9443328, episodic return=500.6485900878906\n", + "global step=9443328, episodic return=1471.005615234375\n", + "global step=9445376, episodic return=1065.36669921875\n", + "global step=9447424, episodic return=611.8622436523438\n", + "global step=9447424, episodic return=1257.93408203125\n", + "global step=9447424, episodic return=1753.0784912109375\n", + "global step=9447424, episodic return=723.6329956054688\n", + "global step=9449472, episodic return=2235.886962890625\n", + "global step=9449472, episodic return=1780.3031005859375\n", + "global step=9449472, episodic return=2171.988037109375\n", + "global step=9449472, episodic return=2253.044921875\n", + "global step=9449472, episodic return=2227.67529296875\n", + "global step=9449472, episodic return=1809.82470703125\n", + "global step=9449472, episodic return=2265.517578125\n", + "global step=9449472, episodic return=2169.862548828125\n", + "global step=9451520, episodic return=1361.3153076171875\n", + "global step=9451520, episodic return=615.50439453125\n", + "global step=9451520, episodic return=1964.015380859375\n", + "global step=9451520, episodic return=1548.8023681640625\n", + "global step=9451520, episodic return=1557.0899658203125\n", + "global step=9453568, episodic return=1754.7459716796875\n", + "global step=9453568, episodic return=2329.799560546875\n", + "global step=9453568, episodic return=2163.678466796875\n", + "global step=9453568, episodic return=1761.809814453125\n", + "global step=9453568, episodic return=659.8314819335938\n", + "global step=9455616, episodic return=1271.28076171875\n", + "global step=9455616, episodic return=1359.04296875\n", + "global step=9457664, episodic return=112.8213119506836\n", + "global step=9457664, episodic return=2216.240478515625\n", + "global step=9457664, episodic return=2158.546142578125\n", + "global step=9457664, episodic return=2137.214599609375\n", + "global step=9459712, episodic return=652.1975708007812\n", + "global step=9459712, episodic return=1835.1226806640625\n", + "global step=9459712, episodic return=2165.0986328125\n", + "global step=9459712, episodic return=1982.1317138671875\n", + "global step=9459712, episodic return=1139.4161376953125\n", + "global step=9459712, episodic return=1034.2554931640625\n", + "global step=9459712, episodic return=602.4427490234375\n", + "global step=9461760, episodic return=2228.0224609375\n", + "global step=9461760, episodic return=2260.673583984375\n", + "global step=9461760, episodic return=2211.15966796875\n", + "global step=9461760, episodic return=945.2256469726562\n", + "global step=9463808, episodic return=1635.8040771484375\n", + "global step=9463808, episodic return=396.32257080078125\n", + "global step=9463808, episodic return=1383.8095703125\n", + "global step=9463808, episodic return=1061.4234619140625\n", + "global step=9463808, episodic return=1495.68798828125\n", + "global step=9465856, episodic return=2285.448974609375\n", + "global step=9465856, episodic return=2144.2373046875\n", + "global step=9465856, episodic return=2123.862060546875\n", + "global step=9467904, episodic return=613.8994140625\n", + "global step=9467904, episodic return=2265.54150390625\n", + "global step=9467904, episodic return=653.4733276367188\n", + "global step=9467904, episodic return=2278.62939453125\n", + "global step=9467904, episodic return=1508.5418701171875\n", + "global step=9467904, episodic return=2184.226318359375\n", + "global step=9467904, episodic return=2190.3837890625\n", + "global step=9467904, episodic return=2216.873779296875\n", + "global step=9469952, episodic return=2191.262451171875\n", + "global step=9472000, episodic return=2259.574462890625\n", + "global step=9472000, episodic return=2217.566650390625\n", + "global step=9472000, episodic return=1428.2742919921875\n", + "global step=9472000, episodic return=581.4124755859375\n", + "global step=9472000, episodic return=1842.6910400390625\n", + "global step=9472000, episodic return=1499.328125\n", + "global step=9474048, episodic return=2162.172119140625\n", + "global step=9474048, episodic return=2215.5546875\n", + "global step=9474048, episodic return=2214.697509765625\n", + "global step=9474048, episodic return=2231.419921875\n", + "global step=9476096, episodic return=2171.204833984375\n", + "global step=9476096, episodic return=2143.768798828125\n", + "global step=9476096, episodic return=395.81353759765625\n", + "global step=9476096, episodic return=2207.85400390625\n", + "global step=9478144, episodic return=1524.934326171875\n", + "global step=9478144, episodic return=2268.4501953125\n", + "global step=9480192, episodic return=2219.472900390625\n", + "global step=9480192, episodic return=2209.717529296875\n", + "global step=9482240, episodic return=2186.525146484375\n", + "global step=9482240, episodic return=2167.373046875\n", + "global step=9482240, episodic return=2131.442626953125\n", + "global step=9484288, episodic return=2224.279541015625\n", + "global step=9484288, episodic return=2231.942138671875\n", + "global step=9484288, episodic return=2133.11474609375\n", + "global step=9484288, episodic return=1820.061279296875\n", + "global step=9484288, episodic return=1741.8057861328125\n", + "global step=9486336, episodic return=1678.54931640625\n", + "global step=9486336, episodic return=2139.357421875\n", + "global step=9488384, episodic return=2230.80908203125\n", + "global step=9488384, episodic return=2166.66943359375\n", + "global step=9488384, episodic return=1793.4483642578125\n", + "global step=9488384, episodic return=2193.6201171875\n", + "global step=9488384, episodic return=2180.453125\n", + "global step=9488384, episodic return=2316.745849609375\n", + "global step=9488384, episodic return=1795.8570556640625\n", + "global step=9490432, episodic return=2177.31787109375\n", + "global step=9490432, episodic return=2251.413330078125\n", + "global step=9490432, episodic return=1615.56005859375\n", + "global step=9490432, episodic return=2241.17041015625\n", + "global step=9492480, episodic return=2150.120361328125\n", + "global step=9492480, episodic return=567.1535034179688\n", + "global step=9492480, episodic return=2227.702392578125\n", + "global step=9494528, episodic return=1196.6895751953125\n", + "global step=9494528, episodic return=2189.976318359375\n", + "global step=9494528, episodic return=2183.2841796875\n", + "global step=9494528, episodic return=709.9301147460938\n", + "global step=9494528, episodic return=2255.0048828125\n", + "global step=9494528, episodic return=2204.37646484375\n", + "global step=9496576, episodic return=2211.379638671875\n", + "global step=9496576, episodic return=1812.7127685546875\n", + "global step=9498624, episodic return=2281.9345703125\n", + "global step=9498624, episodic return=639.0858154296875\n", + "global step=9498624, episodic return=2271.962158203125\n", + "global step=9500672, episodic return=1742.214111328125\n", + "global step=9500672, episodic return=1983.4512939453125\n", + "global step=9500672, episodic return=2216.58154296875\n", + "global step=9502720, episodic return=1432.9725341796875\n", + "global step=9502720, episodic return=1498.0550537109375\n", + "global step=9502720, episodic return=1731.6802978515625\n", + "global step=9502720, episodic return=1127.28857421875\n", + "global step=9502720, episodic return=2261.33203125\n", + "global step=9502720, episodic return=2218.4775390625\n", + "global step=9502720, episodic return=2195.9990234375\n", + "global step=9502720, episodic return=2287.277587890625\n", + "global step=9502720, episodic return=2282.69580078125\n", + "global step=9504768, episodic return=691.4821166992188\n", + "global step=9504768, episodic return=2219.78173828125\n", + "global step=9504768, episodic return=2229.133056640625\n", + "global step=9504768, episodic return=580.0296630859375\n", + "global step=9504768, episodic return=2157.955810546875\n", + "global step=9504768, episodic return=2263.4580078125\n", + "global step=9504768, episodic return=1296.16259765625\n", + "global step=9506816, episodic return=2123.48486328125\n", + "global step=9506816, episodic return=2197.474365234375\n", + "global step=9506816, episodic return=2152.97265625\n", + "global step=9506816, episodic return=2202.281005859375\n", + "global step=9508864, episodic return=2242.28662109375\n", + "global step=9508864, episodic return=1993.79296875\n", + "global step=9508864, episodic return=1538.266845703125\n", + "global step=9508864, episodic return=2248.819091796875\n", + "global step=9508864, episodic return=2186.728271484375\n", + "global step=9512960, episodic return=2268.79296875\n", + "global step=9512960, episodic return=1085.256591796875\n", + "global step=9515008, episodic return=2236.7578125\n", + "global step=9515008, episodic return=1695.1595458984375\n", + "global step=9515008, episodic return=1867.1964111328125\n", + "global step=9521152, episodic return=1829.607177734375\n", + "global step=9521152, episodic return=1619.1353759765625\n", + "global step=9523200, episodic return=2149.931640625\n", + "global step=9525248, episodic return=2257.709228515625\n", + "global step=9525248, episodic return=2224.526611328125\n", + "global step=9525248, episodic return=2173.547119140625\n", + "global step=9525248, episodic return=1913.9654541015625\n", + "global step=9525248, episodic return=2312.73876953125\n", + "global step=9527296, episodic return=2277.868408203125\n", + "global step=9527296, episodic return=1705.8372802734375\n", + "global step=9527296, episodic return=2251.5546875\n", + "global step=9529344, episodic return=2154.870361328125\n", + "global step=9529344, episodic return=1634.25048828125\n", + "global step=9531392, episodic return=2189.6943359375\n", + "global step=9531392, episodic return=2207.097900390625\n", + "global step=9535488, episodic return=2276.857666015625\n", + "global step=9535488, episodic return=2204.709716796875\n", + "global step=9535488, episodic return=2244.985595703125\n", + "global step=9535488, episodic return=1733.512451171875\n", + "global step=9535488, episodic return=2325.61474609375\n", + "global step=9535488, episodic return=1182.5460205078125\n", + "global step=9537536, episodic return=2264.504150390625\n", + "global step=9537536, episodic return=2146.44873046875\n", + "global step=9537536, episodic return=2307.853271484375\n", + "global step=9539584, episodic return=2247.873779296875\n", + "global step=9539584, episodic return=798.214111328125\n", + "global step=9539584, episodic return=2150.687255859375\n", + "global step=9539584, episodic return=1960.23046875\n", + "global step=9539584, episodic return=170.4762420654297\n", + "global step=9543680, episodic return=135.00961303710938\n", + "global step=9543680, episodic return=2272.186279296875\n", + "global step=9545728, episodic return=2212.395263671875\n", + "global step=9545728, episodic return=166.99916076660156\n", + "global step=9545728, episodic return=747.7884521484375\n", + "global step=9547776, episodic return=2279.638671875\n", + "global step=9547776, episodic return=2214.140625\n", + "global step=9547776, episodic return=2251.574462890625\n", + "global step=9549824, episodic return=1763.7342529296875\n", + "global step=9549824, episodic return=707.1802978515625\n", + "global step=9549824, episodic return=2259.642578125\n", + "global step=9551872, episodic return=1702.927978515625\n", + "global step=9551872, episodic return=1893.3111572265625\n", + "global step=9551872, episodic return=2241.6513671875\n", + "global step=9551872, episodic return=2180.799560546875\n", + "global step=9553920, episodic return=2229.288818359375\n", + "global step=9553920, episodic return=2297.705810546875\n", + "global step=9553920, episodic return=2342.80126953125\n", + "global step=9553920, episodic return=2233.90234375\n", + "global step=9553920, episodic return=269.8491516113281\n", + "global step=9555968, episodic return=2298.289306640625\n", + "global step=9555968, episodic return=2211.4306640625\n", + "global step=9560064, episodic return=1553.5426025390625\n", + "global step=9562112, episodic return=2290.370849609375\n", + "global step=9564160, episodic return=2243.420654296875\n", + "global step=9564160, episodic return=2228.933349609375\n", + "global step=9564160, episodic return=65.65215301513672\n", + "global step=9564160, episodic return=1250.1976318359375\n", + "global step=9566208, episodic return=2259.420166015625\n", + "global step=9566208, episodic return=1616.5189208984375\n", + "global step=9566208, episodic return=2292.2021484375\n", + "global step=9568256, episodic return=2221.123046875\n", + "global step=9570304, episodic return=2299.94091796875\n", + "global step=9572352, episodic return=2274.830810546875\n", + "global step=9574400, episodic return=1669.2926025390625\n", + "global step=9574400, episodic return=1870.3499755859375\n", + "global step=9574400, episodic return=1427.695068359375\n", + "global step=9574400, episodic return=2279.901123046875\n", + "global step=9574400, episodic return=1699.5718994140625\n", + "global step=9574400, episodic return=2268.13427734375\n", + "global step=9574400, episodic return=1473.1246337890625\n", + "global step=9576448, episodic return=2219.208740234375\n", + "global step=9576448, episodic return=2298.18798828125\n", + "global step=9576448, episodic return=2307.52587890625\n", + "global step=9578496, episodic return=1945.3326416015625\n", + "global step=9578496, episodic return=1441.1212158203125\n", + "global step=9578496, episodic return=2221.384521484375\n", + "global step=9578496, episodic return=2305.96923828125\n", + "global step=9578496, episodic return=2310.843994140625\n", + "global step=9580544, episodic return=2305.334228515625\n", + "global step=9580544, episodic return=1720.38427734375\n", + "global step=9582592, episodic return=2327.66455078125\n", + "global step=9582592, episodic return=1752.9027099609375\n", + "global step=9584640, episodic return=2306.09814453125\n", + "global step=9584640, episodic return=2243.766357421875\n", + "global step=9584640, episodic return=2209.756591796875\n", + "global step=9584640, episodic return=216.29901123046875\n", + "global step=9586688, episodic return=2214.78271484375\n", + "global step=9586688, episodic return=837.959228515625\n", + "global step=9586688, episodic return=2212.177978515625\n", + "global step=9586688, episodic return=69.81159973144531\n", + "global step=9586688, episodic return=147.9223175048828\n", + "global step=9586688, episodic return=1729.285400390625\n", + "global step=9586688, episodic return=2339.156982421875\n", + "global step=9586688, episodic return=2193.937744140625\n", + "global step=9588736, episodic return=2281.992919921875\n", + "global step=9590784, episodic return=2213.683349609375\n", + "global step=9590784, episodic return=2001.41162109375\n", + "global step=9592832, episodic return=1735.2772216796875\n", + "global step=9592832, episodic return=1937.4281005859375\n", + "global step=9592832, episodic return=2262.454345703125\n", + "global step=9594880, episodic return=205.78860473632812\n", + "global step=9594880, episodic return=2202.510498046875\n", + "global step=9596928, episodic return=2334.400634765625\n", + "global step=9596928, episodic return=1226.739013671875\n", + "global step=9598976, episodic return=2216.04638671875\n", + "global step=9598976, episodic return=2240.289794921875\n", + "global step=9601024, episodic return=2135.181884765625\n", + "global step=9601024, episodic return=1758.0872802734375\n", + "global step=9605120, episodic return=70.78902435302734\n", + "global step=9605120, episodic return=587.2730712890625\n", + "global step=9605120, episodic return=1066.2218017578125\n", + "global step=9607168, episodic return=1853.135986328125\n", + "global step=9607168, episodic return=2222.35009765625\n", + "global step=9607168, episodic return=2259.70068359375\n", + "global step=9607168, episodic return=1985.9149169921875\n", + "global step=9607168, episodic return=1602.0445556640625\n", + "global step=9609216, episodic return=2299.17529296875\n", + "global step=9609216, episodic return=1742.5098876953125\n", + "global step=9611264, episodic return=2229.413330078125\n", + "global step=9613312, episodic return=2278.281005859375\n", + "global step=9613312, episodic return=1696.0843505859375\n", + "global step=9613312, episodic return=77.72098541259766\n", + "global step=9615360, episodic return=819.4406127929688\n", + "global step=9619456, episodic return=2055.914306640625\n", + "global step=9619456, episodic return=940.0712890625\n", + "global step=9623552, episodic return=23.08526611328125\n", + "global step=9623552, episodic return=218.0144805908203\n", + "global step=9623552, episodic return=490.8398742675781\n", + "global step=9623552, episodic return=245.91946411132812\n", + "global step=9623552, episodic return=2272.6494140625\n", + "global step=9625600, episodic return=1713.494140625\n", + "global step=9625600, episodic return=1993.29638671875\n", + "global step=9627648, episodic return=2223.495361328125\n", + "global step=9627648, episodic return=2250.60400390625\n", + "global step=9627648, episodic return=2272.403564453125\n", + "global step=9627648, episodic return=1100.57568359375\n", + "global step=9627648, episodic return=2257.01025390625\n", + "global step=9629696, episodic return=1730.22900390625\n", + "global step=9629696, episodic return=1987.964599609375\n", + "global step=9629696, episodic return=1835.4464111328125\n", + "global step=9633792, episodic return=1650.8846435546875\n", + "global step=9633792, episodic return=1886.512451171875\n", + "global step=9633792, episodic return=1915.222412109375\n", + "global step=9635840, episodic return=395.3757019042969\n", + "global step=9635840, episodic return=1349.878662109375\n", + "global step=9637888, episodic return=2244.979736328125\n", + "global step=9637888, episodic return=893.2952880859375\n", + "global step=9639936, episodic return=2216.9501953125\n", + "global step=9639936, episodic return=1968.735107421875\n", + "global step=9639936, episodic return=573.7944946289062\n", + "global step=9639936, episodic return=2037.697509765625\n", + "global step=9639936, episodic return=2080.6328125\n", + "global step=9641984, episodic return=1134.3570556640625\n", + "global step=9644032, episodic return=2005.159423828125\n", + "global step=9644032, episodic return=2195.456298828125\n", + "global step=9644032, episodic return=1511.201904296875\n", + "global step=9646080, episodic return=2182.980224609375\n", + "global step=9648128, episodic return=2268.925537109375\n", + "global step=9650176, episodic return=1759.5372314453125\n", + "global step=9652224, episodic return=2099.9345703125\n", + "global step=9652224, episodic return=2108.640380859375\n", + "global step=9654272, episodic return=2246.6904296875\n", + "global step=9654272, episodic return=2185.4248046875\n", + "global step=9656320, episodic return=2264.8828125\n", + "global step=9660416, episodic return=1486.3499755859375\n", + "global step=9662464, episodic return=2269.74853515625\n", + "global step=9662464, episodic return=645.241943359375\n", + "global step=9662464, episodic return=1751.901123046875\n", + "global step=9664512, episodic return=1192.890380859375\n", + "global step=9666560, episodic return=2262.431396484375\n", + "global step=9666560, episodic return=2267.286376953125\n", + "global step=9666560, episodic return=2319.625\n", + "global step=9668608, episodic return=2272.090576171875\n", + "global step=9668608, episodic return=2330.020751953125\n", + "global step=9668608, episodic return=670.00634765625\n", + "global step=9668608, episodic return=2318.9140625\n", + "global step=9670656, episodic return=1746.62841796875\n", + "global step=9672704, episodic return=1865.7471923828125\n", + "global step=9672704, episodic return=2044.23095703125\n", + "global step=9672704, episodic return=2317.30419921875\n", + "global step=9674752, episodic return=2243.587646484375\n", + "global step=9674752, episodic return=2208.911376953125\n", + "global step=9676800, episodic return=544.7955322265625\n", + "global step=9676800, episodic return=2245.401123046875\n", + "global step=9678848, episodic return=2009.115478515625\n", + "global step=9678848, episodic return=2047.5706787109375\n", + "global step=9678848, episodic return=2311.587158203125\n", + "global step=9680896, episodic return=2328.001220703125\n", + "global step=9682944, episodic return=2218.052978515625\n", + "global step=9684992, episodic return=2278.4951171875\n", + "global step=9689088, episodic return=2134.20849609375\n", + "global step=9691136, episodic return=1034.4476318359375\n", + "global step=9693184, episodic return=869.2576293945312\n", + "global step=9697280, episodic return=2287.3818359375\n", + "global step=9699328, episodic return=732.1278686523438\n", + "global step=9699328, episodic return=2261.66015625\n", + "global step=9699328, episodic return=777.6490478515625\n", + "global step=9701376, episodic return=2030.6177978515625\n", + "global step=9701376, episodic return=972.1500244140625\n", + "global step=9703424, episodic return=2229.851806640625\n", + "global step=9703424, episodic return=2305.00732421875\n", + "global step=9703424, episodic return=2260.930419921875\n", + "global step=9705472, episodic return=2281.770751953125\n", + "global step=9707520, episodic return=1716.3673095703125\n", + "global step=9709568, episodic return=959.1716918945312\n", + "global step=9711616, episodic return=1132.4041748046875\n", + "global step=9713664, episodic return=2196.43017578125\n", + "global step=9713664, episodic return=2331.467529296875\n", + "global step=9713664, episodic return=784.9913330078125\n", + "global step=9715712, episodic return=2239.92919921875\n", + "global step=9715712, episodic return=2351.83837890625\n", + "global step=9717760, episodic return=919.8862915039062\n", + "global step=9717760, episodic return=1889.2337646484375\n", + "global step=9717760, episodic return=913.3262939453125\n", + "global step=9719808, episodic return=619.1804809570312\n", + "global step=9719808, episodic return=417.0598449707031\n", + "global step=9721856, episodic return=1875.7611083984375\n", + "global step=9723904, episodic return=2305.66845703125\n", + "global step=9723904, episodic return=2188.57470703125\n", + "global step=9723904, episodic return=2267.79150390625\n", + "global step=9725952, episodic return=2196.67724609375\n", + "global step=9728000, episodic return=1124.0865478515625\n", + "global step=9732096, episodic return=2266.421142578125\n", + "global step=9734144, episodic return=2268.286865234375\n", + "global step=9734144, episodic return=2259.6240234375\n", + "global step=9734144, episodic return=2258.101318359375\n", + "global step=9736192, episodic return=2140.38330078125\n", + "global step=9736192, episodic return=2294.232666015625\n", + "global step=9736192, episodic return=2202.38232421875\n", + "global step=9736192, episodic return=2166.4453125\n", + "global step=9738240, episodic return=688.1908569335938\n", + "global step=9738240, episodic return=1868.6204833984375\n", + "global step=9738240, episodic return=2266.458251953125\n", + "global step=9738240, episodic return=148.89208984375\n", + "global step=9740288, episodic return=180.76254272460938\n", + "global step=9740288, episodic return=2276.17822265625\n", + "global step=9740288, episodic return=1762.38720703125\n", + "global step=9742336, episodic return=2144.066650390625\n", + "global step=9742336, episodic return=115.49337768554688\n", + "global step=9742336, episodic return=325.0577392578125\n", + "global step=9742336, episodic return=2326.25830078125\n", + "global step=9742336, episodic return=923.1834106445312\n", + "global step=9742336, episodic return=2332.19189453125\n", + "global step=9746432, episodic return=291.0582275390625\n", + "global step=9746432, episodic return=1947.6778564453125\n", + "global step=9746432, episodic return=2298.0517578125\n", + "global step=9748480, episodic return=2228.98828125\n", + "global step=9748480, episodic return=931.4468994140625\n", + "global step=9748480, episodic return=2216.6748046875\n", + "global step=9750528, episodic return=2236.175048828125\n", + "global step=9750528, episodic return=2244.529052734375\n", + "global step=9752576, episodic return=2285.843994140625\n", + "global step=9752576, episodic return=2326.56591796875\n", + "global step=9756672, episodic return=188.61854553222656\n", + "global step=9756672, episodic return=2194.961669921875\n", + "global step=9758720, episodic return=2249.525390625\n", + "global step=9758720, episodic return=773.0446166992188\n", + "global step=9758720, episodic return=2223.119140625\n", + "global step=9758720, episodic return=2229.296630859375\n", + "global step=9760768, episodic return=2214.87939453125\n", + "global step=9760768, episodic return=590.781494140625\n", + "global step=9762816, episodic return=1503.592041015625\n", + "global step=9762816, episodic return=2244.140380859375\n", + "global step=9762816, episodic return=2175.071044921875\n", + "global step=9762816, episodic return=2245.09912109375\n", + "global step=9764864, episodic return=2293.503173828125\n", + "global step=9764864, episodic return=2233.31640625\n", + "global step=9764864, episodic return=1815.7784423828125\n", + "global step=9764864, episodic return=2278.690185546875\n", + "global step=9766912, episodic return=2268.61669921875\n", + "global step=9766912, episodic return=2256.20556640625\n", + "global step=9768960, episodic return=2277.922119140625\n", + "global step=9768960, episodic return=2217.522216796875\n", + "global step=9768960, episodic return=126.53292846679688\n", + "global step=9773056, episodic return=2191.463134765625\n", + "global step=9773056, episodic return=2280.05712890625\n", + "global step=9775104, episodic return=2259.185791015625\n", + "global step=9775104, episodic return=2265.770751953125\n", + "global step=9777152, episodic return=2250.560302734375\n", + "global step=9777152, episodic return=768.7025146484375\n", + "global step=9777152, episodic return=2228.54443359375\n", + "global step=9777152, episodic return=2253.390625\n", + "global step=9777152, episodic return=2258.974853515625\n", + "global step=9777152, episodic return=2291.79296875\n", + "global step=9777152, episodic return=1023.384765625\n", + "global step=9781248, episodic return=2272.65869140625\n", + "global step=9781248, episodic return=1873.2357177734375\n", + "global step=9783296, episodic return=892.9680786132812\n", + "global step=9783296, episodic return=2247.9931640625\n", + "global step=9785344, episodic return=1947.3353271484375\n", + "global step=9785344, episodic return=898.41357421875\n", + "global step=9785344, episodic return=2276.07568359375\n", + "global step=9787392, episodic return=2244.816162109375\n", + "global step=9787392, episodic return=1907.883544921875\n", + "global step=9787392, episodic return=868.2389526367188\n", + "global step=9787392, episodic return=2252.647216796875\n", + "global step=9787392, episodic return=2193.357177734375\n", + "global step=9787392, episodic return=2188.26513671875\n", + "global step=9789440, episodic return=2230.4384765625\n", + "global step=9791488, episodic return=1849.5350341796875\n", + "global step=9791488, episodic return=2321.645751953125\n", + "global step=9793536, episodic return=754.1505126953125\n", + "global step=9793536, episodic return=2268.784912109375\n", + "global step=9793536, episodic return=2183.650390625\n", + "global step=9793536, episodic return=2066.765380859375\n", + "global step=9793536, episodic return=2270.720458984375\n", + "global step=9795584, episodic return=2234.986083984375\n", + "global step=9795584, episodic return=715.013916015625\n", + "global step=9795584, episodic return=667.3441162109375\n", + "global step=9795584, episodic return=2259.419677734375\n", + "global step=9797632, episodic return=543.8101806640625\n", + "global step=9797632, episodic return=2273.10009765625\n", + "global step=9797632, episodic return=2269.882080078125\n", + "global step=9797632, episodic return=1055.3724365234375\n", + "global step=9797632, episodic return=2254.546630859375\n", + "global step=9799680, episodic return=58.92795944213867\n", + "global step=9799680, episodic return=385.3524169921875\n", + "global step=9799680, episodic return=2281.175537109375\n", + "global step=9799680, episodic return=2160.6201171875\n", + "global step=9799680, episodic return=2290.803955078125\n", + "global step=9799680, episodic return=2282.056884765625\n", + "global step=9801728, episodic return=189.32940673828125\n", + "global step=9801728, episodic return=2287.051513671875\n", + "global step=9801728, episodic return=821.7582397460938\n", + "global step=9801728, episodic return=2213.701416015625\n", + "global step=9803776, episodic return=517.1122436523438\n", + "global step=9803776, episodic return=2270.35107421875\n", + "global step=9803776, episodic return=2313.473876953125\n", + "global step=9805824, episodic return=2259.59814453125\n", + "global step=9805824, episodic return=2381.1572265625\n", + "global step=9805824, episodic return=2165.34033203125\n", + "global step=9805824, episodic return=2249.5146484375\n", + "global step=9805824, episodic return=65.02732849121094\n", + "global step=9807872, episodic return=1817.522216796875\n", + "global step=9807872, episodic return=2237.009765625\n", + "global step=9807872, episodic return=2353.13623046875\n", + "global step=9809920, episodic return=2249.09326171875\n", + "global step=9809920, episodic return=2232.221435546875\n", + "global step=9809920, episodic return=787.5960083007812\n", + "global step=9811968, episodic return=2319.747314453125\n", + "global step=9811968, episodic return=2286.25244140625\n", + "global step=9811968, episodic return=2249.782470703125\n", + "global step=9811968, episodic return=1429.3773193359375\n", + "global step=9811968, episodic return=171.0213165283203\n", + "global step=9811968, episodic return=857.9771728515625\n", + "global step=9814016, episodic return=2220.17431640625\n", + "global step=9814016, episodic return=290.10577392578125\n", + "global step=9814016, episodic return=2283.88427734375\n", + "global step=9814016, episodic return=2300.461181640625\n", + "global step=9814016, episodic return=2289.426513671875\n", + "global step=9814016, episodic return=2177.593017578125\n", + "global step=9816064, episodic return=1886.046630859375\n", + "global step=9816064, episodic return=2271.354248046875\n", + "global step=9816064, episodic return=1793.9219970703125\n", + "global step=9816064, episodic return=2331.218017578125\n", + "global step=9818112, episodic return=2313.9404296875\n", + "global step=9818112, episodic return=2277.18408203125\n", + "global step=9818112, episodic return=2302.4111328125\n", + "global step=9818112, episodic return=2292.273681640625\n", + "global step=9818112, episodic return=2285.565185546875\n", + "global step=9818112, episodic return=229.9093475341797\n", + "global step=9818112, episodic return=2244.6650390625\n", + "global step=9820160, episodic return=395.78680419921875\n", + "global step=9820160, episodic return=2239.400146484375\n", + "global step=9820160, episodic return=2272.11083984375\n", + "global step=9820160, episodic return=2304.51123046875\n", + "global step=9820160, episodic return=2261.317626953125\n", + "global step=9822208, episodic return=2221.8330078125\n", + "global step=9822208, episodic return=2289.281005859375\n", + "global step=9822208, episodic return=2236.795166015625\n", + "global step=9822208, episodic return=2240.005859375\n", + "global step=9822208, episodic return=2273.913330078125\n", + "global step=9822208, episodic return=2011.0477294921875\n", + "global step=9824256, episodic return=2300.771484375\n", + "global step=9824256, episodic return=2333.9306640625\n", + "global step=9824256, episodic return=841.5746459960938\n", + "global step=9824256, episodic return=2287.490478515625\n", + "global step=9826304, episodic return=2296.63427734375\n", + "global step=9826304, episodic return=2274.6162109375\n", + "global step=9826304, episodic return=356.90057373046875\n", + "global step=9826304, episodic return=1830.0274658203125\n", + "global step=9826304, episodic return=2339.81005859375\n", + "global step=9826304, episodic return=2305.382568359375\n", + "global step=9828352, episodic return=40.36980438232422\n", + "global step=9828352, episodic return=2283.867919921875\n", + "global step=9828352, episodic return=2242.772705078125\n", + "global step=9828352, episodic return=2297.09619140625\n", + "global step=9830400, episodic return=2243.855712890625\n", + "global step=9830400, episodic return=2242.428955078125\n", + "global step=9830400, episodic return=2096.54833984375\n", + "global step=9832448, episodic return=2264.694580078125\n", + "global step=9832448, episodic return=2203.66796875\n", + "global step=9832448, episodic return=290.2908935546875\n", + "global step=9832448, episodic return=2304.161376953125\n", + "global step=9832448, episodic return=2276.81787109375\n", + "global step=9832448, episodic return=1371.7713623046875\n", + "global step=9834496, episodic return=694.9528198242188\n", + "global step=9834496, episodic return=2149.212890625\n", + "global step=9834496, episodic return=1900.2899169921875\n", + "global step=9834496, episodic return=2301.153076171875\n", + "global step=9834496, episodic return=2226.511474609375\n", + "global step=9836544, episodic return=2253.44384765625\n", + "global step=9836544, episodic return=2210.208251953125\n", + "global step=9836544, episodic return=2371.930419921875\n", + "global step=9836544, episodic return=2037.9190673828125\n", + "global step=9836544, episodic return=2290.53271484375\n", + "global step=9838592, episodic return=1667.0765380859375\n", + "global step=9838592, episodic return=2297.980712890625\n", + "global step=9838592, episodic return=2306.16552734375\n", + "global step=9838592, episodic return=2299.851806640625\n", + "global step=9838592, episodic return=70.06918334960938\n", + "global step=9840640, episodic return=2264.468994140625\n", + "global step=9840640, episodic return=2169.979736328125\n", + "global step=9840640, episodic return=2223.157470703125\n", + "global step=9840640, episodic return=2321.596435546875\n", + "global step=9840640, episodic return=2170.3115234375\n", + "global step=9842688, episodic return=2210.550537109375\n", + "global step=9842688, episodic return=2306.486328125\n", + "global step=9844736, episodic return=2278.299072265625\n", + "global step=9844736, episodic return=2247.139892578125\n", + "global step=9844736, episodic return=2223.210205078125\n", + "global step=9844736, episodic return=2288.90625\n", + "global step=9846784, episodic return=1885.2486572265625\n", + "global step=9846784, episodic return=2283.764892578125\n", + "global step=9848832, episodic return=2316.457275390625\n", + "global step=9848832, episodic return=1934.1707763671875\n", + "global step=9850880, episodic return=2254.056884765625\n", + "global step=9850880, episodic return=2289.785400390625\n", + "global step=9852928, episodic return=2275.771240234375\n", + "global step=9852928, episodic return=1865.12841796875\n", + "global step=9852928, episodic return=1519.9365234375\n", + "global step=9854976, episodic return=2264.771240234375\n", + "global step=9854976, episodic return=1129.916748046875\n", + "global step=9854976, episodic return=1877.3193359375\n", + "global step=9857024, episodic return=2283.986572265625\n", + "global step=9857024, episodic return=605.4476318359375\n", + "global step=9857024, episodic return=2296.937744140625\n", + "global step=9859072, episodic return=2229.17626953125\n", + "global step=9859072, episodic return=2294.505615234375\n", + "global step=9861120, episodic return=1607.3792724609375\n", + "global step=9861120, episodic return=2290.806640625\n", + "global step=9861120, episodic return=2247.0859375\n", + "global step=9863168, episodic return=2334.53369140625\n", + "global step=9863168, episodic return=2309.850341796875\n", + "global step=9863168, episodic return=2266.204345703125\n", + "global step=9863168, episodic return=2283.69580078125\n", + "global step=9863168, episodic return=2271.876953125\n", + "global step=9865216, episodic return=2237.416748046875\n", + "global step=9867264, episodic return=2279.02880859375\n", + "global step=9867264, episodic return=2174.880615234375\n", + "global step=9867264, episodic return=408.2366027832031\n", + "global step=9867264, episodic return=676.5303955078125\n", + "global step=9867264, episodic return=2170.68359375\n", + "global step=9867264, episodic return=2188.233642578125\n", + "global step=9867264, episodic return=1378.264404296875\n", + "global step=9867264, episodic return=2215.3095703125\n", + "global step=9869312, episodic return=2210.014404296875\n", + "global step=9869312, episodic return=2302.823974609375\n", + "global step=9869312, episodic return=2345.77783203125\n", + "global step=9869312, episodic return=2230.166015625\n", + "global step=9871360, episodic return=204.32997131347656\n", + "global step=9871360, episodic return=2287.325927734375\n", + "global step=9871360, episodic return=2268.6962890625\n", + "global step=9871360, episodic return=2296.2490234375\n", + "global step=9871360, episodic return=2300.69775390625\n", + "global step=9871360, episodic return=2247.45751953125\n", + "global step=9873408, episodic return=2050.207763671875\n", + "global step=9873408, episodic return=2319.53515625\n", + "global step=9873408, episodic return=2341.13818359375\n", + "global step=9873408, episodic return=1259.089111328125\n", + "global step=9875456, episodic return=2309.678466796875\n", + "global step=9875456, episodic return=2262.31494140625\n", + "global step=9875456, episodic return=992.0711059570312\n", + "global step=9875456, episodic return=2245.480712890625\n", + "global step=9877504, episodic return=2395.130859375\n", + "global step=9877504, episodic return=2272.766357421875\n", + "global step=9879552, episodic return=2292.09228515625\n", + "global step=9879552, episodic return=977.9379272460938\n", + "global step=9879552, episodic return=2317.69140625\n", + "global step=9879552, episodic return=1056.46142578125\n", + "global step=9879552, episodic return=366.3985290527344\n", + "global step=9879552, episodic return=2305.482421875\n", + "global step=9881600, episodic return=2320.444580078125\n", + "global step=9881600, episodic return=2243.651611328125\n", + "global step=9883648, episodic return=2352.07470703125\n", + "global step=9883648, episodic return=2299.308349609375\n", + "global step=9883648, episodic return=2312.07861328125\n", + "global step=9885696, episodic return=2294.182373046875\n", + "global step=9885696, episodic return=2249.1875\n", + "global step=9885696, episodic return=2315.564208984375\n", + "global step=9885696, episodic return=547.989990234375\n", + "global step=9885696, episodic return=1568.16650390625\n", + "global step=9885696, episodic return=2302.370361328125\n", + "global step=9885696, episodic return=2127.502197265625\n", + "global step=9887744, episodic return=204.5514373779297\n", + "global step=9887744, episodic return=2326.052001953125\n", + "global step=9887744, episodic return=2001.6845703125\n", + "global step=9887744, episodic return=2288.009033203125\n", + "global step=9887744, episodic return=2274.4814453125\n", + "global step=9889792, episodic return=2299.818115234375\n", + "global step=9889792, episodic return=2271.2958984375\n", + "global step=9889792, episodic return=2007.3671875\n", + "global step=9889792, episodic return=565.4141845703125\n", + "global step=9889792, episodic return=2344.9208984375\n", + "global step=9889792, episodic return=2231.570068359375\n", + "global step=9889792, episodic return=2327.631103515625\n", + "global step=9889792, episodic return=2321.855224609375\n", + "global step=9889792, episodic return=2140.823974609375\n", + "global step=9891840, episodic return=583.6615600585938\n", + "global step=9891840, episodic return=611.808349609375\n", + "global step=9891840, episodic return=424.8365173339844\n", + "global step=9891840, episodic return=1416.56396484375\n", + "global step=9893888, episodic return=2361.930908203125\n", + "global step=9893888, episodic return=2291.7451171875\n", + "global step=9893888, episodic return=2335.74951171875\n", + "global step=9895936, episodic return=527.3340454101562\n", + "global step=9895936, episodic return=620.574462890625\n", + "global step=9895936, episodic return=2323.36279296875\n", + "global step=9895936, episodic return=2011.07373046875\n", + "global step=9895936, episodic return=1795.0084228515625\n", + "global step=9897984, episodic return=345.111328125\n", + "global step=9897984, episodic return=2256.468017578125\n", + "global step=9897984, episodic return=480.0447692871094\n", + "global step=9897984, episodic return=2308.886962890625\n", + "global step=9897984, episodic return=2356.80615234375\n", + "global step=9900032, episodic return=2308.428955078125\n", + "global step=9902080, episodic return=685.2177734375\n", + "global step=9902080, episodic return=2279.021484375\n", + "global step=9902080, episodic return=2364.40087890625\n", + "global step=9902080, episodic return=794.9573974609375\n", + "global step=9902080, episodic return=479.7673645019531\n", + "global step=9902080, episodic return=2293.746337890625\n", + "global step=9902080, episodic return=889.4771728515625\n", + "global step=9902080, episodic return=2300.1728515625\n", + "global step=9904128, episodic return=2329.304443359375\n", + "global step=9904128, episodic return=2312.169921875\n", + "global step=9904128, episodic return=2268.588134765625\n", + "global step=9904128, episodic return=2257.000244140625\n", + "global step=9906176, episodic return=2290.824462890625\n", + "global step=9906176, episodic return=2276.86279296875\n", + "global step=9906176, episodic return=2291.650390625\n", + "global step=9906176, episodic return=2361.16748046875\n", + "global step=9906176, episodic return=579.9984741210938\n", + "global step=9908224, episodic return=514.4764404296875\n", + "global step=9908224, episodic return=2281.928955078125\n", + "global step=9908224, episodic return=2335.600341796875\n", + "global step=9908224, episodic return=2267.199462890625\n", + "global step=9908224, episodic return=2280.646484375\n", + "global step=9908224, episodic return=2299.857177734375\n", + "global step=9912320, episodic return=2298.359619140625\n", + "global step=9912320, episodic return=2245.26904296875\n", + "global step=9914368, episodic return=2018.0931396484375\n", + "global step=9914368, episodic return=2300.036865234375\n", + "global step=9914368, episodic return=653.8525390625\n", + "global step=9916416, episodic return=2299.30078125\n", + "global step=9916416, episodic return=2257.51123046875\n", + "global step=9916416, episodic return=2299.665771484375\n", + "global step=9916416, episodic return=494.9008483886719\n", + "global step=9916416, episodic return=2295.943603515625\n", + "global step=9918464, episodic return=2209.125732421875\n", + "global step=9918464, episodic return=2313.67236328125\n", + "global step=9918464, episodic return=638.942626953125\n", + "global step=9920512, episodic return=2228.845703125\n", + "global step=9920512, episodic return=2060.423583984375\n", + "global step=9920512, episodic return=983.6568603515625\n", + "global step=9922560, episodic return=941.9898071289062\n", + "global step=9922560, episodic return=2326.65771484375\n", + "global step=9922560, episodic return=2340.418701171875\n", + "global step=9922560, episodic return=539.1680908203125\n", + "global step=9924608, episodic return=2146.864990234375\n", + "global step=9924608, episodic return=2273.312744140625\n", + "global step=9924608, episodic return=2278.247802734375\n", + "global step=9926656, episodic return=775.3896484375\n", + "global step=9926656, episodic return=2322.839599609375\n", + "global step=9926656, episodic return=418.99810791015625\n", + "global step=9926656, episodic return=2025.11328125\n", + "global step=9928704, episodic return=2305.667236328125\n", + "global step=9928704, episodic return=2360.50634765625\n", + "global step=9928704, episodic return=2339.052001953125\n", + "global step=9928704, episodic return=393.6805419921875\n", + "global step=9930752, episodic return=2250.0888671875\n", + "global step=9930752, episodic return=2358.846923828125\n", + "global step=9930752, episodic return=2350.72998046875\n", + "global step=9930752, episodic return=468.4675598144531\n", + "global step=9930752, episodic return=2328.0224609375\n", + "global step=9932800, episodic return=2296.143310546875\n", + "global step=9932800, episodic return=2284.357666015625\n", + "global step=9932800, episodic return=466.3962707519531\n", + "global step=9932800, episodic return=2353.563720703125\n", + "global step=9932800, episodic return=2243.012939453125\n", + "global step=9932800, episodic return=374.6270751953125\n", + "global step=9932800, episodic return=487.92132568359375\n", + "global step=9934848, episodic return=1902.0955810546875\n", + "global step=9934848, episodic return=1955.68017578125\n", + "global step=9936896, episodic return=2309.32080078125\n", + "global step=9936896, episodic return=2328.76416015625\n", + "global step=9936896, episodic return=2348.54638671875\n", + "global step=9936896, episodic return=2332.843505859375\n", + "global step=9940992, episodic return=415.55181884765625\n", + "global step=9940992, episodic return=25.580615997314453\n", + "global step=9940992, episodic return=2305.981201171875\n", + "global step=9940992, episodic return=2326.815185546875\n", + "global step=9940992, episodic return=863.861083984375\n", + "global step=9943040, episodic return=524.85986328125\n", + "global step=9943040, episodic return=2299.970458984375\n", + "global step=9945088, episodic return=916.1226806640625\n", + "global step=9945088, episodic return=2341.327392578125\n", + "global step=9947136, episodic return=2287.423828125\n", + "global step=9947136, episodic return=2314.582275390625\n", + "global step=9947136, episodic return=2340.518798828125\n", + "global step=9949184, episodic return=2255.105224609375\n", + "global step=9949184, episodic return=2359.938720703125\n", + "global step=9949184, episodic return=2230.6201171875\n", + "global step=9951232, episodic return=966.7301635742188\n", + "global step=9951232, episodic return=2330.985107421875\n", + "global step=9951232, episodic return=2266.84716796875\n", + "global step=9951232, episodic return=2318.5908203125\n", + "global step=9951232, episodic return=187.58677673339844\n", + "global step=9951232, episodic return=2314.958740234375\n", + "global step=9951232, episodic return=2299.54150390625\n", + "global step=9953280, episodic return=2284.696044921875\n", + "global step=9953280, episodic return=2297.943359375\n", + "global step=9955328, episodic return=1937.25634765625\n", + "global step=9955328, episodic return=64.69004821777344\n", + "global step=9955328, episodic return=2338.42041015625\n", + "global step=9955328, episodic return=2376.8525390625\n", + "global step=9957376, episodic return=2255.82080078125\n", + "global step=9959424, episodic return=2333.65185546875\n", + "global step=9963520, episodic return=2330.161376953125\n", + "global step=9963520, episodic return=662.79931640625\n", + "global step=9963520, episodic return=2296.613037109375\n", + "global step=9963520, episodic return=2387.173828125\n", + "global step=9965568, episodic return=2274.734130859375\n", + "global step=9965568, episodic return=2271.424072265625\n", + "global step=9965568, episodic return=2354.36083984375\n", + "global step=9965568, episodic return=2247.204833984375\n", + "global step=9965568, episodic return=35.59104919433594\n", + "global step=9967616, episodic return=529.2725830078125\n", + "global step=9967616, episodic return=2292.78271484375\n", + "global step=9967616, episodic return=2343.95751953125\n", + "global step=9969664, episodic return=2289.558349609375\n", + "global step=9969664, episodic return=2336.51416015625\n", + "global step=9969664, episodic return=2357.257080078125\n", + "global step=9969664, episodic return=2287.0625\n", + "global step=9969664, episodic return=1969.7264404296875\n", + "global step=9971712, episodic return=2384.224365234375\n", + "global step=9971712, episodic return=539.1216430664062\n", + "global step=9973760, episodic return=2323.615234375\n", + "global step=9975808, episodic return=2282.709716796875\n", + "global step=9975808, episodic return=2433.08740234375\n", + "global step=9975808, episodic return=2350.1611328125\n", + "global step=9975808, episodic return=777.6538696289062\n", + "global step=9979904, episodic return=2178.077880859375\n", + "global step=9979904, episodic return=2355.103515625\n", + "global step=9979904, episodic return=2334.29150390625\n", + "global step=9979904, episodic return=2326.55322265625\n", + "global step=9979904, episodic return=2196.84423828125\n", + "global step=9979904, episodic return=2305.283447265625\n", + "global step=9981952, episodic return=2288.422119140625\n", + "global step=9981952, episodic return=2335.4052734375\n", + "global step=9981952, episodic return=2331.68017578125\n", + "global step=9981952, episodic return=2325.361328125\n", + "global step=9984000, episodic return=379.5336608886719\n", + "global step=9984000, episodic return=2324.888427734375\n", + "global step=9984000, episodic return=2062.68603515625\n", + "global step=9988096, episodic return=2373.17626953125\n", + "global step=9990144, episodic return=925.8250122070312\n", + "global step=9990144, episodic return=2359.698486328125\n", + "global step=9990144, episodic return=2338.4423828125\n", + "global step=9992192, episodic return=2348.2109375\n", + "global step=9992192, episodic return=2345.1416015625\n", + "global step=9994240, episodic return=2345.445556640625\n", + "global step=9994240, episodic return=2344.884033203125\n", + "global step=9996288, episodic return=2330.82177734375\n", + "global step=9996288, episodic return=2287.46728515625\n", + "global step=9996288, episodic return=2310.569091796875\n", + "global step=9996288, episodic return=2290.29296875\n", + "global step=9996288, episodic return=2287.407470703125\n", + "global step=9998336, episodic return=2305.985595703125\n", + "global step=9998336, episodic return=2291.634521484375\n", + "global step=9998336, episodic return=1047.13916015625\n", + "global step=9998336, episodic return=2330.111572265625\n", + "global step=9998336, episodic return=2328.310791015625\n", + "global step=10000384, episodic return=2322.26904296875\n", + "global step=10000384, episodic return=2413.262939453125\n", + "global step=10000384, episodic return=2331.87255859375\n", + "global step=10002432, episodic return=2360.731201171875\n", + "global step=10002432, episodic return=2336.456787109375\n", + "global step=10004480, episodic return=676.3389282226562\n", + "global step=10004480, episodic return=2310.694580078125\n", + "global step=10006528, episodic return=2265.010009765625\n", + "global step=10008576, episodic return=2374.287353515625\n", + "global step=10008576, episodic return=2304.05712890625\n", + "global step=10010624, episodic return=2310.18408203125\n", + "global step=10010624, episodic return=2287.4345703125\n", + "global step=10012672, episodic return=2327.220947265625\n", + "global step=10012672, episodic return=2328.41259765625\n", + "global step=10012672, episodic return=1534.747314453125\n", + "global step=10012672, episodic return=2288.9287109375\n", + "global step=10014720, episodic return=2319.052978515625\n", + "global step=10014720, episodic return=2325.791015625\n", + "global step=10014720, episodic return=784.0048217773438\n", + "global step=10014720, episodic return=448.1686706542969\n", + "global step=10014720, episodic return=2364.925537109375\n", + "global step=10016768, episodic return=2325.29833984375\n", + "global step=10018816, episodic return=2301.805419921875\n", + "global step=10018816, episodic return=2267.29931640625\n", + "global step=10018816, episodic return=2324.24267578125\n", + "global step=10020864, episodic return=2337.4970703125\n", + "global step=10022912, episodic return=2325.274169921875\n", + "global step=10022912, episodic return=2343.941162109375\n", + "global step=10024960, episodic return=2230.273193359375\n", + "global step=10024960, episodic return=1422.2664794921875\n", + "global step=10024960, episodic return=484.8583068847656\n", + "global step=10027008, episodic return=2318.565673828125\n", + "global step=10027008, episodic return=2285.308837890625\n", + "global step=10027008, episodic return=2352.345703125\n", + "global step=10027008, episodic return=2329.463623046875\n", + "global step=10031104, episodic return=2328.2158203125\n", + "global step=10031104, episodic return=2309.8603515625\n", + "global step=10031104, episodic return=2272.966796875\n", + "global step=10031104, episodic return=2333.5009765625\n", + "global step=10031104, episodic return=2345.616455078125\n", + "global step=10033152, episodic return=2340.9404296875\n", + "global step=10033152, episodic return=2300.800537109375\n", + "global step=10033152, episodic return=2293.60302734375\n", + "global step=10035200, episodic return=2299.403564453125\n", + "global step=10035200, episodic return=893.326416015625\n", + "global step=10037248, episodic return=2316.985107421875\n", + "global step=10037248, episodic return=2340.198974609375\n", + "global step=10037248, episodic return=478.0460510253906\n", + "global step=10037248, episodic return=2307.16455078125\n", + "global step=10037248, episodic return=2279.02587890625\n", + "global step=10039296, episodic return=2343.45458984375\n", + "global step=10041344, episodic return=2278.440185546875\n", + "global step=10041344, episodic return=722.401611328125\n", + "global step=10041344, episodic return=2062.4970703125\n", + "global step=10041344, episodic return=2317.820556640625\n", + "global step=10045440, episodic return=2162.70947265625\n", + "global step=10045440, episodic return=717.5443725585938\n", + "global step=10045440, episodic return=2346.706787109375\n", + "global step=10047488, episodic return=2293.41748046875\n", + "global step=10047488, episodic return=2333.883544921875\n", + "global step=10047488, episodic return=2321.65966796875\n", + "global step=10047488, episodic return=2320.01708984375\n", + "global step=10047488, episodic return=2299.65771484375\n", + "global step=10049536, episodic return=2250.51220703125\n", + "global step=10049536, episodic return=1592.76123046875\n", + "global step=10049536, episodic return=2387.1875\n", + "global step=10051584, episodic return=1647.2354736328125\n", + "global step=10053632, episodic return=763.5335083007812\n", + "global step=10053632, episodic return=2316.140625\n", + "global step=10057728, episodic return=2311.912353515625\n", + "global step=10059776, episodic return=2311.08837890625\n", + "global step=10059776, episodic return=2307.149658203125\n", + "global step=10061824, episodic return=2276.513671875\n", + "global step=10061824, episodic return=2335.84228515625\n", + "global step=10061824, episodic return=2319.82177734375\n", + "global step=10063872, episodic return=2326.672119140625\n", + "global step=10063872, episodic return=2321.447265625\n", + "global step=10063872, episodic return=417.2079162597656\n", + "global step=10063872, episodic return=2344.3720703125\n", + "global step=10070016, episodic return=2320.584716796875\n", + "global step=10072064, episodic return=2331.634765625\n", + "global step=10072064, episodic return=2365.379150390625\n", + "global step=10072064, episodic return=2321.845947265625\n", + "global step=10074112, episodic return=2412.321533203125\n", + "global step=10074112, episodic return=2338.85693359375\n", + "global step=10076160, episodic return=632.4682006835938\n", + "global step=10078208, episodic return=2261.62548828125\n", + "global step=10078208, episodic return=201.68386840820312\n", + "global step=10078208, episodic return=2273.37060546875\n", + "global step=10078208, episodic return=2306.7236328125\n", + "global step=10078208, episodic return=2212.203369140625\n", + "global step=10080256, episodic return=2309.089599609375\n", + "global step=10080256, episodic return=2304.4560546875\n", + "global step=10080256, episodic return=485.98394775390625\n", + "global step=10080256, episodic return=2304.2509765625\n", + "global step=10082304, episodic return=2195.485595703125\n", + "global step=10082304, episodic return=2347.0029296875\n", + "global step=10082304, episodic return=2341.6494140625\n", + "global step=10082304, episodic return=2316.27587890625\n", + "global step=10084352, episodic return=1334.5762939453125\n", + "global step=10084352, episodic return=2307.76806640625\n", + "global step=10084352, episodic return=2349.0107421875\n", + "global step=10086400, episodic return=732.3607788085938\n", + "global step=10086400, episodic return=2323.176025390625\n", + "global step=10086400, episodic return=642.637451171875\n", + "global step=10086400, episodic return=940.3146362304688\n", + "global step=10088448, episodic return=2248.2109375\n", + "global step=10088448, episodic return=1544.7159423828125\n", + "global step=10088448, episodic return=628.4924926757812\n", + "global step=10090496, episodic return=2322.287841796875\n", + "global step=10090496, episodic return=2344.01708984375\n", + "global step=10090496, episodic return=1496.412109375\n", + "global step=10092544, episodic return=2381.762939453125\n", + "global step=10092544, episodic return=2339.365234375\n", + "global step=10094592, episodic return=2363.3134765625\n", + "global step=10096640, episodic return=887.9735717773438\n", + "global step=10096640, episodic return=19.686983108520508\n", + "global step=10098688, episodic return=2366.9970703125\n", + "global step=10098688, episodic return=2310.218505859375\n", + "global step=10100736, episodic return=2080.578369140625\n", + "global step=10100736, episodic return=2368.318603515625\n", + "global step=10102784, episodic return=2312.17724609375\n", + "global step=10102784, episodic return=2369.281005859375\n", + "global step=10102784, episodic return=934.8228149414062\n", + "global step=10102784, episodic return=2302.669677734375\n", + "global step=10104832, episodic return=2318.7939453125\n", + "global step=10104832, episodic return=2351.60693359375\n", + "global step=10104832, episodic return=2353.2939453125\n", + "global step=10104832, episodic return=454.3895568847656\n", + "global step=10106880, episodic return=2262.1201171875\n", + "global step=10108928, episodic return=2344.473876953125\n", + "global step=10108928, episodic return=2340.267578125\n", + "global step=10108928, episodic return=563.9087524414062\n", + "global step=10108928, episodic return=2324.47314453125\n", + "global step=10110976, episodic return=2344.548583984375\n", + "global step=10110976, episodic return=2338.684326171875\n", + "global step=10110976, episodic return=541.1898803710938\n", + "global step=10110976, episodic return=2316.52587890625\n", + "global step=10110976, episodic return=2329.86083984375\n", + "global step=10113024, episodic return=2275.865478515625\n", + "global step=10113024, episodic return=528.8827514648438\n", + "global step=10113024, episodic return=2361.663330078125\n", + "global step=10115072, episodic return=1405.208984375\n", + "global step=10119168, episodic return=2363.91943359375\n", + "global step=10119168, episodic return=2369.743896484375\n", + "global step=10119168, episodic return=2329.69677734375\n", + "global step=10119168, episodic return=2286.723388671875\n", + "global step=10121216, episodic return=2361.954833984375\n", + "global step=10121216, episodic return=2325.298828125\n", + "global step=10121216, episodic return=2330.677490234375\n", + "global step=10121216, episodic return=2344.652587890625\n", + "global step=10123264, episodic return=2341.700927734375\n", + "global step=10123264, episodic return=2270.969482421875\n", + "global step=10123264, episodic return=1964.2742919921875\n", + "global step=10123264, episodic return=2356.09814453125\n", + "global step=10125312, episodic return=689.8121948242188\n", + "global step=10125312, episodic return=2290.13427734375\n", + "global step=10127360, episodic return=2403.500732421875\n", + "global step=10127360, episodic return=2132.333251953125\n", + "global step=10129408, episodic return=2329.552734375\n", + "global step=10129408, episodic return=2335.108154296875\n", + "global step=10131456, episodic return=545.9132690429688\n", + "global step=10133504, episodic return=2323.50537109375\n", + "global step=10133504, episodic return=2353.65771484375\n", + "global step=10133504, episodic return=2351.96875\n", + "global step=10135552, episodic return=2347.953125\n", + "global step=10137600, episodic return=2394.226806640625\n", + "global step=10137600, episodic return=2341.775146484375\n", + "global step=10137600, episodic return=2387.940185546875\n", + "global step=10139648, episodic return=627.5482788085938\n", + "global step=10139648, episodic return=1255.6248779296875\n", + "global step=10139648, episodic return=2322.808837890625\n", + "global step=10139648, episodic return=2272.910888671875\n", + "global step=10139648, episodic return=2385.10498046875\n", + "global step=10141696, episodic return=2318.5498046875\n", + "global step=10141696, episodic return=970.0682983398438\n", + "global step=10141696, episodic return=623.2703857421875\n", + "global step=10143744, episodic return=1508.336669921875\n", + "global step=10143744, episodic return=203.43179321289062\n", + "global step=10143744, episodic return=2366.24365234375\n", + "global step=10145792, episodic return=681.3367919921875\n", + "global step=10145792, episodic return=2356.6591796875\n", + "global step=10145792, episodic return=2313.6962890625\n", + "global step=10145792, episodic return=591.1401977539062\n", + "global step=10145792, episodic return=2302.696533203125\n", + "global step=10147840, episodic return=2363.83642578125\n", + "global step=10149888, episodic return=2226.4287109375\n", + "global step=10149888, episodic return=2367.025390625\n", + "global step=10149888, episodic return=199.1807861328125\n", + "global step=10149888, episodic return=2315.454833984375\n", + "global step=10151936, episodic return=2304.41015625\n", + "global step=10151936, episodic return=2328.74951171875\n", + "global step=10153984, episodic return=520.161865234375\n", + "global step=10153984, episodic return=655.5263061523438\n", + "global step=10153984, episodic return=1867.6075439453125\n", + "global step=10153984, episodic return=2347.9150390625\n", + "global step=10153984, episodic return=2357.2578125\n", + "global step=10153984, episodic return=2363.80322265625\n", + "global step=10153984, episodic return=2361.5166015625\n", + "global step=10156032, episodic return=2327.507568359375\n", + "global step=10156032, episodic return=2343.36669921875\n", + "global step=10156032, episodic return=2369.488037109375\n", + "global step=10158080, episodic return=2340.387451171875\n", + "global step=10158080, episodic return=2360.75830078125\n", + "global step=10158080, episodic return=2365.565185546875\n", + "global step=10160128, episodic return=2375.049072265625\n", + "global step=10160128, episodic return=516.579833984375\n", + "global step=10160128, episodic return=2347.828125\n", + "global step=10160128, episodic return=2292.4345703125\n", + "global step=10160128, episodic return=257.4849548339844\n", + "global step=10160128, episodic return=283.24884033203125\n", + "global step=10162176, episodic return=2359.108154296875\n", + "global step=10162176, episodic return=2357.123046875\n", + "global step=10166272, episodic return=2338.3486328125\n", + "global step=10166272, episodic return=407.35699462890625\n", + "global step=10166272, episodic return=2285.18603515625\n", + "global step=10168320, episodic return=657.6459350585938\n", + "global step=10168320, episodic return=2315.6767578125\n", + "global step=10168320, episodic return=2345.373046875\n", + "global step=10168320, episodic return=2331.46337890625\n", + "global step=10168320, episodic return=2361.953369140625\n", + "global step=10170368, episodic return=1276.963623046875\n", + "global step=10170368, episodic return=2362.425537109375\n", + "global step=10172416, episodic return=2342.786865234375\n", + "global step=10174464, episodic return=2289.8134765625\n", + "global step=10174464, episodic return=2314.1328125\n", + "global step=10174464, episodic return=2311.04052734375\n", + "global step=10176512, episodic return=2326.221435546875\n", + "global step=10176512, episodic return=518.3731689453125\n", + "global step=10176512, episodic return=1075.1488037109375\n", + "global step=10176512, episodic return=452.59307861328125\n", + "global step=10176512, episodic return=2298.6025390625\n", + "global step=10180608, episodic return=2337.799560546875\n", + "global step=10180608, episodic return=2353.80224609375\n", + "global step=10180608, episodic return=2309.28759765625\n", + "global step=10180608, episodic return=2340.07861328125\n", + "global step=10182656, episodic return=2320.62255859375\n", + "global step=10184704, episodic return=2393.284423828125\n", + "global step=10186752, episodic return=2297.298828125\n", + "global step=10186752, episodic return=604.5515747070312\n", + "global step=10188800, episodic return=2359.195068359375\n", + "global step=10188800, episodic return=2389.705810546875\n", + "global step=10190848, episodic return=2303.484375\n", + "global step=10190848, episodic return=1503.5380859375\n", + "global step=10190848, episodic return=2385.152099609375\n", + "global step=10190848, episodic return=2289.443115234375\n", + "global step=10190848, episodic return=1797.9322509765625\n", + "global step=10192896, episodic return=1150.6898193359375\n", + "global step=10192896, episodic return=2331.560791015625\n", + "global step=10192896, episodic return=2369.6025390625\n", + "global step=10194944, episodic return=2356.636474609375\n", + "global step=10194944, episodic return=2330.864013671875\n", + "global step=10194944, episodic return=2343.407958984375\n", + "global step=10196992, episodic return=2360.801025390625\n", + "global step=10199040, episodic return=690.8987426757812\n", + "global step=10199040, episodic return=2380.60693359375\n", + "global step=10201088, episodic return=2325.1572265625\n", + "global step=10201088, episodic return=2378.618408203125\n", + "global step=10201088, episodic return=2337.59814453125\n", + "global step=10201088, episodic return=2403.6298828125\n", + "global step=10203136, episodic return=2345.219970703125\n", + "global step=10203136, episodic return=2351.07958984375\n", + "global step=10203136, episodic return=2381.10791015625\n", + "global step=10205184, episodic return=2365.490234375\n", + "global step=10205184, episodic return=2301.61669921875\n", + "global step=10205184, episodic return=2381.93798828125\n", + "global step=10207232, episodic return=2354.087890625\n", + "global step=10207232, episodic return=2399.3447265625\n", + "global step=10207232, episodic return=443.066162109375\n", + "global step=10207232, episodic return=673.0128784179688\n", + "global step=10209280, episodic return=765.96630859375\n", + "global step=10209280, episodic return=2312.088623046875\n", + "global step=10209280, episodic return=2344.994140625\n", + "global step=10209280, episodic return=2330.275634765625\n", + "global step=10211328, episodic return=647.041748046875\n", + "global step=10211328, episodic return=2360.901123046875\n", + "global step=10213376, episodic return=2359.596435546875\n", + "global step=10215424, episodic return=2315.398193359375\n", + "global step=10215424, episodic return=211.22317504882812\n", + "global step=10215424, episodic return=2343.250732421875\n", + "global step=10215424, episodic return=2311.219482421875\n", + "global step=10215424, episodic return=2356.7841796875\n", + "global step=10215424, episodic return=2401.5810546875\n", + "global step=10217472, episodic return=672.4104614257812\n", + "global step=10217472, episodic return=2364.510986328125\n", + "global step=10217472, episodic return=2329.373291015625\n", + "global step=10219520, episodic return=2296.490966796875\n", + "global step=10221568, episodic return=408.78839111328125\n", + "global step=10221568, episodic return=676.1914672851562\n", + "global step=10223616, episodic return=2359.99609375\n", + "global step=10223616, episodic return=2342.428466796875\n", + "global step=10223616, episodic return=2332.7275390625\n", + "global step=10223616, episodic return=379.7605895996094\n", + "global step=10223616, episodic return=933.5463256835938\n", + "global step=10225664, episodic return=1265.9036865234375\n", + "global step=10225664, episodic return=2339.4423828125\n", + "global step=10225664, episodic return=686.0206909179688\n", + "global step=10225664, episodic return=474.4078369140625\n", + "global step=10227712, episodic return=2351.635498046875\n", + "global step=10227712, episodic return=2347.890380859375\n", + "global step=10227712, episodic return=680.8748168945312\n", + "global step=10231808, episodic return=2397.040771484375\n", + "global step=10231808, episodic return=774.458740234375\n", + "global step=10231808, episodic return=2372.007080078125\n", + "global step=10231808, episodic return=2378.75927734375\n", + "global step=10233856, episodic return=2375.4599609375\n", + "global step=10233856, episodic return=2349.54248046875\n", + "global step=10233856, episodic return=227.56622314453125\n", + "global step=10233856, episodic return=2341.857666015625\n", + "global step=10233856, episodic return=2377.055419921875\n", + "global step=10233856, episodic return=2270.83642578125\n", + "global step=10233856, episodic return=2333.03759765625\n", + "global step=10235904, episodic return=2371.328125\n", + "global step=10235904, episodic return=2342.62451171875\n", + "global step=10235904, episodic return=764.600830078125\n", + "global step=10237952, episodic return=370.6735534667969\n", + "global step=10237952, episodic return=2385.83740234375\n", + "global step=10237952, episodic return=2411.313720703125\n", + "global step=10237952, episodic return=2378.695556640625\n", + "global step=10237952, episodic return=1036.865234375\n", + "global step=10237952, episodic return=2333.43896484375\n", + "global step=10240000, episodic return=2368.771484375\n", + "global step=10240000, episodic return=1607.9093017578125\n", + "global step=10240000, episodic return=2348.93017578125\n", + "global step=10242048, episodic return=484.5099182128906\n", + "global step=10244096, episodic return=2407.082275390625\n", + "global step=10244096, episodic return=2368.21044921875\n", + "global step=10246144, episodic return=2371.471923828125\n", + "global step=10246144, episodic return=1108.27978515625\n", + "global step=10246144, episodic return=426.32427978515625\n", + "global step=10246144, episodic return=235.59848022460938\n", + "global step=10246144, episodic return=431.4866638183594\n", + "global step=10248192, episodic return=2376.2958984375\n", + "global step=10248192, episodic return=2339.483154296875\n", + "global step=10248192, episodic return=24.22726821899414\n", + "global step=10248192, episodic return=2342.9052734375\n", + "global step=10248192, episodic return=1002.2260131835938\n", + "global step=10248192, episodic return=2337.801513671875\n", + "global step=10250240, episodic return=2396.907958984375\n", + "global step=10250240, episodic return=2335.768798828125\n", + "global step=10250240, episodic return=2327.803466796875\n", + "global step=10252288, episodic return=935.6312866210938\n", + "global step=10252288, episodic return=928.086181640625\n", + "global step=10252288, episodic return=377.39337158203125\n", + "global step=10252288, episodic return=819.8157348632812\n", + "global step=10252288, episodic return=622.5211181640625\n", + "global step=10254336, episodic return=2344.453125\n", + "global step=10256384, episodic return=2390.380859375\n", + "global step=10256384, episodic return=428.8321838378906\n", + "global step=10256384, episodic return=2344.66650390625\n", + "global step=10258432, episodic return=587.0631713867188\n", + "global step=10258432, episodic return=1362.0845947265625\n", + "global step=10260480, episodic return=2339.482666015625\n", + "global step=10260480, episodic return=796.2787475585938\n", + "global step=10260480, episodic return=244.6062469482422\n", + "global step=10262528, episodic return=2306.08056640625\n", + "global step=10264576, episodic return=2361.126953125\n", + "global step=10264576, episodic return=904.016357421875\n", + "global step=10266624, episodic return=478.5147705078125\n", + "global step=10266624, episodic return=1141.4979248046875\n", + "global step=10270720, episodic return=2396.932373046875\n", + "global step=10276864, episodic return=871.8228759765625\n", + "global step=10276864, episodic return=2365.511474609375\n", + "global step=10276864, episodic return=502.8068542480469\n", + "global step=10278912, episodic return=723.2787475585938\n", + "global step=10278912, episodic return=2347.313232421875\n", + "global step=10280960, episodic return=317.65496826171875\n", + "global step=10280960, episodic return=2346.16748046875\n", + "global step=10283008, episodic return=564.9383544921875\n", + "global step=10283008, episodic return=416.1776428222656\n", + "global step=10285056, episodic return=2246.006103515625\n", + "global step=10285056, episodic return=216.01974487304688\n", + "global step=10287104, episodic return=443.72711181640625\n", + "global step=10287104, episodic return=2355.83544921875\n", + "global step=10289152, episodic return=2353.11865234375\n", + "global step=10289152, episodic return=249.57833862304688\n", + "global step=10289152, episodic return=2391.466796875\n", + "global step=10295296, episodic return=2346.09521484375\n", + "global step=10295296, episodic return=2363.782470703125\n", + "global step=10295296, episodic return=2399.759033203125\n", + "global step=10297344, episodic return=2380.8779296875\n", + "global step=10297344, episodic return=516.0552978515625\n", + "global step=10299392, episodic return=2302.129638671875\n", + "global step=10301440, episodic return=1259.4644775390625\n", + "global step=10301440, episodic return=2363.474365234375\n", + "global step=10301440, episodic return=2398.29638671875\n", + "global step=10301440, episodic return=372.0264892578125\n", + "global step=10303488, episodic return=2347.15234375\n", + "global step=10303488, episodic return=2360.9765625\n", + "global step=10303488, episodic return=649.870849609375\n", + "global step=10305536, episodic return=1381.73779296875\n", + "global step=10305536, episodic return=2385.989013671875\n", + "global step=10307584, episodic return=2396.35009765625\n", + "global step=10309632, episodic return=1029.4564208984375\n", + "global step=10311680, episodic return=410.3890075683594\n", + "global step=10311680, episodic return=698.2228393554688\n", + "global step=10311680, episodic return=372.9929504394531\n", + "global step=10311680, episodic return=2364.11865234375\n", + "global step=10311680, episodic return=2316.966552734375\n", + "global step=10311680, episodic return=849.57080078125\n", + "global step=10313728, episodic return=2381.651123046875\n", + "global step=10313728, episodic return=1958.3702392578125\n", + "global step=10313728, episodic return=976.6713256835938\n", + "global step=10317824, episodic return=2352.2158203125\n", + "global step=10317824, episodic return=928.5399780273438\n", + "global step=10317824, episodic return=2347.93994140625\n", + "global step=10317824, episodic return=1402.986083984375\n", + "global step=10319872, episodic return=2372.924560546875\n", + "global step=10319872, episodic return=968.6304931640625\n", + "global step=10319872, episodic return=845.640625\n", + "global step=10321920, episodic return=1656.5919189453125\n", + "global step=10321920, episodic return=2327.6259765625\n", + "global step=10321920, episodic return=421.68603515625\n", + "global step=10323968, episodic return=1451.6451416015625\n", + "global step=10323968, episodic return=498.8500671386719\n", + "global step=10323968, episodic return=2327.030517578125\n", + "global step=10326016, episodic return=1126.7562255859375\n", + "global step=10326016, episodic return=2353.11181640625\n", + "global step=10328064, episodic return=2303.447509765625\n", + "global step=10328064, episodic return=379.6278076171875\n", + "global step=10330112, episodic return=949.0427856445312\n", + "global step=10332160, episodic return=2366.7861328125\n", + "global step=10332160, episodic return=1208.8692626953125\n", + "global step=10332160, episodic return=2339.822265625\n", + "global step=10334208, episodic return=936.836669921875\n", + "global step=10334208, episodic return=458.5061950683594\n", + "global step=10336256, episodic return=1691.88427734375\n", + "global step=10336256, episodic return=442.1906433105469\n", + "global step=10338304, episodic return=2323.067626953125\n", + "global step=10338304, episodic return=1038.7152099609375\n", + "global step=10338304, episodic return=2333.7890625\n", + "global step=10338304, episodic return=872.5703125\n", + "global step=10338304, episodic return=849.9896850585938\n", + "global step=10338304, episodic return=2356.757568359375\n", + "global step=10340352, episodic return=784.9885864257812\n", + "global step=10340352, episodic return=2337.29052734375\n", + "global step=10340352, episodic return=2333.463134765625\n", + "global step=10340352, episodic return=2373.3984375\n", + "global step=10342400, episodic return=431.6402587890625\n", + "global step=10342400, episodic return=518.18310546875\n", + "global step=10344448, episodic return=2064.52783203125\n", + "global step=10344448, episodic return=1014.5518798828125\n", + "global step=10350592, episodic return=2375.530029296875\n", + "global step=10350592, episodic return=2382.64697265625\n", + "global step=10350592, episodic return=2378.4560546875\n", + "global step=10350592, episodic return=380.6441650390625\n", + "global step=10350592, episodic return=2354.63818359375\n", + "global step=10352640, episodic return=219.72744750976562\n", + "global step=10354688, episodic return=2332.35107421875\n", + "global step=10356736, episodic return=451.92755126953125\n", + "global step=10356736, episodic return=1110.6575927734375\n", + "global step=10356736, episodic return=2368.06591796875\n", + "global step=10358784, episodic return=1910.432373046875\n", + "global step=10360832, episodic return=724.45703125\n", + "global step=10360832, episodic return=1510.4862060546875\n", + "global step=10362880, episodic return=896.546875\n", + "global step=10362880, episodic return=2395.835693359375\n", + "global step=10364928, episodic return=1464.6270751953125\n", + "global step=10364928, episodic return=1111.068115234375\n", + "global step=10364928, episodic return=816.8297729492188\n", + "global step=10364928, episodic return=1553.14990234375\n", + "global step=10366976, episodic return=793.4091186523438\n", + "global step=10369024, episodic return=2327.197509765625\n", + "global step=10369024, episodic return=454.3266296386719\n", + "global step=10369024, episodic return=953.0372924804688\n", + "global step=10369024, episodic return=2216.50830078125\n", + "global step=10371072, episodic return=2396.693115234375\n", + "global step=10373120, episodic return=545.0241088867188\n", + "global step=10373120, episodic return=764.7417602539062\n", + "global step=10375168, episodic return=686.8212280273438\n", + "global step=10375168, episodic return=2312.772705078125\n", + "global step=10375168, episodic return=868.3677368164062\n", + "global step=10379264, episodic return=2409.76123046875\n", + "global step=10381312, episodic return=1194.3326416015625\n", + "global step=10383360, episodic return=1520.930908203125\n", + "global step=10387456, episodic return=2367.23291015625\n", + "global step=10387456, episodic return=492.59375\n", + "global step=10387456, episodic return=2368.5224609375\n", + "global step=10389504, episodic return=2379.314453125\n", + "global step=10389504, episodic return=2220.253662109375\n", + "global step=10389504, episodic return=2341.14697265625\n", + "global step=10389504, episodic return=2364.26123046875\n", + "global step=10389504, episodic return=64.08338165283203\n", + "global step=10391552, episodic return=953.4652099609375\n", + "global step=10391552, episodic return=2301.229248046875\n", + "global step=10391552, episodic return=1412.9298095703125\n", + "global step=10395648, episodic return=985.2808837890625\n", + "global step=10395648, episodic return=448.0252685546875\n", + "global step=10395648, episodic return=2323.48583984375\n", + "global step=10397696, episodic return=2347.16357421875\n", + "global step=10399744, episodic return=476.4651184082031\n", + "global step=10403840, episodic return=2368.87939453125\n", + "global step=10409984, episodic return=412.1522216796875\n", + "global step=10412032, episodic return=913.131591796875\n", + "global step=10412032, episodic return=442.9968566894531\n", + "global step=10414080, episodic return=2386.486572265625\n", + "global step=10414080, episodic return=1643.0126953125\n", + "global step=10416128, episodic return=505.8213195800781\n", + "global step=10416128, episodic return=1700.868896484375\n", + "global step=10416128, episodic return=1236.03662109375\n", + "global step=10420224, episodic return=2408.519775390625\n", + "global step=10420224, episodic return=2355.864013671875\n", + "global step=10420224, episodic return=865.8077392578125\n", + "global step=10422272, episodic return=1752.1357421875\n", + "global step=10424320, episodic return=433.3653259277344\n", + "global step=10424320, episodic return=1059.6456298828125\n", + "global step=10424320, episodic return=1463.138671875\n", + "global step=10432512, episodic return=2408.1044921875\n", + "global step=10432512, episodic return=499.1068420410156\n", + "global step=10432512, episodic return=2407.026123046875\n", + "global step=10434560, episodic return=807.9240112304688\n", + "global step=10434560, episodic return=2391.734375\n", + "global step=10436608, episodic return=1006.5808715820312\n", + "global step=10436608, episodic return=2345.64013671875\n", + "global step=10440704, episodic return=2198.934326171875\n", + "global step=10448896, episodic return=483.44525146484375\n", + "global step=10450944, episodic return=994.1473388671875\n", + "global step=10450944, episodic return=2342.884765625\n", + "global step=10452992, episodic return=784.5909423828125\n", + "global step=10452992, episodic return=1328.481201171875\n", + "global step=10455040, episodic return=1463.931640625\n", + "global step=10455040, episodic return=577.831298828125\n", + "global step=10457088, episodic return=2331.712158203125\n", + "global step=10461184, episodic return=463.64581298828125\n", + "global step=10463232, episodic return=2369.94384765625\n", + "global step=10463232, episodic return=1119.8216552734375\n", + "global step=10469376, episodic return=2378.202392578125\n", + "global step=10469376, episodic return=1073.19091796875\n", + "global step=10471424, episodic return=922.6517333984375\n", + "global step=10477568, episodic return=2373.737548828125\n", + "global step=10477568, episodic return=2362.794677734375\n", + "global step=10479616, episodic return=553.5869750976562\n", + "global step=10479616, episodic return=861.441162109375\n", + "global step=10479616, episodic return=1223.964599609375\n", + "global step=10481664, episodic return=1890.50390625\n", + "global step=10481664, episodic return=875.6957397460938\n", + "global step=10483712, episodic return=2351.81689453125\n", + "global step=10483712, episodic return=512.3477172851562\n", + "global step=10483712, episodic return=1308.306396484375\n", + "global step=10483712, episodic return=1501.9566650390625\n", + "global step=10483712, episodic return=2351.0322265625\n", + "global step=10483712, episodic return=2347.410400390625\n", + "global step=10483712, episodic return=481.86688232421875\n", + "global step=10485760, episodic return=773.8667602539062\n", + "global step=10485760, episodic return=1291.640869140625\n", + "global step=10487808, episodic return=2394.11376953125\n", + "global step=10491904, episodic return=2367.047119140625\n", + "global step=10491904, episodic return=2333.139892578125\n", + "global step=10493952, episodic return=1590.1080322265625\n", + "global step=10498048, episodic return=2380.0078125\n", + "global step=10498048, episodic return=390.3435974121094\n", + "global step=10498048, episodic return=2330.339111328125\n", + "global step=10504192, episodic return=2327.10205078125\n", + "global step=10504192, episodic return=2396.216552734375\n", + "global step=10504192, episodic return=625.4280395507812\n", + "global step=10504192, episodic return=2385.933837890625\n", + "global step=10506240, episodic return=1121.775146484375\n", + "global step=10506240, episodic return=2357.15283203125\n", + "global step=10508288, episodic return=2391.13720703125\n", + "global step=10510336, episodic return=2414.08154296875\n", + "global step=10510336, episodic return=1187.499755859375\n", + "global step=10510336, episodic return=1847.5849609375\n", + "global step=10514432, episodic return=1446.1046142578125\n", + "global step=10516480, episodic return=2338.231201171875\n", + "global step=10516480, episodic return=2396.411865234375\n", + "global step=10518528, episodic return=2319.357421875\n", + "global step=10518528, episodic return=2329.818603515625\n", + "global step=10518528, episodic return=319.49615478515625\n", + "global step=10522624, episodic return=562.0188598632812\n", + "global step=10524672, episodic return=2333.1142578125\n", + "global step=10524672, episodic return=1096.3697509765625\n", + "global step=10524672, episodic return=2295.201904296875\n", + "global step=10524672, episodic return=2377.231689453125\n", + "global step=10526720, episodic return=2313.1962890625\n", + "global step=10526720, episodic return=738.5925903320312\n", + "global step=10526720, episodic return=1251.61962890625\n", + "global step=10530816, episodic return=871.587890625\n", + "global step=10532864, episodic return=1254.594482421875\n", + "global step=10532864, episodic return=1204.6905517578125\n", + "global step=10534912, episodic return=676.1875610351562\n", + "global step=10536960, episodic return=470.1116027832031\n", + "global step=10539008, episodic return=2313.25244140625\n", + "global step=10539008, episodic return=1121.5460205078125\n", + "global step=10541056, episodic return=2111.04638671875\n", + "global step=10541056, episodic return=2361.1708984375\n", + "global step=10543104, episodic return=680.0146484375\n", + "global step=10545152, episodic return=2348.53369140625\n", + "global step=10545152, episodic return=1798.89404296875\n", + "global step=10547200, episodic return=453.4411926269531\n", + "global step=10549248, episodic return=926.4886474609375\n", + "global step=10549248, episodic return=1951.0963134765625\n", + "global step=10551296, episodic return=1222.7554931640625\n", + "global step=10553344, episodic return=740.85986328125\n", + "global step=10553344, episodic return=2044.468505859375\n", + "global step=10555392, episodic return=735.773193359375\n", + "global step=10557440, episodic return=683.6683959960938\n", + "global step=10557440, episodic return=927.5921630859375\n", + "global step=10557440, episodic return=2323.59326171875\n", + "global step=10559488, episodic return=2318.686767578125\n", + "global step=10559488, episodic return=1773.311279296875\n", + "global step=10559488, episodic return=2367.116455078125\n", + "global step=10561536, episodic return=72.75492095947266\n", + "global step=10563584, episodic return=1346.325927734375\n", + "global step=10563584, episodic return=70.92138671875\n", + "global step=10565632, episodic return=1124.675537109375\n", + "global step=10565632, episodic return=739.07958984375\n", + "global step=10567680, episodic return=2342.992919921875\n", + "global step=10567680, episodic return=1198.0029296875\n", + "global step=10567680, episodic return=2368.39892578125\n", + "global step=10567680, episodic return=2053.416015625\n", + "global step=10569728, episodic return=1174.9781494140625\n", + "global step=10571776, episodic return=1104.671630859375\n", + "global step=10571776, episodic return=1268.4483642578125\n", + "global step=10571776, episodic return=1380.0306396484375\n", + "global step=10571776, episodic return=2359.14697265625\n", + "global step=10571776, episodic return=782.6846313476562\n", + "global step=10573824, episodic return=1728.1114501953125\n", + "global step=10573824, episodic return=2313.943115234375\n", + "global step=10573824, episodic return=2330.432861328125\n", + "global step=10575872, episodic return=569.3896484375\n", + "global step=10575872, episodic return=1596.9300537109375\n", + "global step=10577920, episodic return=698.9566650390625\n", + "global step=10577920, episodic return=1386.0838623046875\n", + "global step=10577920, episodic return=2404.6630859375\n", + "global step=10579968, episodic return=1185.7127685546875\n", + "global step=10582016, episodic return=1795.155517578125\n", + "global step=10582016, episodic return=1106.6092529296875\n", + "global step=10584064, episodic return=1812.422119140625\n", + "global step=10584064, episodic return=1907.9483642578125\n", + "global step=10586112, episodic return=1357.464111328125\n", + "global step=10586112, episodic return=1425.9415283203125\n", + "global step=10586112, episodic return=2056.944091796875\n", + "global step=10586112, episodic return=1105.9322509765625\n", + "global step=10588160, episodic return=2360.394287109375\n", + "global step=10588160, episodic return=1398.3687744140625\n", + "global step=10588160, episodic return=2372.6669921875\n", + "global step=10588160, episodic return=1748.0152587890625\n", + "global step=10590208, episodic return=2230.12890625\n", + "global step=10590208, episodic return=2377.195556640625\n", + "global step=10590208, episodic return=1250.3826904296875\n", + "global step=10590208, episodic return=2197.56591796875\n", + "global step=10594304, episodic return=1665.31982421875\n", + "global step=10594304, episodic return=1781.9339599609375\n", + "global step=10596352, episodic return=1347.201904296875\n", + "global step=10596352, episodic return=1537.5018310546875\n", + "global step=10596352, episodic return=977.4367065429688\n", + "global step=10596352, episodic return=2375.366943359375\n", + "global step=10598400, episodic return=1051.4173583984375\n", + "global step=10598400, episodic return=1191.2618408203125\n", + "global step=10600448, episodic return=1247.752685546875\n", + "global step=10600448, episodic return=689.255859375\n", + "global step=10602496, episodic return=61.87928009033203\n", + "global step=10602496, episodic return=1115.6763916015625\n", + "global step=10602496, episodic return=1268.5499267578125\n", + "global step=10604544, episodic return=1884.4776611328125\n", + "global step=10604544, episodic return=688.5045166015625\n", + "global step=10604544, episodic return=2334.19384765625\n", + "global step=10606592, episodic return=798.9834594726562\n", + "global step=10606592, episodic return=1279.346923828125\n", + "global step=10608640, episodic return=1276.186767578125\n", + "global step=10608640, episodic return=2412.572998046875\n", + "global step=10610688, episodic return=2386.800537109375\n", + "global step=10612736, episodic return=1627.7896728515625\n", + "global step=10612736, episodic return=777.919677734375\n", + "global step=10612736, episodic return=688.5735473632812\n", + "global step=10614784, episodic return=1218.9617919921875\n", + "global step=10614784, episodic return=728.4330444335938\n", + "global step=10614784, episodic return=1053.063232421875\n", + "global step=10614784, episodic return=842.4521484375\n", + "global step=10614784, episodic return=2434.342529296875\n", + "global step=10614784, episodic return=1247.9232177734375\n", + "global step=10616832, episodic return=1629.3309326171875\n", + "global step=10618880, episodic return=2387.36083984375\n", + "global step=10618880, episodic return=2374.632080078125\n", + "global step=10620928, episodic return=906.314208984375\n", + "global step=10620928, episodic return=2353.948974609375\n", + "global step=10620928, episodic return=2392.446044921875\n", + "global step=10620928, episodic return=1184.2738037109375\n", + "global step=10622976, episodic return=2312.012451171875\n", + "global step=10622976, episodic return=2347.4765625\n", + "global step=10625024, episodic return=666.4644165039062\n", + "global step=10625024, episodic return=2319.88330078125\n", + "global step=10625024, episodic return=1614.5472412109375\n", + "global step=10627072, episodic return=1309.22314453125\n", + "global step=10627072, episodic return=843.5047607421875\n", + "global step=10627072, episodic return=634.1264038085938\n", + "global step=10627072, episodic return=1793.4241943359375\n", + "global step=10627072, episodic return=567.62646484375\n", + "global step=10629120, episodic return=2374.8916015625\n", + "global step=10629120, episodic return=1808.44140625\n", + "global step=10631168, episodic return=1462.9373779296875\n", + "global step=10631168, episodic return=2350.4765625\n", + "global step=10633216, episodic return=1559.1529541015625\n", + "global step=10635264, episodic return=1524.1575927734375\n", + "global step=10635264, episodic return=2385.15869140625\n", + "global step=10637312, episodic return=1077.474365234375\n", + "global step=10637312, episodic return=1131.7984619140625\n", + "global step=10639360, episodic return=1176.0703125\n", + "global step=10639360, episodic return=1480.2943115234375\n", + "global step=10643456, episodic return=1068.526123046875\n", + "global step=10643456, episodic return=976.3244018554688\n", + "global step=10645504, episodic return=2398.168212890625\n", + "global step=10647552, episodic return=784.56787109375\n", + "global step=10647552, episodic return=2339.217041015625\n", + "global step=10647552, episodic return=1274.50927734375\n", + "global step=10647552, episodic return=1589.8077392578125\n", + "global step=10651648, episodic return=803.1643676757812\n", + "global step=10651648, episodic return=986.635009765625\n", + "global step=10653696, episodic return=2316.999755859375\n", + "global step=10653696, episodic return=1848.4912109375\n", + "global step=10653696, episodic return=2033.884521484375\n", + "global step=10657792, episodic return=1348.1781005859375\n", + "global step=10657792, episodic return=782.1968994140625\n", + "global step=10657792, episodic return=1575.255859375\n", + "global step=10657792, episodic return=1042.8653564453125\n", + "global step=10659840, episodic return=619.7882690429688\n", + "global step=10659840, episodic return=1311.6292724609375\n", + "global step=10659840, episodic return=2384.678466796875\n", + "global step=10661888, episodic return=1221.2760009765625\n", + "global step=10661888, episodic return=1639.1534423828125\n", + "global step=10663936, episodic return=1519.6280517578125\n", + "global step=10665984, episodic return=2380.153076171875\n", + "global step=10665984, episodic return=2392.146484375\n", + "global step=10665984, episodic return=2169.972412109375\n", + "global step=10665984, episodic return=2264.752197265625\n", + "global step=10668032, episodic return=2295.5244140625\n", + "global step=10670080, episodic return=2283.45703125\n", + "global step=10670080, episodic return=1648.75634765625\n", + "global step=10670080, episodic return=1363.2720947265625\n", + "global step=10672128, episodic return=2333.548583984375\n", + "global step=10672128, episodic return=1472.694091796875\n", + "global step=10672128, episodic return=1411.670654296875\n", + "global step=10672128, episodic return=2358.871826171875\n", + "global step=10672128, episodic return=2330.75927734375\n", + "global step=10672128, episodic return=1197.2518310546875\n", + "global step=10674176, episodic return=1469.037841796875\n", + "global step=10676224, episodic return=1375.8463134765625\n", + "global step=10676224, episodic return=946.6088256835938\n", + "global step=10676224, episodic return=1911.2027587890625\n", + "global step=10676224, episodic return=1150.7713623046875\n", + "global step=10678272, episodic return=1818.539794921875\n", + "global step=10678272, episodic return=787.1366577148438\n", + "global step=10678272, episodic return=1238.9259033203125\n", + "global step=10680320, episodic return=1735.0042724609375\n", + "global step=10680320, episodic return=883.418212890625\n", + "global step=10680320, episodic return=1518.4749755859375\n", + "global step=10682368, episodic return=690.9467163085938\n", + "global step=10682368, episodic return=810.8312377929688\n", + "global step=10684416, episodic return=1565.6527099609375\n", + "global step=10684416, episodic return=1617.156005859375\n", + "global step=10686464, episodic return=1108.03173828125\n", + "global step=10686464, episodic return=1746.6072998046875\n", + "global step=10688512, episodic return=997.9840698242188\n", + "global step=10688512, episodic return=841.3704223632812\n", + "global step=10688512, episodic return=2174.256103515625\n", + "global step=10688512, episodic return=1480.7392578125\n", + "global step=10690560, episodic return=1221.8001708984375\n", + "global step=10690560, episodic return=870.8396606445312\n", + "global step=10692608, episodic return=1297.0872802734375\n", + "global step=10692608, episodic return=2414.640625\n", + "global step=10694656, episodic return=2200.3076171875\n", + "global step=10694656, episodic return=1241.5101318359375\n", + "global step=10694656, episodic return=1280.619384765625\n", + "global step=10694656, episodic return=2193.600830078125\n", + "global step=10694656, episodic return=801.6380004882812\n", + "global step=10696704, episodic return=1488.8077392578125\n", + "global step=10696704, episodic return=633.0457153320312\n", + "global step=10698752, episodic return=2110.900634765625\n", + "global step=10698752, episodic return=950.1456909179688\n", + "global step=10700800, episodic return=1588.30224609375\n", + "global step=10700800, episodic return=823.1701049804688\n", + "global step=10702848, episodic return=1945.09716796875\n", + "global step=10702848, episodic return=681.83251953125\n", + "global step=10704896, episodic return=725.3765869140625\n", + "global step=10704896, episodic return=1664.183837890625\n", + "global step=10706944, episodic return=1243.76220703125\n", + "global step=10706944, episodic return=913.6568603515625\n", + "global step=10706944, episodic return=1378.3389892578125\n", + "global step=10708992, episodic return=1749.4859619140625\n", + "global step=10711040, episodic return=976.0841064453125\n", + "global step=10711040, episodic return=876.2347412109375\n", + "global step=10713088, episodic return=2404.590087890625\n", + "global step=10713088, episodic return=2378.216796875\n", + "global step=10715136, episodic return=1193.5599365234375\n", + "global step=10715136, episodic return=635.4403686523438\n", + "global step=10715136, episodic return=895.8868408203125\n", + "global step=10715136, episodic return=915.0401000976562\n", + "global step=10715136, episodic return=842.447265625\n", + "global step=10715136, episodic return=2386.352294921875\n", + "global step=10717184, episodic return=1120.4464111328125\n", + "global step=10717184, episodic return=1115.8709716796875\n", + "global step=10717184, episodic return=727.2189331054688\n", + "global step=10717184, episodic return=1578.6793212890625\n", + "global step=10719232, episodic return=811.9007568359375\n", + "global step=10719232, episodic return=982.9068603515625\n", + "global step=10719232, episodic return=1697.0665283203125\n", + "global step=10719232, episodic return=1402.2060546875\n", + "global step=10719232, episodic return=1707.6978759765625\n", + "global step=10721280, episodic return=1408.18310546875\n", + "global step=10723328, episodic return=920.259521484375\n", + "global step=10723328, episodic return=1392.087890625\n", + "global step=10727424, episodic return=1712.7813720703125\n", + "global step=10727424, episodic return=1120.5533447265625\n", + "global step=10727424, episodic return=725.1273803710938\n", + "global step=10729472, episodic return=966.6893920898438\n", + "global step=10729472, episodic return=1416.382568359375\n", + "global step=10729472, episodic return=634.2075805664062\n", + "global step=10729472, episodic return=536.7479248046875\n", + "global step=10731520, episodic return=1859.7769775390625\n", + "global step=10731520, episodic return=1050.773193359375\n", + "global step=10731520, episodic return=1475.7364501953125\n", + "global step=10731520, episodic return=2303.22412109375\n", + "global step=10731520, episodic return=2360.836181640625\n", + "global step=10733568, episodic return=1111.8126220703125\n", + "global step=10733568, episodic return=638.7382202148438\n", + "global step=10735616, episodic return=1437.069580078125\n", + "global step=10735616, episodic return=1203.055419921875\n", + "global step=10735616, episodic return=2360.13330078125\n", + "global step=10735616, episodic return=1997.3194580078125\n", + "global step=10737664, episodic return=1512.182861328125\n", + "global step=10737664, episodic return=889.728271484375\n", + "global step=10737664, episodic return=1775.5587158203125\n", + "global step=10737664, episodic return=2359.431884765625\n", + "global step=10737664, episodic return=835.2216186523438\n", + "global step=10739712, episodic return=1559.3770751953125\n", + "global step=10739712, episodic return=1940.609375\n", + "global step=10739712, episodic return=1724.3778076171875\n", + "global step=10741760, episodic return=2426.761962890625\n", + "global step=10741760, episodic return=1345.2578125\n", + "global step=10743808, episodic return=260.80908203125\n", + "global step=10743808, episodic return=27.137964248657227\n", + "global step=10745856, episodic return=1864.9400634765625\n", + "global step=10747904, episodic return=2095.67626953125\n", + "global step=10747904, episodic return=1555.4195556640625\n", + "global step=10747904, episodic return=1306.6527099609375\n", + "global step=10752000, episodic return=2359.41943359375\n", + "global step=10752000, episodic return=1462.9315185546875\n", + "global step=10754048, episodic return=2367.498046875\n", + "global step=10754048, episodic return=1056.777099609375\n", + "global step=10754048, episodic return=1981.5433349609375\n", + "global step=10754048, episodic return=897.6688232421875\n", + "global step=10756096, episodic return=23.83448600769043\n", + "global step=10758144, episodic return=2320.836669921875\n", + "global step=10760192, episodic return=68.12133026123047\n", + "global step=10760192, episodic return=2308.193359375\n", + "global step=10762240, episodic return=17.652931213378906\n", + "global step=10764288, episodic return=948.3591918945312\n", + "global step=10766336, episodic return=2015.25048828125\n", + "global step=10766336, episodic return=765.3412475585938\n", + "global step=10766336, episodic return=1569.3271484375\n", + "global step=10766336, episodic return=1970.0718994140625\n", + "global step=10768384, episodic return=1798.433837890625\n", + "global step=10768384, episodic return=2383.72998046875\n", + "global step=10770432, episodic return=2081.986572265625\n", + "global step=10770432, episodic return=1010.5810546875\n", + "global step=10770432, episodic return=2351.078857421875\n", + "global step=10770432, episodic return=370.654296875\n", + "global step=10772480, episodic return=1573.4097900390625\n", + "global step=10772480, episodic return=2405.1533203125\n", + "global step=10772480, episodic return=901.1791381835938\n", + "global step=10772480, episodic return=889.977294921875\n", + "global step=10772480, episodic return=2410.252685546875\n", + "global step=10774528, episodic return=2337.123291015625\n", + "global step=10774528, episodic return=1442.48681640625\n", + "global step=10774528, episodic return=1708.1005859375\n", + "global step=10776576, episodic return=1558.79248046875\n", + "global step=10776576, episodic return=1366.220458984375\n", + "global step=10776576, episodic return=738.301513671875\n", + "global step=10776576, episodic return=1819.3642578125\n", + "global step=10778624, episodic return=2300.22509765625\n", + "global step=10780672, episodic return=2334.1298828125\n", + "global step=10782720, episodic return=934.6192626953125\n", + "global step=10782720, episodic return=1951.2276611328125\n", + "global step=10782720, episodic return=2327.982177734375\n", + "global step=10782720, episodic return=2387.979736328125\n", + "global step=10782720, episodic return=1440.97705078125\n", + "global step=10782720, episodic return=216.2191925048828\n", + "global step=10782720, episodic return=919.5592041015625\n", + "global step=10782720, episodic return=2412.977783203125\n", + "global step=10784768, episodic return=979.9362182617188\n", + "global step=10786816, episodic return=320.05047607421875\n", + "global step=10786816, episodic return=1312.608154296875\n", + "global step=10786816, episodic return=2373.05712890625\n", + "global step=10788864, episodic return=2380.745361328125\n", + "global step=10788864, episodic return=1501.1776123046875\n", + "global step=10790912, episodic return=1050.6541748046875\n", + "global step=10790912, episodic return=255.2045440673828\n", + "global step=10790912, episodic return=2342.28466796875\n", + "global step=10790912, episodic return=2405.1611328125\n", + "global step=10790912, episodic return=1448.619873046875\n", + "global step=10790912, episodic return=1059.32861328125\n", + "global step=10792960, episodic return=2427.505126953125\n", + "global step=10792960, episodic return=1184.6956787109375\n", + "global step=10795008, episodic return=33.986026763916016\n", + "global step=10795008, episodic return=2375.079345703125\n", + "global step=10797056, episodic return=947.699462890625\n", + "global step=10797056, episodic return=897.2045288085938\n", + "global step=10799104, episodic return=2011.8165283203125\n", + "global step=10803200, episodic return=1489.0281982421875\n", + "global step=10803200, episodic return=518.025390625\n", + "global step=10803200, episodic return=1755.0308837890625\n", + "global step=10805248, episodic return=2346.892822265625\n", + "global step=10805248, episodic return=1057.80517578125\n", + "global step=10807296, episodic return=406.11846923828125\n", + "global step=10807296, episodic return=2316.357421875\n", + "global step=10807296, episodic return=903.24072265625\n", + "global step=10807296, episodic return=924.3504638671875\n", + "global step=10811392, episodic return=1463.53271484375\n", + "global step=10811392, episodic return=1721.9083251953125\n", + "global step=10813440, episodic return=994.8282470703125\n", + "global step=10819584, episodic return=636.6671142578125\n", + "global step=10819584, episodic return=1109.1923828125\n", + "global step=10819584, episodic return=2403.842529296875\n", + "global step=10821632, episodic return=1597.4912109375\n", + "global step=10821632, episodic return=1697.099365234375\n", + "global step=10823680, episodic return=1503.8760986328125\n", + "global step=10825728, episodic return=891.5979614257812\n", + "global step=10827776, episodic return=1030.6915283203125\n", + "global step=10827776, episodic return=2367.389404296875\n", + "global step=10829824, episodic return=654.632080078125\n", + "global step=10831872, episodic return=2204.310302734375\n", + "global step=10833920, episodic return=2165.4033203125\n", + "global step=10833920, episodic return=2410.883056640625\n", + "global step=10833920, episodic return=2386.069091796875\n", + "global step=10835968, episodic return=1870.6995849609375\n", + "global step=10838016, episodic return=1403.349609375\n", + "global step=10838016, episodic return=1685.6988525390625\n", + "global step=10846208, episodic return=1046.1829833984375\n", + "global step=10846208, episodic return=2406.10986328125\n", + "global step=10846208, episodic return=1088.0015869140625\n", + "global step=10848256, episodic return=1586.0340576171875\n", + "global step=10850304, episodic return=2370.325927734375\n", + "global step=10852352, episodic return=1285.8623046875\n", + "global step=10854400, episodic return=399.4114074707031\n", + "global step=10856448, episodic return=1207.2493896484375\n", + "global step=10856448, episodic return=2393.242431640625\n", + "global step=10858496, episodic return=1651.1165771484375\n", + "global step=10860544, episodic return=1781.6842041015625\n", + "global step=10862592, episodic return=995.9138793945312\n", + "global step=10862592, episodic return=2029.0013427734375\n", + "global step=10864640, episodic return=2408.8486328125\n", + "global step=10866688, episodic return=452.08001708984375\n", + "global step=10868736, episodic return=2366.29296875\n", + "global step=10868736, episodic return=2359.186767578125\n", + "global step=10868736, episodic return=382.2799987792969\n", + "global step=10870784, episodic return=2354.392333984375\n", + "global step=10870784, episodic return=1690.569091796875\n", + "global step=10874880, episodic return=1110.0863037109375\n", + "global step=10876928, episodic return=2423.55712890625\n", + "global step=10878976, episodic return=832.2001342773438\n", + "global step=10878976, episodic return=857.9125366210938\n", + "global step=10881024, episodic return=1800.3719482421875\n", + "global step=10883072, episodic return=184.2461700439453\n", + "global step=10883072, episodic return=542.5082397460938\n", + "global step=10885120, episodic return=1639.5841064453125\n", + "global step=10887168, episodic return=2370.061279296875\n", + "global step=10887168, episodic return=457.7114562988281\n", + "global step=10887168, episodic return=1134.668701171875\n", + "global step=10887168, episodic return=388.54364013671875\n", + "global step=10889216, episodic return=1185.3433837890625\n", + "global step=10889216, episodic return=2370.91455078125\n", + "global step=10891264, episodic return=34.13770294189453\n", + "global step=10891264, episodic return=917.95361328125\n", + "global step=10895360, episodic return=214.17025756835938\n", + "global step=10895360, episodic return=2370.749755859375\n", + "global step=10895360, episodic return=923.5448608398438\n", + "global step=10897408, episodic return=1553.7454833984375\n", + "global step=10897408, episodic return=2080.482421875\n", + "global step=10897408, episodic return=2275.316650390625\n", + "global step=10897408, episodic return=2359.563720703125\n", + "global step=10901504, episodic return=2397.442138671875\n", + "global step=10903552, episodic return=1025.8853759765625\n", + "global step=10903552, episodic return=1590.92919921875\n", + "global step=10905600, episodic return=1002.7945556640625\n", + "global step=10907648, episodic return=1040.6275634765625\n", + "global step=10909696, episodic return=913.372314453125\n", + "global step=10909696, episodic return=2057.9697265625\n", + "global step=10911744, episodic return=1275.9593505859375\n", + "global step=10911744, episodic return=2394.88037109375\n", + "global step=10913792, episodic return=1140.108642578125\n", + "global step=10913792, episodic return=25.8878116607666\n", + "global step=10915840, episodic return=216.2418212890625\n", + "global step=10915840, episodic return=967.6430053710938\n", + "global step=10915840, episodic return=2225.498046875\n", + "global step=10917888, episodic return=2441.9375\n", + "global step=10919936, episodic return=1453.521484375\n", + "global step=10919936, episodic return=1508.623046875\n", + "global step=10919936, episodic return=2371.702880859375\n", + "global step=10924032, episodic return=1143.1387939453125\n", + "global step=10924032, episodic return=2384.552490234375\n", + "global step=10924032, episodic return=1850.8275146484375\n", + "global step=10926080, episodic return=212.3776092529297\n", + "global step=10926080, episodic return=408.057373046875\n", + "global step=10926080, episodic return=192.59434509277344\n", + "global step=10926080, episodic return=1963.943115234375\n", + "global step=10930176, episodic return=2214.3544921875\n", + "global step=10932224, episodic return=1581.3685302734375\n", + "global step=10932224, episodic return=1718.3935546875\n", + "global step=10934272, episodic return=1047.8607177734375\n", + "global step=10934272, episodic return=2358.5673828125\n", + "global step=10934272, episodic return=2440.58056640625\n", + "global step=10936320, episodic return=2377.921630859375\n", + "global step=10938368, episodic return=211.67454528808594\n", + "global step=10940416, episodic return=2322.7734375\n", + "global step=10940416, episodic return=507.8550109863281\n", + "global step=10942464, episodic return=2382.401123046875\n", + "global step=10944512, episodic return=2013.0263671875\n", + "global step=10946560, episodic return=506.30596923828125\n", + "global step=10948608, episodic return=2332.67138671875\n", + "global step=10950656, episodic return=2404.529541015625\n", + "global step=10950656, episodic return=1512.55029296875\n", + "global step=10952704, episodic return=2409.990234375\n", + "global step=10952704, episodic return=1229.9208984375\n", + "global step=10952704, episodic return=2359.0185546875\n", + "global step=10954752, episodic return=1179.2861328125\n", + "global step=10954752, episodic return=1338.4835205078125\n", + "global step=10954752, episodic return=2384.374267578125\n", + "global step=10958848, episodic return=1806.3868408203125\n", + "global step=10960896, episodic return=2365.916259765625\n", + "global step=10960896, episodic return=999.35498046875\n", + "global step=10960896, episodic return=363.6423645019531\n", + "global step=10964992, episodic return=2358.85302734375\n", + "global step=10967040, episodic return=2370.7744140625\n", + "global step=10967040, episodic return=1339.3883056640625\n", + "global step=10967040, episodic return=2293.401123046875\n", + "global step=10967040, episodic return=1682.2884521484375\n", + "global step=10969088, episodic return=1737.963134765625\n", + "global step=10969088, episodic return=2366.73095703125\n", + "global step=10971136, episodic return=2175.272216796875\n", + "global step=10971136, episodic return=2364.246826171875\n", + "global step=10971136, episodic return=1564.8193359375\n", + "global step=10971136, episodic return=2364.347412109375\n", + "global step=10973184, episodic return=1122.787109375\n", + "global step=10975232, episodic return=1196.3782958984375\n", + "global step=10975232, episodic return=203.0464324951172\n", + "global step=10975232, episodic return=2309.61962890625\n", + "global step=10979328, episodic return=1580.915283203125\n", + "global step=10979328, episodic return=2398.21533203125\n", + "global step=10979328, episodic return=1097.0531005859375\n", + "global step=10981376, episodic return=2288.197509765625\n", + "global step=10983424, episodic return=1242.040771484375\n", + "global step=10985472, episodic return=1779.8642578125\n", + "global step=10985472, episodic return=2389.77490234375\n", + "global step=10987520, episodic return=859.9295043945312\n", + "global step=10987520, episodic return=2401.814453125\n", + "global step=10989568, episodic return=1771.920166015625\n", + "global step=10991616, episodic return=2389.614013671875\n", + "global step=10993664, episodic return=531.22998046875\n", + "global step=10993664, episodic return=2377.73583984375\n", + "global step=10993664, episodic return=2402.620361328125\n", + "global step=10995712, episodic return=1944.5455322265625\n", + "global step=10997760, episodic return=1779.09228515625\n", + "global step=10997760, episodic return=1938.2734375\n", + "global step=10999808, episodic return=1242.461669921875\n", + "global step=11001856, episodic return=2374.235107421875\n", + "global step=11003904, episodic return=2377.3974609375\n", + "global step=11008000, episodic return=2367.079833984375\n", + "global step=11008000, episodic return=2335.619384765625\n", + "global step=11010048, episodic return=2397.531494140625\n", + "global step=11012096, episodic return=2356.287109375\n", + "global step=11012096, episodic return=2389.71044921875\n", + "global step=11012096, episodic return=1744.26953125\n", + "global step=11014144, episodic return=2337.149169921875\n", + "global step=11014144, episodic return=1288.99609375\n", + "global step=11018240, episodic return=2366.11474609375\n", + "global step=11018240, episodic return=2371.191650390625\n", + "global step=11020288, episodic return=238.0874481201172\n", + "global step=11022336, episodic return=2405.533935546875\n", + "global step=11024384, episodic return=2389.110595703125\n", + "global step=11024384, episodic return=2414.138916015625\n", + "global step=11024384, episodic return=2403.49853515625\n", + "global step=11024384, episodic return=2335.3115234375\n", + "global step=11026432, episodic return=1269.0814208984375\n", + "global step=11028480, episodic return=2396.802978515625\n", + "global step=11030528, episodic return=2376.671875\n", + "global step=11032576, episodic return=2383.812255859375\n", + "global step=11032576, episodic return=2407.343994140625\n", + "global step=11032576, episodic return=1150.4482421875\n", + "global step=11032576, episodic return=785.2850952148438\n", + "global step=11034624, episodic return=2378.310791015625\n", + "global step=11034624, episodic return=2002.201416015625\n", + "global step=11034624, episodic return=2359.845458984375\n", + "global step=11034624, episodic return=2371.588623046875\n", + "global step=11036672, episodic return=2131.420654296875\n", + "global step=11036672, episodic return=2315.853271484375\n", + "global step=11038720, episodic return=2387.336181640625\n", + "global step=11038720, episodic return=2430.24658203125\n", + "global step=11040768, episodic return=2345.562744140625\n", + "global step=11040768, episodic return=423.5253601074219\n", + "global step=11042816, episodic return=2346.40966796875\n", + "global step=11042816, episodic return=1486.2330322265625\n", + "global step=11044864, episodic return=2226.287841796875\n", + "global step=11044864, episodic return=2422.557373046875\n", + "global step=11044864, episodic return=2410.279296875\n", + "global step=11044864, episodic return=2384.688232421875\n", + "global step=11046912, episodic return=2374.5458984375\n", + "global step=11046912, episodic return=2105.800048828125\n", + "global step=11046912, episodic return=2380.81787109375\n", + "global step=11046912, episodic return=1088.2674560546875\n", + "global step=11055104, episodic return=2399.477294921875\n", + "global step=11055104, episodic return=2422.62451171875\n", + "global step=11055104, episodic return=1927.2576904296875\n", + "global step=11061248, episodic return=212.54495239257812\n", + "global step=11063296, episodic return=2359.17724609375\n", + "global step=11065344, episodic return=2376.077392578125\n", + "global step=11065344, episodic return=1993.885986328125\n", + "global step=11065344, episodic return=199.24107360839844\n", + "global step=11065344, episodic return=2386.8857421875\n", + "global step=11067392, episodic return=2425.298583984375\n", + "global step=11067392, episodic return=2371.243408203125\n", + "global step=11067392, episodic return=229.55337524414062\n", + "global step=11067392, episodic return=214.9734649658203\n", + "global step=11069440, episodic return=2279.506103515625\n", + "global step=11069440, episodic return=2385.51416015625\n", + "global step=11071488, episodic return=2422.107666015625\n", + "global step=11071488, episodic return=2399.359619140625\n", + "global step=11071488, episodic return=2295.0078125\n", + "global step=11071488, episodic return=2335.54052734375\n", + "global step=11071488, episodic return=203.76463317871094\n", + "global step=11071488, episodic return=1178.3974609375\n", + "global step=11073536, episodic return=2348.767333984375\n", + "global step=11073536, episodic return=2427.198974609375\n", + "global step=11075584, episodic return=2369.93798828125\n", + "global step=11077632, episodic return=1757.2333984375\n", + "global step=11081728, episodic return=2383.533935546875\n", + "global step=11081728, episodic return=2396.51171875\n", + "global step=11083776, episodic return=2352.714111328125\n", + "global step=11085824, episodic return=2003.1539306640625\n", + "global step=11085824, episodic return=947.2330932617188\n", + "global step=11087872, episodic return=168.44622802734375\n", + "global step=11089920, episodic return=2388.293701171875\n", + "global step=11089920, episodic return=257.25274658203125\n", + "global step=11089920, episodic return=2403.61279296875\n", + "global step=11089920, episodic return=2371.1591796875\n", + "global step=11091968, episodic return=2415.72412109375\n", + "global step=11091968, episodic return=2366.38818359375\n", + "global step=11091968, episodic return=878.37451171875\n", + "global step=11094016, episodic return=2374.05078125\n", + "global step=11094016, episodic return=2392.795654296875\n", + "global step=11096064, episodic return=203.27671813964844\n", + "global step=11098112, episodic return=2353.997314453125\n", + "global step=11100160, episodic return=2388.009521484375\n", + "global step=11100160, episodic return=2301.53857421875\n", + "global step=11100160, episodic return=2375.11474609375\n", + "global step=11100160, episodic return=2391.82470703125\n", + "global step=11102208, episodic return=2319.96875\n", + "global step=11104256, episodic return=2355.16162109375\n", + "global step=11104256, episodic return=2346.2841796875\n", + "global step=11106304, episodic return=1690.9681396484375\n", + "global step=11106304, episodic return=2398.330078125\n", + "global step=11108352, episodic return=1973.2010498046875\n", + "global step=11112448, episodic return=2377.196044921875\n", + "global step=11112448, episodic return=2377.345458984375\n", + "global step=11112448, episodic return=2433.240234375\n", + "global step=11114496, episodic return=2416.821044921875\n", + "global step=11114496, episodic return=414.82159423828125\n", + "global step=11114496, episodic return=2351.184326171875\n", + "global step=11114496, episodic return=2137.015625\n", + "global step=11120640, episodic return=2398.43896484375\n", + "global step=11120640, episodic return=2430.6298828125\n", + "global step=11122688, episodic return=2377.997314453125\n", + "global step=11122688, episodic return=2384.9189453125\n", + "global step=11122688, episodic return=2318.6025390625\n", + "global step=11122688, episodic return=206.80885314941406\n", + "global step=11122688, episodic return=2336.451171875\n", + "global step=11122688, episodic return=1881.85986328125\n", + "global step=11122688, episodic return=2135.373779296875\n", + "global step=11126784, episodic return=2045.0751953125\n", + "global step=11126784, episodic return=2354.139404296875\n", + "global step=11128832, episodic return=2388.186767578125\n", + "global step=11128832, episodic return=1396.0283203125\n", + "global step=11128832, episodic return=2447.0341796875\n", + "global step=11130880, episodic return=2417.220947265625\n", + "global step=11130880, episodic return=1745.3984375\n", + "global step=11130880, episodic return=2385.63037109375\n", + "global step=11132928, episodic return=2438.15576171875\n", + "global step=11134976, episodic return=2445.222900390625\n", + "global step=11134976, episodic return=2429.10888671875\n", + "global step=11134976, episodic return=2375.822509765625\n", + "global step=11137024, episodic return=1305.1846923828125\n", + "global step=11137024, episodic return=515.2227783203125\n", + "global step=11137024, episodic return=566.8703002929688\n", + "global step=11139072, episodic return=1962.29931640625\n", + "global step=11139072, episodic return=1992.3436279296875\n", + "global step=11141120, episodic return=1491.397216796875\n", + "global step=11141120, episodic return=497.4069519042969\n", + "global step=11141120, episodic return=1027.970703125\n", + "global step=11143168, episodic return=1279.7054443359375\n", + "global step=11145216, episodic return=2347.67529296875\n", + "global step=11145216, episodic return=2120.09228515625\n", + "global step=11145216, episodic return=739.189208984375\n", + "global step=11145216, episodic return=2152.1201171875\n", + "global step=11145216, episodic return=473.9775085449219\n", + "global step=11147264, episodic return=2366.044677734375\n", + "global step=11147264, episodic return=2295.892822265625\n", + "global step=11147264, episodic return=1977.62939453125\n", + "global step=11149312, episodic return=2344.921142578125\n", + "global step=11149312, episodic return=2335.494873046875\n", + "global step=11151360, episodic return=2345.647705078125\n", + "global step=11153408, episodic return=453.0226135253906\n", + "global step=11153408, episodic return=2338.10400390625\n", + "global step=11155456, episodic return=2062.784912109375\n", + "global step=11155456, episodic return=2183.4580078125\n", + "global step=11155456, episodic return=2374.54541015625\n", + "global step=11155456, episodic return=2301.405029296875\n", + "global step=11157504, episodic return=2140.6220703125\n", + "global step=11159552, episodic return=2348.429931640625\n", + "global step=11161600, episodic return=2377.9775390625\n", + "global step=11163648, episodic return=2358.731201171875\n", + "global step=11163648, episodic return=2384.906005859375\n", + "global step=11163648, episodic return=647.4178466796875\n", + "global step=11165696, episodic return=1694.137451171875\n", + "global step=11167744, episodic return=2350.553466796875\n", + "global step=11167744, episodic return=2397.179931640625\n", + "global step=11167744, episodic return=2409.721435546875\n", + "global step=11167744, episodic return=2385.354736328125\n", + "global step=11167744, episodic return=2370.964111328125\n", + "global step=11167744, episodic return=2168.26416015625\n", + "global step=11167744, episodic return=2410.21240234375\n", + "global step=11169792, episodic return=2282.522216796875\n", + "global step=11169792, episodic return=2368.107421875\n", + "global step=11169792, episodic return=2358.433837890625\n", + "global step=11169792, episodic return=2027.8699951171875\n", + "global step=11169792, episodic return=2431.14501953125\n", + "global step=11171840, episodic return=2389.94091796875\n", + "global step=11171840, episodic return=2301.93505859375\n", + "global step=11171840, episodic return=1434.872314453125\n", + "global step=11173888, episodic return=2159.71484375\n", + "global step=11173888, episodic return=2381.01220703125\n", + "global step=11173888, episodic return=2356.325927734375\n", + "global step=11173888, episodic return=1470.1025390625\n", + "global step=11173888, episodic return=1670.492431640625\n", + "global step=11177984, episodic return=1999.64404296875\n", + "global step=11180032, episodic return=2146.72021484375\n", + "global step=11180032, episodic return=2345.25048828125\n", + "global step=11180032, episodic return=915.7813720703125\n", + "global step=11182080, episodic return=2396.1240234375\n", + "global step=11182080, episodic return=51.657928466796875\n", + "global step=11184128, episodic return=2147.149658203125\n", + "global step=11184128, episodic return=2336.602294921875\n", + "global step=11184128, episodic return=2381.681396484375\n", + "global step=11184128, episodic return=1092.786376953125\n", + "global step=11188224, episodic return=2433.271484375\n", + "global step=11188224, episodic return=2364.017822265625\n", + "global step=11190272, episodic return=1477.279541015625\n", + "global step=11190272, episodic return=1165.078125\n", + "global step=11192320, episodic return=2386.66748046875\n", + "global step=11194368, episodic return=2314.902099609375\n", + "global step=11194368, episodic return=2381.159423828125\n", + "global step=11196416, episodic return=2363.6337890625\n", + "global step=11196416, episodic return=20.928617477416992\n", + "global step=11196416, episodic return=2339.2099609375\n", + "global step=11198464, episodic return=2300.5947265625\n", + "global step=11198464, episodic return=2382.07373046875\n", + "global step=11198464, episodic return=2358.578125\n", + "global step=11198464, episodic return=2366.779296875\n", + "global step=11198464, episodic return=2083.703857421875\n", + "global step=11200512, episodic return=1895.612060546875\n", + "global step=11202560, episodic return=2254.509521484375\n", + "global step=11202560, episodic return=45.91559982299805\n", + "global step=11202560, episodic return=47.948524475097656\n", + "global step=11202560, episodic return=1740.317138671875\n", + "global step=11204608, episodic return=1096.87548828125\n", + "global step=11204608, episodic return=1295.340576171875\n", + "global step=11204608, episodic return=1548.9013671875\n", + "global step=11206656, episodic return=2093.319091796875\n", + "global step=11206656, episodic return=2109.5703125\n", + "global step=11206656, episodic return=2296.825439453125\n", + "global step=11208704, episodic return=2273.479248046875\n", + "global step=11208704, episodic return=2115.19677734375\n", + "global step=11208704, episodic return=2376.815185546875\n", + "global step=11208704, episodic return=1974.1539306640625\n", + "global step=11208704, episodic return=2302.882568359375\n", + "global step=11210752, episodic return=898.21533203125\n", + "global step=11210752, episodic return=1900.8751220703125\n", + "global step=11210752, episodic return=2344.477783203125\n", + "global step=11212800, episodic return=2380.88525390625\n", + "global step=11214848, episodic return=1256.5577392578125\n", + "global step=11214848, episodic return=1598.6190185546875\n", + "global step=11214848, episodic return=2437.50732421875\n", + "global step=11216896, episodic return=1966.877685546875\n", + "global step=11216896, episodic return=2354.779052734375\n", + "global step=11216896, episodic return=1986.3583984375\n", + "global step=11216896, episodic return=2314.809326171875\n", + "global step=11218944, episodic return=2179.560546875\n", + "global step=11218944, episodic return=2036.087646484375\n", + "global step=11220992, episodic return=1962.45068359375\n", + "global step=11220992, episodic return=1369.730712890625\n", + "global step=11220992, episodic return=1597.7689208984375\n", + "global step=11220992, episodic return=1732.029541015625\n", + "global step=11220992, episodic return=2407.308837890625\n", + "global step=11223040, episodic return=2367.64404296875\n", + "global step=11223040, episodic return=2321.5830078125\n", + "global step=11225088, episodic return=2012.1834716796875\n", + "global step=11225088, episodic return=1147.989013671875\n", + "global step=11227136, episodic return=2363.315185546875\n", + "global step=11227136, episodic return=2360.335693359375\n", + "global step=11227136, episodic return=2343.330810546875\n", + "global step=11227136, episodic return=2303.90673828125\n", + "global step=11229184, episodic return=2385.670166015625\n", + "global step=11229184, episodic return=2105.314453125\n", + "global step=11229184, episodic return=2155.56103515625\n", + "global step=11231232, episodic return=2340.53955078125\n", + "global step=11231232, episodic return=2189.95458984375\n", + "global step=11231232, episodic return=2344.333740234375\n", + "global step=11231232, episodic return=2193.658203125\n", + "global step=11233280, episodic return=1906.9305419921875\n", + "global step=11233280, episodic return=2193.403076171875\n", + "global step=11233280, episodic return=2169.7275390625\n", + "global step=11233280, episodic return=2222.128662109375\n", + "global step=11233280, episodic return=2124.329345703125\n", + "global step=11233280, episodic return=2413.46875\n", + "global step=11233280, episodic return=2003.6884765625\n", + "global step=11235328, episodic return=2092.523193359375\n", + "global step=11235328, episodic return=2363.5595703125\n", + "global step=11235328, episodic return=2397.072265625\n", + "global step=11237376, episodic return=2385.073974609375\n", + "global step=11237376, episodic return=2009.67919921875\n", + "global step=11237376, episodic return=1156.1744384765625\n", + "global step=11237376, episodic return=2383.45263671875\n", + "global step=11239424, episodic return=2025.5135498046875\n", + "global step=11239424, episodic return=2356.141845703125\n", + "global step=11239424, episodic return=2316.642822265625\n", + "global step=11239424, episodic return=891.0890502929688\n", + "global step=11239424, episodic return=1539.8570556640625\n", + "global step=11239424, episodic return=2400.91259765625\n", + "global step=11243520, episodic return=2356.6591796875\n", + "global step=11243520, episodic return=2429.9296875\n", + "global step=11245568, episodic return=2288.699462890625\n", + "global step=11245568, episodic return=2396.44970703125\n", + "global step=11247616, episodic return=2323.260986328125\n", + "global step=11247616, episodic return=474.74298095703125\n", + "global step=11247616, episodic return=2378.5703125\n", + "global step=11247616, episodic return=1300.9000244140625\n", + "global step=11249664, episodic return=2344.887939453125\n", + "global step=11249664, episodic return=1468.7293701171875\n", + "global step=11249664, episodic return=2237.000732421875\n", + "global step=11251712, episodic return=2334.093994140625\n", + "global step=11251712, episodic return=982.7364501953125\n", + "global step=11253760, episodic return=2388.685302734375\n", + "global step=11253760, episodic return=2373.3818359375\n", + "global step=11253760, episodic return=2345.437744140625\n", + "global step=11255808, episodic return=2368.799072265625\n", + "global step=11255808, episodic return=2142.730712890625\n", + "global step=11255808, episodic return=1931.96044921875\n", + "global step=11255808, episodic return=2393.97900390625\n", + "global step=11257856, episodic return=2428.541259765625\n", + "global step=11259904, episodic return=615.4158935546875\n", + "global step=11259904, episodic return=408.9405212402344\n", + "global step=11259904, episodic return=2330.10888671875\n", + "global step=11261952, episodic return=1643.56103515625\n", + "global step=11261952, episodic return=2379.72509765625\n", + "global step=11261952, episodic return=1952.7991943359375\n", + "global step=11261952, episodic return=1491.5557861328125\n", + "global step=11261952, episodic return=892.00732421875\n", + "global step=11261952, episodic return=659.1538696289062\n", + "global step=11264000, episodic return=1423.0523681640625\n", + "global step=11266048, episodic return=1919.3067626953125\n", + "global step=11266048, episodic return=2247.107421875\n", + "global step=11266048, episodic return=1890.15673828125\n", + "global step=11266048, episodic return=2392.97802734375\n", + "global step=11266048, episodic return=2358.622314453125\n", + "global step=11266048, episodic return=2380.867919921875\n", + "global step=11268096, episodic return=2060.6962890625\n", + "global step=11268096, episodic return=2251.6513671875\n", + "global step=11270144, episodic return=2227.44189453125\n", + "global step=11270144, episodic return=2307.41455078125\n", + "global step=11270144, episodic return=2375.565185546875\n", + "global step=11272192, episodic return=1847.583251953125\n", + "global step=11272192, episodic return=2372.735595703125\n", + "global step=11274240, episodic return=1967.458984375\n", + "global step=11274240, episodic return=2395.41455078125\n", + "global step=11276288, episodic return=2343.105712890625\n", + "global step=11276288, episodic return=2393.143798828125\n", + "global step=11276288, episodic return=2357.646484375\n", + "global step=11276288, episodic return=2421.8505859375\n", + "global step=11276288, episodic return=2410.09765625\n", + "global step=11276288, episodic return=1419.48681640625\n", + "global step=11278336, episodic return=1473.7242431640625\n", + "global step=11278336, episodic return=2357.425048828125\n", + "global step=11280384, episodic return=2198.576171875\n", + "global step=11280384, episodic return=2382.004638671875\n", + "global step=11282432, episodic return=2359.00390625\n", + "global step=11282432, episodic return=2397.799560546875\n", + "global step=11282432, episodic return=2392.123291015625\n", + "global step=11282432, episodic return=2383.32568359375\n", + "global step=11282432, episodic return=2349.79541015625\n", + "global step=11282432, episodic return=1743.9478759765625\n", + "global step=11284480, episodic return=2351.89794921875\n", + "global step=11286528, episodic return=2380.34228515625\n", + "global step=11286528, episodic return=2424.951416015625\n", + "global step=11286528, episodic return=391.3144836425781\n", + "global step=11286528, episodic return=2403.66064453125\n", + "global step=11288576, episodic return=2080.747314453125\n", + "global step=11288576, episodic return=2312.102783203125\n", + "global step=11290624, episodic return=2268.861572265625\n", + "global step=11290624, episodic return=2362.539306640625\n", + "global step=11292672, episodic return=2348.7841796875\n", + "global step=11292672, episodic return=2388.654296875\n", + "global step=11292672, episodic return=2158.7158203125\n", + "global step=11292672, episodic return=2268.789794921875\n", + "global step=11294720, episodic return=2301.5361328125\n", + "global step=11294720, episodic return=2333.1884765625\n", + "global step=11294720, episodic return=2168.16650390625\n", + "global step=11296768, episodic return=2311.499755859375\n", + "global step=11296768, episodic return=2386.20703125\n", + "global step=11298816, episodic return=1706.4432373046875\n", + "global step=11298816, episodic return=2094.579833984375\n", + "global step=11298816, episodic return=2107.7646484375\n", + "global step=11298816, episodic return=2334.7900390625\n", + "global step=11300864, episodic return=1815.4178466796875\n", + "global step=11300864, episodic return=2339.645751953125\n", + "global step=11300864, episodic return=281.3522033691406\n", + "global step=11300864, episodic return=1864.303466796875\n", + "global step=11300864, episodic return=2128.940673828125\n", + "global step=11300864, episodic return=2270.91015625\n", + "global step=11300864, episodic return=2199.18798828125\n", + "global step=11300864, episodic return=20.711021423339844\n", + "global step=11302912, episodic return=2379.981689453125\n", + "global step=11302912, episodic return=2094.397216796875\n", + "global step=11304960, episodic return=2336.11376953125\n", + "global step=11304960, episodic return=2402.5830078125\n", + "global step=11307008, episodic return=2332.00390625\n", + "global step=11307008, episodic return=1760.845458984375\n", + "global step=11307008, episodic return=2396.71044921875\n", + "global step=11309056, episodic return=2390.176513671875\n", + "global step=11309056, episodic return=2297.068115234375\n", + "global step=11311104, episodic return=2382.857177734375\n", + "global step=11311104, episodic return=26.487058639526367\n", + "global step=11311104, episodic return=971.108154296875\n", + "global step=11311104, episodic return=1985.4755859375\n", + "global step=11313152, episodic return=2389.063232421875\n", + "global step=11315200, episodic return=2319.220458984375\n", + "global step=11315200, episodic return=2322.824462890625\n", + "global step=11315200, episodic return=724.445068359375\n", + "global step=11317248, episodic return=372.6539306640625\n", + "global step=11317248, episodic return=2385.33984375\n", + "global step=11317248, episodic return=2273.544189453125\n", + "global step=11317248, episodic return=2281.87744140625\n", + "global step=11319296, episodic return=1676.4605712890625\n", + "global step=11321344, episodic return=2357.1416015625\n", + "global step=11321344, episodic return=2328.10693359375\n", + "global step=11321344, episodic return=2164.19287109375\n", + "global step=11321344, episodic return=2332.046142578125\n", + "global step=11323392, episodic return=1624.0283203125\n", + "global step=11323392, episodic return=1108.2083740234375\n", + "global step=11323392, episodic return=2380.2421875\n", + "global step=11323392, episodic return=2394.013671875\n", + "global step=11325440, episodic return=1496.5599365234375\n", + "global step=11325440, episodic return=2397.403076171875\n", + "global step=11327488, episodic return=2358.475830078125\n", + "global step=11327488, episodic return=2255.013671875\n", + "global step=11329536, episodic return=2160.233642578125\n", + "global step=11329536, episodic return=2416.465576171875\n", + "global step=11329536, episodic return=2359.01806640625\n", + "global step=11329536, episodic return=2347.3984375\n", + "global step=11331584, episodic return=2299.02587890625\n", + "global step=11331584, episodic return=2355.9072265625\n", + "global step=11331584, episodic return=2397.161376953125\n", + "global step=11333632, episodic return=2392.834228515625\n", + "global step=11333632, episodic return=2362.0673828125\n", + "global step=11333632, episodic return=2355.16357421875\n", + "global step=11333632, episodic return=2341.800048828125\n", + "global step=11333632, episodic return=2341.156005859375\n", + "global step=11335680, episodic return=2090.067626953125\n", + "global step=11335680, episodic return=2272.572509765625\n", + "global step=11335680, episodic return=415.30755615234375\n", + "global step=11335680, episodic return=2354.52099609375\n", + "global step=11337728, episodic return=249.20481872558594\n", + "global step=11337728, episodic return=2187.520751953125\n", + "global step=11337728, episodic return=2370.02294921875\n", + "global step=11337728, episodic return=2411.200927734375\n", + "global step=11337728, episodic return=2396.9775390625\n", + "global step=11339776, episodic return=227.31224060058594\n", + "global step=11339776, episodic return=2223.989990234375\n", + "global step=11339776, episodic return=39.808101654052734\n", + "global step=11339776, episodic return=2237.782470703125\n", + "global step=11339776, episodic return=2430.35791015625\n", + "global step=11341824, episodic return=2394.070556640625\n", + "global step=11341824, episodic return=1565.3109130859375\n", + "global step=11341824, episodic return=2275.15625\n", + "global step=11341824, episodic return=2379.56591796875\n", + "global step=11341824, episodic return=2313.173828125\n", + "global step=11341824, episodic return=2399.083251953125\n", + "global step=11343872, episodic return=1045.8936767578125\n", + "global step=11343872, episodic return=2353.264892578125\n", + "global step=11343872, episodic return=2225.8525390625\n", + "global step=11345920, episodic return=2374.7890625\n", + "global step=11345920, episodic return=2388.44775390625\n", + "global step=11345920, episodic return=531.869140625\n", + "global step=11345920, episodic return=1347.3564453125\n", + "global step=11345920, episodic return=1764.0054931640625\n", + "global step=11347968, episodic return=2289.818603515625\n", + "global step=11347968, episodic return=2379.810302734375\n", + "global step=11347968, episodic return=2379.011962890625\n", + "global step=11347968, episodic return=607.2728881835938\n", + "global step=11347968, episodic return=29.505760192871094\n", + "global step=11347968, episodic return=2368.621337890625\n", + "global step=11350016, episodic return=2349.53466796875\n", + "global step=11350016, episodic return=2355.180419921875\n", + "global step=11350016, episodic return=1769.92724609375\n", + "global step=11350016, episodic return=240.76902770996094\n", + "global step=11350016, episodic return=29.068058013916016\n", + "global step=11350016, episodic return=2338.96826171875\n", + "global step=11350016, episodic return=1172.0614013671875\n", + "global step=11352064, episodic return=2373.518310546875\n", + "global step=11352064, episodic return=2349.9248046875\n", + "global step=11352064, episodic return=2353.086181640625\n", + "global step=11352064, episodic return=367.7838439941406\n", + "global step=11354112, episodic return=2412.615966796875\n", + "global step=11354112, episodic return=2323.722412109375\n", + "global step=11354112, episodic return=1694.1649169921875\n", + "global step=11354112, episodic return=2412.86181640625\n", + "global step=11356160, episodic return=2407.537353515625\n", + "global step=11356160, episodic return=2246.60546875\n", + "global step=11358208, episodic return=2301.05517578125\n", + "global step=11358208, episodic return=213.8892059326172\n", + "global step=11358208, episodic return=2345.855712890625\n", + "global step=11360256, episodic return=2346.23974609375\n", + "global step=11360256, episodic return=1670.041015625\n", + "global step=11362304, episodic return=2414.033447265625\n", + "global step=11362304, episodic return=2249.108642578125\n", + "global step=11362304, episodic return=2423.3466796875\n", + "global step=11362304, episodic return=2326.165771484375\n", + "global step=11364352, episodic return=2320.930419921875\n", + "global step=11364352, episodic return=1895.1510009765625\n", + "global step=11364352, episodic return=2410.336181640625\n", + "global step=11364352, episodic return=2369.17431640625\n", + "global step=11364352, episodic return=2367.9580078125\n", + "global step=11366400, episodic return=2353.18798828125\n", + "global step=11366400, episodic return=586.7584228515625\n", + "global step=11366400, episodic return=867.3182983398438\n", + "global step=11366400, episodic return=225.36587524414062\n", + "global step=11368448, episodic return=2370.4306640625\n", + "global step=11368448, episodic return=51.92294692993164\n", + "global step=11368448, episodic return=2383.372314453125\n", + "global step=11368448, episodic return=2088.5810546875\n", + "global step=11370496, episodic return=2354.20166015625\n", + "global step=11372544, episodic return=2301.934814453125\n", + "global step=11372544, episodic return=2348.435302734375\n", + "global step=11372544, episodic return=2377.421142578125\n", + "global step=11372544, episodic return=1677.6534423828125\n", + "global step=11374592, episodic return=2377.300048828125\n", + "global step=11374592, episodic return=2378.275390625\n", + "global step=11374592, episodic return=2368.832275390625\n", + "global step=11374592, episodic return=2335.408935546875\n", + "global step=11376640, episodic return=1883.13232421875\n", + "global step=11376640, episodic return=2340.53466796875\n", + "global step=11376640, episodic return=519.4071655273438\n", + "global step=11378688, episodic return=2364.10302734375\n", + "global step=11378688, episodic return=2035.552978515625\n", + "global step=11378688, episodic return=2401.29052734375\n", + "global step=11378688, episodic return=2365.62939453125\n", + "global step=11380736, episodic return=2366.177978515625\n", + "global step=11380736, episodic return=2176.5361328125\n", + "global step=11380736, episodic return=2312.60009765625\n", + "global step=11380736, episodic return=1649.3360595703125\n", + "global step=11380736, episodic return=215.4694061279297\n", + "global step=11380736, episodic return=1050.2086181640625\n", + "global step=11380736, episodic return=2377.0908203125\n", + "global step=11382784, episodic return=2181.432373046875\n", + "global step=11384832, episodic return=2342.18896484375\n", + "global step=11384832, episodic return=1226.3355712890625\n", + "global step=11384832, episodic return=2419.413330078125\n", + "global step=11384832, episodic return=857.5243530273438\n", + "global step=11384832, episodic return=2394.75927734375\n", + "global step=11386880, episodic return=2355.642822265625\n", + "global step=11388928, episodic return=1924.234619140625\n", + "global step=11388928, episodic return=2350.364501953125\n", + "global step=11388928, episodic return=756.4318237304688\n", + "global step=11388928, episodic return=2341.4375\n", + "global step=11388928, episodic return=2353.6787109375\n", + "global step=11388928, episodic return=2301.24951171875\n", + "global step=11388928, episodic return=2398.515380859375\n", + "global step=11390976, episodic return=1756.85009765625\n", + "global step=11390976, episodic return=2392.886962890625\n", + "global step=11390976, episodic return=2350.41650390625\n", + "global step=11390976, episodic return=2326.795166015625\n", + "global step=11390976, episodic return=2353.62744140625\n", + "global step=11393024, episodic return=2348.2451171875\n", + "global step=11393024, episodic return=1319.006591796875\n", + "global step=11393024, episodic return=2326.1552734375\n", + "global step=11393024, episodic return=2371.453369140625\n", + "global step=11395072, episodic return=1624.917724609375\n", + "global step=11395072, episodic return=2122.181884765625\n", + "global step=11395072, episodic return=2390.71923828125\n", + "global step=11395072, episodic return=2377.045654296875\n", + "global step=11395072, episodic return=2368.93212890625\n", + "global step=11397120, episodic return=1999.01806640625\n", + "global step=11397120, episodic return=2316.949462890625\n", + "global step=11397120, episodic return=2358.722412109375\n", + "global step=11397120, episodic return=1807.2921142578125\n", + "global step=11397120, episodic return=1393.1944580078125\n", + "global step=11397120, episodic return=1775.6611328125\n", + "global step=11399168, episodic return=1782.957763671875\n", + "global step=11399168, episodic return=2396.830078125\n", + "global step=11401216, episodic return=2376.705078125\n", + "global step=11401216, episodic return=2390.287109375\n", + "global step=11403264, episodic return=2358.869873046875\n", + "global step=11403264, episodic return=2391.819580078125\n", + "global step=11403264, episodic return=201.983154296875\n", + "global step=11403264, episodic return=2384.334716796875\n", + "global step=11403264, episodic return=2320.086181640625\n", + "global step=11405312, episodic return=2359.093505859375\n", + "global step=11405312, episodic return=1282.26806640625\n", + "global step=11405312, episodic return=2367.27685546875\n", + "global step=11405312, episodic return=2331.892333984375\n", + "global step=11405312, episodic return=2329.33349609375\n", + "global step=11407360, episodic return=1572.88916015625\n", + "global step=11407360, episodic return=868.541259765625\n", + "global step=11407360, episodic return=2363.459716796875\n", + "global step=11407360, episodic return=2344.419189453125\n", + "global step=11409408, episodic return=2373.07666015625\n", + "global step=11409408, episodic return=2353.53759765625\n", + "global step=11411456, episodic return=2385.881103515625\n", + "global step=11411456, episodic return=766.0613403320312\n", + "global step=11411456, episodic return=2351.45458984375\n", + "global step=11411456, episodic return=54.74875259399414\n", + "global step=11411456, episodic return=2332.50341796875\n", + "global step=11413504, episodic return=2396.25341796875\n", + "global step=11413504, episodic return=2417.64306640625\n", + "global step=11413504, episodic return=2359.741943359375\n", + "global step=11415552, episodic return=2386.360595703125\n", + "global step=11415552, episodic return=2361.764892578125\n", + "global step=11417600, episodic return=1320.9732666015625\n", + "global step=11417600, episodic return=2392.505126953125\n", + "global step=11417600, episodic return=2392.082763671875\n", + "global step=11417600, episodic return=2159.814697265625\n", + "global step=11417600, episodic return=2398.2744140625\n", + "global step=11417600, episodic return=2356.903076171875\n", + "global step=11417600, episodic return=2368.259521484375\n", + "global step=11417600, episodic return=2301.84619140625\n", + "global step=11417600, episodic return=1762.6480712890625\n", + "global step=11419648, episodic return=2371.43896484375\n", + "global step=11419648, episodic return=2402.060546875\n", + "global step=11419648, episodic return=2371.247314453125\n", + "global step=11419648, episodic return=2366.427001953125\n", + "global step=11419648, episodic return=2408.442626953125\n", + "global step=11421696, episodic return=2352.8857421875\n", + "global step=11421696, episodic return=2360.845703125\n", + "global step=11421696, episodic return=2370.03271484375\n", + "global step=11421696, episodic return=1368.5277099609375\n", + "global step=11421696, episodic return=2311.00732421875\n", + "global step=11425792, episodic return=2367.432373046875\n", + "global step=11425792, episodic return=2392.87158203125\n", + "global step=11425792, episodic return=2326.548095703125\n", + "global step=11425792, episodic return=1863.6771240234375\n", + "global step=11425792, episodic return=2390.657958984375\n", + "global step=11427840, episodic return=2365.595703125\n", + "global step=11427840, episodic return=2396.485595703125\n", + "global step=11427840, episodic return=54.36812210083008\n", + "global step=11427840, episodic return=2373.84228515625\n", + "global step=11427840, episodic return=2406.57666015625\n", + "global step=11427840, episodic return=44.733238220214844\n", + "global step=11429888, episodic return=2185.654541015625\n", + "global step=11429888, episodic return=1865.1466064453125\n", + "global step=11429888, episodic return=2334.615966796875\n", + "global step=11431936, episodic return=2387.220703125\n", + "global step=11431936, episodic return=2398.966552734375\n", + "global step=11431936, episodic return=2421.290283203125\n", + "global step=11433984, episodic return=2355.111083984375\n", + "global step=11433984, episodic return=2397.24951171875\n", + "global step=11436032, episodic return=2387.196044921875\n", + "global step=11436032, episodic return=1432.72412109375\n", + "global step=11436032, episodic return=2384.52490234375\n", + "global step=11436032, episodic return=2382.7333984375\n", + "global step=11438080, episodic return=2394.99365234375\n", + "global step=11438080, episodic return=2404.208251953125\n", + "global step=11438080, episodic return=2399.399169921875\n", + "global step=11438080, episodic return=2359.58056640625\n", + "global step=11440128, episodic return=2318.405517578125\n", + "global step=11440128, episodic return=2379.09814453125\n", + "global step=11440128, episodic return=2403.182861328125\n", + "global step=11442176, episodic return=2361.15771484375\n", + "global step=11442176, episodic return=2391.508544921875\n", + "global step=11442176, episodic return=2402.15185546875\n", + "global step=11442176, episodic return=2373.451904296875\n", + "global step=11444224, episodic return=2387.23388671875\n", + "global step=11446272, episodic return=2337.551025390625\n", + "global step=11446272, episodic return=2355.86376953125\n", + "global step=11446272, episodic return=2381.07958984375\n", + "global step=11446272, episodic return=2372.80810546875\n", + "global step=11446272, episodic return=1487.7822265625\n", + "global step=11448320, episodic return=2366.194580078125\n", + "global step=11448320, episodic return=2372.99609375\n", + "global step=11448320, episodic return=2376.799072265625\n", + "global step=11448320, episodic return=2403.18701171875\n", + "global step=11450368, episodic return=2358.445556640625\n", + "global step=11450368, episodic return=2428.656005859375\n", + "global step=11452416, episodic return=2401.552734375\n", + "global step=11452416, episodic return=2387.2607421875\n", + "global step=11452416, episodic return=2399.63525390625\n", + "global step=11454464, episodic return=2380.223388671875\n", + "global step=11454464, episodic return=2227.188232421875\n", + "global step=11456512, episodic return=2383.029052734375\n", + "global step=11456512, episodic return=2423.03466796875\n", + "global step=11458560, episodic return=2385.9638671875\n", + "global step=11460608, episodic return=2341.252197265625\n", + "global step=11460608, episodic return=2383.603759765625\n", + "global step=11460608, episodic return=2411.522216796875\n", + "global step=11460608, episodic return=2403.22216796875\n", + "global step=11462656, episodic return=1454.93701171875\n", + "global step=11462656, episodic return=2418.811279296875\n", + "global step=11462656, episodic return=2231.947265625\n", + "global step=11462656, episodic return=2313.80712890625\n", + "global step=11462656, episodic return=2383.4296875\n", + "global step=11462656, episodic return=1851.7398681640625\n", + "global step=11464704, episodic return=2348.706787109375\n", + "global step=11464704, episodic return=2396.562255859375\n", + "global step=11464704, episodic return=2381.73046875\n", + "global step=11464704, episodic return=2343.3447265625\n", + "global step=11464704, episodic return=2377.281982421875\n", + "global step=11466752, episodic return=2391.500244140625\n", + "global step=11466752, episodic return=2372.939208984375\n", + "global step=11466752, episodic return=2064.167724609375\n", + "global step=11466752, episodic return=2357.329345703125\n", + "global step=11468800, episodic return=2405.1298828125\n", + "global step=11468800, episodic return=2402.645751953125\n", + "global step=11468800, episodic return=2392.380615234375\n", + "global step=11468800, episodic return=2370.925048828125\n", + "global step=11468800, episodic return=2361.279052734375\n", + "global step=11468800, episodic return=2392.154541015625\n", + "global step=11468800, episodic return=2358.9013671875\n", + "global step=11468800, episodic return=2364.261962890625\n", + "global step=11468800, episodic return=2373.954833984375\n", + "global step=11468800, episodic return=1631.9090576171875\n", + "global step=11470848, episodic return=2393.41357421875\n", + "global step=11470848, episodic return=1800.6856689453125\n", + "global step=11470848, episodic return=2361.207275390625\n", + "global step=11470848, episodic return=2331.240234375\n", + "global step=11472896, episodic return=1489.0684814453125\n", + "global step=11472896, episodic return=2376.248779296875\n", + "global step=11472896, episodic return=2395.052490234375\n", + "global step=11472896, episodic return=2377.44482421875\n", + "global step=11472896, episodic return=2375.178955078125\n", + "global step=11474944, episodic return=819.368896484375\n", + "global step=11474944, episodic return=2424.478759765625\n", + "global step=11474944, episodic return=2385.2568359375\n", + "global step=11474944, episodic return=2392.578369140625\n", + "global step=11476992, episodic return=2408.3125\n", + "global step=11476992, episodic return=2307.179931640625\n", + "global step=11476992, episodic return=1746.693115234375\n", + "global step=11476992, episodic return=456.82666015625\n", + "global step=11479040, episodic return=2391.55029296875\n", + "global step=11479040, episodic return=833.8170776367188\n", + "global step=11481088, episodic return=2389.674560546875\n", + "global step=11481088, episodic return=2347.578369140625\n", + "global step=11481088, episodic return=2383.156982421875\n", + "global step=11481088, episodic return=2067.54052734375\n", + "global step=11483136, episodic return=2404.67333984375\n", + "global step=11483136, episodic return=1819.76416015625\n", + "global step=11483136, episodic return=2434.2236328125\n", + "global step=11483136, episodic return=2386.377685546875\n", + "global step=11483136, episodic return=2388.76123046875\n", + "global step=11483136, episodic return=2389.037353515625\n", + "global step=11485184, episodic return=2344.2880859375\n", + "global step=11485184, episodic return=2381.2568359375\n", + "global step=11485184, episodic return=2070.6796875\n", + "global step=11485184, episodic return=2382.375732421875\n", + "global step=11485184, episodic return=2326.587646484375\n", + "global step=11487232, episodic return=1919.09033203125\n", + "global step=11487232, episodic return=2377.897705078125\n", + "global step=11487232, episodic return=2369.619873046875\n", + "global step=11487232, episodic return=2409.8974609375\n", + "global step=11489280, episodic return=2398.68359375\n", + "global step=11489280, episodic return=1689.218994140625\n", + "global step=11489280, episodic return=2413.374267578125\n", + "global step=11489280, episodic return=2351.665283203125\n", + "global step=11491328, episodic return=2344.99560546875\n", + "global step=11491328, episodic return=2302.396484375\n", + "global step=11491328, episodic return=2340.10302734375\n", + "global step=11491328, episodic return=2347.236083984375\n", + "global step=11491328, episodic return=2397.405517578125\n", + "global step=11491328, episodic return=2382.969482421875\n", + "global step=11491328, episodic return=2362.388671875\n", + "global step=11493376, episodic return=2399.175048828125\n", + "global step=11493376, episodic return=2339.394287109375\n", + "global step=11495424, episodic return=2306.833984375\n", + "global step=11495424, episodic return=2324.106201171875\n", + "global step=11497472, episodic return=2395.663818359375\n", + "global step=11497472, episodic return=2372.598388671875\n", + "global step=11497472, episodic return=2432.14794921875\n", + "global step=11497472, episodic return=2336.489990234375\n", + "global step=11497472, episodic return=1687.481689453125\n", + "global step=11497472, episodic return=2400.513427734375\n", + "global step=11499520, episodic return=2363.154541015625\n", + "global step=11501568, episodic return=2408.532958984375\n", + "global step=11503616, episodic return=2347.59521484375\n", + "global step=11503616, episodic return=1992.3045654296875\n", + "global step=11505664, episodic return=2406.0966796875\n", + "global step=11505664, episodic return=2370.869873046875\n", + "global step=11505664, episodic return=852.4174194335938\n", + "global step=11505664, episodic return=780.0457763671875\n", + "global step=11507712, episodic return=2373.0849609375\n", + "global step=11507712, episodic return=2400.709716796875\n", + "global step=11507712, episodic return=2353.442138671875\n", + "global step=11507712, episodic return=2325.295654296875\n", + "global step=11507712, episodic return=2362.93603515625\n", + "global step=11507712, episodic return=2363.10107421875\n", + "global step=11507712, episodic return=1421.2220458984375\n", + "global step=11509760, episodic return=1635.177734375\n", + "global step=11509760, episodic return=2409.644287109375\n", + "global step=11511808, episodic return=623.482177734375\n", + "global step=11511808, episodic return=2290.973388671875\n", + "global step=11513856, episodic return=195.43202209472656\n", + "global step=11513856, episodic return=1841.00146484375\n", + "global step=11513856, episodic return=2326.117431640625\n", + "global step=11515904, episodic return=2051.6357421875\n", + "global step=11515904, episodic return=1702.996826171875\n", + "global step=11515904, episodic return=2373.4638671875\n", + "global step=11515904, episodic return=2372.121826171875\n", + "global step=11515904, episodic return=792.1663208007812\n", + "global step=11515904, episodic return=2405.447509765625\n", + "global step=11515904, episodic return=2258.84619140625\n", + "global step=11520000, episodic return=2369.37109375\n", + "global step=11520000, episodic return=2284.29296875\n", + "global step=11522048, episodic return=2355.596435546875\n", + "global step=11524096, episodic return=2342.044677734375\n", + "global step=11526144, episodic return=2389.73974609375\n", + "global step=11526144, episodic return=194.5160675048828\n", + "global step=11530240, episodic return=2410.71923828125\n", + "global step=11530240, episodic return=2383.4892578125\n", + "global step=11530240, episodic return=48.447662353515625\n", + "global step=11532288, episodic return=2344.0595703125\n", + "global step=11532288, episodic return=2369.879638671875\n", + "global step=11532288, episodic return=2433.771240234375\n", + "global step=11532288, episodic return=2414.265380859375\n", + "global step=11534336, episodic return=2399.62744140625\n", + "global step=11536384, episodic return=451.3125305175781\n", + "global step=11536384, episodic return=2382.078857421875\n", + "global step=11536384, episodic return=2371.14501953125\n", + "global step=11536384, episodic return=2369.2099609375\n", + "global step=11538432, episodic return=2362.3359375\n", + "global step=11538432, episodic return=226.07855224609375\n", + "global step=11538432, episodic return=1468.923583984375\n", + "global step=11540480, episodic return=2361.415771484375\n", + "global step=11540480, episodic return=2334.294921875\n", + "global step=11542528, episodic return=2411.384521484375\n", + "global step=11542528, episodic return=1836.271728515625\n", + "global step=11542528, episodic return=1110.9041748046875\n", + "global step=11542528, episodic return=2400.214599609375\n", + "global step=11546624, episodic return=2313.55126953125\n", + "global step=11548672, episodic return=1537.4744873046875\n", + "global step=11548672, episodic return=2425.513427734375\n", + "global step=11550720, episodic return=1492.3155517578125\n", + "global step=11550720, episodic return=2416.995361328125\n", + "global step=11550720, episodic return=2379.645751953125\n", + "global step=11550720, episodic return=2312.437255859375\n", + "global step=11550720, episodic return=2390.7119140625\n", + "global step=11550720, episodic return=2399.528076171875\n", + "global step=11552768, episodic return=2441.0048828125\n", + "global step=11552768, episodic return=2410.965576171875\n", + "global step=11552768, episodic return=2319.67919921875\n", + "global step=11554816, episodic return=2380.050048828125\n", + "global step=11554816, episodic return=1117.9656982421875\n", + "global step=11556864, episodic return=2398.235107421875\n", + "global step=11556864, episodic return=2394.11474609375\n", + "global step=11556864, episodic return=2367.063720703125\n", + "global step=11558912, episodic return=2193.47119140625\n", + "global step=11560960, episodic return=2329.5078125\n", + "global step=11563008, episodic return=2374.821044921875\n", + "global step=11563008, episodic return=2378.3115234375\n", + "global step=11565056, episodic return=1912.340087890625\n", + "global step=11567104, episodic return=2319.710205078125\n", + "global step=11573248, episodic return=230.75845336914062\n", + "global step=11573248, episodic return=1811.6949462890625\n", + "global step=11573248, episodic return=2431.4453125\n", + "global step=11573248, episodic return=1797.9334716796875\n", + "global step=11573248, episodic return=208.9595947265625\n", + "global step=11575296, episodic return=1505.4971923828125\n", + "global step=11575296, episodic return=260.0279541015625\n", + "global step=11575296, episodic return=1323.333740234375\n", + "global step=11577344, episodic return=2399.479248046875\n", + "global step=11577344, episodic return=2395.942138671875\n", + "global step=11579392, episodic return=2006.861328125\n", + "global step=11579392, episodic return=1359.89501953125\n", + "global step=11581440, episodic return=865.62890625\n", + "global step=11583488, episodic return=2383.94384765625\n", + "global step=11583488, episodic return=2372.30029296875\n", + "global step=11583488, episodic return=2352.87353515625\n", + "global step=11585536, episodic return=2369.58984375\n", + "global step=11587584, episodic return=2024.378173828125\n", + "global step=11587584, episodic return=2391.135009765625\n", + "global step=11587584, episodic return=2342.25\n", + "global step=11589632, episodic return=2357.514892578125\n", + "global step=11591680, episodic return=2377.2021484375\n", + "global step=11591680, episodic return=1715.1640625\n", + "global step=11591680, episodic return=1780.4251708984375\n", + "global step=11593728, episodic return=2037.1507568359375\n", + "global step=11593728, episodic return=2401.14990234375\n", + "global step=11595776, episodic return=1966.42431640625\n", + "global step=11595776, episodic return=2079.49609375\n", + "global step=11595776, episodic return=1768.739013671875\n", + "global step=11597824, episodic return=1967.945556640625\n", + "global step=11597824, episodic return=2338.390869140625\n", + "global step=11599872, episodic return=2375.552734375\n", + "global step=11599872, episodic return=2353.576171875\n", + "global step=11601920, episodic return=1971.7655029296875\n", + "global step=11601920, episodic return=2365.8525390625\n", + "global step=11601920, episodic return=2388.11376953125\n", + "global step=11603968, episodic return=1643.0635986328125\n", + "global step=11603968, episodic return=2324.26025390625\n", + "global step=11603968, episodic return=50.69785690307617\n", + "global step=11608064, episodic return=2432.0849609375\n", + "global step=11610112, episodic return=2358.456787109375\n", + "global step=11612160, episodic return=2375.31103515625\n", + "global step=11612160, episodic return=2350.596923828125\n", + "global step=11614208, episodic return=2363.130615234375\n", + "global step=11614208, episodic return=2224.22607421875\n", + "global step=11616256, episodic return=1573.9969482421875\n", + "global step=11618304, episodic return=2392.989501953125\n", + "global step=11620352, episodic return=2385.92529296875\n", + "global step=11622400, episodic return=2359.026123046875\n", + "global step=11622400, episodic return=2314.060302734375\n", + "global step=11622400, episodic return=2409.063720703125\n", + "global step=11626496, episodic return=2333.97607421875\n", + "global step=11628544, episodic return=2318.744873046875\n", + "global step=11628544, episodic return=34.65673065185547\n", + "global step=11628544, episodic return=2319.2412109375\n", + "global step=11630592, episodic return=987.4993286132812\n", + "global step=11630592, episodic return=2365.230224609375\n", + "global step=11630592, episodic return=2371.034912109375\n", + "global step=11632640, episodic return=2411.592041015625\n", + "global step=11632640, episodic return=2350.101806640625\n", + "global step=11634688, episodic return=2427.647216796875\n", + "global step=11634688, episodic return=2341.64208984375\n", + "global step=11634688, episodic return=2375.309814453125\n", + "global step=11634688, episodic return=2414.588134765625\n", + "global step=11634688, episodic return=2359.387939453125\n", + "global step=11636736, episodic return=220.92457580566406\n", + "global step=11638784, episodic return=230.2716827392578\n", + "global step=11640832, episodic return=2408.456298828125\n", + "global step=11640832, episodic return=343.0849914550781\n", + "global step=11640832, episodic return=2385.3115234375\n", + "global step=11642880, episodic return=1989.5550537109375\n", + "global step=11642880, episodic return=2366.93359375\n", + "global step=11646976, episodic return=1812.93359375\n", + "global step=11646976, episodic return=2342.768310546875\n", + "global step=11649024, episodic return=2396.292724609375\n", + "global step=11653120, episodic return=2362.10595703125\n", + "global step=11653120, episodic return=884.7710571289062\n", + "global step=11653120, episodic return=2281.4736328125\n", + "global step=11655168, episodic return=2284.54638671875\n", + "global step=11655168, episodic return=2386.515380859375\n", + "global step=11655168, episodic return=2384.144287109375\n", + "global step=11655168, episodic return=2351.1103515625\n", + "global step=11657216, episodic return=238.7063446044922\n", + "global step=11659264, episodic return=2391.771728515625\n", + "global step=11661312, episodic return=2379.835693359375\n", + "global step=11663360, episodic return=1840.6441650390625\n", + "global step=11663360, episodic return=2380.71533203125\n", + "global step=11665408, episodic return=2335.92333984375\n", + "global step=11665408, episodic return=1085.9268798828125\n", + "global step=11665408, episodic return=348.7301330566406\n", + "global step=11665408, episodic return=2089.197265625\n", + "global step=11665408, episodic return=1844.949462890625\n", + "global step=11667456, episodic return=2351.5517578125\n", + "global step=11667456, episodic return=1851.8826904296875\n", + "global step=11667456, episodic return=2379.68603515625\n", + "global step=11667456, episodic return=2099.9990234375\n", + "global step=11669504, episodic return=1960.8245849609375\n", + "global step=11669504, episodic return=2019.3470458984375\n", + "global step=11671552, episodic return=2336.424560546875\n", + "global step=11671552, episodic return=2330.66796875\n", + "global step=11671552, episodic return=1878.85791015625\n", + "global step=11671552, episodic return=2384.943603515625\n", + "global step=11671552, episodic return=1037.4637451171875\n", + "global step=11671552, episodic return=2325.948486328125\n", + "global step=11671552, episodic return=2376.837890625\n", + "global step=11673600, episodic return=2364.53369140625\n", + "global step=11675648, episodic return=2390.285888671875\n", + "global step=11677696, episodic return=2365.849609375\n", + "global step=11681792, episodic return=2335.987060546875\n", + "global step=11681792, episodic return=2382.27392578125\n", + "global step=11681792, episodic return=2377.974853515625\n", + "global step=11683840, episodic return=2376.013427734375\n", + "global step=11683840, episodic return=2360.53271484375\n", + "global step=11685888, episodic return=1971.1400146484375\n", + "global step=11685888, episodic return=1153.03662109375\n", + "global step=11685888, episodic return=1221.7564697265625\n", + "global step=11687936, episodic return=2305.885498046875\n", + "global step=11687936, episodic return=2377.670166015625\n", + "global step=11687936, episodic return=1906.3084716796875\n", + "global step=11687936, episodic return=2409.739013671875\n", + "global step=11692032, episodic return=1627.497314453125\n", + "global step=11692032, episodic return=2395.226806640625\n", + "global step=11694080, episodic return=2387.89306640625\n", + "global step=11694080, episodic return=1091.38916015625\n", + "global step=11698176, episodic return=2387.716552734375\n", + "global step=11700224, episodic return=2425.417236328125\n", + "global step=11700224, episodic return=1911.6728515625\n", + "global step=11702272, episodic return=2355.454833984375\n", + "global step=11704320, episodic return=2375.442138671875\n", + "global step=11704320, episodic return=1620.7052001953125\n", + "global step=11706368, episodic return=1835.056640625\n", + "global step=11708416, episodic return=2406.376953125\n", + "global step=11710464, episodic return=2394.355712890625\n", + "global step=11710464, episodic return=2342.05810546875\n", + "global step=11712512, episodic return=2403.407958984375\n", + "global step=11712512, episodic return=251.098876953125\n", + "global step=11714560, episodic return=2387.84228515625\n", + "global step=11714560, episodic return=2400.595458984375\n", + "global step=11714560, episodic return=2383.501953125\n", + "global step=11716608, episodic return=2093.156494140625\n", + "global step=11716608, episodic return=2424.91796875\n", + "global step=11718656, episodic return=2156.61572265625\n", + "global step=11720704, episodic return=2400.480712890625\n", + "global step=11720704, episodic return=287.253662109375\n", + "global step=11720704, episodic return=472.8753967285156\n", + "global step=11722752, episodic return=1762.8826904296875\n", + "global step=11722752, episodic return=2377.31298828125\n", + "global step=11724800, episodic return=2018.1361083984375\n", + "global step=11728896, episodic return=248.6199188232422\n", + "global step=11730944, episodic return=2376.234130859375\n", + "global step=11730944, episodic return=190.40737915039062\n", + "global step=11730944, episodic return=1759.6307373046875\n", + "global step=11732992, episodic return=929.8259887695312\n", + "global step=11735040, episodic return=1893.391357421875\n", + "global step=11739136, episodic return=1688.1763916015625\n", + "global step=11739136, episodic return=2380.27490234375\n", + "global step=11741184, episodic return=214.73953247070312\n", + "global step=11741184, episodic return=2105.23681640625\n", + "global step=11745280, episodic return=207.7720184326172\n", + "global step=11749376, episodic return=1262.3248291015625\n", + "global step=11749376, episodic return=2391.457763671875\n", + "global step=11749376, episodic return=2124.592529296875\n", + "global step=11751424, episodic return=965.844970703125\n", + "global step=11753472, episodic return=1688.5849609375\n", + "global step=11753472, episodic return=2391.470703125\n", + "global step=11753472, episodic return=1856.9063720703125\n", + "global step=11755520, episodic return=1112.01611328125\n", + "global step=11757568, episodic return=278.0963134765625\n", + "global step=11757568, episodic return=2402.330810546875\n", + "global step=11759616, episodic return=1781.4681396484375\n", + "global step=11759616, episodic return=1790.1043701171875\n", + "global step=11759616, episodic return=1498.8756103515625\n", + "global step=11759616, episodic return=2392.0556640625\n", + "global step=11761664, episodic return=2379.3935546875\n", + "global step=11761664, episodic return=2380.085205078125\n", + "global step=11763712, episodic return=1925.801025390625\n", + "global step=11763712, episodic return=2392.406982421875\n", + "global step=11765760, episodic return=2384.37060546875\n", + "global step=11767808, episodic return=1668.0093994140625\n", + "global step=11771904, episodic return=1610.5079345703125\n", + "global step=11771904, episodic return=2378.12158203125\n", + "global step=11771904, episodic return=2378.239990234375\n", + "global step=11771904, episodic return=2358.9951171875\n", + "global step=11773952, episodic return=1621.30419921875\n", + "global step=11776000, episodic return=1965.7056884765625\n", + "global step=11780096, episodic return=191.8437957763672\n", + "global step=11782144, episodic return=2354.212646484375\n", + "global step=11782144, episodic return=1442.964599609375\n", + "global step=11784192, episodic return=2402.659423828125\n", + "global step=11784192, episodic return=2290.74169921875\n", + "global step=11786240, episodic return=2420.991455078125\n", + "global step=11786240, episodic return=2372.7177734375\n", + "global step=11786240, episodic return=1439.5369873046875\n", + "global step=11788288, episodic return=2364.551025390625\n", + "global step=11790336, episodic return=2419.17333984375\n", + "global step=11790336, episodic return=2361.8916015625\n", + "global step=11790336, episodic return=2376.31982421875\n", + "global step=11790336, episodic return=1880.969970703125\n", + "global step=11794432, episodic return=2389.39306640625\n", + "global step=11796480, episodic return=2304.513671875\n", + "global step=11796480, episodic return=1974.488037109375\n", + "global step=11796480, episodic return=2328.260986328125\n", + "global step=11798528, episodic return=2393.194580078125\n", + "global step=11800576, episodic return=2367.711669921875\n", + "global step=11800576, episodic return=1618.4559326171875\n", + "global step=11804672, episodic return=1421.04638671875\n", + "global step=11806720, episodic return=2308.42578125\n", + "global step=11808768, episodic return=2371.135498046875\n", + "global step=11810816, episodic return=2347.5966796875\n", + "global step=11810816, episodic return=2367.76416015625\n", + "global step=11810816, episodic return=236.77540588378906\n", + "global step=11812864, episodic return=761.1692504882812\n", + "global step=11812864, episodic return=2210.53759765625\n", + "global step=11812864, episodic return=2338.14501953125\n", + "global step=11812864, episodic return=2406.908447265625\n", + "global step=11814912, episodic return=465.2828063964844\n", + "global step=11814912, episodic return=2382.02783203125\n", + "global step=11814912, episodic return=1883.8052978515625\n", + "global step=11819008, episodic return=910.8766479492188\n", + "global step=11819008, episodic return=2210.173828125\n", + "global step=11821056, episodic return=2350.39111328125\n", + "global step=11825152, episodic return=2401.774169921875\n", + "global step=11825152, episodic return=2373.072998046875\n", + "global step=11825152, episodic return=2369.224609375\n", + "global step=11825152, episodic return=2353.79541015625\n", + "global step=11829248, episodic return=2363.1513671875\n", + "global step=11831296, episodic return=2364.8134765625\n", + "global step=11833344, episodic return=2406.576904296875\n", + "global step=11835392, episodic return=2348.201904296875\n", + "global step=11835392, episodic return=259.61444091796875\n", + "global step=11835392, episodic return=2355.89306640625\n", + "global step=11835392, episodic return=1390.8953857421875\n", + "global step=11835392, episodic return=2376.568359375\n", + "global step=11837440, episodic return=2343.802001953125\n", + "global step=11837440, episodic return=2045.630859375\n", + "global step=11837440, episodic return=2167.24462890625\n", + "global step=11839488, episodic return=2339.8037109375\n", + "global step=11841536, episodic return=2369.520751953125\n", + "global step=11841536, episodic return=1544.1964111328125\n", + "global step=11843584, episodic return=2385.16455078125\n", + "global step=11843584, episodic return=2384.006591796875\n", + "global step=11843584, episodic return=423.2630615234375\n", + "global step=11845632, episodic return=2402.507568359375\n", + "global step=11845632, episodic return=2344.532470703125\n", + "global step=11845632, episodic return=1809.7576904296875\n", + "global step=11847680, episodic return=564.6481323242188\n", + "global step=11847680, episodic return=2351.574462890625\n", + "global step=11849728, episodic return=2350.7265625\n", + "global step=11849728, episodic return=2380.890380859375\n", + "global step=11851776, episodic return=1923.6895751953125\n", + "global step=11851776, episodic return=2366.937744140625\n", + "global step=11851776, episodic return=2349.9814453125\n", + "global step=11853824, episodic return=2349.206787109375\n", + "global step=11853824, episodic return=2345.364990234375\n", + "global step=11855872, episodic return=2329.053466796875\n", + "global step=11855872, episodic return=2374.1220703125\n", + "global step=11857920, episodic return=2323.333740234375\n", + "global step=11857920, episodic return=173.04261779785156\n", + "global step=11859968, episodic return=2375.2294921875\n", + "global step=11859968, episodic return=2275.15625\n", + "global step=11859968, episodic return=2302.9677734375\n", + "global step=11859968, episodic return=2348.706298828125\n", + "global step=11862016, episodic return=2375.054931640625\n", + "global step=11862016, episodic return=2377.609375\n", + "global step=11862016, episodic return=2378.0224609375\n", + "global step=11864064, episodic return=2354.830078125\n", + "global step=11864064, episodic return=2382.22216796875\n", + "global step=11864064, episodic return=870.787841796875\n", + "global step=11864064, episodic return=2328.37548828125\n", + "global step=11866112, episodic return=2387.93310546875\n", + "global step=11866112, episodic return=2338.254150390625\n", + "global step=11866112, episodic return=2367.74365234375\n", + "global step=11866112, episodic return=2401.707763671875\n", + "global step=11868160, episodic return=2343.3115234375\n", + "global step=11868160, episodic return=1909.28955078125\n", + "global step=11868160, episodic return=2349.92333984375\n", + "global step=11870208, episodic return=2385.29248046875\n", + "global step=11870208, episodic return=2391.079345703125\n", + "global step=11870208, episodic return=2372.955810546875\n", + "global step=11872256, episodic return=2350.013427734375\n", + "global step=11872256, episodic return=2341.441162109375\n", + "global step=11874304, episodic return=432.0815734863281\n", + "global step=11874304, episodic return=618.3597412109375\n", + "global step=11874304, episodic return=2332.191650390625\n", + "global step=11874304, episodic return=2327.451904296875\n", + "global step=11876352, episodic return=2321.456298828125\n", + "global step=11876352, episodic return=1989.1278076171875\n", + "global step=11878400, episodic return=2366.49609375\n", + "global step=11878400, episodic return=2368.429443359375\n", + "global step=11880448, episodic return=2372.076416015625\n", + "global step=11880448, episodic return=2374.764892578125\n", + "global step=11882496, episodic return=2380.591064453125\n", + "global step=11882496, episodic return=2287.562255859375\n", + "global step=11884544, episodic return=2360.46630859375\n", + "global step=11886592, episodic return=2340.44677734375\n", + "global step=11886592, episodic return=27.466215133666992\n", + "global step=11886592, episodic return=2339.406005859375\n", + "global step=11890688, episodic return=1835.8616943359375\n", + "global step=11892736, episodic return=2380.514892578125\n", + "global step=11892736, episodic return=1038.2099609375\n", + "global step=11894784, episodic return=2297.8232421875\n", + "global step=11894784, episodic return=2340.750244140625\n", + "global step=11896832, episodic return=2365.569580078125\n", + "global step=11896832, episodic return=2400.334228515625\n", + "global step=11898880, episodic return=2327.305419921875\n", + "global step=11898880, episodic return=2393.55078125\n", + "global step=11900928, episodic return=2349.574951171875\n", + "global step=11902976, episodic return=2369.94091796875\n", + "global step=11902976, episodic return=1731.528076171875\n", + "global step=11902976, episodic return=2341.247314453125\n", + "global step=11905024, episodic return=2327.89111328125\n", + "global step=11905024, episodic return=2383.098388671875\n", + "global step=11905024, episodic return=2378.729248046875\n", + "global step=11907072, episodic return=2379.936279296875\n", + "global step=11907072, episodic return=2391.358642578125\n", + "global step=11909120, episodic return=476.1322326660156\n", + "global step=11909120, episodic return=2370.9638671875\n", + "global step=11911168, episodic return=2372.152099609375\n", + "global step=11911168, episodic return=1294.5106201171875\n", + "global step=11911168, episodic return=1491.1922607421875\n", + "global step=11915264, episodic return=2380.67822265625\n", + "global step=11915264, episodic return=2336.80322265625\n", + "global step=11915264, episodic return=2344.573486328125\n", + "global step=11917312, episodic return=2413.1513671875\n", + "global step=11917312, episodic return=2384.0029296875\n", + "global step=11919360, episodic return=2335.434326171875\n", + "global step=11919360, episodic return=2381.447998046875\n", + "global step=11919360, episodic return=2345.107666015625\n", + "global step=11921408, episodic return=2376.563232421875\n", + "global step=11921408, episodic return=1588.931640625\n", + "global step=11923456, episodic return=2397.37353515625\n", + "global step=11923456, episodic return=2343.345458984375\n", + "global step=11927552, episodic return=2279.7412109375\n", + "global step=11927552, episodic return=2351.947998046875\n", + "global step=11927552, episodic return=2370.260009765625\n", + "global step=11927552, episodic return=2344.163818359375\n", + "global step=11931648, episodic return=2370.067138671875\n", + "global step=11931648, episodic return=2367.885009765625\n", + "global step=11933696, episodic return=2362.371337890625\n", + "global step=11933696, episodic return=2384.09521484375\n", + "global step=11933696, episodic return=2351.222412109375\n", + "global step=11933696, episodic return=2373.946533203125\n", + "global step=11935744, episodic return=529.6504516601562\n", + "global step=11935744, episodic return=2382.9091796875\n", + "global step=11935744, episodic return=2396.22607421875\n", + "global step=11935744, episodic return=2349.45947265625\n", + "global step=11937792, episodic return=2338.791259765625\n", + "global step=11937792, episodic return=2374.430419921875\n", + "global step=11937792, episodic return=2404.200439453125\n", + "global step=11937792, episodic return=2366.68994140625\n", + "global step=11939840, episodic return=2361.377685546875\n", + "global step=11939840, episodic return=2347.467529296875\n", + "global step=11939840, episodic return=2292.122802734375\n", + "global step=11941888, episodic return=2277.53076171875\n", + "global step=11941888, episodic return=461.8728942871094\n", + "global step=11943936, episodic return=1595.744873046875\n", + "global step=11943936, episodic return=2349.78759765625\n", + "global step=11943936, episodic return=2302.6787109375\n", + "global step=11945984, episodic return=2369.79052734375\n", + "global step=11948032, episodic return=2425.327880859375\n", + "global step=11948032, episodic return=1417.813232421875\n", + "global step=11950080, episodic return=2407.988037109375\n", + "global step=11950080, episodic return=2381.81103515625\n", + "global step=11950080, episodic return=2410.890380859375\n", + "global step=11950080, episodic return=2408.771240234375\n", + "global step=11950080, episodic return=2327.4111328125\n", + "global step=11952128, episodic return=2413.203857421875\n", + "global step=11952128, episodic return=2315.91259765625\n", + "global step=11952128, episodic return=2379.115478515625\n", + "global step=11954176, episodic return=2309.381591796875\n", + "global step=11954176, episodic return=2375.700439453125\n", + "global step=11956224, episodic return=2384.0810546875\n", + "global step=11956224, episodic return=577.733642578125\n", + "global step=11956224, episodic return=2395.11962890625\n", + "global step=11956224, episodic return=2386.26513671875\n", + "global step=11958272, episodic return=1971.0660400390625\n", + "global step=11960320, episodic return=2350.593505859375\n", + "global step=11960320, episodic return=2383.669677734375\n", + "global step=11962368, episodic return=2358.515869140625\n", + "global step=11962368, episodic return=2336.543701171875\n", + "global step=11962368, episodic return=552.44775390625\n", + "global step=11962368, episodic return=2382.53125\n", + "global step=11962368, episodic return=848.9900512695312\n", + "global step=11964416, episodic return=2363.915283203125\n", + "global step=11966464, episodic return=2347.90087890625\n", + "global step=11968512, episodic return=2414.595703125\n", + "global step=11968512, episodic return=2365.607421875\n", + "global step=11968512, episodic return=479.9961853027344\n", + "global step=11970560, episodic return=1411.65283203125\n", + "global step=11970560, episodic return=2384.05908203125\n", + "global step=11970560, episodic return=2342.541015625\n", + "global step=11970560, episodic return=1869.055419921875\n", + "global step=11972608, episodic return=1832.4195556640625\n", + "global step=11972608, episodic return=2338.3232421875\n", + "global step=11972608, episodic return=2348.783203125\n", + "global step=11974656, episodic return=2329.218994140625\n", + "global step=11974656, episodic return=1845.1483154296875\n", + "global step=11974656, episodic return=583.9151611328125\n", + "global step=11974656, episodic return=2149.806884765625\n", + "global step=11976704, episodic return=2397.69140625\n", + "global step=11976704, episodic return=2372.28759765625\n", + "global step=11976704, episodic return=2347.11962890625\n", + "global step=11978752, episodic return=387.7671203613281\n", + "global step=11978752, episodic return=2378.428466796875\n", + "global step=11978752, episodic return=2362.315185546875\n", + "global step=11980800, episodic return=2369.68505859375\n", + "global step=11980800, episodic return=2366.66162109375\n", + "global step=11980800, episodic return=2398.19482421875\n", + "global step=11982848, episodic return=2367.6220703125\n", + "global step=11984896, episodic return=2367.5029296875\n", + "global step=11986944, episodic return=729.6351318359375\n", + "global step=11988992, episodic return=2409.689453125\n", + "global step=11988992, episodic return=2052.17626953125\n", + "global step=11988992, episodic return=2386.63818359375\n", + "global step=11991040, episodic return=2416.595458984375\n", + "global step=11993088, episodic return=2388.77783203125\n", + "global step=11993088, episodic return=1327.298095703125\n", + "global step=11995136, episodic return=2274.505859375\n", + "global step=11995136, episodic return=1345.5548095703125\n", + "global step=11995136, episodic return=2331.601806640625\n", + "global step=11997184, episodic return=1990.477783203125\n", + "global step=11997184, episodic return=501.74365234375\n", + "global step=11999232, episodic return=2404.9599609375\n", + "global step=11999232, episodic return=2362.242431640625\n", + "global step=11999232, episodic return=2368.673583984375\n", + "global step=12001280, episodic return=285.0771789550781\n", + "global step=12003328, episodic return=2390.083984375\n", + "global step=12003328, episodic return=2354.31103515625\n", + "global step=12003328, episodic return=2367.6650390625\n", + "global step=12003328, episodic return=2391.28125\n", + "global step=12005376, episodic return=568.6569213867188\n", + "global step=12005376, episodic return=2353.508544921875\n", + "global step=12007424, episodic return=468.5516662597656\n", + "global step=12007424, episodic return=2236.025634765625\n", + "global step=12009472, episodic return=470.3312072753906\n", + "global step=12011520, episodic return=2390.995361328125\n", + "global step=12011520, episodic return=2329.737548828125\n", + "global step=12011520, episodic return=2377.891845703125\n", + "global step=12011520, episodic return=2370.306396484375\n", + "global step=12013568, episodic return=2376.498046875\n", + "global step=12013568, episodic return=2378.054443359375\n", + "global step=12013568, episodic return=2383.574462890625\n", + "global step=12013568, episodic return=2366.7861328125\n", + "global step=12013568, episodic return=2351.999267578125\n", + "global step=12015616, episodic return=2355.81884765625\n", + "global step=12015616, episodic return=2391.469970703125\n", + "global step=12017664, episodic return=2349.302001953125\n", + "global step=12017664, episodic return=372.541259765625\n", + "global step=12017664, episodic return=1479.777587890625\n", + "global step=12019712, episodic return=2331.095458984375\n", + "global step=12019712, episodic return=2354.748291015625\n", + "global step=12021760, episodic return=2359.333740234375\n", + "global step=12023808, episodic return=2340.483154296875\n", + "global step=12023808, episodic return=714.6377563476562\n", + "global step=12023808, episodic return=2306.751953125\n", + "global step=12027904, episodic return=2321.057861328125\n", + "global step=12027904, episodic return=2423.26611328125\n", + "global step=12027904, episodic return=2364.501953125\n", + "global step=12029952, episodic return=2354.015380859375\n", + "global step=12032000, episodic return=848.9153442382812\n", + "global step=12032000, episodic return=2380.8955078125\n", + "global step=12032000, episodic return=317.75360107421875\n", + "global step=12034048, episodic return=1898.066650390625\n", + "global step=12034048, episodic return=862.8233032226562\n", + "global step=12036096, episodic return=1001.341064453125\n", + "global step=12038144, episodic return=2372.9609375\n", + "global step=12038144, episodic return=1025.0804443359375\n", + "global step=12040192, episodic return=2319.652099609375\n", + "global step=12040192, episodic return=2314.415283203125\n", + "global step=12040192, episodic return=2193.330810546875\n", + "global step=12042240, episodic return=2396.208984375\n", + "global step=12042240, episodic return=2357.9013671875\n", + "global step=12044288, episodic return=2349.93212890625\n", + "global step=12044288, episodic return=2335.905517578125\n", + "global step=12044288, episodic return=2354.983642578125\n", + "global step=12044288, episodic return=2239.866455078125\n", + "global step=12044288, episodic return=2327.926513671875\n", + "global step=12046336, episodic return=2350.825927734375\n", + "global step=12046336, episodic return=1398.159423828125\n", + "global step=12046336, episodic return=2278.72607421875\n", + "global step=12046336, episodic return=2382.114990234375\n", + "global step=12046336, episodic return=2288.364013671875\n", + "global step=12046336, episodic return=2382.043212890625\n", + "global step=12048384, episodic return=2366.088134765625\n", + "global step=12048384, episodic return=2363.3583984375\n", + "global step=12048384, episodic return=2350.036376953125\n", + "global step=12050432, episodic return=2398.10400390625\n", + "global step=12050432, episodic return=2240.689697265625\n", + "global step=12056576, episodic return=2378.43408203125\n", + "global step=12058624, episodic return=759.9933471679688\n", + "global step=12058624, episodic return=1383.3131103515625\n", + "global step=12060672, episodic return=2368.077392578125\n", + "global step=12060672, episodic return=2395.249267578125\n", + "global step=12060672, episodic return=2122.182373046875\n", + "global step=12060672, episodic return=1400.797607421875\n", + "global step=12062720, episodic return=2328.39892578125\n", + "global step=12064768, episodic return=2366.8916015625\n", + "global step=12066816, episodic return=2360.90966796875\n", + "global step=12068864, episodic return=2377.732666015625\n", + "global step=12070912, episodic return=2372.83935546875\n", + "global step=12070912, episodic return=579.6864624023438\n", + "global step=12072960, episodic return=2350.109375\n", + "global step=12072960, episodic return=2357.271240234375\n", + "global step=12072960, episodic return=2331.74609375\n", + "global step=12075008, episodic return=686.1315307617188\n", + "global step=12075008, episodic return=2296.816162109375\n", + "global step=12077056, episodic return=622.3737182617188\n", + "global step=12079104, episodic return=2323.34765625\n", + "global step=12079104, episodic return=298.4801025390625\n", + "global step=12079104, episodic return=2382.897216796875\n", + "global step=12079104, episodic return=2307.196533203125\n", + "global step=12081152, episodic return=2362.20947265625\n", + "global step=12081152, episodic return=1985.080810546875\n", + "global step=12083200, episodic return=2375.4052734375\n", + "global step=12083200, episodic return=2401.13232421875\n", + "global step=12085248, episodic return=2374.9541015625\n", + "global step=12085248, episodic return=2397.07666015625\n", + "global step=12085248, episodic return=2370.731689453125\n", + "global step=12087296, episodic return=2351.4716796875\n", + "global step=12087296, episodic return=2000.9019775390625\n", + "global step=12087296, episodic return=1630.018310546875\n", + "global step=12089344, episodic return=312.3199462890625\n", + "global step=12089344, episodic return=2377.30224609375\n", + "global step=12089344, episodic return=2340.236328125\n", + "global step=12093440, episodic return=51.834896087646484\n", + "global step=12093440, episodic return=2325.001708984375\n", + "global step=12093440, episodic return=2220.69677734375\n", + "global step=12093440, episodic return=768.1400146484375\n", + "global step=12095488, episodic return=2361.32568359375\n", + "global step=12095488, episodic return=2354.40771484375\n", + "global step=12095488, episodic return=1685.5296630859375\n", + "global step=12095488, episodic return=467.3467102050781\n", + "global step=12095488, episodic return=283.77685546875\n", + "global step=12095488, episodic return=2413.63134765625\n", + "global step=12097536, episodic return=2357.900146484375\n", + "global step=12097536, episodic return=1565.752197265625\n", + "global step=12097536, episodic return=1344.09912109375\n", + "global step=12097536, episodic return=2380.572265625\n", + "global step=12097536, episodic return=311.2064514160156\n", + "global step=12099584, episodic return=2344.64306640625\n", + "global step=12099584, episodic return=605.3286743164062\n", + "global step=12099584, episodic return=421.34539794921875\n", + "global step=12099584, episodic return=54.65840148925781\n", + "global step=12101632, episodic return=2365.171142578125\n", + "global step=12101632, episodic return=2359.09375\n", + "global step=12103680, episodic return=284.1826171875\n", + "global step=12105728, episodic return=2154.171142578125\n", + "global step=12105728, episodic return=2247.708984375\n", + "global step=12105728, episodic return=1422.032470703125\n", + "global step=12105728, episodic return=203.58738708496094\n", + "global step=12107776, episodic return=1818.3626708984375\n", + "global step=12107776, episodic return=2297.277099609375\n", + "global step=12109824, episodic return=2344.851318359375\n", + "global step=12109824, episodic return=2388.45751953125\n", + "global step=12109824, episodic return=2359.013427734375\n", + "global step=12111872, episodic return=2405.129150390625\n", + "global step=12111872, episodic return=2320.4609375\n", + "global step=12111872, episodic return=2372.887451171875\n", + "global step=12113920, episodic return=188.1361846923828\n", + "global step=12115968, episodic return=524.4597778320312\n", + "global step=12115968, episodic return=217.4868621826172\n", + "global step=12115968, episodic return=1838.7972412109375\n", + "global step=12118016, episodic return=2315.50927734375\n", + "global step=12120064, episodic return=2383.045654296875\n", + "global step=12120064, episodic return=196.158447265625\n", + "global step=12120064, episodic return=2385.84423828125\n", + "global step=12120064, episodic return=2318.76708984375\n", + "global step=12122112, episodic return=686.7177124023438\n", + "global step=12122112, episodic return=224.24916076660156\n", + "global step=12122112, episodic return=1991.4114990234375\n", + "global step=12122112, episodic return=2333.4248046875\n", + "global step=12122112, episodic return=257.00018310546875\n", + "global step=12122112, episodic return=2353.4677734375\n", + "global step=12126208, episodic return=958.9396362304688\n", + "global step=12126208, episodic return=2390.9453125\n", + "global step=12126208, episodic return=236.1676788330078\n", + "global step=12126208, episodic return=2361.078125\n", + "global step=12126208, episodic return=2332.567626953125\n", + "global step=12128256, episodic return=2324.154296875\n", + "global step=12128256, episodic return=2352.844482421875\n", + "global step=12128256, episodic return=2306.677978515625\n", + "global step=12128256, episodic return=2371.9970703125\n", + "global step=12130304, episodic return=2142.896728515625\n", + "global step=12130304, episodic return=2387.114013671875\n", + "global step=12130304, episodic return=2398.1123046875\n", + "global step=12130304, episodic return=2325.255126953125\n", + "global step=12130304, episodic return=2365.761474609375\n", + "global step=12132352, episodic return=1887.9859619140625\n", + "global step=12132352, episodic return=2384.809814453125\n", + "global step=12132352, episodic return=2320.09814453125\n", + "global step=12132352, episodic return=2361.0380859375\n", + "global step=12134400, episodic return=2353.336669921875\n", + "global step=12134400, episodic return=2354.79248046875\n", + "global step=12134400, episodic return=2179.91845703125\n", + "global step=12134400, episodic return=225.189697265625\n", + "global step=12134400, episodic return=2379.466064453125\n", + "global step=12134400, episodic return=1896.392333984375\n", + "global step=12136448, episodic return=2315.3935546875\n", + "global step=12136448, episodic return=2347.15869140625\n", + "global step=12136448, episodic return=2378.73388671875\n", + "global step=12136448, episodic return=46.752742767333984\n", + "global step=12138496, episodic return=201.0074005126953\n", + "global step=12138496, episodic return=2361.0576171875\n", + "global step=12138496, episodic return=2297.5888671875\n", + "global step=12138496, episodic return=2375.87255859375\n", + "global step=12138496, episodic return=2338.65771484375\n", + "global step=12140544, episodic return=2346.927978515625\n", + "global step=12142592, episodic return=2328.099853515625\n", + "global step=12142592, episodic return=1579.2054443359375\n", + "global step=12142592, episodic return=1035.51318359375\n", + "global step=12144640, episodic return=2354.41455078125\n", + "global step=12144640, episodic return=2328.58203125\n", + "global step=12146688, episodic return=2376.868896484375\n", + "global step=12148736, episodic return=215.5492706298828\n", + "global step=12148736, episodic return=2361.7470703125\n", + "global step=12150784, episodic return=2360.71923828125\n", + "global step=12150784, episodic return=2290.79931640625\n", + "global step=12150784, episodic return=2390.677978515625\n", + "global step=12152832, episodic return=1202.9974365234375\n", + "global step=12152832, episodic return=2167.819091796875\n", + "global step=12152832, episodic return=2381.770751953125\n", + "global step=12152832, episodic return=2308.581298828125\n", + "global step=12154880, episodic return=2364.265869140625\n", + "global step=12156928, episodic return=2358.3232421875\n", + "global step=12156928, episodic return=2266.61181640625\n", + "global step=12156928, episodic return=773.65625\n", + "global step=12156928, episodic return=1932.667724609375\n", + "global step=12156928, episodic return=2328.859619140625\n", + "global step=12158976, episodic return=2410.94482421875\n", + "global step=12158976, episodic return=2410.525634765625\n", + "global step=12158976, episodic return=1857.67919921875\n", + "global step=12158976, episodic return=2022.04833984375\n", + "global step=12161024, episodic return=846.9661865234375\n", + "global step=12161024, episodic return=2386.108642578125\n", + "global step=12161024, episodic return=2332.450927734375\n", + "global step=12161024, episodic return=2385.734619140625\n", + "global step=12163072, episodic return=464.8576354980469\n", + "global step=12163072, episodic return=974.2567749023438\n", + "global step=12165120, episodic return=1379.677001953125\n", + "global step=12167168, episodic return=2350.927734375\n", + "global step=12167168, episodic return=1495.408935546875\n", + "global step=12167168, episodic return=2368.239013671875\n", + "global step=12167168, episodic return=2363.694580078125\n", + "global step=12167168, episodic return=2195.629638671875\n", + "global step=12167168, episodic return=2322.010986328125\n", + "global step=12169216, episodic return=1034.10888671875\n", + "global step=12169216, episodic return=1578.4945068359375\n", + "global step=12169216, episodic return=2322.73291015625\n", + "global step=12169216, episodic return=2244.872802734375\n", + "global step=12171264, episodic return=50.61991882324219\n", + "global step=12171264, episodic return=2351.907958984375\n", + "global step=12171264, episodic return=2305.3076171875\n", + "global step=12173312, episodic return=2384.686279296875\n", + "global step=12173312, episodic return=2333.62255859375\n", + "global step=12177408, episodic return=766.9946899414062\n", + "global step=12177408, episodic return=2307.9072265625\n", + "global step=12177408, episodic return=2380.80029296875\n", + "global step=12179456, episodic return=2385.146728515625\n", + "global step=12181504, episodic return=2340.0126953125\n", + "global step=12183552, episodic return=1643.954833984375\n", + "global step=12183552, episodic return=2387.032470703125\n", + "global step=12185600, episodic return=2309.906982421875\n", + "global step=12185600, episodic return=2368.02587890625\n", + "global step=12187648, episodic return=2363.937744140625\n", + "global step=12187648, episodic return=2287.779541015625\n", + "global step=12187648, episodic return=2375.256103515625\n", + "global step=12187648, episodic return=2348.029541015625\n", + "global step=12187648, episodic return=2329.15576171875\n", + "global step=12189696, episodic return=2345.655029296875\n", + "global step=12189696, episodic return=2366.031982421875\n", + "global step=12191744, episodic return=2338.22119140625\n", + "global step=12191744, episodic return=2366.338623046875\n", + "global step=12191744, episodic return=2376.93017578125\n", + "global step=12193792, episodic return=2351.0\n", + "global step=12193792, episodic return=2331.899658203125\n", + "global step=12193792, episodic return=2316.72021484375\n", + "global step=12193792, episodic return=2349.6806640625\n", + "global step=12195840, episodic return=1784.4637451171875\n", + "global step=12197888, episodic return=906.032958984375\n", + "global step=12197888, episodic return=2391.839111328125\n", + "global step=12197888, episodic return=2367.48095703125\n", + "global step=12197888, episodic return=2388.518310546875\n", + "global step=12197888, episodic return=2377.188720703125\n", + "global step=12199936, episodic return=2349.01904296875\n", + "global step=12199936, episodic return=500.01129150390625\n", + "global step=12199936, episodic return=2265.47802734375\n", + "global step=12201984, episodic return=2281.892578125\n", + "global step=12201984, episodic return=2332.726318359375\n", + "global step=12201984, episodic return=2357.272216796875\n", + "global step=12204032, episodic return=2348.7646484375\n", + "global step=12204032, episodic return=2352.92431640625\n", + "global step=12206080, episodic return=2383.59912109375\n", + "global step=12208128, episodic return=2402.8173828125\n", + "global step=12208128, episodic return=2348.5380859375\n", + "global step=12208128, episodic return=2283.2275390625\n", + "global step=12208128, episodic return=2381.24560546875\n", + "global step=12208128, episodic return=2371.041748046875\n", + "global step=12208128, episodic return=2122.756591796875\n", + "global step=12208128, episodic return=2330.035400390625\n", + "global step=12210176, episodic return=2398.366943359375\n", + "global step=12210176, episodic return=2363.74853515625\n", + "global step=12214272, episodic return=2378.8359375\n", + "global step=12214272, episodic return=2351.730712890625\n", + "global step=12214272, episodic return=2237.2890625\n", + "global step=12214272, episodic return=1774.22412109375\n", + "global step=12214272, episodic return=2391.5673828125\n", + "global step=12216320, episodic return=2319.4130859375\n", + "global step=12216320, episodic return=2401.730712890625\n", + "global step=12216320, episodic return=2319.409423828125\n", + "global step=12216320, episodic return=2362.560302734375\n", + "global step=12216320, episodic return=979.9357299804688\n", + "global step=12216320, episodic return=1104.31494140625\n", + "global step=12218368, episodic return=2391.41748046875\n", + "global step=12218368, episodic return=2310.23876953125\n", + "global step=12220416, episodic return=2397.924072265625\n", + "global step=12222464, episodic return=2381.03125\n", + "global step=12222464, episodic return=2364.883544921875\n", + "global step=12224512, episodic return=2359.53955078125\n", + "global step=12224512, episodic return=2408.25830078125\n", + "global step=12224512, episodic return=2343.3720703125\n", + "global step=12224512, episodic return=2392.08154296875\n", + "global step=12224512, episodic return=2410.275634765625\n", + "global step=12226560, episodic return=2137.559326171875\n", + "global step=12226560, episodic return=1358.968994140625\n", + "global step=12228608, episodic return=2342.63720703125\n", + "global step=12228608, episodic return=2370.80615234375\n", + "global step=12230656, episodic return=919.02734375\n", + "global step=12230656, episodic return=1609.0159912109375\n", + "global step=12232704, episodic return=1607.8297119140625\n", + "global step=12232704, episodic return=2359.35888671875\n", + "global step=12234752, episodic return=2345.11474609375\n", + "global step=12236800, episodic return=1197.221435546875\n", + "global step=12236800, episodic return=2291.856201171875\n", + "global step=12236800, episodic return=2417.543701171875\n", + "global step=12238848, episodic return=2362.375\n", + "global step=12238848, episodic return=2376.53076171875\n", + "global step=12238848, episodic return=2379.249755859375\n", + "global step=12238848, episodic return=2272.906005859375\n", + "global step=12238848, episodic return=2410.008544921875\n", + "global step=12238848, episodic return=2355.0703125\n", + "global step=12240896, episodic return=2217.715087890625\n", + "global step=12240896, episodic return=2383.019775390625\n", + "global step=12240896, episodic return=2011.4227294921875\n", + "global step=12240896, episodic return=2369.115478515625\n", + "global step=12242944, episodic return=2409.71728515625\n", + "global step=12242944, episodic return=216.8987579345703\n", + "global step=12242944, episodic return=2345.606201171875\n", + "global step=12244992, episodic return=2390.315185546875\n", + "global step=12247040, episodic return=2368.259521484375\n", + "global step=12249088, episodic return=2326.8408203125\n", + "global step=12249088, episodic return=2349.51416015625\n", + "global step=12249088, episodic return=205.83035278320312\n", + "global step=12249088, episodic return=2396.6591796875\n", + "global step=12251136, episodic return=2110.01513671875\n", + "global step=12253184, episodic return=2367.44482421875\n", + "global step=12253184, episodic return=2396.576904296875\n", + "global step=12255232, episodic return=2343.10546875\n", + "global step=12255232, episodic return=2346.540283203125\n", + "global step=12255232, episodic return=2396.80859375\n", + "global step=12255232, episodic return=2339.435302734375\n", + "global step=12257280, episodic return=1764.54150390625\n", + "global step=12257280, episodic return=2378.00439453125\n", + "global step=12259328, episodic return=2357.41796875\n", + "global step=12259328, episodic return=888.4016723632812\n", + "global step=12259328, episodic return=2387.37890625\n", + "global step=12261376, episodic return=915.5319213867188\n", + "global step=12261376, episodic return=2387.42626953125\n", + "global step=12263424, episodic return=2405.837158203125\n", + "global step=12263424, episodic return=2378.7373046875\n", + "global step=12263424, episodic return=2331.128173828125\n", + "global step=12263424, episodic return=2387.59814453125\n", + "global step=12265472, episodic return=2378.75244140625\n", + "global step=12265472, episodic return=1977.0216064453125\n", + "global step=12265472, episodic return=2354.365966796875\n", + "global step=12265472, episodic return=2332.819580078125\n", + "global step=12269568, episodic return=2369.165771484375\n", + "global step=12269568, episodic return=71.44395446777344\n", + "global step=12269568, episodic return=2364.6953125\n", + "global step=12271616, episodic return=1052.35986328125\n", + "global step=12271616, episodic return=2355.0458984375\n", + "global step=12271616, episodic return=2371.21875\n", + "global step=12271616, episodic return=2377.00830078125\n", + "global step=12271616, episodic return=2361.441162109375\n", + "global step=12271616, episodic return=2198.593017578125\n", + "global step=12273664, episodic return=755.44140625\n", + "global step=12273664, episodic return=2383.124267578125\n", + "global step=12273664, episodic return=2387.980712890625\n", + "global step=12273664, episodic return=2365.426025390625\n", + "global step=12273664, episodic return=2345.019287109375\n", + "global step=12275712, episodic return=2348.781982421875\n", + "global step=12277760, episodic return=2330.572509765625\n", + "global step=12279808, episodic return=2197.7666015625\n", + "global step=12279808, episodic return=2307.68603515625\n", + "global step=12281856, episodic return=2338.4970703125\n", + "global step=12281856, episodic return=2423.911376953125\n", + "global step=12281856, episodic return=2374.916015625\n", + "global step=12281856, episodic return=2302.90478515625\n", + "global step=12281856, episodic return=64.76834869384766\n", + "global step=12281856, episodic return=2331.6640625\n", + "global step=12281856, episodic return=2360.78662109375\n", + "global step=12283904, episodic return=25.851102828979492\n", + "global step=12283904, episodic return=1205.0775146484375\n", + "global step=12283904, episodic return=164.72073364257812\n", + "global step=12283904, episodic return=2194.232421875\n", + "global step=12283904, episodic return=2394.997314453125\n", + "global step=12285952, episodic return=2336.139404296875\n", + "global step=12285952, episodic return=832.233642578125\n", + "global step=12285952, episodic return=2371.18408203125\n", + "global step=12285952, episodic return=1933.021484375\n", + "global step=12285952, episodic return=2366.140380859375\n", + "global step=12285952, episodic return=2330.25634765625\n", + "global step=12285952, episodic return=2353.738037109375\n", + "global step=12288000, episodic return=2445.90625\n", + "global step=12288000, episodic return=2404.586669921875\n", + "global step=12288000, episodic return=977.1577758789062\n", + "global step=12288000, episodic return=1231.5185546875\n", + "global step=12288000, episodic return=1779.4837646484375\n", + "global step=12288000, episodic return=2341.888916015625\n", + "global step=12290048, episodic return=2354.335693359375\n", + "global step=12290048, episodic return=2211.135009765625\n", + "global step=12292096, episodic return=2343.4384765625\n", + "global step=12294144, episodic return=2257.705322265625\n", + "global step=12294144, episodic return=1438.0909423828125\n", + "global step=12294144, episodic return=2362.787841796875\n", + "global step=12294144, episodic return=2360.37451171875\n", + "global step=12294144, episodic return=2353.964111328125\n", + "global step=12294144, episodic return=2394.484130859375\n", + "global step=12296192, episodic return=2341.99560546875\n", + "global step=12296192, episodic return=2331.83203125\n", + "global step=12296192, episodic return=2359.11279296875\n", + "global step=12296192, episodic return=2377.667724609375\n", + "global step=12296192, episodic return=2399.325439453125\n", + "global step=12296192, episodic return=2335.424560546875\n", + "global step=12298240, episodic return=2262.004150390625\n", + "global step=12298240, episodic return=2221.650146484375\n", + "global step=12298240, episodic return=2340.8525390625\n", + "global step=12298240, episodic return=2344.38671875\n", + "global step=12300288, episodic return=20.365985870361328\n", + "global step=12300288, episodic return=2403.394287109375\n", + "global step=12300288, episodic return=1970.6513671875\n", + "global step=12300288, episodic return=2202.4912109375\n", + "global step=12300288, episodic return=2307.72802734375\n", + "global step=12300288, episodic return=769.8367919921875\n", + "global step=12300288, episodic return=2239.163330078125\n", + "global step=12300288, episodic return=2361.58251953125\n", + "global step=12300288, episodic return=2389.582763671875\n", + "global step=12302336, episodic return=2347.868408203125\n", + "global step=12304384, episodic return=2380.008056640625\n", + "global step=12304384, episodic return=2355.3935546875\n", + "global step=12306432, episodic return=2325.3720703125\n", + "global step=12306432, episodic return=1764.1278076171875\n", + "global step=12306432, episodic return=2332.939453125\n", + "global step=12308480, episodic return=2039.3529052734375\n", + "global step=12308480, episodic return=1927.5328369140625\n", + "global step=12308480, episodic return=2377.6494140625\n", + "global step=12308480, episodic return=2352.952392578125\n", + "global step=12308480, episodic return=1141.0225830078125\n", + "global step=12308480, episodic return=1395.3094482421875\n", + "global step=12310528, episodic return=1190.404052734375\n", + "global step=12310528, episodic return=2397.04443359375\n", + "global step=12312576, episodic return=16.856582641601562\n", + "global step=12312576, episodic return=2323.782958984375\n", + "global step=12314624, episodic return=2386.855712890625\n", + "global step=12314624, episodic return=2301.38818359375\n", + "global step=12314624, episodic return=2120.65478515625\n", + "global step=12314624, episodic return=968.3328247070312\n", + "global step=12314624, episodic return=2384.156005859375\n", + "global step=12316672, episodic return=929.7201538085938\n", + "global step=12316672, episodic return=1596.1793212890625\n", + "global step=12318720, episodic return=895.841552734375\n", + "global step=12318720, episodic return=2340.61669921875\n", + "global step=12322816, episodic return=870.7269897460938\n", + "global step=12324864, episodic return=2390.49951171875\n", + "global step=12324864, episodic return=2378.805908203125\n", + "global step=12324864, episodic return=1808.9136962890625\n", + "global step=12324864, episodic return=936.329833984375\n", + "global step=12324864, episodic return=2367.2958984375\n", + "global step=12326912, episodic return=972.9222412109375\n", + "global step=12326912, episodic return=911.7028198242188\n", + "global step=12326912, episodic return=970.2071533203125\n", + "global step=12326912, episodic return=2367.235595703125\n", + "global step=12328960, episodic return=726.35546875\n", + "global step=12328960, episodic return=2407.20263671875\n", + "global step=12328960, episodic return=2369.502685546875\n", + "global step=12331008, episodic return=2349.162841796875\n", + "global step=12331008, episodic return=2370.266845703125\n", + "global step=12333056, episodic return=2345.5341796875\n", + "global step=12333056, episodic return=2259.51953125\n", + "global step=12335104, episodic return=2358.806640625\n", + "global step=12335104, episodic return=2361.341552734375\n", + "global step=12337152, episodic return=2296.944580078125\n", + "global step=12337152, episodic return=1771.7552490234375\n", + "global step=12337152, episodic return=1654.139404296875\n", + "global step=12337152, episodic return=2377.697509765625\n", + "global step=12337152, episodic return=782.8482666015625\n", + "global step=12337152, episodic return=2124.461669921875\n", + "global step=12341248, episodic return=732.9576416015625\n", + "global step=12343296, episodic return=884.23193359375\n", + "global step=12343296, episodic return=2378.044189453125\n", + "global step=12343296, episodic return=2362.8798828125\n", + "global step=12345344, episodic return=2272.27783203125\n", + "global step=12349440, episodic return=2356.115966796875\n", + "global step=12349440, episodic return=2319.7333984375\n", + "global step=12349440, episodic return=2366.561279296875\n", + "global step=12351488, episodic return=2398.0283203125\n", + "global step=12351488, episodic return=2342.434814453125\n", + "global step=12353536, episodic return=2327.13232421875\n", + "global step=12353536, episodic return=2371.909912109375\n", + "global step=12355584, episodic return=2321.2333984375\n", + "global step=12357632, episodic return=2078.96533203125\n", + "global step=12359680, episodic return=2366.239013671875\n", + "global step=12359680, episodic return=1985.4234619140625\n", + "global step=12359680, episodic return=1419.5704345703125\n", + "global step=12359680, episodic return=2380.8662109375\n", + "global step=12359680, episodic return=2357.46240234375\n", + "global step=12361728, episodic return=1753.322998046875\n", + "global step=12361728, episodic return=2350.225830078125\n", + "global step=12361728, episodic return=2385.02001953125\n", + "global step=12363776, episodic return=689.1590576171875\n", + "global step=12363776, episodic return=1071.80517578125\n", + "global step=12363776, episodic return=1620.8443603515625\n", + "global step=12365824, episodic return=2355.720703125\n", + "global step=12365824, episodic return=2387.01171875\n", + "global step=12365824, episodic return=1146.002197265625\n", + "global step=12365824, episodic return=2370.923583984375\n", + "global step=12367872, episodic return=2342.11474609375\n", + "global step=12367872, episodic return=2367.78515625\n", + "global step=12367872, episodic return=1571.9462890625\n", + "global step=12367872, episodic return=1831.0245361328125\n", + "global step=12369920, episodic return=2421.886474609375\n", + "global step=12369920, episodic return=2317.580810546875\n", + "global step=12369920, episodic return=2334.9462890625\n", + "global step=12371968, episodic return=2363.391357421875\n", + "global step=12371968, episodic return=2345.264892578125\n", + "global step=12374016, episodic return=1646.6995849609375\n", + "global step=12376064, episodic return=1150.2296142578125\n", + "global step=12376064, episodic return=1112.23681640625\n", + "global step=12376064, episodic return=2339.44482421875\n", + "global step=12376064, episodic return=2299.333984375\n", + "global step=12376064, episodic return=1495.645751953125\n", + "global step=12380160, episodic return=2402.25439453125\n", + "global step=12380160, episodic return=2324.29052734375\n", + "global step=12382208, episodic return=1343.302001953125\n", + "global step=12382208, episodic return=2281.178955078125\n", + "global step=12384256, episodic return=1043.6436767578125\n", + "global step=12384256, episodic return=2357.083984375\n", + "global step=12386304, episodic return=2409.52880859375\n", + "global step=12386304, episodic return=2369.326416015625\n", + "global step=12386304, episodic return=1118.4749755859375\n", + "global step=12386304, episodic return=2373.531982421875\n", + "global step=12388352, episodic return=2373.63427734375\n", + "global step=12388352, episodic return=2341.281005859375\n", + "global step=12388352, episodic return=2393.909912109375\n", + "global step=12388352, episodic return=2384.190185546875\n", + "global step=12390400, episodic return=1879.4320068359375\n", + "global step=12390400, episodic return=1259.47119140625\n", + "global step=12390400, episodic return=1790.080810546875\n", + "global step=12392448, episodic return=1480.0135498046875\n", + "global step=12392448, episodic return=2388.0439453125\n", + "global step=12394496, episodic return=1853.9534912109375\n", + "global step=12394496, episodic return=1885.2584228515625\n", + "global step=12396544, episodic return=1262.2093505859375\n", + "global step=12396544, episodic return=461.8149108886719\n", + "global step=12398592, episodic return=2381.927734375\n", + "global step=12398592, episodic return=2362.02587890625\n", + "global step=12398592, episodic return=2404.74853515625\n", + "global step=12398592, episodic return=2327.18798828125\n", + "global step=12398592, episodic return=463.1636047363281\n", + "global step=12398592, episodic return=990.8779907226562\n", + "global step=12400640, episodic return=1074.7034912109375\n", + "global step=12402688, episodic return=2399.66845703125\n", + "global step=12404736, episodic return=2407.398681640625\n", + "global step=12404736, episodic return=1059.1392822265625\n", + "global step=12404736, episodic return=2372.008544921875\n", + "global step=12406784, episodic return=2339.220458984375\n", + "global step=12408832, episodic return=2381.802001953125\n", + "global step=12410880, episodic return=2410.26220703125\n", + "global step=12412928, episodic return=1005.6334838867188\n", + "global step=12412928, episodic return=2392.255859375\n", + "global step=12412928, episodic return=2357.601806640625\n", + "global step=12412928, episodic return=2331.08740234375\n", + "global step=12412928, episodic return=2399.814453125\n", + "global step=12414976, episodic return=1614.7930908203125\n", + "global step=12414976, episodic return=1097.9071044921875\n", + "global step=12414976, episodic return=2151.5869140625\n", + "global step=12417024, episodic return=2198.238037109375\n", + "global step=12417024, episodic return=2351.99658203125\n", + "global step=12417024, episodic return=2370.0751953125\n", + "global step=12417024, episodic return=2318.636474609375\n", + "global step=12419072, episodic return=1761.9791259765625\n", + "global step=12419072, episodic return=1449.333984375\n", + "global step=12421120, episodic return=1228.729248046875\n", + "global step=12421120, episodic return=2419.99609375\n", + "global step=12423168, episodic return=644.4065551757812\n", + "global step=12423168, episodic return=328.36907958984375\n", + "global step=12425216, episodic return=977.40576171875\n", + "global step=12427264, episodic return=1323.3641357421875\n", + "global step=12427264, episodic return=2345.27734375\n", + "global step=12429312, episodic return=1940.2364501953125\n", + "global step=12429312, episodic return=1431.090087890625\n", + "global step=12429312, episodic return=2376.89794921875\n", + "global step=12429312, episodic return=1791.3077392578125\n", + "global step=12433408, episodic return=762.7532958984375\n", + "global step=12435456, episodic return=1959.94189453125\n", + "global step=12435456, episodic return=2369.719482421875\n", + "global step=12435456, episodic return=2332.103515625\n", + "global step=12437504, episodic return=1091.0147705078125\n", + "global step=12437504, episodic return=2337.18896484375\n", + "global step=12437504, episodic return=1304.856689453125\n", + "global step=12437504, episodic return=2372.882080078125\n", + "global step=12439552, episodic return=2374.534423828125\n", + "global step=12439552, episodic return=2386.28076171875\n", + "global step=12441600, episodic return=663.7581176757812\n", + "global step=12443648, episodic return=2361.15283203125\n", + "global step=12445696, episodic return=2396.4697265625\n", + "global step=12447744, episodic return=2338.36767578125\n", + "global step=12451840, episodic return=972.8856811523438\n", + "global step=12451840, episodic return=1204.547119140625\n", + "global step=12451840, episodic return=2402.998046875\n", + "global step=12455936, episodic return=921.1248779296875\n", + "global step=12455936, episodic return=977.53857421875\n", + "global step=12455936, episodic return=445.5041198730469\n", + "global step=12457984, episodic return=2010.0682373046875\n", + "global step=12457984, episodic return=2388.6689453125\n", + "global step=12457984, episodic return=1613.7518310546875\n", + "global step=12460032, episodic return=2381.067138671875\n", + "global step=12460032, episodic return=2371.79150390625\n", + "global step=12462080, episodic return=2390.223388671875\n", + "global step=12462080, episodic return=940.0398559570312\n", + "global step=12464128, episodic return=2377.820068359375\n", + "global step=12464128, episodic return=996.7448120117188\n", + "global step=12464128, episodic return=1038.094482421875\n", + "global step=12468224, episodic return=2371.6435546875\n", + "global step=12468224, episodic return=2398.71337890625\n", + "global step=12468224, episodic return=1357.41943359375\n", + "global step=12468224, episodic return=2370.787841796875\n", + "global step=12470272, episodic return=1170.1661376953125\n", + "global step=12472320, episodic return=1141.9337158203125\n", + "global step=12472320, episodic return=137.06259155273438\n", + "global step=12476416, episodic return=755.91650390625\n", + "global step=12476416, episodic return=1405.2635498046875\n", + "global step=12480512, episodic return=1659.3231201171875\n", + "global step=12480512, episodic return=2385.70263671875\n", + "global step=12480512, episodic return=2357.234375\n", + "global step=12482560, episodic return=2340.219970703125\n", + "global step=12482560, episodic return=2349.43505859375\n", + "global step=12484608, episodic return=2358.714111328125\n", + "global step=12486656, episodic return=1135.09716796875\n", + "global step=12486656, episodic return=2130.270751953125\n", + "global step=12486656, episodic return=2136.258056640625\n", + "global step=12488704, episodic return=2384.3642578125\n", + "global step=12488704, episodic return=1952.9859619140625\n", + "global step=12496896, episodic return=1483.055419921875\n", + "global step=12496896, episodic return=29.159183502197266\n", + "global step=12498944, episodic return=2363.736328125\n", + "global step=12498944, episodic return=373.48828125\n", + "global step=12498944, episodic return=2401.0927734375\n", + "global step=12500992, episodic return=2305.638427734375\n", + "global step=12500992, episodic return=2389.47265625\n", + "global step=12503040, episodic return=2398.21826171875\n", + "global step=12503040, episodic return=2355.17138671875\n", + "global step=12505088, episodic return=2410.47314453125\n", + "global step=12505088, episodic return=1314.1466064453125\n", + "global step=12511232, episodic return=2144.232666015625\n", + "global step=12511232, episodic return=1958.013427734375\n", + "global step=12511232, episodic return=2005.4251708984375\n", + "global step=12513280, episodic return=1524.5631103515625\n", + "global step=12517376, episodic return=2359.447998046875\n", + "global step=12517376, episodic return=2446.09375\n", + "global step=12519424, episodic return=998.2495727539062\n", + "global step=12519424, episodic return=1325.3011474609375\n", + "global step=12521472, episodic return=1212.248779296875\n", + "global step=12525568, episodic return=2385.79736328125\n", + "global step=12527616, episodic return=2199.662841796875\n", + "global step=12529664, episodic return=1469.6505126953125\n", + "global step=12529664, episodic return=2313.025390625\n", + "global step=12529664, episodic return=2353.739990234375\n", + "global step=12531712, episodic return=2097.27734375\n", + "global step=12531712, episodic return=2365.59521484375\n", + "global step=12531712, episodic return=2346.527587890625\n", + "global step=12531712, episodic return=2322.16259765625\n", + "global step=12531712, episodic return=2394.465087890625\n", + "global step=12533760, episodic return=2348.763671875\n", + "global step=12535808, episodic return=2352.19384765625\n", + "global step=12537856, episodic return=1724.632568359375\n", + "global step=12537856, episodic return=2261.754638671875\n", + "global step=12539904, episodic return=2357.97216796875\n", + "global step=12539904, episodic return=565.899658203125\n", + "global step=12539904, episodic return=1629.2296142578125\n", + "global step=12544000, episodic return=259.8113098144531\n", + "global step=12546048, episodic return=2294.391845703125\n", + "global step=12546048, episodic return=2361.89990234375\n", + "global step=12548096, episodic return=1827.331787109375\n", + "global step=12548096, episodic return=1469.88720703125\n", + "global step=12548096, episodic return=1755.26220703125\n", + "global step=12548096, episodic return=1554.954345703125\n", + "global step=12550144, episodic return=2227.73876953125\n", + "global step=12550144, episodic return=942.4529418945312\n", + "global step=12552192, episodic return=2404.4560546875\n", + "global step=12552192, episodic return=2391.09423828125\n", + "global step=12552192, episodic return=1071.1114501953125\n", + "global step=12552192, episodic return=2348.31787109375\n", + "global step=12554240, episodic return=2247.2509765625\n", + "global step=12556288, episodic return=2368.984619140625\n", + "global step=12556288, episodic return=2135.6376953125\n", + "global step=12558336, episodic return=2378.859375\n", + "global step=12558336, episodic return=186.35183715820312\n", + "global step=12560384, episodic return=2344.413330078125\n", + "global step=12564480, episodic return=1534.6265869140625\n", + "global step=12564480, episodic return=1131.6702880859375\n", + "global step=12564480, episodic return=2363.4853515625\n", + "global step=12566528, episodic return=2064.848876953125\n", + "global step=12566528, episodic return=2335.12060546875\n", + "global step=12566528, episodic return=2363.26513671875\n", + "global step=12572672, episodic return=357.7115783691406\n", + "global step=12572672, episodic return=2404.780517578125\n", + "global step=12572672, episodic return=2370.604248046875\n", + "global step=12572672, episodic return=1429.462158203125\n", + "global step=12574720, episodic return=1435.3756103515625\n", + "global step=12574720, episodic return=2338.57763671875\n", + "global step=12574720, episodic return=2356.294921875\n", + "global step=12576768, episodic return=1570.0321044921875\n", + "global step=12580864, episodic return=2246.092529296875\n", + "global step=12582912, episodic return=2069.7900390625\n", + "global step=12582912, episodic return=2369.025390625\n", + "global step=12584960, episodic return=2185.77783203125\n", + "global step=12584960, episodic return=2113.41259765625\n", + "global step=12584960, episodic return=2381.22216796875\n", + "global step=12587008, episodic return=1235.9876708984375\n", + "global step=12587008, episodic return=1909.4656982421875\n", + "global step=12589056, episodic return=2357.407958984375\n", + "global step=12589056, episodic return=615.1312255859375\n", + "global step=12591104, episodic return=2383.846923828125\n", + "global step=12593152, episodic return=1708.131103515625\n", + "global step=12593152, episodic return=2337.486572265625\n", + "global step=12595200, episodic return=530.0172729492188\n", + "global step=12599296, episodic return=2340.81005859375\n", + "global step=12601344, episodic return=2379.0927734375\n", + "global step=12603392, episodic return=2339.13330078125\n", + "global step=12603392, episodic return=167.7264404296875\n", + "global step=12603392, episodic return=1264.6512451171875\n", + "global step=12605440, episodic return=2350.279541015625\n", + "global step=12607488, episodic return=2346.75341796875\n", + "global step=12607488, episodic return=2350.150390625\n", + "global step=12607488, episodic return=997.66943359375\n", + "global step=12607488, episodic return=2328.521484375\n", + "global step=12609536, episodic return=1208.0494384765625\n", + "global step=12611584, episodic return=2347.595703125\n", + "global step=12611584, episodic return=2347.86328125\n", + "global step=12613632, episodic return=2326.03564453125\n", + "global step=12613632, episodic return=2378.464599609375\n", + "global step=12615680, episodic return=2364.80810546875\n", + "global step=12615680, episodic return=2371.420654296875\n", + "global step=12615680, episodic return=2352.2021484375\n", + "global step=12615680, episodic return=1927.4852294921875\n", + "global step=12617728, episodic return=1309.0745849609375\n", + "global step=12617728, episodic return=2359.1259765625\n", + "global step=12619776, episodic return=2349.134521484375\n", + "global step=12619776, episodic return=2361.19091796875\n", + "global step=12619776, episodic return=2301.27880859375\n", + "global step=12619776, episodic return=2309.72412109375\n", + "global step=12619776, episodic return=2281.232177734375\n", + "global step=12621824, episodic return=2336.951171875\n", + "global step=12621824, episodic return=2370.987060546875\n", + "global step=12621824, episodic return=2380.55322265625\n", + "global step=12623872, episodic return=2366.62451171875\n", + "global step=12625920, episodic return=2377.08154296875\n", + "global step=12625920, episodic return=2388.604248046875\n", + "global step=12625920, episodic return=2371.095458984375\n", + "global step=12627968, episodic return=225.7256622314453\n", + "global step=12627968, episodic return=2324.28076171875\n", + "global step=12627968, episodic return=2381.291259765625\n", + "global step=12627968, episodic return=2096.785400390625\n", + "global step=12630016, episodic return=2377.09228515625\n", + "global step=12630016, episodic return=1579.01611328125\n", + "global step=12632064, episodic return=2394.921142578125\n", + "global step=12632064, episodic return=2367.98291015625\n", + "global step=12634112, episodic return=2335.83544921875\n", + "global step=12634112, episodic return=2366.770263671875\n", + "global step=12634112, episodic return=1504.2745361328125\n", + "global step=12636160, episodic return=2314.96630859375\n", + "global step=12636160, episodic return=2344.335205078125\n", + "global step=12636160, episodic return=2259.4833984375\n", + "global step=12636160, episodic return=2369.747314453125\n", + "global step=12638208, episodic return=2337.3125\n", + "global step=12638208, episodic return=2360.906494140625\n", + "global step=12638208, episodic return=2353.072021484375\n", + "global step=12638208, episodic return=200.4105987548828\n", + "global step=12642304, episodic return=711.3486328125\n", + "global step=12642304, episodic return=2263.593505859375\n", + "global step=12642304, episodic return=2278.236328125\n", + "global step=12644352, episodic return=2368.39404296875\n", + "global step=12644352, episodic return=2188.445556640625\n", + "global step=12644352, episodic return=2274.39208984375\n", + "global step=12646400, episodic return=1316.785888671875\n", + "global step=12646400, episodic return=2364.07373046875\n", + "global step=12648448, episodic return=2372.54150390625\n", + "global step=12650496, episodic return=2364.75\n", + "global step=12650496, episodic return=1677.9158935546875\n", + "global step=12650496, episodic return=2304.173583984375\n", + "global step=12652544, episodic return=1159.703125\n", + "global step=12652544, episodic return=2323.173828125\n", + "global step=12652544, episodic return=2290.464599609375\n", + "global step=12652544, episodic return=2381.07666015625\n", + "global step=12656640, episodic return=2331.096923828125\n", + "global step=12658688, episodic return=2347.258544921875\n", + "global step=12658688, episodic return=2201.9501953125\n", + "global step=12660736, episodic return=1970.962890625\n", + "global step=12662784, episodic return=2277.070556640625\n", + "global step=12662784, episodic return=2373.39501953125\n", + "global step=12662784, episodic return=2413.642578125\n", + "global step=12662784, episodic return=1403.2509765625\n", + "global step=12664832, episodic return=2366.365234375\n", + "global step=12666880, episodic return=2337.60302734375\n", + "global step=12668928, episodic return=2397.310546875\n", + "global step=12668928, episodic return=2347.173095703125\n", + "global step=12668928, episodic return=2350.240478515625\n", + "global step=12668928, episodic return=2359.689453125\n", + "global step=12670976, episodic return=2320.985595703125\n", + "global step=12670976, episodic return=2374.494140625\n", + "global step=12673024, episodic return=2332.04150390625\n", + "global step=12673024, episodic return=2342.945068359375\n", + "global step=12673024, episodic return=2291.828857421875\n", + "global step=12675072, episodic return=2364.072509765625\n", + "global step=12675072, episodic return=2345.834716796875\n", + "global step=12675072, episodic return=2354.890625\n", + "global step=12677120, episodic return=528.7816162109375\n", + "global step=12677120, episodic return=2372.9501953125\n", + "global step=12679168, episodic return=2350.848876953125\n", + "global step=12679168, episodic return=2094.017822265625\n", + "global step=12681216, episodic return=2347.436767578125\n", + "global step=12683264, episodic return=2297.88037109375\n", + "global step=12683264, episodic return=2366.189697265625\n", + "global step=12687360, episodic return=2345.214111328125\n", + "global step=12691456, episodic return=1469.8768310546875\n", + "global step=12691456, episodic return=2387.172119140625\n", + "global step=12693504, episodic return=2263.380615234375\n", + "global step=12695552, episodic return=2338.183837890625\n", + "global step=12695552, episodic return=2225.678466796875\n", + "global step=12695552, episodic return=2368.09765625\n", + "global step=12699648, episodic return=508.6288146972656\n", + "global step=12699648, episodic return=2354.390869140625\n", + "global step=12701696, episodic return=2323.98388671875\n", + "global step=12701696, episodic return=518.2796020507812\n", + "global step=12703744, episodic return=1393.9544677734375\n", + "global step=12705792, episodic return=2416.131591796875\n", + "global step=12705792, episodic return=2386.499267578125\n", + "global step=12707840, episodic return=1492.064697265625\n", + "global step=12709888, episodic return=2275.90869140625\n", + "global step=12709888, episodic return=1549.177001953125\n", + "global step=12709888, episodic return=2371.9287109375\n", + "global step=12709888, episodic return=464.9437255859375\n", + "global step=12711936, episodic return=2339.751220703125\n", + "global step=12713984, episodic return=2307.5869140625\n", + "global step=12713984, episodic return=2406.423828125\n", + "global step=12713984, episodic return=2294.771484375\n", + "global step=12713984, episodic return=2356.08447265625\n", + "global step=12713984, episodic return=1329.8719482421875\n", + "global step=12716032, episodic return=2144.817138671875\n", + "global step=12718080, episodic return=2337.27685546875\n", + "global step=12718080, episodic return=2366.69921875\n", + "global step=12718080, episodic return=2332.622802734375\n", + "global step=12720128, episodic return=2381.167724609375\n", + "global step=12720128, episodic return=2372.478515625\n", + "global step=12720128, episodic return=2368.784423828125\n", + "global step=12720128, episodic return=2386.64453125\n", + "global step=12722176, episodic return=2338.7802734375\n", + "global step=12724224, episodic return=2366.70947265625\n", + "global step=12724224, episodic return=2352.775146484375\n", + "global step=12724224, episodic return=2323.563232421875\n", + "global step=12724224, episodic return=196.15550231933594\n", + "global step=12724224, episodic return=2369.4912109375\n", + "global step=12726272, episodic return=2394.273193359375\n", + "global step=12726272, episodic return=2385.841064453125\n", + "global step=12726272, episodic return=2376.553955078125\n", + "global step=12728320, episodic return=2382.60302734375\n", + "global step=12728320, episodic return=869.0582885742188\n", + "global step=12728320, episodic return=2366.249755859375\n", + "global step=12730368, episodic return=2353.044189453125\n", + "global step=12730368, episodic return=991.9589233398438\n", + "global step=12732416, episodic return=714.7059326171875\n", + "global step=12732416, episodic return=2334.6103515625\n", + "global step=12732416, episodic return=2128.740234375\n", + "global step=12734464, episodic return=1206.0450439453125\n", + "global step=12734464, episodic return=2253.7607421875\n", + "global step=12734464, episodic return=2272.608154296875\n", + "global step=12736512, episodic return=391.79864501953125\n", + "global step=12736512, episodic return=2356.935546875\n", + "global step=12736512, episodic return=2333.528076171875\n", + "global step=12738560, episodic return=2407.57666015625\n", + "global step=12738560, episodic return=568.5224609375\n", + "global step=12738560, episodic return=2347.077392578125\n", + "global step=12740608, episodic return=2362.450927734375\n", + "global step=12742656, episodic return=2235.066162109375\n", + "global step=12742656, episodic return=2312.347900390625\n", + "global step=12742656, episodic return=2357.794677734375\n", + "global step=12742656, episodic return=2376.09716796875\n", + "global step=12744704, episodic return=2370.3427734375\n", + "global step=12746752, episodic return=634.67431640625\n", + "global step=12748800, episodic return=2414.107421875\n", + "global step=12750848, episodic return=766.1421508789062\n", + "global step=12750848, episodic return=2391.17724609375\n", + "global step=12752896, episodic return=2337.060791015625\n", + "global step=12754944, episodic return=2368.214111328125\n", + "global step=12754944, episodic return=2264.83984375\n", + "global step=12756992, episodic return=2394.304443359375\n", + "global step=12759040, episodic return=2326.275390625\n", + "global step=12761088, episodic return=543.1234130859375\n", + "global step=12761088, episodic return=2356.47265625\n", + "global step=12763136, episodic return=2331.958251953125\n", + "global step=12763136, episodic return=2370.4765625\n", + "global step=12763136, episodic return=2351.31982421875\n", + "global step=12765184, episodic return=2337.510009765625\n", + "global step=12765184, episodic return=2282.846435546875\n", + "global step=12767232, episodic return=2294.6142578125\n", + "global step=12767232, episodic return=2381.60498046875\n", + "global step=12769280, episodic return=1746.919677734375\n", + "global step=12769280, episodic return=2359.63037109375\n", + "global step=12769280, episodic return=898.8277587890625\n", + "global step=12771328, episodic return=2378.982421875\n", + "global step=12775424, episodic return=2203.11669921875\n", + "global step=12775424, episodic return=2390.640380859375\n", + "global step=12775424, episodic return=2384.005126953125\n", + "global step=12777472, episodic return=2342.61328125\n", + "global step=12777472, episodic return=2259.656494140625\n", + "global step=12777472, episodic return=2390.06787109375\n", + "global step=12777472, episodic return=2352.7373046875\n", + "global step=12779520, episodic return=2392.32421875\n", + "global step=12779520, episodic return=2321.449951171875\n", + "global step=12779520, episodic return=2392.53857421875\n", + "global step=12781568, episodic return=52.423789978027344\n", + "global step=12781568, episodic return=2314.686279296875\n", + "global step=12781568, episodic return=2363.947021484375\n", + "global step=12783616, episodic return=2369.70849609375\n", + "global step=12783616, episodic return=2290.13232421875\n", + "global step=12785664, episodic return=2359.32080078125\n", + "global step=12785664, episodic return=2316.68701171875\n", + "global step=12785664, episodic return=2386.239501953125\n", + "global step=12787712, episodic return=2326.15576171875\n", + "global step=12789760, episodic return=2380.404296875\n", + "global step=12789760, episodic return=1286.4481201171875\n", + "global step=12789760, episodic return=2324.98095703125\n", + "global step=12789760, episodic return=199.10850524902344\n", + "global step=12791808, episodic return=2352.346923828125\n", + "global step=12793856, episodic return=2357.39794921875\n", + "global step=12795904, episodic return=2336.75390625\n", + "global step=12795904, episodic return=2342.91943359375\n", + "global step=12795904, episodic return=2265.780029296875\n", + "global step=12800000, episodic return=2363.7265625\n", + "global step=12800000, episodic return=2344.262451171875\n", + "global step=12802048, episodic return=2029.972900390625\n", + "global step=12802048, episodic return=2356.63916015625\n", + "global step=12802048, episodic return=2293.1396484375\n", + "global step=12802048, episodic return=2354.323974609375\n", + "global step=12802048, episodic return=2362.070068359375\n", + "global step=12802048, episodic return=1432.2926025390625\n", + "global step=12808192, episodic return=2368.2763671875\n", + "global step=12808192, episodic return=1688.6004638671875\n", + "global step=12814336, episodic return=2332.354736328125\n", + "global step=12814336, episodic return=2381.21630859375\n", + "global step=12814336, episodic return=2200.21240234375\n", + "global step=12816384, episodic return=2361.8603515625\n", + "global step=12818432, episodic return=2267.58642578125\n", + "global step=12818432, episodic return=2374.406982421875\n", + "global step=12820480, episodic return=2312.259765625\n", + "global step=12820480, episodic return=511.93670654296875\n", + "global step=12820480, episodic return=2378.99658203125\n", + "global step=12820480, episodic return=1348.1346435546875\n", + "global step=12822528, episodic return=2289.85498046875\n", + "global step=12822528, episodic return=2412.84814453125\n", + "global step=12824576, episodic return=2285.427978515625\n", + "global step=12824576, episodic return=2368.502685546875\n", + "global step=12826624, episodic return=494.41033935546875\n", + "global step=12826624, episodic return=2310.58056640625\n", + "global step=12828672, episodic return=2304.30517578125\n", + "global step=12830720, episodic return=2253.48388671875\n", + "global step=12830720, episodic return=2353.94677734375\n", + "global step=12830720, episodic return=2405.13134765625\n", + "global step=12832768, episodic return=2392.671142578125\n", + "global step=12834816, episodic return=30.98768424987793\n", + "global step=12834816, episodic return=2313.32763671875\n", + "global step=12834816, episodic return=2281.041259765625\n", + "global step=12836864, episodic return=2253.961669921875\n", + "global step=12836864, episodic return=2344.918701171875\n", + "global step=12838912, episodic return=2142.546875\n", + "global step=12838912, episodic return=2242.6962890625\n", + "global step=12838912, episodic return=2258.0830078125\n", + "global step=12838912, episodic return=2368.291259765625\n", + "global step=12840960, episodic return=2208.254638671875\n", + "global step=12840960, episodic return=541.34716796875\n", + "global step=12840960, episodic return=41.438201904296875\n", + "global step=12843008, episodic return=2297.76611328125\n", + "global step=12843008, episodic return=2220.81201171875\n", + "global step=12845056, episodic return=2299.92333984375\n", + "global step=12845056, episodic return=2353.046142578125\n", + "global step=12847104, episodic return=2390.39794921875\n", + "global step=12851200, episodic return=2278.284423828125\n", + "global step=12851200, episodic return=2352.197998046875\n", + "global step=12853248, episodic return=2324.441162109375\n", + "global step=12853248, episodic return=2367.09912109375\n", + "global step=12855296, episodic return=2336.885498046875\n", + "global step=12855296, episodic return=2375.251708984375\n", + "global step=12855296, episodic return=2292.368896484375\n", + "global step=12859392, episodic return=2371.543212890625\n", + "global step=12861440, episodic return=2071.186279296875\n", + "global step=12861440, episodic return=2289.43603515625\n", + "global step=12863488, episodic return=1174.815185546875\n", + "global step=12867584, episodic return=2387.70654296875\n", + "global step=12867584, episodic return=2376.725830078125\n", + "global step=12869632, episodic return=673.4574584960938\n", + "global step=12873728, episodic return=2229.014892578125\n", + "global step=12875776, episodic return=2366.005859375\n", + "global step=12875776, episodic return=2365.996826171875\n", + "global step=12877824, episodic return=502.0110168457031\n", + "global step=12877824, episodic return=2344.4072265625\n", + "global step=12879872, episodic return=2346.16845703125\n", + "global step=12879872, episodic return=685.611083984375\n", + "global step=12881920, episodic return=2302.282958984375\n", + "global step=12881920, episodic return=2286.168212890625\n", + "global step=12883968, episodic return=2295.8427734375\n", + "global step=12886016, episodic return=2371.957763671875\n", + "global step=12894208, episodic return=2253.69677734375\n", + "global step=12894208, episodic return=2335.580322265625\n", + "global step=12898304, episodic return=20.176856994628906\n", + "global step=12898304, episodic return=1630.0736083984375\n", + "global step=12898304, episodic return=2340.44091796875\n", + "global step=12902400, episodic return=868.1369018554688\n", + "global step=12906496, episodic return=228.3634490966797\n", + "global step=12906496, episodic return=1846.254638671875\n", + "global step=12906496, episodic return=207.76417541503906\n", + "global step=12908544, episodic return=2362.724365234375\n", + "global step=12908544, episodic return=1791.7840576171875\n", + "global step=12912640, episodic return=2340.21337890625\n", + "global step=12912640, episodic return=1710.5330810546875\n", + "global step=12914688, episodic return=2375.495361328125\n", + "global step=12916736, episodic return=2361.68212890625\n", + "global step=12916736, episodic return=2352.700927734375\n", + "global step=12916736, episodic return=2348.5654296875\n", + "global step=12918784, episodic return=2299.6630859375\n", + "global step=12924928, episodic return=219.72434997558594\n", + "global step=12924928, episodic return=2377.003662109375\n", + "global step=12924928, episodic return=208.36756896972656\n", + "global step=12926976, episodic return=2339.24462890625\n", + "global step=12929024, episodic return=2350.6943359375\n", + "global step=12931072, episodic return=2422.45556640625\n", + "global step=12931072, episodic return=210.73477172851562\n", + "global step=12933120, episodic return=1035.0115966796875\n", + "global step=12935168, episodic return=2358.31298828125\n", + "global step=12935168, episodic return=200.8557586669922\n", + "global step=12935168, episodic return=2381.347412109375\n", + "global step=12935168, episodic return=2351.17431640625\n", + "global step=12935168, episodic return=2339.89208984375\n", + "global step=12935168, episodic return=1467.82373046875\n", + "global step=12937216, episodic return=2326.217041015625\n", + "global step=12939264, episodic return=2349.522216796875\n", + "global step=12939264, episodic return=2383.721435546875\n", + "global step=12943360, episodic return=2357.589599609375\n", + "global step=12943360, episodic return=2272.9384765625\n", + "global step=12945408, episodic return=247.9189910888672\n", + "global step=12945408, episodic return=2283.697998046875\n", + "global step=12945408, episodic return=2366.746826171875\n", + "global step=12945408, episodic return=2326.417236328125\n", + "global step=12949504, episodic return=2313.9521484375\n", + "global step=12951552, episodic return=2409.53857421875\n", + "global step=12951552, episodic return=2338.6123046875\n", + "global step=12953600, episodic return=2321.5244140625\n", + "global step=12955648, episodic return=2350.71484375\n", + "global step=12957696, episodic return=2312.71923828125\n", + "global step=12957696, episodic return=2362.865478515625\n", + "global step=12959744, episodic return=2378.2041015625\n", + "global step=12959744, episodic return=2242.6494140625\n", + "global step=12961792, episodic return=2347.031494140625\n", + "global step=12961792, episodic return=2342.161865234375\n", + "global step=12963840, episodic return=1930.246337890625\n", + "global step=12963840, episodic return=2369.47265625\n", + "global step=12963840, episodic return=2343.92724609375\n", + "global step=12965888, episodic return=2365.09375\n", + "global step=12967936, episodic return=2270.068359375\n", + "global step=12967936, episodic return=2269.447265625\n", + "global step=12967936, episodic return=685.5128784179688\n", + "global step=12972032, episodic return=2356.28662109375\n", + "global step=12972032, episodic return=1779.458740234375\n", + "global step=12972032, episodic return=2235.32275390625\n", + "global step=12972032, episodic return=2399.73828125\n", + "global step=12974080, episodic return=2367.430908203125\n", + "global step=12974080, episodic return=2372.819580078125\n", + "global step=12980224, episodic return=2346.610595703125\n", + "global step=12980224, episodic return=2379.693359375\n", + "global step=12982272, episodic return=2062.5771484375\n", + "global step=12982272, episodic return=2327.77099609375\n", + "global step=12982272, episodic return=2369.41845703125\n", + "global step=12984320, episodic return=2262.83544921875\n", + "global step=12986368, episodic return=2415.72314453125\n", + "global step=12986368, episodic return=1044.6737060546875\n", + "global step=12988416, episodic return=2324.533203125\n", + "global step=12988416, episodic return=2313.015380859375\n", + "global step=12990464, episodic return=566.9139404296875\n", + "global step=12990464, episodic return=2348.446533203125\n", + "global step=12992512, episodic return=2372.24169921875\n", + "global step=12994560, episodic return=1989.7532958984375\n", + "global step=12994560, episodic return=471.7278747558594\n", + "global step=12996608, episodic return=2310.763671875\n", + "global step=12998656, episodic return=2353.767333984375\n", + "global step=13000704, episodic return=48.22065734863281\n", + "global step=13000704, episodic return=2333.8271484375\n", + "global step=13000704, episodic return=2313.97900390625\n", + "global step=13002752, episodic return=2329.57763671875\n", + "global step=13002752, episodic return=2385.978271484375\n", + "global step=13002752, episodic return=2361.356689453125\n", + "global step=13006848, episodic return=2353.196044921875\n", + "global step=13006848, episodic return=2228.9013671875\n", + "global step=13008896, episodic return=278.3782043457031\n", + "global step=13008896, episodic return=2364.434814453125\n", + "global step=13008896, episodic return=2292.060791015625\n", + "global step=13008896, episodic return=2345.786865234375\n", + "global step=13010944, episodic return=51.21120071411133\n", + "global step=13010944, episodic return=1858.048095703125\n", + "global step=13012992, episodic return=2328.165283203125\n", + "global step=13015040, episodic return=2360.19580078125\n", + "global step=13015040, episodic return=2345.8505859375\n", + "global step=13015040, episodic return=2336.493408203125\n", + "global step=13017088, episodic return=2355.75048828125\n", + "global step=13019136, episodic return=2304.76953125\n", + "global step=13019136, episodic return=2137.26171875\n", + "global step=13019136, episodic return=2331.300048828125\n", + "global step=13021184, episodic return=2233.586669921875\n", + "global step=13023232, episodic return=2382.703125\n", + "global step=13023232, episodic return=2341.69140625\n", + "global step=13025280, episodic return=656.0036010742188\n", + "global step=13027328, episodic return=2355.0\n", + "global step=13027328, episodic return=2374.472412109375\n", + "global step=13027328, episodic return=2347.7275390625\n", + "global step=13029376, episodic return=2364.164794921875\n", + "global step=13029376, episodic return=171.15989685058594\n", + "global step=13031424, episodic return=2261.14404296875\n", + "global step=13031424, episodic return=1276.86376953125\n", + "global step=13033472, episodic return=1957.4405517578125\n", + "global step=13033472, episodic return=2309.96533203125\n", + "global step=13035520, episodic return=2369.884521484375\n", + "global step=13035520, episodic return=1987.8768310546875\n", + "global step=13035520, episodic return=2335.55908203125\n", + "global step=13037568, episodic return=2317.460693359375\n", + "global step=13039616, episodic return=2348.5009765625\n", + "global step=13039616, episodic return=961.7806396484375\n", + "global step=13041664, episodic return=2345.356201171875\n", + "global step=13041664, episodic return=2358.131591796875\n", + "global step=13041664, episodic return=2060.061767578125\n", + "global step=13041664, episodic return=2390.267822265625\n", + "global step=13045760, episodic return=2367.461669921875\n", + "global step=13047808, episodic return=2375.703857421875\n", + "global step=13049856, episodic return=2295.4912109375\n", + "global step=13049856, episodic return=1135.9356689453125\n", + "global step=13051904, episodic return=2335.189697265625\n", + "global step=13051904, episodic return=1218.56298828125\n", + "global step=13051904, episodic return=2183.15380859375\n", + "global step=13056000, episodic return=2343.335693359375\n", + "global step=13056000, episodic return=2358.55859375\n", + "global step=13058048, episodic return=2328.847412109375\n", + "global step=13060096, episodic return=86.86556243896484\n", + "global step=13060096, episodic return=2308.37060546875\n", + "global step=13060096, episodic return=2323.54052734375\n", + "global step=13060096, episodic return=2033.7110595703125\n", + "global step=13062144, episodic return=2298.91357421875\n", + "global step=13062144, episodic return=152.12225341796875\n", + "global step=13066240, episodic return=723.4814453125\n", + "global step=13070336, episodic return=1378.7318115234375\n", + "global step=13070336, episodic return=1420.5552978515625\n", + "global step=13070336, episodic return=163.05569458007812\n", + "global step=13070336, episodic return=2146.326904296875\n", + "global step=13070336, episodic return=2196.39453125\n", + "global step=13072384, episodic return=2392.731689453125\n", + "global step=13072384, episodic return=2351.96728515625\n", + "global step=13074432, episodic return=2245.634521484375\n", + "global step=13074432, episodic return=1786.186767578125\n", + "global step=13074432, episodic return=2243.112060546875\n", + "global step=13074432, episodic return=658.578857421875\n", + "global step=13074432, episodic return=1704.381103515625\n", + "global step=13076480, episodic return=2310.330078125\n", + "global step=13078528, episodic return=254.64248657226562\n", + "global step=13080576, episodic return=2355.2431640625\n", + "global step=13080576, episodic return=1193.8712158203125\n", + "global step=13080576, episodic return=2264.021240234375\n", + "global step=13080576, episodic return=2036.472412109375\n", + "global step=13080576, episodic return=2297.197509765625\n", + "global step=13082624, episodic return=2369.34423828125\n", + "global step=13082624, episodic return=2311.662353515625\n", + "global step=13082624, episodic return=2350.694091796875\n", + "global step=13082624, episodic return=2304.5\n", + "global step=13084672, episodic return=2392.333740234375\n", + "global step=13086720, episodic return=2278.3173828125\n", + "global step=13086720, episodic return=2340.209716796875\n", + "global step=13088768, episodic return=2373.4951171875\n", + "global step=13088768, episodic return=2300.29736328125\n", + "global step=13088768, episodic return=1825.9698486328125\n", + "global step=13090816, episodic return=2312.33349609375\n", + "global step=13090816, episodic return=2288.093994140625\n", + "global step=13092864, episodic return=2348.275634765625\n", + "global step=13092864, episodic return=2372.897216796875\n", + "global step=13092864, episodic return=2364.3603515625\n", + "global step=13094912, episodic return=2370.063232421875\n", + "global step=13094912, episodic return=2238.22802734375\n", + "global step=13096960, episodic return=2031.3367919921875\n", + "global step=13103104, episodic return=2160.0615234375\n", + "global step=13103104, episodic return=2251.9345703125\n", + "global step=13109248, episodic return=2276.192626953125\n", + "global step=13111296, episodic return=2296.021240234375\n", + "global step=13113344, episodic return=2342.904052734375\n", + "global step=13113344, episodic return=2256.3564453125\n", + "global step=13115392, episodic return=2351.808349609375\n", + "global step=13115392, episodic return=1136.501708984375\n", + "global step=13115392, episodic return=2310.732666015625\n", + "global step=13115392, episodic return=1839.6837158203125\n", + "global step=13115392, episodic return=2232.39453125\n", + "global step=13115392, episodic return=2357.318359375\n", + "global step=13119488, episodic return=2334.491455078125\n", + "global step=13119488, episodic return=2349.66650390625\n", + "global step=13119488, episodic return=2369.28515625\n", + "global step=13119488, episodic return=2332.421630859375\n", + "global step=13119488, episodic return=2227.516845703125\n", + "global step=13119488, episodic return=2351.7197265625\n", + "global step=13121536, episodic return=2377.581298828125\n", + "global step=13121536, episodic return=902.5311279296875\n", + "global step=13121536, episodic return=2290.1220703125\n", + "global step=13123584, episodic return=2336.393798828125\n", + "global step=13125632, episodic return=2290.953125\n", + "global step=13129728, episodic return=2301.154296875\n", + "global step=13131776, episodic return=2243.06396484375\n", + "global step=13133824, episodic return=2324.92724609375\n", + "global step=13133824, episodic return=2311.66845703125\n", + "global step=13137920, episodic return=2277.231201171875\n", + "global step=13137920, episodic return=2243.718017578125\n", + "global step=13142016, episodic return=1814.2672119140625\n", + "global step=13142016, episodic return=2231.02001953125\n", + "global step=13144064, episodic return=1851.0452880859375\n", + "global step=13144064, episodic return=2380.699462890625\n", + "global step=13144064, episodic return=1819.4774169921875\n", + "global step=13148160, episodic return=2266.201904296875\n", + "global step=13148160, episodic return=2327.2724609375\n", + "global step=13148160, episodic return=2255.14306640625\n", + "global step=13148160, episodic return=2321.539306640625\n", + "global step=13150208, episodic return=2413.962890625\n", + "global step=13152256, episodic return=2390.43310546875\n", + "global step=13152256, episodic return=2214.273681640625\n", + "global step=13154304, episodic return=235.161865234375\n", + "global step=13154304, episodic return=2261.75244140625\n", + "global step=13154304, episodic return=2387.8642578125\n", + "global step=13156352, episodic return=2337.07470703125\n", + "global step=13160448, episodic return=2315.97021484375\n", + "global step=13160448, episodic return=2323.982177734375\n", + "global step=13160448, episodic return=991.6353149414062\n", + "global step=13160448, episodic return=2324.11328125\n", + "global step=13162496, episodic return=2302.56591796875\n", + "global step=13162496, episodic return=2308.792724609375\n", + "global step=13164544, episodic return=831.4498901367188\n", + "global step=13166592, episodic return=1310.83251953125\n", + "global step=13166592, episodic return=298.299560546875\n", + "global step=13168640, episodic return=2348.892822265625\n", + "global step=13168640, episodic return=2358.444580078125\n", + "global step=13170688, episodic return=2335.562255859375\n", + "global step=13170688, episodic return=1843.832763671875\n", + "global step=13170688, episodic return=26.85340118408203\n", + "global step=13170688, episodic return=2240.554931640625\n", + "global step=13170688, episodic return=2375.893798828125\n", + "global step=13170688, episodic return=2336.915771484375\n", + "global step=13170688, episodic return=2372.519775390625\n", + "global step=13174784, episodic return=2301.99267578125\n", + "global step=13176832, episodic return=2340.8408203125\n", + "global step=13176832, episodic return=2379.011474609375\n", + "global step=13178880, episodic return=2323.1162109375\n", + "global step=13178880, episodic return=2346.06640625\n", + "global step=13182976, episodic return=2306.953125\n", + "global step=13182976, episodic return=2326.135009765625\n", + "global step=13185024, episodic return=2219.14794921875\n", + "global step=13185024, episodic return=2369.079345703125\n", + "global step=13187072, episodic return=2327.447021484375\n", + "global step=13187072, episodic return=2253.421875\n", + "global step=13189120, episodic return=2345.927734375\n", + "global step=13191168, episodic return=2094.84375\n", + "global step=13191168, episodic return=2406.407958984375\n", + "global step=13193216, episodic return=2314.281982421875\n", + "global step=13193216, episodic return=2327.59130859375\n", + "global step=13193216, episodic return=2332.425048828125\n", + "global step=13193216, episodic return=2365.944091796875\n", + "global step=13195264, episodic return=2330.549560546875\n", + "global step=13195264, episodic return=2382.473876953125\n", + "global step=13197312, episodic return=2335.371337890625\n", + "global step=13199360, episodic return=2331.556396484375\n", + "global step=13201408, episodic return=2320.287353515625\n", + "global step=13201408, episodic return=2263.18798828125\n", + "global step=13201408, episodic return=2239.011474609375\n", + "global step=13203456, episodic return=184.04522705078125\n", + "global step=13203456, episodic return=2070.478271484375\n", + "global step=13203456, episodic return=2361.14404296875\n", + "global step=13203456, episodic return=2340.578857421875\n", + "global step=13207552, episodic return=2314.1708984375\n", + "global step=13209600, episodic return=2382.812744140625\n", + "global step=13211648, episodic return=2333.51611328125\n", + "global step=13211648, episodic return=2375.085205078125\n", + "global step=13211648, episodic return=2309.8076171875\n", + "global step=13213696, episodic return=2314.8212890625\n", + "global step=13215744, episodic return=2285.73388671875\n", + "global step=13215744, episodic return=2319.657958984375\n", + "global step=13215744, episodic return=2289.61767578125\n", + "global step=13215744, episodic return=2305.39794921875\n", + "global step=13215744, episodic return=2340.076904296875\n", + "global step=13215744, episodic return=2340.345947265625\n", + "global step=13217792, episodic return=2365.61865234375\n", + "global step=13217792, episodic return=193.1740264892578\n", + "global step=13217792, episodic return=2288.526123046875\n", + "global step=13217792, episodic return=2350.30126953125\n", + "global step=13219840, episodic return=2347.813232421875\n", + "global step=13221888, episodic return=2352.039794921875\n", + "global step=13221888, episodic return=2281.51220703125\n", + "global step=13221888, episodic return=2358.51806640625\n", + "global step=13221888, episodic return=2332.013427734375\n", + "global step=13225984, episodic return=2284.058837890625\n", + "global step=13228032, episodic return=2303.337890625\n", + "global step=13228032, episodic return=2379.4755859375\n", + "global step=13228032, episodic return=2330.820556640625\n", + "global step=13230080, episodic return=2284.16064453125\n", + "global step=13230080, episodic return=2280.504638671875\n", + "global step=13232128, episodic return=2323.222412109375\n", + "global step=13232128, episodic return=2373.6982421875\n", + "global step=13232128, episodic return=2292.2939453125\n", + "global step=13232128, episodic return=184.05581665039062\n", + "global step=13234176, episodic return=172.75146484375\n", + "global step=13236224, episodic return=839.9674682617188\n", + "global step=13236224, episodic return=2371.416259765625\n", + "global step=13238272, episodic return=2196.744384765625\n", + "global step=13238272, episodic return=2318.752197265625\n", + "global step=13238272, episodic return=2368.014892578125\n", + "global step=13240320, episodic return=2357.412353515625\n", + "global step=13242368, episodic return=2329.254638671875\n", + "global step=13242368, episodic return=163.4475860595703\n", + "global step=13242368, episodic return=2366.080322265625\n", + "global step=13244416, episodic return=2355.38720703125\n", + "global step=13244416, episodic return=2364.261962890625\n", + "global step=13246464, episodic return=2368.427001953125\n", + "global step=13246464, episodic return=2324.372314453125\n", + "global step=13246464, episodic return=2302.0791015625\n", + "global step=13248512, episodic return=241.04026794433594\n", + "global step=13248512, episodic return=2370.28857421875\n", + "global step=13250560, episodic return=2353.177490234375\n", + "global step=13250560, episodic return=2220.419921875\n", + "global step=13250560, episodic return=2359.27490234375\n", + "global step=13250560, episodic return=175.01075744628906\n", + "global step=13250560, episodic return=2343.153564453125\n", + "global step=13252608, episodic return=2303.37353515625\n", + "global step=13252608, episodic return=2346.9130859375\n", + "global step=13252608, episodic return=2338.6982421875\n", + "global step=13254656, episodic return=2359.549560546875\n", + "global step=13254656, episodic return=2351.816650390625\n", + "global step=13256704, episodic return=673.89794921875\n", + "global step=13256704, episodic return=2315.222412109375\n", + "global step=13256704, episodic return=2300.2744140625\n", + "global step=13256704, episodic return=2338.796875\n", + "global step=13258752, episodic return=246.09239196777344\n", + "global step=13258752, episodic return=2323.26025390625\n", + "global step=13260800, episodic return=2376.17333984375\n", + "global step=13260800, episodic return=192.65896606445312\n", + "global step=13262848, episodic return=2307.28271484375\n", + "global step=13262848, episodic return=2350.49755859375\n", + "global step=13262848, episodic return=2325.511474609375\n", + "global step=13264896, episodic return=2341.027587890625\n", + "global step=13264896, episodic return=2355.4521484375\n", + "global step=13264896, episodic return=2320.045166015625\n", + "global step=13266944, episodic return=153.29566955566406\n", + "global step=13266944, episodic return=2322.538818359375\n", + "global step=13268992, episodic return=2345.082275390625\n", + "global step=13268992, episodic return=2305.63818359375\n", + "global step=13268992, episodic return=2309.283447265625\n", + "global step=13268992, episodic return=2282.51123046875\n", + "global step=13268992, episodic return=2336.300048828125\n", + "global step=13271040, episodic return=2361.955078125\n", + "global step=13275136, episodic return=2306.563232421875\n", + "global step=13275136, episodic return=2365.43505859375\n", + "global step=13277184, episodic return=2398.638671875\n", + "global step=13277184, episodic return=2392.4169921875\n", + "global step=13279232, episodic return=2305.365478515625\n", + "global step=13279232, episodic return=2339.838134765625\n", + "global step=13279232, episodic return=2298.717041015625\n", + "global step=13279232, episodic return=2293.35107421875\n", + "global step=13281280, episodic return=2346.8310546875\n", + "global step=13281280, episodic return=2308.96484375\n", + "global step=13281280, episodic return=2335.740234375\n", + "global step=13283328, episodic return=2347.63818359375\n", + "global step=13283328, episodic return=2331.36767578125\n", + "global step=13285376, episodic return=2375.139404296875\n", + "global step=13285376, episodic return=2372.897705078125\n", + "global step=13285376, episodic return=2241.754150390625\n", + "global step=13285376, episodic return=2378.66357421875\n", + "global step=13287424, episodic return=2383.653076171875\n", + "global step=13287424, episodic return=2303.343017578125\n", + "global step=13287424, episodic return=2361.143798828125\n", + "global step=13287424, episodic return=2340.066650390625\n", + "global step=13287424, episodic return=1925.6632080078125\n", + "global step=13287424, episodic return=65.20502471923828\n", + "global step=13291520, episodic return=2300.177978515625\n", + "global step=13293568, episodic return=2366.25341796875\n", + "global step=13293568, episodic return=2357.11083984375\n", + "global step=13295616, episodic return=2345.03173828125\n", + "global step=13295616, episodic return=2323.6923828125\n", + "global step=13295616, episodic return=2394.3173828125\n", + "global step=13297664, episodic return=2352.20263671875\n", + "global step=13297664, episodic return=2299.06298828125\n", + "global step=13297664, episodic return=203.43238830566406\n", + "global step=13297664, episodic return=2320.4814453125\n", + "global step=13299712, episodic return=2390.82421875\n", + "global step=13299712, episodic return=2348.137451171875\n", + "global step=13301760, episodic return=2376.834716796875\n", + "global step=13301760, episodic return=2365.12255859375\n", + "global step=13301760, episodic return=2330.631591796875\n", + "global step=13303808, episodic return=2297.573486328125\n", + "global step=13303808, episodic return=2355.277099609375\n", + "global step=13303808, episodic return=2327.931396484375\n", + "global step=13307904, episodic return=2291.393798828125\n", + "global step=13307904, episodic return=2327.804443359375\n", + "global step=13307904, episodic return=2329.78076171875\n", + "global step=13307904, episodic return=1991.413330078125\n", + "global step=13309952, episodic return=2333.578125\n", + "global step=13309952, episodic return=2399.39453125\n", + "global step=13309952, episodic return=2343.998046875\n", + "global step=13309952, episodic return=2374.318115234375\n", + "global step=13312000, episodic return=679.098388671875\n", + "global step=13312000, episodic return=2365.328125\n", + "global step=13314048, episodic return=2308.523193359375\n", + "global step=13314048, episodic return=2341.845703125\n", + "global step=13314048, episodic return=2302.330810546875\n", + "global step=13314048, episodic return=2298.130126953125\n", + "global step=13314048, episodic return=2334.202392578125\n", + "global step=13316096, episodic return=2375.794189453125\n", + "global step=13316096, episodic return=2342.303466796875\n", + "global step=13318144, episodic return=2338.68359375\n", + "global step=13320192, episodic return=2330.39306640625\n", + "global step=13320192, episodic return=47.06429672241211\n", + "global step=13322240, episodic return=2370.97314453125\n", + "global step=13324288, episodic return=2346.76611328125\n", + "global step=13324288, episodic return=2364.437255859375\n", + "global step=13324288, episodic return=2371.436767578125\n", + "global step=13324288, episodic return=2370.050537109375\n", + "global step=13326336, episodic return=2330.180419921875\n", + "global step=13328384, episodic return=2313.744873046875\n", + "global step=13330432, episodic return=2368.4921875\n", + "global step=13330432, episodic return=2273.27685546875\n", + "global step=13330432, episodic return=2358.27587890625\n", + "global step=13330432, episodic return=1342.283203125\n", + "global step=13332480, episodic return=2340.074462890625\n", + "global step=13332480, episodic return=1208.5482177734375\n", + "global step=13334528, episodic return=2319.452880859375\n", + "global step=13334528, episodic return=2365.245361328125\n", + "global step=13334528, episodic return=2366.053466796875\n", + "global step=13336576, episodic return=2346.917236328125\n", + "global step=13338624, episodic return=2353.345458984375\n", + "global step=13338624, episodic return=2337.93896484375\n", + "global step=13340672, episodic return=2303.912353515625\n", + "global step=13340672, episodic return=2280.74462890625\n", + "global step=13340672, episodic return=2298.23681640625\n", + "global step=13340672, episodic return=2333.394287109375\n", + "global step=13342720, episodic return=2320.201904296875\n", + "global step=13342720, episodic return=2353.1376953125\n", + "global step=13342720, episodic return=2374.99560546875\n", + "global step=13346816, episodic return=2352.57958984375\n", + "global step=13346816, episodic return=2359.642578125\n", + "global step=13346816, episodic return=2349.344482421875\n", + "global step=13348864, episodic return=2328.984619140625\n", + "global step=13348864, episodic return=2317.02783203125\n", + "global step=13348864, episodic return=2253.270751953125\n", + "global step=13350912, episodic return=2382.7392578125\n", + "global step=13350912, episodic return=2328.832763671875\n", + "global step=13352960, episodic return=2356.5615234375\n", + "global step=13352960, episodic return=2381.97509765625\n", + "global step=13355008, episodic return=2328.3115234375\n", + "global step=13355008, episodic return=2375.116943359375\n", + "global step=13357056, episodic return=2377.470703125\n", + "global step=13357056, episodic return=2323.97998046875\n", + "global step=13359104, episodic return=2388.981201171875\n", + "global step=13359104, episodic return=207.87564086914062\n", + "global step=13359104, episodic return=2388.27001953125\n", + "global step=13359104, episodic return=2354.61767578125\n", + "global step=13359104, episodic return=2399.76416015625\n", + "global step=13361152, episodic return=2372.694580078125\n", + "global step=13363200, episodic return=2370.049560546875\n", + "global step=13365248, episodic return=2357.357177734375\n", + "global step=13365248, episodic return=2352.018798828125\n", + "global step=13367296, episodic return=2387.41650390625\n", + "global step=13369344, episodic return=2274.919677734375\n", + "global step=13369344, episodic return=2363.9521484375\n", + "global step=13371392, episodic return=2353.06201171875\n", + "global step=13371392, episodic return=2334.717041015625\n", + "global step=13371392, episodic return=2359.2578125\n", + "global step=13373440, episodic return=2371.122314453125\n", + "global step=13373440, episodic return=2247.071044921875\n", + "global step=13375488, episodic return=2372.2548828125\n", + "global step=13375488, episodic return=2327.589599609375\n", + "global step=13377536, episodic return=2382.73291015625\n", + "global step=13377536, episodic return=1247.208984375\n", + "global step=13377536, episodic return=2222.181396484375\n", + "global step=13377536, episodic return=2323.601806640625\n", + "global step=13377536, episodic return=2356.79833984375\n", + "global step=13379584, episodic return=2347.689453125\n", + "global step=13379584, episodic return=2327.950439453125\n", + "global step=13381632, episodic return=2313.890380859375\n", + "global step=13381632, episodic return=2387.607177734375\n", + "global step=13381632, episodic return=2311.366455078125\n", + "global step=13383680, episodic return=2342.41650390625\n", + "global step=13383680, episodic return=2385.935791015625\n", + "global step=13383680, episodic return=2374.087646484375\n", + "global step=13385728, episodic return=2348.313232421875\n", + "global step=13385728, episodic return=2343.379150390625\n", + "global step=13387776, episodic return=2338.914794921875\n", + "global step=13387776, episodic return=2382.75341796875\n", + "global step=13387776, episodic return=2262.6162109375\n", + "global step=13389824, episodic return=2269.134765625\n", + "global step=13389824, episodic return=2327.08203125\n", + "global step=13389824, episodic return=2181.01904296875\n", + "global step=13389824, episodic return=2216.859130859375\n", + "global step=13391872, episodic return=265.17938232421875\n", + "global step=13391872, episodic return=2351.375\n", + "global step=13393920, episodic return=2363.449951171875\n", + "global step=13393920, episodic return=2398.9375\n", + "global step=13395968, episodic return=2299.05517578125\n", + "global step=13395968, episodic return=2352.463623046875\n", + "global step=13395968, episodic return=44.85769271850586\n", + "global step=13395968, episodic return=2348.549072265625\n", + "global step=13398016, episodic return=2337.911865234375\n", + "global step=13398016, episodic return=2349.534423828125\n", + "global step=13398016, episodic return=2373.067138671875\n", + "global step=13398016, episodic return=2389.1103515625\n", + "global step=13398016, episodic return=2313.8154296875\n", + "global step=13398016, episodic return=2361.418701171875\n", + "global step=13400064, episodic return=2390.242431640625\n", + "global step=13400064, episodic return=2345.02001953125\n", + "global step=13402112, episodic return=2331.942138671875\n", + "global step=13402112, episodic return=966.5523681640625\n", + "global step=13402112, episodic return=2365.676513671875\n", + "global step=13402112, episodic return=2368.33935546875\n", + "global step=13402112, episodic return=2323.1748046875\n", + "global step=13404160, episodic return=2426.1748046875\n", + "global step=13404160, episodic return=2343.928955078125\n", + "global step=13406208, episodic return=2323.02392578125\n", + "global step=13406208, episodic return=2364.695556640625\n", + "global step=13406208, episodic return=2310.321044921875\n", + "global step=13408256, episodic return=2232.617919921875\n", + "global step=13410304, episodic return=2349.65234375\n", + "global step=13410304, episodic return=2325.284912109375\n", + "global step=13412352, episodic return=2414.848876953125\n", + "global step=13412352, episodic return=2377.64990234375\n", + "global step=13412352, episodic return=2321.726318359375\n", + "global step=13414400, episodic return=995.8031005859375\n", + "global step=13414400, episodic return=2369.822998046875\n", + "global step=13416448, episodic return=2317.56396484375\n", + "global step=13416448, episodic return=2346.015869140625\n", + "global step=13416448, episodic return=1027.2030029296875\n", + "global step=13416448, episodic return=17.654916763305664\n", + "global step=13416448, episodic return=2405.9765625\n", + "global step=13416448, episodic return=2368.60302734375\n", + "global step=13418496, episodic return=913.2550048828125\n", + "global step=13420544, episodic return=2375.354736328125\n", + "global step=13420544, episodic return=2307.2158203125\n", + "global step=13420544, episodic return=2345.161865234375\n", + "global step=13420544, episodic return=2389.367431640625\n", + "global step=13422592, episodic return=2312.91748046875\n", + "global step=13422592, episodic return=2367.027587890625\n", + "global step=13422592, episodic return=1287.2509765625\n", + "global step=13422592, episodic return=2337.23583984375\n", + "global step=13424640, episodic return=2378.693359375\n", + "global step=13424640, episodic return=1368.2373046875\n", + "global step=13424640, episodic return=2351.53466796875\n", + "global step=13426688, episodic return=2288.372802734375\n", + "global step=13428736, episodic return=2324.61474609375\n", + "global step=13428736, episodic return=2323.198974609375\n", + "global step=13428736, episodic return=2357.27197265625\n", + "global step=13428736, episodic return=2265.13916015625\n", + "global step=13428736, episodic return=2347.603759765625\n", + "global step=13428736, episodic return=2339.24853515625\n", + "global step=13428736, episodic return=527.3667602539062\n", + "global step=13428736, episodic return=2341.519775390625\n", + "global step=13430784, episodic return=2336.63232421875\n", + "global step=13432832, episodic return=2320.863037109375\n", + "global step=13432832, episodic return=2363.23388671875\n", + "global step=13432832, episodic return=2374.90478515625\n", + "global step=13432832, episodic return=2384.10888671875\n", + "global step=13434880, episodic return=2294.302978515625\n", + "global step=13436928, episodic return=2285.400390625\n", + "global step=13436928, episodic return=2357.4462890625\n", + "global step=13436928, episodic return=2378.86962890625\n", + "global step=13436928, episodic return=2342.04345703125\n", + "global step=13436928, episodic return=2332.130126953125\n", + "global step=13438976, episodic return=2357.34423828125\n", + "global step=13438976, episodic return=2387.4892578125\n", + "global step=13438976, episodic return=946.3218994140625\n", + "global step=13438976, episodic return=2344.2802734375\n", + "global step=13441024, episodic return=2343.725830078125\n", + "global step=13441024, episodic return=2357.8310546875\n", + "global step=13441024, episodic return=2171.219970703125\n", + "global step=13441024, episodic return=2308.305908203125\n", + "global step=13443072, episodic return=2349.63818359375\n", + "global step=13443072, episodic return=2327.789306640625\n", + "global step=13443072, episodic return=2312.33349609375\n", + "global step=13443072, episodic return=2329.725830078125\n", + "global step=13445120, episodic return=2374.655029296875\n", + "global step=13445120, episodic return=2360.260986328125\n", + "global step=13445120, episodic return=2346.925048828125\n", + "global step=13445120, episodic return=2382.939697265625\n", + "global step=13445120, episodic return=2339.3984375\n", + "global step=13445120, episodic return=904.3651733398438\n", + "global step=13447168, episodic return=2319.894287109375\n", + "global step=13447168, episodic return=1764.5257568359375\n", + "global step=13449216, episodic return=2318.965576171875\n", + "global step=13449216, episodic return=2328.572021484375\n", + "global step=13451264, episodic return=2341.0888671875\n", + "global step=13451264, episodic return=2318.693603515625\n", + "global step=13451264, episodic return=2376.637451171875\n", + "global step=13453312, episodic return=2364.96728515625\n", + "global step=13453312, episodic return=2349.79052734375\n", + "global step=13453312, episodic return=2349.769287109375\n", + "global step=13455360, episodic return=2304.15185546875\n", + "global step=13455360, episodic return=2330.75146484375\n", + "global step=13455360, episodic return=2334.565673828125\n", + "global step=13457408, episodic return=2370.056396484375\n", + "global step=13459456, episodic return=2289.590087890625\n", + "global step=13461504, episodic return=2343.80029296875\n", + "global step=13461504, episodic return=2359.787353515625\n", + "global step=13461504, episodic return=2303.94091796875\n", + "global step=13463552, episodic return=2296.16552734375\n", + "global step=13463552, episodic return=2357.364990234375\n", + "global step=13465600, episodic return=2336.09423828125\n", + "global step=13465600, episodic return=2369.102294921875\n", + "global step=13465600, episodic return=2383.54931640625\n", + "global step=13465600, episodic return=2353.2490234375\n", + "global step=13465600, episodic return=2336.12451171875\n", + "global step=13465600, episodic return=2324.454345703125\n", + "global step=13465600, episodic return=2289.499267578125\n", + "global step=13465600, episodic return=2365.168212890625\n", + "global step=13465600, episodic return=2372.025146484375\n", + "global step=13467648, episodic return=2407.422607421875\n", + "global step=13467648, episodic return=249.2654571533203\n", + "global step=13467648, episodic return=2326.94140625\n", + "global step=13467648, episodic return=2298.845458984375\n", + "global step=13467648, episodic return=2388.668212890625\n", + "global step=13469696, episodic return=2384.867431640625\n", + "global step=13469696, episodic return=1770.7596435546875\n", + "global step=13469696, episodic return=2282.089599609375\n", + "global step=13473792, episodic return=2349.693359375\n", + "global step=13473792, episodic return=2358.34130859375\n", + "global step=13473792, episodic return=2192.470703125\n", + "global step=13475840, episodic return=2348.6455078125\n", + "global step=13475840, episodic return=2384.9326171875\n", + "global step=13475840, episodic return=2353.489990234375\n", + "global step=13475840, episodic return=2366.62548828125\n", + "global step=13475840, episodic return=2402.890869140625\n", + "global step=13475840, episodic return=1893.9754638671875\n", + "global step=13477888, episodic return=2209.857177734375\n", + "global step=13479936, episodic return=2315.434814453125\n", + "global step=13479936, episodic return=2275.651123046875\n", + "global step=13479936, episodic return=2353.795166015625\n", + "global step=13481984, episodic return=2293.4140625\n", + "global step=13481984, episodic return=2319.304443359375\n", + "global step=13481984, episodic return=426.851806640625\n", + "global step=13484032, episodic return=2365.838134765625\n", + "global step=13484032, episodic return=2359.13134765625\n", + "global step=13484032, episodic return=2382.77294921875\n", + "global step=13484032, episodic return=1261.573486328125\n", + "global step=13486080, episodic return=2301.372802734375\n", + "global step=13486080, episodic return=2350.172607421875\n", + "global step=13486080, episodic return=57.90626907348633\n", + "global step=13486080, episodic return=2343.330810546875\n", + "global step=13486080, episodic return=2264.973388671875\n", + "global step=13488128, episodic return=2116.6845703125\n", + "global step=13488128, episodic return=2366.040771484375\n", + "global step=13488128, episodic return=2204.073974609375\n", + "global step=13490176, episodic return=2387.1396484375\n", + "global step=13490176, episodic return=2409.632568359375\n", + "global step=13490176, episodic return=2292.204833984375\n", + "global step=13490176, episodic return=2308.69287109375\n", + "global step=13492224, episodic return=1446.3466796875\n", + "global step=13494272, episodic return=2360.2041015625\n", + "global step=13494272, episodic return=2297.714599609375\n", + "global step=13494272, episodic return=2302.038330078125\n", + "global step=13494272, episodic return=1049.873291015625\n", + "global step=13496320, episodic return=2240.491943359375\n", + "global step=13496320, episodic return=1434.2628173828125\n", + "global step=13496320, episodic return=921.3870849609375\n", + "global step=13496320, episodic return=2357.878662109375\n", + "global step=13496320, episodic return=2344.777099609375\n", + "global step=13496320, episodic return=1432.1806640625\n", + "global step=13498368, episodic return=198.27049255371094\n", + "global step=13498368, episodic return=2345.5390625\n", + "global step=13500416, episodic return=2358.28662109375\n", + "global step=13500416, episodic return=2322.343017578125\n", + "global step=13502464, episodic return=238.9180908203125\n", + "global step=13502464, episodic return=2149.277099609375\n", + "global step=13502464, episodic return=2347.468505859375\n", + "global step=13504512, episodic return=1069.38037109375\n", + "global step=13504512, episodic return=2357.769287109375\n", + "global step=13506560, episodic return=2379.5439453125\n", + "global step=13508608, episodic return=2251.842041015625\n", + "global step=13508608, episodic return=2336.498291015625\n", + "global step=13508608, episodic return=2311.187255859375\n", + "global step=13510656, episodic return=2242.83203125\n", + "global step=13510656, episodic return=2308.264404296875\n", + "global step=13510656, episodic return=2271.406982421875\n", + "global step=13510656, episodic return=2332.32568359375\n", + "global step=13510656, episodic return=551.6978149414062\n", + "global step=13510656, episodic return=2236.75048828125\n", + "global step=13512704, episodic return=2333.84716796875\n", + "global step=13512704, episodic return=2302.500244140625\n", + "global step=13512704, episodic return=2076.013916015625\n", + "global step=13512704, episodic return=2273.61376953125\n", + "global step=13512704, episodic return=2304.240478515625\n", + "global step=13514752, episodic return=2332.72509765625\n", + "global step=13514752, episodic return=2355.0966796875\n", + "global step=13514752, episodic return=246.5659637451172\n", + "global step=13516800, episodic return=2278.98974609375\n", + "global step=13516800, episodic return=2308.01953125\n", + "global step=13516800, episodic return=2350.171630859375\n", + "global step=13516800, episodic return=2194.639404296875\n", + "global step=13516800, episodic return=2243.371826171875\n", + "global step=13516800, episodic return=2375.669677734375\n", + "global step=13516800, episodic return=2312.857666015625\n", + "global step=13518848, episodic return=2313.693359375\n", + "global step=13518848, episodic return=2309.57861328125\n", + "global step=13518848, episodic return=2271.55859375\n", + "global step=13520896, episodic return=2351.52490234375\n", + "global step=13520896, episodic return=1791.479248046875\n", + "global step=13520896, episodic return=2333.291259765625\n", + "global step=13520896, episodic return=2339.01123046875\n", + "global step=13522944, episodic return=2318.60498046875\n", + "global step=13522944, episodic return=1871.410888671875\n", + "global step=13522944, episodic return=2373.576904296875\n", + "global step=13524992, episodic return=2285.889404296875\n", + "global step=13524992, episodic return=2258.998779296875\n", + "global step=13527040, episodic return=2343.42138671875\n", + "global step=13529088, episodic return=2332.869384765625\n", + "global step=13529088, episodic return=2240.9052734375\n", + "global step=13531136, episodic return=2320.910888671875\n", + "global step=13531136, episodic return=2347.675048828125\n", + "global step=13531136, episodic return=2305.060546875\n", + "global step=13531136, episodic return=2322.023193359375\n", + "global step=13531136, episodic return=690.652587890625\n", + "global step=13531136, episodic return=1086.210205078125\n", + "global step=13533184, episodic return=2312.388427734375\n", + "global step=13533184, episodic return=2336.56494140625\n", + "global step=13533184, episodic return=2252.10791015625\n", + "global step=13533184, episodic return=2271.06689453125\n", + "global step=13535232, episodic return=198.9722900390625\n", + "global step=13535232, episodic return=2350.990234375\n", + "global step=13535232, episodic return=19.471254348754883\n", + "global step=13535232, episodic return=2346.521240234375\n", + "global step=13535232, episodic return=2340.396728515625\n", + "global step=13535232, episodic return=213.29795837402344\n", + "global step=13537280, episodic return=2327.966552734375\n", + "global step=13537280, episodic return=2189.9189453125\n", + "global step=13539328, episodic return=2181.381591796875\n", + "global step=13539328, episodic return=2241.965576171875\n", + "global step=13539328, episodic return=2327.104248046875\n", + "global step=13539328, episodic return=2320.04150390625\n", + "global step=13541376, episodic return=2385.598876953125\n", + "global step=13541376, episodic return=47.96854019165039\n", + "global step=13541376, episodic return=2379.973876953125\n", + "global step=13541376, episodic return=60.17254638671875\n", + "global step=13543424, episodic return=2342.41162109375\n", + "global step=13543424, episodic return=2295.140380859375\n", + "global step=13545472, episodic return=2189.85986328125\n", + "global step=13545472, episodic return=2267.059814453125\n", + "global step=13545472, episodic return=61.42423629760742\n", + "global step=13545472, episodic return=2273.222412109375\n", + "global step=13545472, episodic return=2317.283447265625\n", + "global step=13547520, episodic return=51.46395492553711\n", + "global step=13547520, episodic return=2257.005859375\n", + "global step=13549568, episodic return=2328.96630859375\n", + "global step=13551616, episodic return=2288.192138671875\n", + "global step=13551616, episodic return=2308.766845703125\n", + "global step=13553664, episodic return=2302.70849609375\n", + "global step=13553664, episodic return=1166.736328125\n", + "global step=13553664, episodic return=2242.658447265625\n", + "global step=13555712, episodic return=2363.874267578125\n", + "global step=13555712, episodic return=2322.9052734375\n", + "global step=13555712, episodic return=2303.93701171875\n", + "global step=13555712, episodic return=2324.2783203125\n", + "global step=13555712, episodic return=2238.697509765625\n", + "global step=13555712, episodic return=2312.925048828125\n", + "global step=13555712, episodic return=2216.359619140625\n", + "global step=13557760, episodic return=2282.135009765625\n", + "global step=13557760, episodic return=2307.687255859375\n", + "global step=13557760, episodic return=2337.450439453125\n", + "global step=13559808, episodic return=1138.7576904296875\n", + "global step=13559808, episodic return=2308.665771484375\n", + "global step=13559808, episodic return=1576.3258056640625\n", + "global step=13559808, episodic return=2348.625\n", + "global step=13561856, episodic return=2409.76904296875\n", + "global step=13561856, episodic return=2297.3896484375\n", + "global step=13561856, episodic return=900.1126708984375\n", + "global step=13563904, episodic return=2338.94189453125\n", + "global step=13563904, episodic return=2247.33447265625\n", + "global step=13563904, episodic return=2370.661865234375\n", + "global step=13563904, episodic return=2259.479736328125\n", + "global step=13563904, episodic return=2339.168701171875\n", + "global step=13563904, episodic return=2366.44873046875\n", + "global step=13563904, episodic return=1034.7034912109375\n", + "global step=13568000, episodic return=2253.30859375\n", + "global step=13570048, episodic return=2356.691162109375\n", + "global step=13572096, episodic return=2356.675048828125\n", + "global step=13572096, episodic return=1138.729736328125\n", + "global step=13572096, episodic return=2324.91015625\n", + "global step=13574144, episodic return=2328.6064453125\n", + "global step=13574144, episodic return=2276.42724609375\n", + "global step=13576192, episodic return=1391.7366943359375\n", + "global step=13578240, episodic return=2351.919677734375\n", + "global step=13578240, episodic return=2340.811767578125\n", + "global step=13578240, episodic return=2310.409423828125\n", + "global step=13580288, episodic return=834.8963623046875\n", + "global step=13580288, episodic return=2369.975830078125\n", + "global step=13580288, episodic return=2209.421630859375\n", + "global step=13580288, episodic return=2353.102294921875\n", + "global step=13580288, episodic return=1685.705322265625\n", + "global step=13580288, episodic return=2374.9111328125\n", + "global step=13582336, episodic return=2302.626220703125\n", + "global step=13582336, episodic return=1522.65966796875\n", + "global step=13584384, episodic return=2310.162841796875\n", + "global step=13584384, episodic return=2224.763427734375\n", + "global step=13584384, episodic return=2337.86767578125\n", + "global step=13586432, episodic return=1076.8841552734375\n", + "global step=13586432, episodic return=1467.9697265625\n", + "global step=13586432, episodic return=2307.683349609375\n", + "global step=13588480, episodic return=2243.138427734375\n", + "global step=13588480, episodic return=2294.756591796875\n", + "global step=13590528, episodic return=2343.6943359375\n", + "global step=13590528, episodic return=2294.41455078125\n", + "global step=13592576, episodic return=1412.8424072265625\n", + "global step=13592576, episodic return=181.81129455566406\n", + "global step=13592576, episodic return=565.0529174804688\n", + "global step=13592576, episodic return=1762.967529296875\n", + "global step=13594624, episodic return=2289.5791015625\n", + "global step=13596672, episodic return=2348.20166015625\n", + "global step=13596672, episodic return=487.67584228515625\n", + "global step=13596672, episodic return=2396.736328125\n", + "global step=13596672, episodic return=2291.220947265625\n", + "global step=13596672, episodic return=1748.1483154296875\n", + "global step=13598720, episodic return=2345.523193359375\n", + "global step=13598720, episodic return=2355.635009765625\n", + "global step=13598720, episodic return=2342.85546875\n", + "global step=13598720, episodic return=2366.442138671875\n", + "global step=13598720, episodic return=2326.779296875\n", + "global step=13598720, episodic return=1930.4373779296875\n", + "global step=13600768, episodic return=2320.059326171875\n", + "global step=13600768, episodic return=2355.33056640625\n", + "global step=13600768, episodic return=1829.7589111328125\n", + "global step=13600768, episodic return=2196.0810546875\n", + "global step=13602816, episodic return=124.1312026977539\n", + "global step=13602816, episodic return=2358.974853515625\n", + "global step=13602816, episodic return=993.6887817382812\n", + "global step=13602816, episodic return=1872.3665771484375\n", + "global step=13604864, episodic return=2324.86376953125\n", + "global step=13604864, episodic return=2151.16845703125\n", + "global step=13606912, episodic return=1001.0910034179688\n", + "global step=13606912, episodic return=996.4945068359375\n", + "global step=13606912, episodic return=1256.8421630859375\n", + "global step=13606912, episodic return=2326.93994140625\n", + "global step=13608960, episodic return=2314.12451171875\n", + "global step=13608960, episodic return=1922.4688720703125\n", + "global step=13608960, episodic return=1542.47412109375\n", + "global step=13608960, episodic return=1634.2288818359375\n", + "global step=13608960, episodic return=256.66131591796875\n", + "global step=13608960, episodic return=1511.8148193359375\n", + "global step=13611008, episodic return=2247.762939453125\n", + "global step=13611008, episodic return=2364.0322265625\n", + "global step=13611008, episodic return=2297.6201171875\n", + "global step=13613056, episodic return=2207.925048828125\n", + "global step=13613056, episodic return=1786.7596435546875\n", + "global step=13613056, episodic return=653.039306640625\n", + "global step=13615104, episodic return=2254.775390625\n", + "global step=13619200, episodic return=1795.559814453125\n", + "global step=13621248, episodic return=1111.716796875\n", + "global step=13621248, episodic return=2295.504638671875\n", + "global step=13621248, episodic return=203.32110595703125\n", + "global step=13621248, episodic return=2337.541015625\n", + "global step=13621248, episodic return=907.75634765625\n", + "global step=13621248, episodic return=1056.0390625\n", + "global step=13621248, episodic return=2349.72607421875\n", + "global step=13621248, episodic return=2339.648193359375\n", + "global step=13621248, episodic return=509.3998107910156\n", + "global step=13623296, episodic return=2303.849365234375\n", + "global step=13623296, episodic return=2308.347900390625\n", + "global step=13623296, episodic return=2258.116455078125\n", + "global step=13625344, episodic return=2332.73876953125\n", + "global step=13625344, episodic return=2341.3125\n", + "global step=13625344, episodic return=1911.2801513671875\n", + "global step=13627392, episodic return=2271.59375\n", + "global step=13627392, episodic return=37.87004089355469\n", + "global step=13627392, episodic return=549.1375122070312\n", + "global step=13627392, episodic return=832.9395751953125\n", + "global step=13627392, episodic return=2301.107666015625\n", + "global step=13629440, episodic return=680.9442749023438\n", + "global step=13629440, episodic return=2370.40283203125\n", + "global step=13631488, episodic return=2189.17431640625\n", + "global step=13631488, episodic return=2316.54150390625\n", + "global step=13631488, episodic return=98.94055938720703\n", + "global step=13631488, episodic return=2282.185302734375\n", + "global step=13633536, episodic return=1454.5638427734375\n", + "global step=13633536, episodic return=2224.336181640625\n", + "global step=13633536, episodic return=2361.635986328125\n", + "global step=13635584, episodic return=438.6815185546875\n", + "global step=13635584, episodic return=628.1475219726562\n", + "global step=13635584, episodic return=2081.5234375\n", + "global step=13635584, episodic return=2337.257080078125\n", + "global step=13637632, episodic return=2345.24365234375\n", + "global step=13637632, episodic return=1530.7259521484375\n", + "global step=13639680, episodic return=421.3977966308594\n", + "global step=13639680, episodic return=2340.458984375\n", + "global step=13639680, episodic return=1288.0513916015625\n", + "global step=13639680, episodic return=1603.1143798828125\n", + "global step=13639680, episodic return=1776.646728515625\n", + "global step=13641728, episodic return=2375.081298828125\n", + "global step=13641728, episodic return=1925.5390625\n", + "global step=13643776, episodic return=1385.624755859375\n", + "global step=13643776, episodic return=2343.67041015625\n", + "global step=13643776, episodic return=2316.934814453125\n", + "global step=13643776, episodic return=1742.3878173828125\n", + "global step=13643776, episodic return=2363.209716796875\n", + "global step=13643776, episodic return=270.1809387207031\n", + "global step=13645824, episodic return=2341.410888671875\n", + "global step=13645824, episodic return=2341.904052734375\n", + "global step=13645824, episodic return=879.0798950195312\n", + "global step=13647872, episodic return=1636.8726806640625\n", + "global step=13647872, episodic return=573.111328125\n", + "global step=13647872, episodic return=2346.872314453125\n", + "global step=13649920, episodic return=1086.906494140625\n", + "global step=13649920, episodic return=1926.5556640625\n", + "global step=13649920, episodic return=2283.23193359375\n", + "global step=13649920, episodic return=2134.393310546875\n", + "global step=13649920, episodic return=2138.496337890625\n", + "global step=13649920, episodic return=452.2523193359375\n", + "global step=13651968, episodic return=1923.498779296875\n", + "global step=13651968, episodic return=2333.8076171875\n", + "global step=13651968, episodic return=2326.98779296875\n", + "global step=13651968, episodic return=2240.138916015625\n", + "global step=13654016, episodic return=805.5748291015625\n", + "global step=13654016, episodic return=2021.4046630859375\n", + "global step=13654016, episodic return=931.1640625\n", + "global step=13654016, episodic return=2024.4195556640625\n", + "global step=13656064, episodic return=1095.880859375\n", + "global step=13656064, episodic return=1089.55859375\n", + "global step=13656064, episodic return=2253.266845703125\n", + "global step=13658112, episodic return=2224.939453125\n", + "global step=13658112, episodic return=1614.20654296875\n", + "global step=13660160, episodic return=2333.160400390625\n", + "global step=13662208, episodic return=1825.1927490234375\n", + "global step=13662208, episodic return=1069.5108642578125\n", + "global step=13664256, episodic return=618.8284912109375\n", + "global step=13664256, episodic return=1654.861083984375\n", + "global step=13666304, episodic return=2269.987548828125\n", + "global step=13666304, episodic return=1720.8955078125\n", + "global step=13668352, episodic return=1650.48291015625\n", + "global step=13668352, episodic return=2329.19677734375\n", + "global step=13670400, episodic return=2303.807861328125\n", + "global step=13670400, episodic return=1523.510498046875\n", + "global step=13670400, episodic return=2209.4296875\n", + "global step=13672448, episodic return=1606.5401611328125\n", + "global step=13672448, episodic return=1332.485595703125\n", + "global step=13674496, episodic return=677.9772338867188\n", + "global step=13674496, episodic return=1822.35205078125\n", + "global step=13674496, episodic return=2243.814697265625\n", + "global step=13674496, episodic return=2320.3486328125\n", + "global step=13674496, episodic return=706.7119750976562\n", + "global step=13674496, episodic return=2057.1533203125\n", + "global step=13676544, episodic return=2116.0166015625\n", + "global step=13676544, episodic return=2365.29248046875\n", + "global step=13676544, episodic return=2329.16162109375\n", + "global step=13676544, episodic return=1588.5872802734375\n", + "global step=13676544, episodic return=2311.195068359375\n", + "global step=13678592, episodic return=2292.5146484375\n", + "global step=13678592, episodic return=899.4339599609375\n", + "global step=13678592, episodic return=1360.761474609375\n", + "global step=13680640, episodic return=625.5054931640625\n", + "global step=13680640, episodic return=1697.42724609375\n", + "global step=13680640, episodic return=1496.17626953125\n", + "global step=13680640, episodic return=2387.1044921875\n", + "global step=13682688, episodic return=2342.360595703125\n", + "global step=13682688, episodic return=2315.83154296875\n", + "global step=13682688, episodic return=2265.853759765625\n", + "global step=13682688, episodic return=984.0904541015625\n", + "global step=13682688, episodic return=1605.918212890625\n", + "global step=13682688, episodic return=2264.578125\n", + "global step=13682688, episodic return=2320.926025390625\n", + "global step=13686784, episodic return=1907.703125\n", + "global step=13686784, episodic return=2347.724853515625\n", + "global step=13688832, episodic return=2344.336181640625\n", + "global step=13688832, episodic return=760.7039794921875\n", + "global step=13688832, episodic return=1688.5230712890625\n", + "global step=13688832, episodic return=1953.1009521484375\n", + "global step=13688832, episodic return=2375.179443359375\n", + "global step=13690880, episodic return=2355.910400390625\n", + "global step=13690880, episodic return=2340.517822265625\n", + "global step=13690880, episodic return=1855.8583984375\n", + "global step=13690880, episodic return=2253.67041015625\n", + "global step=13692928, episodic return=2125.57177734375\n", + "global step=13692928, episodic return=1621.510498046875\n", + "global step=13694976, episodic return=686.4022216796875\n", + "global step=13694976, episodic return=1227.9549560546875\n", + "global step=13694976, episodic return=2394.827392578125\n", + "global step=13694976, episodic return=2287.3388671875\n", + "global step=13697024, episodic return=2315.273193359375\n", + "global step=13699072, episodic return=1252.5269775390625\n", + "global step=13701120, episodic return=2304.70849609375\n", + "global step=13701120, episodic return=2291.896728515625\n", + "global step=13703168, episodic return=2318.237548828125\n", + "global step=13703168, episodic return=2224.768310546875\n", + "global step=13703168, episodic return=2374.50830078125\n", + "global step=13703168, episodic return=1961.2449951171875\n", + "global step=13703168, episodic return=1752.1611328125\n", + "global step=13703168, episodic return=2276.019287109375\n", + "global step=13705216, episodic return=486.81640625\n", + "global step=13705216, episodic return=2287.271728515625\n", + "global step=13705216, episodic return=1170.537353515625\n", + "global step=13707264, episodic return=2301.786865234375\n", + "global step=13707264, episodic return=1389.279541015625\n", + "global step=13709312, episodic return=1294.00244140625\n", + "global step=13709312, episodic return=2303.832763671875\n", + "global step=13711360, episodic return=1444.76513671875\n", + "global step=13711360, episodic return=2320.182373046875\n", + "global step=13711360, episodic return=2305.345458984375\n", + "global step=13713408, episodic return=2322.060791015625\n", + "global step=13713408, episodic return=2309.42236328125\n", + "global step=13713408, episodic return=2292.19189453125\n", + "global step=13713408, episodic return=2356.568603515625\n", + "global step=13715456, episodic return=2153.395751953125\n", + "global step=13715456, episodic return=2217.349609375\n", + "global step=13715456, episodic return=2274.021728515625\n", + "global step=13715456, episodic return=2272.71484375\n", + "global step=13717504, episodic return=1672.40625\n", + "global step=13717504, episodic return=1147.3583984375\n", + "global step=13717504, episodic return=2313.277587890625\n", + "global step=13719552, episodic return=2198.089111328125\n", + "global step=13719552, episodic return=2136.8603515625\n", + "global step=13719552, episodic return=2288.58984375\n", + "global step=13719552, episodic return=2360.48681640625\n", + "global step=13719552, episodic return=2291.778564453125\n", + "global step=13721600, episodic return=1905.309326171875\n", + "global step=13721600, episodic return=1542.38427734375\n", + "global step=13721600, episodic return=2245.14111328125\n", + "global step=13725696, episodic return=2176.23291015625\n", + "global step=13727744, episodic return=2346.03564453125\n", + "global step=13729792, episodic return=2283.513427734375\n", + "global step=13729792, episodic return=2307.695556640625\n", + "global step=13729792, episodic return=2173.68017578125\n", + "global step=13731840, episodic return=2334.4560546875\n", + "global step=13731840, episodic return=1825.5133056640625\n", + "global step=13733888, episodic return=2317.657470703125\n", + "global step=13733888, episodic return=2289.489990234375\n", + "global step=13735936, episodic return=2222.49853515625\n", + "global step=13735936, episodic return=2254.321044921875\n", + "global step=13735936, episodic return=2305.841064453125\n", + "global step=13737984, episodic return=1786.6961669921875\n", + "global step=13737984, episodic return=224.66432189941406\n", + "global step=13740032, episodic return=209.00018310546875\n", + "global step=13740032, episodic return=2248.882080078125\n", + "global step=13740032, episodic return=282.6017761230469\n", + "global step=13740032, episodic return=2300.036376953125\n", + "global step=13742080, episodic return=2313.000244140625\n", + "global step=13742080, episodic return=983.7588500976562\n", + "global step=13742080, episodic return=2296.782958984375\n", + "global step=13744128, episodic return=1819.4083251953125\n", + "global step=13746176, episodic return=2277.685791015625\n", + "global step=13748224, episodic return=2200.2255859375\n", + "global step=13750272, episodic return=2262.241455078125\n", + "global step=13750272, episodic return=226.17605590820312\n", + "global step=13752320, episodic return=317.08148193359375\n", + "global step=13752320, episodic return=2173.632080078125\n", + "global step=13754368, episodic return=2170.95263671875\n", + "global step=13754368, episodic return=2352.602294921875\n", + "global step=13756416, episodic return=2210.23681640625\n", + "global step=13756416, episodic return=1869.4185791015625\n", + "global step=13758464, episodic return=1024.45263671875\n", + "global step=13758464, episodic return=1992.5579833984375\n", + "global step=13758464, episodic return=2308.765625\n", + "global step=13758464, episodic return=2310.59423828125\n", + "global step=13760512, episodic return=2241.7353515625\n", + "global step=13762560, episodic return=2315.119384765625\n", + "global step=13762560, episodic return=277.59967041015625\n", + "global step=13762560, episodic return=1989.66357421875\n", + "global step=13762560, episodic return=2352.41259765625\n", + "global step=13762560, episodic return=209.1458282470703\n", + "global step=13764608, episodic return=2169.150634765625\n", + "global step=13764608, episodic return=2267.017333984375\n", + "global step=13766656, episodic return=48.46775817871094\n", + "global step=13768704, episodic return=2234.18115234375\n", + "global step=13768704, episodic return=243.331298828125\n", + "global step=13770752, episodic return=2227.187744140625\n", + "global step=13770752, episodic return=2238.315185546875\n", + "global step=13772800, episodic return=2260.52587890625\n", + "global step=13776896, episodic return=2294.726318359375\n", + "global step=13778944, episodic return=2200.341796875\n", + "global step=13778944, episodic return=1525.9715576171875\n", + "global step=13778944, episodic return=2288.574462890625\n", + "global step=13778944, episodic return=2307.044189453125\n", + "global step=13780992, episodic return=2238.943359375\n", + "global step=13783040, episodic return=2295.8310546875\n", + "global step=13785088, episodic return=1899.09228515625\n", + "global step=13787136, episodic return=2284.33447265625\n", + "global step=13789184, episodic return=2282.075439453125\n", + "global step=13789184, episodic return=2101.8056640625\n", + "global step=13789184, episodic return=1030.1845703125\n", + "global step=13795328, episodic return=1034.99560546875\n", + "global step=13797376, episodic return=2372.909912109375\n", + "global step=13797376, episodic return=2222.62451171875\n", + "global step=13797376, episodic return=1981.0927734375\n", + "global step=13797376, episodic return=2285.705078125\n", + "global step=13797376, episodic return=226.28294372558594\n", + "global step=13799424, episodic return=2217.916259765625\n", + "global step=13799424, episodic return=203.41807556152344\n", + "global step=13801472, episodic return=257.8490905761719\n", + "global step=13801472, episodic return=2297.3427734375\n", + "global step=13801472, episodic return=2157.154052734375\n", + "global step=13801472, episodic return=2317.361328125\n", + "global step=13801472, episodic return=1094.614990234375\n", + "global step=13803520, episodic return=2183.261474609375\n", + "global step=13805568, episodic return=2323.886474609375\n", + "global step=13807616, episodic return=2242.537841796875\n", + "global step=13807616, episodic return=2259.9697265625\n", + "global step=13809664, episodic return=2237.40625\n", + "global step=13809664, episodic return=2168.567626953125\n", + "global step=13809664, episodic return=177.75987243652344\n", + "global step=13809664, episodic return=980.394287109375\n", + "global step=13811712, episodic return=1814.9376220703125\n", + "global step=13811712, episodic return=2219.930419921875\n", + "global step=13811712, episodic return=285.5547180175781\n", + "global step=13813760, episodic return=49.71995162963867\n", + "global step=13813760, episodic return=2297.283203125\n", + "global step=13815808, episodic return=2278.343994140625\n", + "global step=13819904, episodic return=1899.679443359375\n", + "global step=13819904, episodic return=2325.5537109375\n", + "global step=13819904, episodic return=2363.517578125\n", + "global step=13821952, episodic return=2319.523681640625\n", + "global step=13824000, episodic return=2287.952392578125\n", + "global step=13824000, episodic return=1779.126220703125\n", + "global step=13826048, episodic return=1933.4791259765625\n", + "global step=13828096, episodic return=2316.272216796875\n", + "global step=13830144, episodic return=2307.1845703125\n", + "global step=13830144, episodic return=2150.0810546875\n", + "global step=13832192, episodic return=2298.26416015625\n", + "global step=13834240, episodic return=2339.224853515625\n", + "global step=13834240, episodic return=2248.07080078125\n", + "global step=13834240, episodic return=2328.584716796875\n", + "global step=13834240, episodic return=677.9970703125\n", + "global step=13836288, episodic return=2199.96826171875\n", + "global step=13838336, episodic return=2367.15869140625\n", + "global step=13838336, episodic return=2203.69775390625\n", + "global step=13838336, episodic return=2305.253662109375\n", + "global step=13838336, episodic return=2323.112060546875\n", + "global step=13838336, episodic return=2310.59912109375\n", + "global step=13842432, episodic return=1339.46630859375\n", + "global step=13842432, episodic return=1762.01220703125\n", + "global step=13842432, episodic return=2322.89697265625\n", + "global step=13844480, episodic return=2325.3994140625\n", + "global step=13844480, episodic return=2357.9931640625\n", + "global step=13844480, episodic return=2205.156494140625\n", + "global step=13846528, episodic return=43.83116912841797\n", + "global step=13846528, episodic return=2290.81591796875\n", + "global step=13848576, episodic return=2215.17822265625\n", + "global step=13848576, episodic return=2294.799072265625\n", + "global step=13850624, episodic return=2299.6220703125\n", + "global step=13850624, episodic return=1410.0694580078125\n", + "global step=13854720, episodic return=2323.4384765625\n", + "global step=13858816, episodic return=2331.532470703125\n", + "global step=13858816, episodic return=2255.90234375\n", + "global step=13858816, episodic return=2262.250732421875\n", + "global step=13860864, episodic return=784.9723510742188\n", + "global step=13860864, episodic return=2279.305908203125\n", + "global step=13860864, episodic return=2171.519775390625\n", + "global step=13860864, episodic return=2239.1728515625\n", + "global step=13860864, episodic return=2210.5439453125\n", + "global step=13862912, episodic return=2332.277099609375\n", + "global step=13862912, episodic return=2341.46337890625\n", + "global step=13867008, episodic return=2336.2587890625\n", + "global step=13869056, episodic return=2251.84423828125\n", + "global step=13873152, episodic return=2233.0107421875\n", + "global step=13873152, episodic return=2311.55078125\n", + "global step=13875200, episodic return=1951.2073974609375\n", + "global step=13879296, episodic return=883.95849609375\n", + "global step=13883392, episodic return=2299.3720703125\n", + "global step=13883392, episodic return=2318.5546875\n", + "global step=13883392, episodic return=2336.1865234375\n", + "global step=13883392, episodic return=2224.96142578125\n", + "global step=13885440, episodic return=2328.1279296875\n", + "global step=13885440, episodic return=2154.527587890625\n", + "global step=13885440, episodic return=2234.429443359375\n", + "global step=13887488, episodic return=2274.673583984375\n", + "global step=13887488, episodic return=315.04290771484375\n", + "global step=13889536, episodic return=2379.465087890625\n", + "global step=13889536, episodic return=172.5687713623047\n", + "global step=13891584, episodic return=2307.309326171875\n", + "global step=13891584, episodic return=2140.230712890625\n", + "global step=13893632, episodic return=2253.935546875\n", + "global step=13895680, episodic return=2372.37109375\n", + "global step=13895680, episodic return=2017.7025146484375\n", + "global step=13895680, episodic return=2206.8603515625\n", + "global step=13897728, episodic return=2267.662109375\n", + "global step=13899776, episodic return=2266.15625\n", + "global step=13899776, episodic return=2202.31298828125\n", + "global step=13899776, episodic return=2272.020751953125\n", + "global step=13901824, episodic return=2347.359375\n", + "global step=13901824, episodic return=2264.14453125\n", + "global step=13903872, episodic return=2186.855224609375\n", + "global step=13903872, episodic return=2270.974365234375\n", + "global step=13905920, episodic return=1961.0347900390625\n", + "global step=13907968, episodic return=2274.636962890625\n", + "global step=13907968, episodic return=2090.91455078125\n", + "global step=13907968, episodic return=2322.8193359375\n", + "global step=13910016, episodic return=2289.97216796875\n", + "global step=13910016, episodic return=2283.561767578125\n", + "global step=13910016, episodic return=2244.66796875\n", + "global step=13910016, episodic return=165.6596221923828\n", + "global step=13912064, episodic return=2277.6689453125\n", + "global step=13912064, episodic return=2349.841552734375\n", + "global step=13912064, episodic return=214.9631805419922\n", + "global step=13912064, episodic return=2233.558349609375\n", + "global step=13914112, episodic return=2197.752685546875\n", + "global step=13914112, episodic return=2324.74658203125\n", + "global step=13916160, episodic return=2297.943603515625\n", + "global step=13916160, episodic return=2249.98291015625\n", + "global step=13916160, episodic return=2303.635498046875\n", + "global step=13916160, episodic return=1646.9461669921875\n", + "global step=13918208, episodic return=206.5015869140625\n", + "global step=13918208, episodic return=2195.349609375\n", + "global step=13918208, episodic return=178.64781188964844\n", + "global step=13918208, episodic return=2208.197265625\n", + "global step=13920256, episodic return=2308.370849609375\n", + "global step=13922304, episodic return=2261.53515625\n", + "global step=13922304, episodic return=2262.772216796875\n", + "global step=13922304, episodic return=2295.58544921875\n", + "global step=13922304, episodic return=2333.322265625\n", + "global step=13922304, episodic return=217.21429443359375\n", + "global step=13924352, episodic return=2241.957763671875\n", + "global step=13926400, episodic return=2201.8857421875\n", + "global step=13926400, episodic return=2318.303466796875\n", + "global step=13926400, episodic return=285.9691162109375\n", + "global step=13928448, episodic return=167.2434844970703\n", + "global step=13928448, episodic return=2335.596923828125\n", + "global step=13928448, episodic return=824.8162231445312\n", + "global step=13928448, episodic return=2331.754638671875\n", + "global step=13930496, episodic return=2303.1591796875\n", + "global step=13930496, episodic return=1991.6055908203125\n", + "global step=13930496, episodic return=2251.70458984375\n", + "global step=13932544, episodic return=2275.372802734375\n", + "global step=13934592, episodic return=2259.933349609375\n", + "global step=13934592, episodic return=2346.736328125\n", + "global step=13938688, episodic return=186.043701171875\n", + "global step=13938688, episodic return=1877.8634033203125\n", + "global step=13940736, episodic return=1142.312255859375\n", + "global step=13940736, episodic return=2250.125244140625\n", + "global step=13942784, episodic return=2277.689697265625\n", + "global step=13942784, episodic return=2271.128662109375\n", + "global step=13942784, episodic return=628.9013671875\n", + "global step=13944832, episodic return=186.60983276367188\n", + "global step=13944832, episodic return=2266.508544921875\n", + "global step=13944832, episodic return=2164.068359375\n", + "global step=13944832, episodic return=1322.8006591796875\n", + "global step=13944832, episodic return=2290.258056640625\n", + "global step=13946880, episodic return=258.5451354980469\n", + "global step=13946880, episodic return=2297.549560546875\n", + "global step=13946880, episodic return=2334.699951171875\n", + "global step=13948928, episodic return=2235.94482421875\n", + "global step=13950976, episodic return=2279.489990234375\n", + "global step=13950976, episodic return=402.7345886230469\n", + "global step=13950976, episodic return=2271.686767578125\n", + "global step=13950976, episodic return=442.641357421875\n", + "global step=13953024, episodic return=2260.893310546875\n", + "global step=13953024, episodic return=2259.35791015625\n", + "global step=13955072, episodic return=2299.3779296875\n", + "global step=13955072, episodic return=2301.721435546875\n", + "global step=13957120, episodic return=1696.85888671875\n", + "global step=13957120, episodic return=791.4461059570312\n", + "global step=13957120, episodic return=2286.08447265625\n", + "global step=13959168, episodic return=2296.70458984375\n", + "global step=13959168, episodic return=2269.384033203125\n", + "global step=13959168, episodic return=2299.53173828125\n", + "global step=13959168, episodic return=2253.406005859375\n", + "global step=13961216, episodic return=432.8266296386719\n", + "global step=13963264, episodic return=2299.946044921875\n", + "global step=13965312, episodic return=2391.884765625\n", + "global step=13965312, episodic return=2233.25146484375\n", + "global step=13967360, episodic return=2328.22412109375\n", + "global step=13969408, episodic return=2315.66162109375\n", + "global step=13969408, episodic return=2294.95556640625\n", + "global step=13971456, episodic return=2243.619873046875\n", + "global step=13971456, episodic return=637.904541015625\n", + "global step=13971456, episodic return=545.547607421875\n", + "global step=13971456, episodic return=2233.355712890625\n", + "global step=13973504, episodic return=1816.521728515625\n", + "global step=13973504, episodic return=936.5474853515625\n", + "global step=13975552, episodic return=1848.2406005859375\n", + "global step=13975552, episodic return=2303.133544921875\n", + "global step=13975552, episodic return=2351.94287109375\n", + "global step=13979648, episodic return=2281.358642578125\n", + "global step=13979648, episodic return=2242.68896484375\n", + "global step=13981696, episodic return=2372.10595703125\n", + "global step=13981696, episodic return=2345.286865234375\n", + "global step=13981696, episodic return=38.62102127075195\n", + "global step=13981696, episodic return=2348.21875\n", + "global step=13981696, episodic return=2256.419921875\n", + "global step=13983744, episodic return=2295.528564453125\n", + "global step=13983744, episodic return=1267.4530029296875\n", + "global step=13983744, episodic return=2333.946533203125\n", + "global step=13983744, episodic return=2213.741943359375\n", + "global step=13985792, episodic return=2335.78515625\n", + "global step=13985792, episodic return=2350.340087890625\n", + "global step=13985792, episodic return=79.57420349121094\n", + "global step=13985792, episodic return=2275.402099609375\n", + "global step=13987840, episodic return=196.8306121826172\n", + "global step=13987840, episodic return=2309.335205078125\n", + "global step=13987840, episodic return=2296.121337890625\n", + "global step=13987840, episodic return=2334.494384765625\n", + "global step=13987840, episodic return=2325.416748046875\n", + "global step=13989888, episodic return=2279.609619140625\n", + "global step=13989888, episodic return=2302.82275390625\n", + "global step=13991936, episodic return=2350.113037109375\n", + "global step=13993984, episodic return=306.1834716796875\n", + "global step=13993984, episodic return=2331.570556640625\n", + "global step=13993984, episodic return=1125.0703125\n", + "global step=13993984, episodic return=1533.689208984375\n", + "global step=13996032, episodic return=521.4053344726562\n", + "global step=13996032, episodic return=2329.026611328125\n", + "global step=13998080, episodic return=2284.280029296875\n", + "global step=13998080, episodic return=2218.615966796875\n", + "global step=13998080, episodic return=2364.8486328125\n", + "global step=13998080, episodic return=2277.29736328125\n", + "global step=14000128, episodic return=2312.318603515625\n", + "global step=14000128, episodic return=2313.494140625\n", + "global step=14002176, episodic return=2321.3662109375\n", + "global step=14002176, episodic return=1486.776123046875\n", + "global step=14002176, episodic return=2347.88623046875\n", + "global step=14004224, episodic return=2299.352783203125\n", + "global step=14004224, episodic return=2354.892822265625\n", + "global step=14004224, episodic return=2333.59375\n", + "global step=14006272, episodic return=2288.055419921875\n", + "global step=14006272, episodic return=691.5996704101562\n", + "global step=14006272, episodic return=1487.1832275390625\n", + "global step=14008320, episodic return=2359.571044921875\n", + "global step=14008320, episodic return=2289.787841796875\n", + "global step=14010368, episodic return=2318.69189453125\n", + "global step=14010368, episodic return=2326.2900390625\n", + "global step=14010368, episodic return=2371.953125\n", + "global step=14012416, episodic return=2075.26953125\n", + "global step=14012416, episodic return=2056.658935546875\n", + "global step=14012416, episodic return=2315.180908203125\n", + "global step=14014464, episodic return=872.8065795898438\n", + "global step=14014464, episodic return=1941.003173828125\n", + "global step=14014464, episodic return=2300.454833984375\n", + "global step=14016512, episodic return=2353.894775390625\n", + "global step=14016512, episodic return=2345.228759765625\n", + "global step=14016512, episodic return=2317.46728515625\n", + "global step=14016512, episodic return=1629.104248046875\n", + "global step=14016512, episodic return=2071.551513671875\n", + "global step=14018560, episodic return=2337.14599609375\n", + "global step=14018560, episodic return=2364.517333984375\n", + "global step=14018560, episodic return=1907.427001953125\n", + "global step=14020608, episodic return=2283.138427734375\n", + "global step=14020608, episodic return=2304.63916015625\n", + "global step=14022656, episodic return=2313.9296875\n", + "global step=14022656, episodic return=2377.623291015625\n", + "global step=14022656, episodic return=2296.756103515625\n", + "global step=14022656, episodic return=2308.843017578125\n", + "global step=14024704, episodic return=2358.2431640625\n", + "global step=14024704, episodic return=2287.186767578125\n", + "global step=14024704, episodic return=769.6546630859375\n", + "global step=14024704, episodic return=1750.1103515625\n", + "global step=14026752, episodic return=2346.65771484375\n", + "global step=14026752, episodic return=2316.5029296875\n", + "global step=14026752, episodic return=2190.5400390625\n", + "global step=14028800, episodic return=2316.73193359375\n", + "global step=14030848, episodic return=2321.57421875\n", + "global step=14032896, episodic return=2337.06298828125\n", + "global step=14032896, episodic return=166.5306396484375\n", + "global step=14034944, episodic return=2293.698974609375\n", + "global step=14036992, episodic return=2318.38720703125\n", + "global step=14036992, episodic return=2345.6748046875\n", + "global step=14039040, episodic return=1944.892333984375\n", + "global step=14039040, episodic return=2344.462890625\n", + "global step=14041088, episodic return=2353.33203125\n", + "global step=14043136, episodic return=2245.35888671875\n", + "global step=14043136, episodic return=393.4610595703125\n", + "global step=14043136, episodic return=2316.250732421875\n", + "global step=14045184, episodic return=2379.061279296875\n", + "global step=14045184, episodic return=2318.620849609375\n", + "global step=14047232, episodic return=2424.462158203125\n", + "global step=14047232, episodic return=2331.154541015625\n", + "global step=14049280, episodic return=2214.75390625\n", + "global step=14051328, episodic return=2342.511474609375\n", + "global step=14051328, episodic return=2321.15673828125\n", + "global step=14053376, episodic return=550.98974609375\n", + "global step=14053376, episodic return=2302.907470703125\n", + "global step=14053376, episodic return=2300.97998046875\n", + "global step=14055424, episodic return=2233.4375\n", + "global step=14055424, episodic return=2247.40966796875\n", + "global step=14057472, episodic return=2346.8154296875\n", + "global step=14059520, episodic return=2305.73828125\n", + "global step=14059520, episodic return=2305.10595703125\n", + "global step=14059520, episodic return=1787.9871826171875\n", + "global step=14059520, episodic return=362.958740234375\n", + "global step=14059520, episodic return=2266.653076171875\n", + "global step=14061568, episodic return=2244.074462890625\n", + "global step=14061568, episodic return=2312.10791015625\n", + "global step=14061568, episodic return=2266.97802734375\n", + "global step=14061568, episodic return=1807.6668701171875\n", + "global step=14063616, episodic return=2317.19775390625\n", + "global step=14065664, episodic return=440.13995361328125\n", + "global step=14065664, episodic return=2370.529541015625\n", + "global step=14065664, episodic return=2337.5234375\n", + "global step=14065664, episodic return=2289.21337890625\n", + "global step=14067712, episodic return=2357.918212890625\n", + "global step=14067712, episodic return=2375.443603515625\n", + "global step=14069760, episodic return=2343.447998046875\n", + "global step=14071808, episodic return=2321.08203125\n", + "global step=14075904, episodic return=2299.725830078125\n", + "global step=14075904, episodic return=2021.9610595703125\n", + "global step=14075904, episodic return=2257.00146484375\n", + "global step=14075904, episodic return=2248.59521484375\n", + "global step=14077952, episodic return=2312.415771484375\n", + "global step=14080000, episodic return=2338.73583984375\n", + "global step=14080000, episodic return=2391.625732421875\n", + "global step=14080000, episodic return=1530.846923828125\n", + "global step=14082048, episodic return=2258.11962890625\n", + "global step=14082048, episodic return=2290.014892578125\n", + "global step=14084096, episodic return=2279.237548828125\n", + "global step=14084096, episodic return=2120.879150390625\n", + "global step=14086144, episodic return=2352.475830078125\n", + "global step=14086144, episodic return=1566.944580078125\n", + "global step=14086144, episodic return=2375.701904296875\n", + "global step=14088192, episodic return=2310.5361328125\n", + "global step=14088192, episodic return=2220.9599609375\n", + "global step=14088192, episodic return=2252.14013671875\n", + "global step=14088192, episodic return=1660.939208984375\n", + "global step=14090240, episodic return=2309.691650390625\n", + "global step=14090240, episodic return=2223.00244140625\n", + "global step=14092288, episodic return=2378.490478515625\n", + "global step=14092288, episodic return=2348.468994140625\n", + "global step=14092288, episodic return=2170.585205078125\n", + "global step=14094336, episodic return=2343.225830078125\n", + "global step=14094336, episodic return=2320.56982421875\n", + "global step=14094336, episodic return=2322.398681640625\n", + "global step=14094336, episodic return=2375.610107421875\n", + "global step=14094336, episodic return=2357.389892578125\n", + "global step=14094336, episodic return=365.3897399902344\n", + "global step=14094336, episodic return=2322.697509765625\n", + "global step=14096384, episodic return=2296.661376953125\n", + "global step=14096384, episodic return=2328.06640625\n", + "global step=14096384, episodic return=2315.956787109375\n", + "global step=14098432, episodic return=2343.178466796875\n", + "global step=14098432, episodic return=2340.946044921875\n", + "global step=14102528, episodic return=2074.671875\n", + "global step=14104576, episodic return=2326.3349609375\n", + "global step=14106624, episodic return=39.81708908081055\n", + "global step=14106624, episodic return=1766.903564453125\n", + "global step=14106624, episodic return=2365.190673828125\n", + "global step=14108672, episodic return=2236.29443359375\n", + "global step=14108672, episodic return=2327.007080078125\n", + "global step=14108672, episodic return=2378.28759765625\n", + "global step=14112768, episodic return=2307.073974609375\n", + "global step=14114816, episodic return=2278.094482421875\n", + "global step=14116864, episodic return=2309.759521484375\n", + "global step=14118912, episodic return=2300.927734375\n", + "global step=14118912, episodic return=2298.52197265625\n", + "global step=14118912, episodic return=1547.361083984375\n", + "global step=14118912, episodic return=1802.0645751953125\n", + "global step=14120960, episodic return=2239.33349609375\n", + "global step=14120960, episodic return=2295.580810546875\n", + "global step=14123008, episodic return=2330.673583984375\n", + "global step=14125056, episodic return=2313.393310546875\n", + "global step=14127104, episodic return=282.7698059082031\n", + "global step=14127104, episodic return=1538.0672607421875\n", + "global step=14127104, episodic return=2349.158935546875\n", + "global step=14127104, episodic return=2205.193115234375\n", + "global step=14127104, episodic return=2334.4130859375\n", + "global step=14129152, episodic return=2343.92333984375\n", + "global step=14129152, episodic return=2391.489990234375\n", + "global step=14131200, episodic return=183.63314819335938\n", + "global step=14131200, episodic return=2291.611572265625\n", + "global step=14133248, episodic return=2335.670166015625\n", + "global step=14133248, episodic return=2336.23291015625\n", + "global step=14135296, episodic return=2294.078125\n", + "global step=14135296, episodic return=171.14498901367188\n", + "global step=14135296, episodic return=1400.3695068359375\n", + "global step=14135296, episodic return=172.82537841796875\n", + "global step=14137344, episodic return=2211.757568359375\n", + "global step=14137344, episodic return=2191.4599609375\n", + "global step=14137344, episodic return=2286.912109375\n", + "global step=14141440, episodic return=2326.594970703125\n", + "global step=14141440, episodic return=2215.983154296875\n", + "global step=14141440, episodic return=2307.16015625\n", + "global step=14141440, episodic return=2338.8408203125\n", + "global step=14143488, episodic return=2269.572998046875\n", + "global step=14143488, episodic return=2322.513671875\n", + "global step=14143488, episodic return=2276.86572265625\n", + "global step=14143488, episodic return=2360.133056640625\n", + "global step=14143488, episodic return=994.4252319335938\n", + "global step=14145536, episodic return=2261.8017578125\n", + "global step=14145536, episodic return=2306.7568359375\n", + "global step=14145536, episodic return=2335.21484375\n", + "global step=14147584, episodic return=2243.517333984375\n", + "global step=14147584, episodic return=260.8938903808594\n", + "global step=14147584, episodic return=2340.07080078125\n", + "global step=14147584, episodic return=2246.392822265625\n", + "global step=14149632, episodic return=2338.27734375\n", + "global step=14149632, episodic return=183.6331024169922\n", + "global step=14153728, episodic return=2345.453857421875\n", + "global step=14153728, episodic return=2344.38525390625\n", + "global step=14153728, episodic return=2274.97998046875\n", + "global step=14153728, episodic return=170.45802307128906\n", + "global step=14155776, episodic return=2288.318115234375\n", + "global step=14155776, episodic return=2287.83447265625\n", + "global step=14157824, episodic return=2229.5556640625\n", + "global step=14157824, episodic return=2346.11083984375\n", + "global step=14159872, episodic return=2294.4384765625\n", + "global step=14159872, episodic return=2225.29248046875\n", + "global step=14161920, episodic return=2327.144287109375\n", + "global step=14163968, episodic return=2359.2021484375\n", + "global step=14163968, episodic return=2304.2666015625\n", + "global step=14168064, episodic return=2311.5146484375\n", + "global step=14168064, episodic return=2266.732666015625\n", + "global step=14168064, episodic return=2346.5771484375\n", + "global step=14168064, episodic return=1501.6380615234375\n", + "global step=14168064, episodic return=2290.373046875\n", + "global step=14170112, episodic return=2299.686279296875\n", + "global step=14170112, episodic return=2410.227294921875\n", + "global step=14170112, episodic return=2373.49609375\n", + "global step=14170112, episodic return=2276.215087890625\n", + "global step=14174208, episodic return=2015.08935546875\n", + "global step=14174208, episodic return=2320.898193359375\n", + "global step=14174208, episodic return=2371.586669921875\n", + "global step=14176256, episodic return=2316.166015625\n", + "global step=14178304, episodic return=2396.364013671875\n", + "global step=14178304, episodic return=2348.076416015625\n", + "global step=14178304, episodic return=2263.774169921875\n", + "global step=14178304, episodic return=2272.824951171875\n", + "global step=14180352, episodic return=2290.57666015625\n", + "global step=14180352, episodic return=2359.414306640625\n", + "global step=14182400, episodic return=2343.656005859375\n", + "global step=14182400, episodic return=2313.869873046875\n", + "global step=14182400, episodic return=2266.1875\n", + "global step=14182400, episodic return=2329.79296875\n", + "global step=14184448, episodic return=2203.216796875\n", + "global step=14184448, episodic return=2254.904541015625\n", + "global step=14186496, episodic return=2322.530029296875\n", + "global step=14186496, episodic return=2317.02587890625\n", + "global step=14186496, episodic return=2235.978515625\n", + "global step=14186496, episodic return=2342.88525390625\n", + "global step=14190592, episodic return=2274.8232421875\n", + "global step=14190592, episodic return=2284.796875\n", + "global step=14190592, episodic return=2267.56201171875\n", + "global step=14192640, episodic return=2326.934814453125\n", + "global step=14194688, episodic return=2336.972412109375\n", + "global step=14196736, episodic return=2312.302001953125\n", + "global step=14196736, episodic return=2347.22265625\n", + "global step=14198784, episodic return=2308.98486328125\n", + "global step=14198784, episodic return=2292.412109375\n", + "global step=14200832, episodic return=2319.219970703125\n", + "global step=14200832, episodic return=2283.80419921875\n", + "global step=14200832, episodic return=2322.7236328125\n", + "global step=14202880, episodic return=1638.8358154296875\n", + "global step=14202880, episodic return=2343.998291015625\n", + "global step=14204928, episodic return=2342.21142578125\n", + "global step=14204928, episodic return=2280.32763671875\n", + "global step=14204928, episodic return=2288.99169921875\n", + "global step=14204928, episodic return=1976.8326416015625\n", + "global step=14206976, episodic return=2273.981201171875\n", + "global step=14206976, episodic return=2290.15087890625\n", + "global step=14206976, episodic return=489.877197265625\n", + "global step=14206976, episodic return=2333.5869140625\n", + "global step=14206976, episodic return=2247.735107421875\n", + "global step=14209024, episodic return=2202.236083984375\n", + "global step=14209024, episodic return=2298.9736328125\n", + "global step=14209024, episodic return=2290.6552734375\n", + "global step=14209024, episodic return=2333.04541015625\n", + "global step=14211072, episodic return=2362.094970703125\n", + "global step=14213120, episodic return=2297.94189453125\n", + "global step=14215168, episodic return=2350.319091796875\n", + "global step=14215168, episodic return=2334.99169921875\n", + "global step=14215168, episodic return=2288.366455078125\n", + "global step=14215168, episodic return=2301.861083984375\n", + "global step=14215168, episodic return=2116.517333984375\n", + "global step=14215168, episodic return=2258.752685546875\n", + "global step=14217216, episodic return=2271.795654296875\n", + "global step=14217216, episodic return=2309.07763671875\n", + "global step=14217216, episodic return=2273.50341796875\n", + "global step=14219264, episodic return=2244.48046875\n", + "global step=14221312, episodic return=2208.98046875\n", + "global step=14223360, episodic return=1948.75390625\n", + "global step=14225408, episodic return=2306.718505859375\n", + "global step=14225408, episodic return=2371.945556640625\n", + "global step=14229504, episodic return=1890.335205078125\n", + "global step=14231552, episodic return=2292.7314453125\n", + "global step=14231552, episodic return=2246.831787109375\n", + "global step=14233600, episodic return=2317.035888671875\n", + "global step=14235648, episodic return=2227.26953125\n", + "global step=14235648, episodic return=2284.139892578125\n", + "global step=14237696, episodic return=2250.1279296875\n", + "global step=14237696, episodic return=2317.736083984375\n", + "global step=14239744, episodic return=2217.434814453125\n", + "global step=14239744, episodic return=2334.782958984375\n", + "global step=14241792, episodic return=2292.123291015625\n", + "global step=14241792, episodic return=2284.54296875\n", + "global step=14241792, episodic return=2255.63427734375\n", + "global step=14243840, episodic return=605.8272094726562\n", + "global step=14243840, episodic return=1485.4959716796875\n", + "global step=14245888, episodic return=2268.947265625\n", + "global step=14245888, episodic return=2296.24609375\n", + "global step=14245888, episodic return=2340.664306640625\n", + "global step=14245888, episodic return=1589.157958984375\n", + "global step=14247936, episodic return=2337.096435546875\n", + "global step=14247936, episodic return=2299.85888671875\n", + "global step=14247936, episodic return=2296.591796875\n", + "global step=14249984, episodic return=2343.56884765625\n", + "global step=14252032, episodic return=1566.250244140625\n", + "global step=14252032, episodic return=1641.22900390625\n", + "global step=14252032, episodic return=2307.076416015625\n", + "global step=14252032, episodic return=2315.7890625\n", + "global step=14254080, episodic return=1080.661865234375\n", + "global step=14256128, episodic return=2331.293701171875\n", + "global step=14256128, episodic return=2302.193115234375\n", + "global step=14256128, episodic return=2349.05615234375\n", + "global step=14256128, episodic return=2311.35888671875\n", + "global step=14256128, episodic return=2292.886474609375\n", + "global step=14256128, episodic return=2275.607666015625\n", + "global step=14258176, episodic return=2302.428955078125\n", + "global step=14262272, episodic return=2246.36328125\n", + "global step=14262272, episodic return=2234.55224609375\n", + "global step=14262272, episodic return=2213.602783203125\n", + "global step=14262272, episodic return=2327.461181640625\n", + "global step=14264320, episodic return=2299.862548828125\n", + "global step=14264320, episodic return=2250.373779296875\n", + "global step=14264320, episodic return=2319.204345703125\n", + "global step=14264320, episodic return=2230.274658203125\n", + "global step=14266368, episodic return=2360.877685546875\n", + "global step=14266368, episodic return=2335.23095703125\n", + "global step=14268416, episodic return=2155.79052734375\n", + "global step=14268416, episodic return=1625.71484375\n", + "global step=14270464, episodic return=2320.234130859375\n", + "global step=14270464, episodic return=2246.954345703125\n", + "global step=14272512, episodic return=2170.966796875\n", + "global step=14272512, episodic return=2296.876708984375\n", + "global step=14272512, episodic return=2342.853271484375\n", + "global step=14272512, episodic return=2340.447998046875\n", + "global step=14274560, episodic return=2281.300537109375\n", + "global step=14274560, episodic return=2234.086669921875\n", + "global step=14276608, episodic return=1022.6194458007812\n", + "global step=14276608, episodic return=2300.11279296875\n", + "global step=14276608, episodic return=1381.76513671875\n", + "global step=14276608, episodic return=2316.2421875\n", + "global step=14278656, episodic return=2296.4814453125\n", + "global step=14278656, episodic return=65.70770263671875\n", + "global step=14278656, episodic return=2283.070556640625\n", + "global step=14278656, episodic return=48.45562744140625\n", + "global step=14280704, episodic return=2285.34033203125\n", + "global step=14280704, episodic return=2307.105224609375\n", + "global step=14282752, episodic return=2098.734375\n", + "global step=14282752, episodic return=2334.841796875\n", + "global step=14282752, episodic return=1301.2760009765625\n", + "global step=14284800, episodic return=2319.503173828125\n", + "global step=14284800, episodic return=2293.19970703125\n", + "global step=14286848, episodic return=2283.80078125\n", + "global step=14286848, episodic return=2225.069580078125\n", + "global step=14286848, episodic return=2316.595458984375\n", + "global step=14286848, episodic return=2322.611083984375\n", + "global step=14286848, episodic return=180.88760375976562\n", + "global step=14286848, episodic return=185.0998077392578\n", + "global step=14286848, episodic return=2279.968505859375\n", + "global step=14288896, episodic return=942.4632568359375\n", + "global step=14288896, episodic return=2304.35205078125\n", + "global step=14288896, episodic return=2234.749267578125\n", + "global step=14288896, episodic return=1438.2735595703125\n", + "global step=14288896, episodic return=2265.434814453125\n", + "global step=14290944, episodic return=2328.063720703125\n", + "global step=14290944, episodic return=2308.8271484375\n", + "global step=14290944, episodic return=2323.9853515625\n", + "global step=14292992, episodic return=1764.0450439453125\n", + "global step=14295040, episodic return=1611.863037109375\n", + "global step=14297088, episodic return=2330.683349609375\n", + "global step=14297088, episodic return=2275.5224609375\n", + "global step=14297088, episodic return=2349.193115234375\n", + "global step=14299136, episodic return=1483.5013427734375\n", + "global step=14299136, episodic return=1995.1246337890625\n", + "global step=14301184, episodic return=2101.9912109375\n", + "global step=14301184, episodic return=2291.84130859375\n", + "global step=14301184, episodic return=224.51962280273438\n", + "global step=14303232, episodic return=2316.0341796875\n", + "global step=14303232, episodic return=2255.800537109375\n", + "global step=14303232, episodic return=222.85134887695312\n", + "global step=14303232, episodic return=237.83651733398438\n", + "global step=14303232, episodic return=232.4983673095703\n", + "global step=14303232, episodic return=260.6025695800781\n", + "global step=14303232, episodic return=2274.887451171875\n", + "global step=14305280, episodic return=2308.828369140625\n", + "global step=14305280, episodic return=219.4539337158203\n", + "global step=14305280, episodic return=2228.783203125\n", + "global step=14307328, episodic return=2197.0263671875\n", + "global step=14307328, episodic return=2374.965087890625\n", + "global step=14307328, episodic return=2130.77880859375\n", + "global step=14307328, episodic return=239.111083984375\n", + "global step=14307328, episodic return=243.36605834960938\n", + "global step=14309376, episodic return=154.1560821533203\n", + "global step=14309376, episodic return=2182.368408203125\n", + "global step=14311424, episodic return=222.00613403320312\n", + "global step=14311424, episodic return=262.9251708984375\n", + "global step=14311424, episodic return=247.2892608642578\n", + "global step=14311424, episodic return=2332.848876953125\n", + "global step=14311424, episodic return=2311.56494140625\n", + "global step=14311424, episodic return=1909.476806640625\n", + "global step=14311424, episodic return=1170.0306396484375\n", + "global step=14313472, episodic return=2336.263427734375\n", + "global step=14313472, episodic return=2292.1220703125\n", + "global step=14313472, episodic return=211.4015655517578\n", + "global step=14313472, episodic return=2278.221923828125\n", + "global step=14313472, episodic return=215.8080291748047\n", + "global step=14313472, episodic return=1985.129638671875\n", + "global step=14313472, episodic return=2302.98046875\n", + "global step=14315520, episodic return=192.54779052734375\n", + "global step=14317568, episodic return=2252.5751953125\n", + "global step=14317568, episodic return=2327.156982421875\n", + "global step=14317568, episodic return=2293.280517578125\n", + "global step=14317568, episodic return=248.3705291748047\n", + "global step=14317568, episodic return=2271.0615234375\n", + "global step=14319616, episodic return=2265.690673828125\n", + "global step=14319616, episodic return=2354.09326171875\n", + "global step=14319616, episodic return=2355.96044921875\n", + "global step=14319616, episodic return=2284.237548828125\n", + "global step=14319616, episodic return=2322.4619140625\n", + "global step=14319616, episodic return=2064.11767578125\n", + "global step=14319616, episodic return=259.2055358886719\n", + "global step=14319616, episodic return=2277.737548828125\n", + "global step=14319616, episodic return=262.9984436035156\n", + "global step=14321664, episodic return=2263.29736328125\n", + "global step=14321664, episodic return=2335.328125\n", + "global step=14321664, episodic return=2255.3173828125\n", + "global step=14321664, episodic return=2334.694580078125\n", + "global step=14321664, episodic return=2275.20849609375\n", + "global step=14323712, episodic return=245.0216064453125\n", + "global step=14323712, episodic return=253.2681884765625\n", + "global step=14323712, episodic return=217.1838836669922\n", + "global step=14325760, episodic return=192.53018188476562\n", + "global step=14325760, episodic return=1736.265869140625\n", + "global step=14325760, episodic return=225.1591033935547\n", + "global step=14325760, episodic return=2027.205078125\n", + "global step=14325760, episodic return=2211.94970703125\n", + "global step=14327808, episodic return=56.891990661621094\n", + "global step=14327808, episodic return=2298.45703125\n", + "global step=14329856, episodic return=2339.8271484375\n", + "global step=14329856, episodic return=310.6039733886719\n", + "global step=14329856, episodic return=2324.31103515625\n", + "global step=14329856, episodic return=2210.51318359375\n", + "global step=14329856, episodic return=191.22396850585938\n", + "global step=14329856, episodic return=2259.707275390625\n", + "global step=14329856, episodic return=2314.208740234375\n", + "global step=14329856, episodic return=2313.508056640625\n", + "global step=14331904, episodic return=2257.88818359375\n", + "global step=14331904, episodic return=2299.568603515625\n", + "global step=14331904, episodic return=2362.885498046875\n", + "global step=14331904, episodic return=2357.737548828125\n", + "global step=14333952, episodic return=2251.16162109375\n", + "global step=14333952, episodic return=2335.01708984375\n", + "global step=14333952, episodic return=2321.3671875\n", + "global step=14333952, episodic return=2308.358154296875\n", + "global step=14333952, episodic return=217.85977172851562\n", + "global step=14333952, episodic return=168.43325805664062\n", + "global step=14333952, episodic return=2330.5107421875\n", + "global step=14333952, episodic return=2283.13232421875\n", + "global step=14336000, episodic return=2410.79248046875\n", + "global step=14336000, episodic return=2343.9091796875\n", + "global step=14336000, episodic return=210.68821716308594\n", + "global step=14336000, episodic return=217.95440673828125\n", + "global step=14336000, episodic return=2286.656005859375\n", + "global step=14336000, episodic return=2323.176025390625\n", + "global step=14336000, episodic return=2356.119873046875\n", + "global step=14336000, episodic return=39.475650787353516\n", + "global step=14338048, episodic return=2254.3515625\n", + "global step=14338048, episodic return=234.46812438964844\n", + "global step=14338048, episodic return=213.57626342773438\n", + "global step=14338048, episodic return=2325.847412109375\n", + "global step=14340096, episodic return=1282.5142822265625\n", + "global step=14340096, episodic return=934.2518920898438\n", + "global step=14342144, episodic return=2317.806884765625\n", + "global step=14342144, episodic return=2284.3388671875\n", + "global step=14342144, episodic return=182.77838134765625\n", + "global step=14342144, episodic return=268.56781005859375\n", + "global step=14342144, episodic return=2294.364013671875\n", + "global step=14342144, episodic return=2247.76171875\n", + "global step=14344192, episodic return=2315.42236328125\n", + "global step=14344192, episodic return=2332.41943359375\n", + "global step=14344192, episodic return=2094.36767578125\n", + "global step=14344192, episodic return=2288.37353515625\n", + "global step=14346240, episodic return=2264.181640625\n", + "global step=14346240, episodic return=2281.01611328125\n", + "global step=14346240, episodic return=2347.288330078125\n", + "global step=14348288, episodic return=2303.99951171875\n", + "global step=14348288, episodic return=2128.15771484375\n", + "global step=14348288, episodic return=2273.417724609375\n", + "global step=14348288, episodic return=2265.9716796875\n", + "global step=14348288, episodic return=2300.81201171875\n", + "global step=14348288, episodic return=2323.515869140625\n", + "global step=14348288, episodic return=215.4197235107422\n", + "global step=14348288, episodic return=2228.272216796875\n", + "global step=14350336, episodic return=2280.17724609375\n", + "global step=14350336, episodic return=258.4028625488281\n", + "global step=14352384, episodic return=2345.708984375\n", + "global step=14352384, episodic return=1859.0897216796875\n", + "global step=14352384, episodic return=2327.76171875\n", + "global step=14352384, episodic return=261.0107421875\n", + "global step=14352384, episodic return=570.376220703125\n", + "global step=14354432, episodic return=194.43515014648438\n", + "global step=14354432, episodic return=2308.860595703125\n", + "global step=14354432, episodic return=246.5370635986328\n", + "global step=14354432, episodic return=2358.378662109375\n", + "global step=14356480, episodic return=62.04402160644531\n", + "global step=14356480, episodic return=2318.984375\n", + "global step=14356480, episodic return=2328.51513671875\n", + "global step=14356480, episodic return=2359.3046875\n", + "global step=14356480, episodic return=750.5918579101562\n", + "global step=14356480, episodic return=2249.082763671875\n", + "global step=14356480, episodic return=262.6089782714844\n", + "global step=14356480, episodic return=304.24847412109375\n", + "global step=14358528, episodic return=198.19520568847656\n", + "global step=14358528, episodic return=225.08197021484375\n", + "global step=14358528, episodic return=2341.001953125\n", + "global step=14358528, episodic return=2272.92333984375\n", + "global step=14358528, episodic return=275.88055419921875\n", + "global step=14360576, episodic return=628.97900390625\n", + "global step=14360576, episodic return=2334.43017578125\n", + "global step=14360576, episodic return=2130.70068359375\n", + "global step=14362624, episodic return=36.67582702636719\n", + "global step=14362624, episodic return=244.96885681152344\n", + "global step=14362624, episodic return=355.732421875\n", + "global step=14362624, episodic return=2288.149658203125\n", + "global step=14362624, episodic return=2313.27490234375\n", + "global step=14362624, episodic return=2255.679931640625\n", + "global step=14362624, episodic return=2322.5302734375\n", + "global step=14364672, episodic return=2313.56787109375\n", + "global step=14364672, episodic return=2259.484619140625\n", + "global step=14364672, episodic return=65.65020751953125\n", + "global step=14366720, episodic return=191.29388427734375\n", + "global step=14366720, episodic return=2328.227783203125\n", + "global step=14366720, episodic return=2294.057373046875\n", + "global step=14366720, episodic return=330.77813720703125\n", + "global step=14366720, episodic return=213.5509796142578\n", + "global step=14368768, episodic return=1520.6595458984375\n", + "global step=14370816, episodic return=2259.4765625\n", + "global step=14372864, episodic return=2306.251953125\n", + "global step=14372864, episodic return=296.7930603027344\n", + "global step=14372864, episodic return=2306.081298828125\n", + "global step=14372864, episodic return=2283.192626953125\n", + "global step=14372864, episodic return=2258.843994140625\n", + "global step=14372864, episodic return=2265.58251953125\n", + "global step=14374912, episodic return=2294.12060546875\n", + "global step=14374912, episodic return=2284.4951171875\n", + "global step=14374912, episodic return=2251.075439453125\n", + "global step=14374912, episodic return=46.77686309814453\n", + "global step=14374912, episodic return=177.11476135253906\n", + "global step=14374912, episodic return=2323.4765625\n", + "global step=14376960, episodic return=217.2974090576172\n", + "global step=14376960, episodic return=2261.480224609375\n", + "global step=14376960, episodic return=2311.843505859375\n", + "global step=14376960, episodic return=2310.8154296875\n", + "global step=14379008, episodic return=2274.219970703125\n", + "global step=14379008, episodic return=132.77737426757812\n", + "global step=14379008, episodic return=231.8685760498047\n", + "global step=14381056, episodic return=638.6959838867188\n", + "global step=14381056, episodic return=2281.764892578125\n", + "global step=14381056, episodic return=2316.19384765625\n", + "global step=14383104, episodic return=683.4060668945312\n", + "global step=14383104, episodic return=2288.781494140625\n", + "global step=14383104, episodic return=1465.810302734375\n", + "global step=14385152, episodic return=2354.55029296875\n", + "global step=14385152, episodic return=2284.692626953125\n", + "global step=14385152, episodic return=2261.091552734375\n", + "global step=14385152, episodic return=2292.6494140625\n", + "global step=14387200, episodic return=296.4302673339844\n", + "global step=14389248, episodic return=2358.848876953125\n", + "global step=14391296, episodic return=2303.4580078125\n", + "global step=14391296, episodic return=1442.1883544921875\n", + "global step=14391296, episodic return=2359.348388671875\n", + "global step=14391296, episodic return=2300.755859375\n", + "global step=14393344, episodic return=318.4391784667969\n", + "global step=14395392, episodic return=1542.196044921875\n", + "global step=14397440, episodic return=2261.185302734375\n", + "global step=14397440, episodic return=2293.20458984375\n", + "global step=14397440, episodic return=200.3136444091797\n", + "global step=14399488, episodic return=231.6199951171875\n", + "global step=14399488, episodic return=2307.909423828125\n", + "global step=14399488, episodic return=2285.313232421875\n", + "global step=14399488, episodic return=2064.615478515625\n", + "global step=14401536, episodic return=1339.888671875\n", + "global step=14403584, episodic return=1242.0968017578125\n", + "global step=14403584, episodic return=2295.6630859375\n", + "global step=14403584, episodic return=232.3889617919922\n", + "global step=14403584, episodic return=26.46200180053711\n", + "global step=14403584, episodic return=2177.1943359375\n", + "global step=14405632, episodic return=2285.66748046875\n", + "global step=14405632, episodic return=1896.8905029296875\n", + "global step=14407680, episodic return=2289.447509765625\n", + "global step=14407680, episodic return=2248.71484375\n", + "global step=14407680, episodic return=2316.3251953125\n", + "global step=14407680, episodic return=169.4022979736328\n", + "global step=14407680, episodic return=2278.431396484375\n", + "global step=14407680, episodic return=2342.568359375\n", + "global step=14409728, episodic return=2320.1220703125\n", + "global step=14409728, episodic return=2338.44384765625\n", + "global step=14409728, episodic return=2315.788330078125\n", + "global step=14411776, episodic return=2287.852783203125\n", + "global step=14411776, episodic return=1713.0927734375\n", + "global step=14411776, episodic return=2282.490966796875\n", + "global step=14411776, episodic return=718.2034301757812\n", + "global step=14411776, episodic return=2255.492919921875\n", + "global step=14413824, episodic return=2301.543701171875\n", + "global step=14413824, episodic return=2342.084228515625\n", + "global step=14413824, episodic return=2343.537109375\n", + "global step=14413824, episodic return=1598.30126953125\n", + "global step=14413824, episodic return=2368.050537109375\n", + "global step=14415872, episodic return=2342.511474609375\n", + "global step=14415872, episodic return=2258.669921875\n", + "global step=14415872, episodic return=2362.438720703125\n", + "global step=14415872, episodic return=2317.55712890625\n", + "global step=14417920, episodic return=2382.91357421875\n", + "global step=14417920, episodic return=2289.78564453125\n", + "global step=14419968, episodic return=2320.267578125\n", + "global step=14419968, episodic return=2257.21533203125\n", + "global step=14422016, episodic return=1545.9630126953125\n", + "global step=14422016, episodic return=2326.453369140625\n", + "global step=14422016, episodic return=1056.4114990234375\n", + "global step=14422016, episodic return=1787.5264892578125\n", + "global step=14422016, episodic return=2242.644287109375\n", + "global step=14424064, episodic return=2253.287841796875\n", + "global step=14424064, episodic return=2283.537841796875\n", + "global step=14424064, episodic return=2365.44921875\n", + "global step=14424064, episodic return=2333.3330078125\n", + "global step=14428160, episodic return=1268.5286865234375\n", + "global step=14428160, episodic return=2316.8046875\n", + "global step=14430208, episodic return=2148.9775390625\n", + "global step=14430208, episodic return=1820.9210205078125\n", + "global step=14430208, episodic return=2196.280029296875\n", + "global step=14430208, episodic return=212.52059936523438\n", + "global step=14430208, episodic return=2351.37451171875\n", + "global step=14430208, episodic return=158.13697814941406\n", + "global step=14430208, episodic return=1213.8751220703125\n", + "global step=14432256, episodic return=2274.02587890625\n", + "global step=14432256, episodic return=166.9985809326172\n", + "global step=14432256, episodic return=835.1731567382812\n", + "global step=14434304, episodic return=1652.4674072265625\n", + "global step=14434304, episodic return=2319.39404296875\n", + "global step=14434304, episodic return=171.7658233642578\n", + "global step=14434304, episodic return=2337.309326171875\n", + "global step=14434304, episodic return=2417.405029296875\n", + "global step=14434304, episodic return=2248.80029296875\n", + "global step=14436352, episodic return=2258.404052734375\n", + "global step=14438400, episodic return=2276.235107421875\n", + "global step=14438400, episodic return=180.87615966796875\n", + "global step=14438400, episodic return=2242.851806640625\n", + "global step=14438400, episodic return=251.08538818359375\n", + "global step=14438400, episodic return=1655.768310546875\n", + "global step=14440448, episodic return=184.5496063232422\n", + "global step=14440448, episodic return=2281.94384765625\n", + "global step=14440448, episodic return=2334.93212890625\n", + "global step=14442496, episodic return=2317.08837890625\n", + "global step=14442496, episodic return=1443.5068359375\n", + "global step=14442496, episodic return=1997.8155517578125\n", + "global step=14444544, episodic return=1087.73828125\n", + "global step=14444544, episodic return=1424.4117431640625\n", + "global step=14444544, episodic return=1114.679443359375\n", + "global step=14444544, episodic return=2320.122314453125\n", + "global step=14444544, episodic return=2311.39404296875\n", + "global step=14446592, episodic return=1950.0592041015625\n", + "global step=14446592, episodic return=1880.763427734375\n", + "global step=14446592, episodic return=2332.436767578125\n", + "global step=14446592, episodic return=2222.31689453125\n", + "global step=14446592, episodic return=2258.239013671875\n", + "global step=14448640, episodic return=2267.18505859375\n", + "global step=14448640, episodic return=162.24612426757812\n", + "global step=14450688, episodic return=1990.3095703125\n", + "global step=14450688, episodic return=156.26547241210938\n", + "global step=14450688, episodic return=2263.08154296875\n", + "global step=14450688, episodic return=2155.736328125\n", + "global step=14452736, episodic return=2349.494873046875\n", + "global step=14452736, episodic return=2231.2578125\n", + "global step=14454784, episodic return=2327.581787109375\n", + "global step=14454784, episodic return=238.69781494140625\n", + "global step=14456832, episodic return=2366.203125\n", + "global step=14458880, episodic return=146.30108642578125\n", + "global step=14460928, episodic return=775.5535888671875\n", + "global step=14460928, episodic return=1651.7451171875\n", + "global step=14460928, episodic return=2354.549072265625\n", + "global step=14460928, episodic return=2414.152099609375\n", + "global step=14460928, episodic return=2356.97607421875\n", + "global step=14462976, episodic return=2340.75\n", + "global step=14462976, episodic return=1045.418212890625\n", + "global step=14462976, episodic return=2287.58203125\n", + "global step=14462976, episodic return=2313.011962890625\n", + "global step=14465024, episodic return=866.1841430664062\n", + "global step=14465024, episodic return=2194.239501953125\n", + "global step=14465024, episodic return=2321.812744140625\n", + "global step=14465024, episodic return=2292.27978515625\n", + "global step=14467072, episodic return=2389.380126953125\n", + "global step=14469120, episodic return=2297.693603515625\n", + "global step=14469120, episodic return=206.8071746826172\n", + "global step=14471168, episodic return=2344.763671875\n", + "global step=14471168, episodic return=229.82345581054688\n", + "global step=14471168, episodic return=2362.473388671875\n", + "global step=14473216, episodic return=1927.98388671875\n", + "global step=14473216, episodic return=144.45419311523438\n", + "global step=14473216, episodic return=2272.564208984375\n", + "global step=14475264, episodic return=2331.310546875\n", + "global step=14477312, episodic return=2307.083251953125\n", + "global step=14477312, episodic return=2163.2333984375\n", + "global step=14477312, episodic return=2254.756591796875\n", + "global step=14477312, episodic return=2279.551025390625\n", + "global step=14479360, episodic return=1047.9517822265625\n", + "global step=14481408, episodic return=2269.74267578125\n", + "global step=14483456, episodic return=2279.12646484375\n", + "global step=14483456, episodic return=2322.462890625\n", + "global step=14483456, episodic return=2314.603759765625\n", + "global step=14485504, episodic return=2309.585693359375\n", + "global step=14485504, episodic return=2337.08447265625\n", + "global step=14487552, episodic return=2346.016357421875\n", + "global step=14487552, episodic return=2274.869140625\n", + "global step=14489600, episodic return=2307.736572265625\n", + "global step=14489600, episodic return=928.2131958007812\n", + "global step=14491648, episodic return=712.0023803710938\n", + "global step=14493696, episodic return=2291.8935546875\n", + "global step=14495744, episodic return=479.4596252441406\n", + "global step=14495744, episodic return=2264.847900390625\n", + "global step=14497792, episodic return=2027.312255859375\n", + "global step=14499840, episodic return=2303.56298828125\n", + "global step=14499840, episodic return=2228.3505859375\n", + "global step=14503936, episodic return=2296.212646484375\n", + "global step=14503936, episodic return=2325.263916015625\n", + "global step=14503936, episodic return=2330.166259765625\n", + "global step=14505984, episodic return=1390.6622314453125\n", + "global step=14505984, episodic return=1649.9644775390625\n", + "global step=14505984, episodic return=2298.2939453125\n", + "global step=14505984, episodic return=788.7284545898438\n", + "global step=14505984, episodic return=2308.89892578125\n", + "global step=14508032, episodic return=2356.074462890625\n", + "global step=14510080, episodic return=2378.276123046875\n", + "global step=14510080, episodic return=2375.84912109375\n", + "global step=14510080, episodic return=451.0009765625\n", + "global step=14512128, episodic return=686.5089111328125\n", + "global step=14512128, episodic return=1156.3544921875\n", + "global step=14514176, episodic return=881.5020141601562\n", + "global step=14514176, episodic return=403.3037109375\n", + "global step=14516224, episodic return=2328.407470703125\n", + "global step=14516224, episodic return=2249.967041015625\n", + "global step=14516224, episodic return=2346.739013671875\n", + "global step=14516224, episodic return=162.0316162109375\n", + "global step=14518272, episodic return=1005.7970581054688\n", + "global step=14518272, episodic return=2364.5732421875\n", + "global step=14520320, episodic return=2225.185546875\n", + "global step=14524416, episodic return=2297.1787109375\n", + "global step=14524416, episodic return=2345.66064453125\n", + "global step=14528512, episodic return=2291.016357421875\n", + "global step=14530560, episodic return=2359.30810546875\n", + "global step=14532608, episodic return=1194.295166015625\n", + "global step=14532608, episodic return=2321.505615234375\n", + "global step=14534656, episodic return=2304.714111328125\n", + "global step=14534656, episodic return=2336.316162109375\n", + "global step=14534656, episodic return=2328.505126953125\n", + "global step=14536704, episodic return=1982.6331787109375\n", + "global step=14536704, episodic return=2264.572021484375\n", + "global step=14538752, episodic return=933.6677856445312\n", + "global step=14538752, episodic return=2234.491943359375\n", + "global step=14540800, episodic return=1593.721923828125\n", + "global step=14540800, episodic return=1917.4700927734375\n", + "global step=14544896, episodic return=1820.6268310546875\n", + "global step=14546944, episodic return=2354.80517578125\n", + "global step=14546944, episodic return=2336.36572265625\n", + "global step=14546944, episodic return=2309.096435546875\n", + "global step=14548992, episodic return=1013.9992065429688\n", + "global step=14548992, episodic return=2380.403564453125\n", + "global step=14548992, episodic return=2299.63818359375\n", + "global step=14551040, episodic return=2351.20654296875\n", + "global step=14551040, episodic return=474.46514892578125\n", + "global step=14551040, episodic return=2339.44677734375\n", + "global step=14553088, episodic return=2307.10107421875\n", + "global step=14553088, episodic return=2321.229248046875\n", + "global step=14553088, episodic return=2071.679443359375\n", + "global step=14555136, episodic return=464.578369140625\n", + "global step=14555136, episodic return=965.7715454101562\n", + "global step=14557184, episodic return=731.8375244140625\n", + "global step=14559232, episodic return=2260.539794921875\n", + "global step=14559232, episodic return=2021.7462158203125\n", + "global step=14559232, episodic return=2301.8154296875\n", + "global step=14559232, episodic return=1689.622802734375\n", + "global step=14559232, episodic return=856.8602294921875\n", + "global step=14561280, episodic return=915.8271484375\n", + "global step=14561280, episodic return=2330.3125\n", + "global step=14565376, episodic return=2342.27734375\n", + "global step=14565376, episodic return=2313.716796875\n", + "global step=14565376, episodic return=785.8753051757812\n", + "global step=14569472, episodic return=2290.626953125\n", + "global step=14571520, episodic return=998.40966796875\n", + "global step=14573568, episodic return=2283.804443359375\n", + "global step=14575616, episodic return=1289.1033935546875\n", + "global step=14575616, episodic return=2338.718994140625\n", + "global step=14575616, episodic return=985.89599609375\n", + "global step=14575616, episodic return=183.61190795898438\n", + "global step=14577664, episodic return=1700.361083984375\n", + "global step=14577664, episodic return=2269.9287109375\n", + "global step=14577664, episodic return=213.606689453125\n", + "global step=14577664, episodic return=2364.30419921875\n", + "global step=14579712, episodic return=2355.0322265625\n", + "global step=14579712, episodic return=517.779052734375\n", + "global step=14579712, episodic return=2358.50048828125\n", + "global step=14581760, episodic return=2229.442626953125\n", + "global step=14581760, episodic return=2272.31591796875\n", + "global step=14583808, episodic return=1223.7020263671875\n", + "global step=14583808, episodic return=2227.915771484375\n", + "global step=14583808, episodic return=1559.2393798828125\n", + "global step=14583808, episodic return=182.76956176757812\n", + "global step=14585856, episodic return=2270.554443359375\n", + "global step=14585856, episodic return=2296.354736328125\n", + "global step=14585856, episodic return=1276.9979248046875\n", + "global step=14589952, episodic return=2289.532470703125\n", + "global step=14592000, episodic return=2297.919921875\n", + "global step=14594048, episodic return=2324.905029296875\n", + "global step=14594048, episodic return=2250.599609375\n", + "global step=14596096, episodic return=2290.425048828125\n", + "global step=14596096, episodic return=2275.30224609375\n", + "global step=14596096, episodic return=2356.197265625\n", + "global step=14598144, episodic return=2307.07861328125\n", + "global step=14600192, episodic return=2311.042236328125\n", + "global step=14600192, episodic return=2344.488525390625\n", + "global step=14602240, episodic return=2334.422607421875\n", + "global step=14604288, episodic return=1285.501220703125\n", + "global step=14604288, episodic return=1380.567138671875\n", + "global step=14604288, episodic return=2288.78564453125\n", + "global step=14604288, episodic return=1036.7371826171875\n", + "global step=14604288, episodic return=213.40528869628906\n", + "global step=14604288, episodic return=2299.49560546875\n", + "global step=14606336, episodic return=1203.25146484375\n", + "global step=14606336, episodic return=2345.477294921875\n", + "global step=14606336, episodic return=2312.404052734375\n", + "global step=14608384, episodic return=2337.37353515625\n", + "global step=14608384, episodic return=199.02322387695312\n", + "global step=14610432, episodic return=889.7206420898438\n", + "global step=14612480, episodic return=580.3875732421875\n", + "global step=14612480, episodic return=2272.761474609375\n", + "global step=14612480, episodic return=638.6264038085938\n", + "global step=14614528, episodic return=2321.515869140625\n", + "global step=14616576, episodic return=176.4517822265625\n", + "global step=14618624, episodic return=1161.1275634765625\n", + "global step=14618624, episodic return=160.5870819091797\n", + "global step=14620672, episodic return=2279.886474609375\n", + "global step=14620672, episodic return=2244.36279296875\n", + "global step=14620672, episodic return=2295.56982421875\n", + "global step=14620672, episodic return=2300.717529296875\n", + "global step=14620672, episodic return=1023.6857299804688\n", + "global step=14620672, episodic return=2257.328125\n", + "global step=14620672, episodic return=1831.845947265625\n", + "global step=14622720, episodic return=2372.583251953125\n", + "global step=14622720, episodic return=2272.111083984375\n", + "global step=14622720, episodic return=2345.5703125\n", + "global step=14622720, episodic return=691.4619140625\n", + "global step=14624768, episodic return=1788.2197265625\n", + "global step=14624768, episodic return=2328.22021484375\n", + "global step=14626816, episodic return=1851.366943359375\n", + "global step=14628864, episodic return=2311.947509765625\n", + "global step=14628864, episodic return=863.3566284179688\n", + "global step=14630912, episodic return=2391.56982421875\n", + "global step=14632960, episodic return=2256.69189453125\n", + "global step=14635008, episodic return=2350.23876953125\n", + "global step=14637056, episodic return=2375.774169921875\n", + "global step=14637056, episodic return=2363.48876953125\n", + "global step=14639104, episodic return=1912.8587646484375\n", + "global step=14639104, episodic return=2300.90625\n", + "global step=14641152, episodic return=1515.1431884765625\n", + "global step=14641152, episodic return=583.1785888671875\n", + "global step=14641152, episodic return=2328.354736328125\n", + "global step=14641152, episodic return=2330.916015625\n", + "global step=14643200, episodic return=316.9617004394531\n", + "global step=14645248, episodic return=2331.056640625\n", + "global step=14647296, episodic return=19.688154220581055\n", + "global step=14647296, episodic return=983.1863403320312\n", + "global step=14647296, episodic return=2289.62646484375\n", + "global step=14649344, episodic return=234.75930786132812\n", + "global step=14649344, episodic return=1999.4222412109375\n", + "global step=14649344, episodic return=2293.24169921875\n", + "global step=14651392, episodic return=482.3876037597656\n", + "global step=14651392, episodic return=228.64630126953125\n", + "global step=14651392, episodic return=2264.060302734375\n", + "global step=14651392, episodic return=2340.864501953125\n", + "global step=14653440, episodic return=1508.2598876953125\n", + "global step=14653440, episodic return=1370.803955078125\n", + "global step=14653440, episodic return=2287.481201171875\n", + "global step=14655488, episodic return=2285.778076171875\n", + "global step=14655488, episodic return=2315.560546875\n", + "global step=14657536, episodic return=1059.0635986328125\n", + "global step=14657536, episodic return=2328.14013671875\n", + "global step=14657536, episodic return=2122.382568359375\n", + "global step=14659584, episodic return=506.95855712890625\n", + "global step=14659584, episodic return=957.8983154296875\n", + "global step=14661632, episodic return=2280.805908203125\n", + "global step=14663680, episodic return=2306.656494140625\n", + "global step=14663680, episodic return=2319.648681640625\n", + "global step=14663680, episodic return=2340.84912109375\n", + "global step=14665728, episodic return=193.10580444335938\n", + "global step=14665728, episodic return=1331.4166259765625\n", + "global step=14665728, episodic return=2350.33349609375\n", + "global step=14667776, episodic return=2268.655517578125\n", + "global step=14667776, episodic return=2310.166748046875\n", + "global step=14667776, episodic return=442.9545593261719\n", + "global step=14667776, episodic return=2340.85205078125\n", + "global step=14667776, episodic return=2298.36279296875\n", + "global step=14669824, episodic return=2256.028076171875\n", + "global step=14669824, episodic return=2395.0703125\n", + "global step=14671872, episodic return=2314.698974609375\n", + "global step=14673920, episodic return=2375.55517578125\n", + "global step=14673920, episodic return=2310.063720703125\n", + "global step=14675968, episodic return=2289.09619140625\n", + "global step=14675968, episodic return=1280.2713623046875\n", + "global step=14675968, episodic return=2348.71337890625\n", + "global step=14678016, episodic return=1463.7786865234375\n", + "global step=14678016, episodic return=469.8641357421875\n", + "global step=14680064, episodic return=2374.267822265625\n", + "global step=14682112, episodic return=1799.771240234375\n", + "global step=14682112, episodic return=2284.236572265625\n", + "global step=14684160, episodic return=2317.012939453125\n", + "global step=14684160, episodic return=2288.27783203125\n", + "global step=14686208, episodic return=201.7594451904297\n", + "global step=14688256, episodic return=1512.8653564453125\n", + "global step=14688256, episodic return=1122.050537109375\n", + "global step=14690304, episodic return=2395.04345703125\n", + "global step=14690304, episodic return=2276.170166015625\n", + "global step=14690304, episodic return=2297.157470703125\n", + "global step=14692352, episodic return=2310.7333984375\n", + "global step=14692352, episodic return=2362.2509765625\n", + "global step=14694400, episodic return=2305.20166015625\n", + "global step=14694400, episodic return=2379.624755859375\n", + "global step=14696448, episodic return=1167.49072265625\n", + "global step=14698496, episodic return=11.582509994506836\n", + "global step=14698496, episodic return=2287.62939453125\n", + "global step=14698496, episodic return=2305.409912109375\n", + "global step=14698496, episodic return=2289.39599609375\n", + "global step=14700544, episodic return=2322.486328125\n", + "global step=14700544, episodic return=2302.67724609375\n", + "global step=14700544, episodic return=2309.407958984375\n", + "global step=14700544, episodic return=2347.353515625\n", + "global step=14700544, episodic return=1585.0220947265625\n", + "global step=14704640, episodic return=2331.216796875\n", + "global step=14706688, episodic return=2325.539794921875\n", + "global step=14708736, episodic return=273.918212890625\n", + "global step=14708736, episodic return=196.93983459472656\n", + "global step=14708736, episodic return=495.5532531738281\n", + "global step=14710784, episodic return=2337.021484375\n", + "global step=14710784, episodic return=2349.401611328125\n", + "global step=14710784, episodic return=2299.33544921875\n", + "global step=14712832, episodic return=2320.525634765625\n", + "global step=14712832, episodic return=1271.876708984375\n", + "global step=14714880, episodic return=1177.0751953125\n", + "global step=14714880, episodic return=2308.455078125\n", + "global step=14716928, episodic return=2317.45166015625\n", + "global step=14716928, episodic return=987.2308959960938\n", + "global step=14716928, episodic return=2312.95751953125\n", + "global step=14716928, episodic return=1343.5198974609375\n", + "global step=14716928, episodic return=2270.178466796875\n", + "global step=14716928, episodic return=2336.87646484375\n", + "global step=14718976, episodic return=2287.349609375\n", + "global step=14718976, episodic return=2269.35595703125\n", + "global step=14721024, episodic return=2332.0703125\n", + "global step=14721024, episodic return=2242.619140625\n", + "global step=14721024, episodic return=2264.85107421875\n", + "global step=14723072, episodic return=1411.3966064453125\n", + "global step=14723072, episodic return=1943.4801025390625\n", + "global step=14723072, episodic return=2365.026123046875\n", + "global step=14723072, episodic return=2345.41552734375\n", + "global step=14725120, episodic return=681.8901977539062\n", + "global step=14725120, episodic return=2338.456787109375\n", + "global step=14727168, episodic return=2336.074462890625\n", + "global step=14727168, episodic return=2377.40673828125\n", + "global step=14729216, episodic return=2284.2880859375\n", + "global step=14731264, episodic return=2358.951416015625\n", + "global step=14731264, episodic return=2321.320556640625\n", + "global step=14733312, episodic return=646.3575439453125\n", + "global step=14735360, episodic return=1402.8018798828125\n", + "global step=14735360, episodic return=1729.2281494140625\n", + "global step=14739456, episodic return=2337.699462890625\n", + "global step=14739456, episodic return=2287.901611328125\n", + "global step=14743552, episodic return=2324.213134765625\n", + "global step=14743552, episodic return=2275.46923828125\n", + "global step=14743552, episodic return=2284.19921875\n", + "global step=14747648, episodic return=2399.7529296875\n", + "global step=14749696, episodic return=2321.21142578125\n", + "global step=14749696, episodic return=2265.7421875\n", + "global step=14751744, episodic return=353.6621398925781\n", + "global step=14751744, episodic return=2207.944091796875\n", + "global step=14751744, episodic return=966.0991821289062\n", + "global step=14753792, episodic return=2350.2841796875\n", + "global step=14753792, episodic return=2341.539306640625\n", + "global step=14753792, episodic return=2190.08837890625\n", + "global step=14755840, episodic return=2293.15185546875\n", + "global step=14755840, episodic return=2210.48681640625\n", + "global step=14757888, episodic return=2299.863525390625\n", + "global step=14757888, episodic return=2333.5341796875\n", + "global step=14757888, episodic return=2036.781494140625\n", + "global step=14757888, episodic return=2400.957763671875\n", + "global step=14759936, episodic return=2323.859619140625\n", + "global step=14761984, episodic return=2351.072021484375\n", + "global step=14761984, episodic return=2270.91162109375\n", + "global step=14761984, episodic return=2339.41455078125\n", + "global step=14764032, episodic return=2238.98876953125\n", + "global step=14766080, episodic return=2299.219970703125\n", + "global step=14768128, episodic return=2363.793701171875\n", + "global step=14768128, episodic return=2348.88330078125\n", + "global step=14768128, episodic return=2365.65966796875\n", + "global step=14768128, episodic return=1150.8800048828125\n", + "global step=14768128, episodic return=2303.880126953125\n", + "global step=14768128, episodic return=1206.9302978515625\n", + "global step=14770176, episodic return=2358.85302734375\n", + "global step=14772224, episodic return=2327.0537109375\n", + "global step=14772224, episodic return=2348.8330078125\n", + "global step=14774272, episodic return=2311.42822265625\n", + "global step=14774272, episodic return=2351.326416015625\n", + "global step=14774272, episodic return=962.8856811523438\n", + "global step=14776320, episodic return=874.4319458007812\n", + "global step=14776320, episodic return=2375.18701171875\n", + "global step=14776320, episodic return=41.842227935791016\n", + "global step=14776320, episodic return=1362.8941650390625\n", + "global step=14776320, episodic return=2372.27587890625\n", + "global step=14778368, episodic return=51.200172424316406\n", + "global step=14778368, episodic return=2346.08740234375\n", + "global step=14780416, episodic return=57.499977111816406\n", + "global step=14780416, episodic return=2316.227294921875\n", + "global step=14782464, episodic return=2345.2607421875\n", + "global step=14782464, episodic return=2300.59033203125\n", + "global step=14782464, episodic return=1014.32373046875\n", + "global step=14782464, episodic return=2292.947998046875\n", + "global step=14784512, episodic return=2347.89892578125\n", + "global step=14784512, episodic return=2292.726318359375\n", + "global step=14784512, episodic return=2315.0166015625\n", + "global step=14786560, episodic return=78.7774658203125\n", + "global step=14786560, episodic return=2357.377685546875\n", + "global step=14788608, episodic return=2311.8984375\n", + "global step=14790656, episodic return=2295.978759765625\n", + "global step=14790656, episodic return=2275.89111328125\n", + "global step=14790656, episodic return=39.430763244628906\n", + "global step=14790656, episodic return=1190.1016845703125\n", + "global step=14790656, episodic return=2355.58740234375\n", + "global step=14790656, episodic return=586.8128662109375\n", + "global step=14792704, episodic return=2335.11474609375\n", + "global step=14794752, episodic return=2166.255859375\n", + "global step=14794752, episodic return=2324.2685546875\n", + "global step=14796800, episodic return=1271.2979736328125\n", + "global step=14796800, episodic return=1200.1942138671875\n", + "global step=14798848, episodic return=2335.2705078125\n", + "global step=14798848, episodic return=43.72304916381836\n", + "global step=14798848, episodic return=248.01263427734375\n", + "global step=14800896, episodic return=2335.4931640625\n", + "global step=14802944, episodic return=1313.7379150390625\n", + "global step=14802944, episodic return=2336.39404296875\n", + "global step=14807040, episodic return=2312.20556640625\n", + "global step=14809088, episodic return=15.00544548034668\n", + "global step=14809088, episodic return=2305.0771484375\n", + "global step=14811136, episodic return=2326.7275390625\n", + "global step=14811136, episodic return=2353.873291015625\n", + "global step=14813184, episodic return=2301.5927734375\n", + "global step=14815232, episodic return=2336.63037109375\n", + "global step=14815232, episodic return=2359.947265625\n", + "global step=14817280, episodic return=2299.502685546875\n", + "global step=14817280, episodic return=2337.100830078125\n", + "global step=14821376, episodic return=1274.3665771484375\n", + "global step=14821376, episodic return=521.3624267578125\n", + "global step=14823424, episodic return=2360.84912109375\n", + "global step=14823424, episodic return=2294.966064453125\n", + "global step=14825472, episodic return=2314.71826171875\n", + "global step=14825472, episodic return=2286.203369140625\n", + "global step=14825472, episodic return=2337.0849609375\n", + "global step=14827520, episodic return=2334.790771484375\n", + "global step=14827520, episodic return=2365.9501953125\n", + "global step=14827520, episodic return=2341.0595703125\n", + "global step=14829568, episodic return=2340.401611328125\n", + "global step=14829568, episodic return=2080.15087890625\n", + "global step=14829568, episodic return=1984.3289794921875\n", + "global step=14829568, episodic return=2372.119873046875\n", + "global step=14831616, episodic return=2367.56005859375\n", + "global step=14833664, episodic return=2348.3154296875\n", + "global step=14833664, episodic return=2344.474853515625\n", + "global step=14837760, episodic return=1543.1385498046875\n", + "global step=14837760, episodic return=2299.0419921875\n", + "global step=14837760, episodic return=2335.843505859375\n", + "global step=14839808, episodic return=1735.54248046875\n", + "global step=14841856, episodic return=2362.56396484375\n", + "global step=14843904, episodic return=2368.614013671875\n", + "global step=14843904, episodic return=2296.12646484375\n", + "global step=14850048, episodic return=2358.452880859375\n", + "global step=14850048, episodic return=2300.123291015625\n", + "global step=14850048, episodic return=2381.74267578125\n", + "global step=14850048, episodic return=2338.0830078125\n", + "global step=14850048, episodic return=2320.368408203125\n", + "global step=14854144, episodic return=438.7005920410156\n", + "global step=14854144, episodic return=1154.6578369140625\n", + "global step=14854144, episodic return=49.71969223022461\n", + "global step=14856192, episodic return=2340.74951171875\n", + "global step=14856192, episodic return=2378.609130859375\n", + "global step=14856192, episodic return=415.2492980957031\n", + "global step=14856192, episodic return=680.4686889648438\n", + "global step=14858240, episodic return=56.78697967529297\n", + "global step=14858240, episodic return=1198.6802978515625\n", + "global step=14860288, episodic return=1345.6568603515625\n", + "global step=14862336, episodic return=2309.3642578125\n", + "global step=14862336, episodic return=2371.5419921875\n", + "global step=14862336, episodic return=2312.161376953125\n", + "global step=14866432, episodic return=2354.449462890625\n", + "global step=14866432, episodic return=511.7879333496094\n", + "global step=14866432, episodic return=2281.32763671875\n", + "global step=14868480, episodic return=2346.60986328125\n", + "global step=14868480, episodic return=1401.2855224609375\n", + "global step=14868480, episodic return=2296.6396484375\n", + "global step=14868480, episodic return=2316.255859375\n", + "global step=14870528, episodic return=2406.26708984375\n", + "global step=14870528, episodic return=2362.156494140625\n", + "global step=14872576, episodic return=2242.402587890625\n", + "global step=14872576, episodic return=2313.010498046875\n", + "global step=14874624, episodic return=2288.350830078125\n", + "global step=14874624, episodic return=2401.859130859375\n", + "global step=14874624, episodic return=1622.22021484375\n", + "global step=14878720, episodic return=2346.68896484375\n", + "global step=14878720, episodic return=2323.320068359375\n", + "global step=14878720, episodic return=333.144775390625\n", + "global step=14880768, episodic return=2360.025146484375\n", + "global step=14882816, episodic return=57.82777404785156\n", + "global step=14882816, episodic return=2288.914306640625\n", + "global step=14884864, episodic return=2376.572998046875\n", + "global step=14884864, episodic return=1170.98388671875\n", + "global step=14884864, episodic return=2313.275146484375\n", + "global step=14884864, episodic return=1539.568115234375\n", + "global step=14886912, episodic return=2335.314697265625\n", + "global step=14886912, episodic return=657.3755493164062\n", + "global step=14886912, episodic return=2314.43798828125\n", + "global step=14886912, episodic return=641.0477294921875\n", + "global step=14888960, episodic return=2348.8740234375\n", + "global step=14891008, episodic return=2420.096923828125\n", + "global step=14891008, episodic return=2328.618896484375\n", + "global step=14893056, episodic return=2283.60693359375\n", + "global step=14893056, episodic return=427.87493896484375\n", + "global step=14893056, episodic return=1388.6016845703125\n", + "global step=14893056, episodic return=2319.902587890625\n", + "global step=14895104, episodic return=1924.31396484375\n", + "global step=14895104, episodic return=2349.1572265625\n", + "global step=14899200, episodic return=2401.0810546875\n", + "global step=14901248, episodic return=1046.775146484375\n", + "global step=14901248, episodic return=2417.4765625\n", + "global step=14903296, episodic return=2257.834228515625\n", + "global step=14903296, episodic return=2222.888916015625\n", + "global step=14903296, episodic return=2328.616455078125\n", + "global step=14905344, episodic return=2208.691650390625\n", + "global step=14907392, episodic return=2274.625\n", + "global step=14909440, episodic return=169.37681579589844\n", + "global step=14909440, episodic return=2299.119140625\n", + "global step=14911488, episodic return=2362.387939453125\n", + "global step=14913536, episodic return=1610.5489501953125\n", + "global step=14915584, episodic return=2357.55908203125\n", + "global step=14915584, episodic return=2303.055419921875\n", + "global step=14915584, episodic return=656.7831420898438\n", + "global step=14915584, episodic return=2199.637451171875\n", + "global step=14919680, episodic return=172.76736450195312\n", + "global step=14923776, episodic return=446.7489013671875\n", + "global step=14923776, episodic return=2290.513916015625\n", + "global step=14923776, episodic return=230.66439819335938\n", + "global step=14925824, episodic return=2337.150390625\n", + "global step=14925824, episodic return=1571.7412109375\n", + "global step=14925824, episodic return=603.2650756835938\n", + "global step=14925824, episodic return=2311.553955078125\n", + "global step=14927872, episodic return=2406.69189453125\n", + "global step=14927872, episodic return=2326.596923828125\n", + "global step=14929920, episodic return=2345.93994140625\n", + "global step=14931968, episodic return=2328.565673828125\n", + "global step=14934016, episodic return=2219.10205078125\n", + "global step=14934016, episodic return=16.512104034423828\n", + "global step=14936064, episodic return=596.0692138671875\n", + "global step=14942208, episodic return=2101.661376953125\n", + "global step=14942208, episodic return=2363.04736328125\n", + "global step=14942208, episodic return=745.1995849609375\n", + "global step=14942208, episodic return=2391.00341796875\n", + "global step=14946304, episodic return=166.7246551513672\n", + "global step=14946304, episodic return=2309.5751953125\n", + "global step=14946304, episodic return=2385.416015625\n", + "global step=14946304, episodic return=602.5831909179688\n", + "global step=14946304, episodic return=2332.617919921875\n", + "global step=14948352, episodic return=921.915771484375\n", + "global step=14950400, episodic return=2302.381103515625\n", + "global step=14950400, episodic return=524.0772094726562\n", + "global step=14952448, episodic return=1957.341796875\n", + "global step=14954496, episodic return=2343.129638671875\n", + "global step=14954496, episodic return=538.052001953125\n", + "global step=14954496, episodic return=1649.45361328125\n", + "global step=14954496, episodic return=2300.304443359375\n", + "global step=14956544, episodic return=2343.321533203125\n", + "global step=14956544, episodic return=638.8316040039062\n", + "global step=14956544, episodic return=518.6148071289062\n", + "global step=14958592, episodic return=926.5570068359375\n", + "global step=14958592, episodic return=1010.8272094726562\n", + "global step=14962688, episodic return=2342.398681640625\n", + "global step=14964736, episodic return=2345.626953125\n", + "global step=14964736, episodic return=1244.324951171875\n", + "global step=14964736, episodic return=2330.896240234375\n", + "global step=14972928, episodic return=2313.756103515625\n", + "global step=14972928, episodic return=2326.3671875\n", + "global step=14972928, episodic return=1454.9775390625\n", + "global step=14974976, episodic return=2442.410400390625\n", + "global step=14977024, episodic return=2305.974365234375\n", + "global step=14977024, episodic return=1205.1790771484375\n", + "global step=14977024, episodic return=445.0445861816406\n", + "global step=14979072, episodic return=2339.628662109375\n", + "global step=14983168, episodic return=2361.359375\n", + "global step=14983168, episodic return=2399.0791015625\n", + "global step=14983168, episodic return=2312.4267578125\n", + "global step=14983168, episodic return=2391.032958984375\n", + "global step=14987264, episodic return=2340.338623046875\n", + "global step=14993408, episodic return=2322.024658203125\n", + "global step=14993408, episodic return=1510.20751953125\n", + "global step=14993408, episodic return=2347.428466796875\n", + "global step=14995456, episodic return=695.7145385742188\n", + "global step=14997504, episodic return=838.5087280273438\n", + "global step=14999552, episodic return=2301.61474609375\n", + "global step=14999552, episodic return=2351.120361328125\n", + "global step=15001600, episodic return=856.3047485351562\n", + "global step=15001600, episodic return=2360.305419921875\n", + "global step=15001600, episodic return=1494.1873779296875\n", + "global step=15003648, episodic return=2290.208251953125\n", + "global step=15003648, episodic return=67.46084594726562\n", + "global step=15005696, episodic return=2382.51318359375\n", + "global step=15005696, episodic return=1695.22021484375\n", + "global step=15007744, episodic return=2395.579345703125\n", + "global step=15007744, episodic return=2374.67822265625\n", + "global step=15009792, episodic return=529.196044921875\n", + "global step=15011840, episodic return=2416.173583984375\n", + "global step=15011840, episodic return=2386.5517578125\n", + "global step=15011840, episodic return=727.0260009765625\n", + "global step=15015936, episodic return=2327.626220703125\n", + "global step=15015936, episodic return=2337.060791015625\n", + "global step=15017984, episodic return=542.7102661132812\n", + "global step=15020032, episodic return=2300.695556640625\n", + "global step=15022080, episodic return=1119.3433837890625\n", + "global step=15022080, episodic return=2367.41943359375\n", + "global step=15026176, episodic return=588.1152954101562\n", + "global step=15026176, episodic return=1051.681884765625\n", + "global step=15028224, episodic return=2376.09130859375\n", + "global step=15030272, episodic return=2350.103271484375\n", + "global step=15030272, episodic return=2360.151611328125\n", + "global step=15030272, episodic return=557.096923828125\n", + "global step=15032320, episodic return=2311.797119140625\n", + "global step=15034368, episodic return=2403.6572265625\n", + "global step=15034368, episodic return=2373.4580078125\n", + "global step=15036416, episodic return=2412.452880859375\n", + "global step=15038464, episodic return=2310.501220703125\n", + "global step=15040512, episodic return=2415.91552734375\n", + "global step=15042560, episodic return=2349.5986328125\n", + "global step=15042560, episodic return=2412.43408203125\n", + "global step=15046656, episodic return=435.5671691894531\n", + "global step=15048704, episodic return=2265.204833984375\n", + "global step=15050752, episodic return=2342.989013671875\n", + "global step=15050752, episodic return=2332.31005859375\n", + "global step=15054848, episodic return=1916.2340087890625\n", + "global step=15054848, episodic return=2287.76904296875\n", + "global step=15056896, episodic return=2321.859375\n", + "global step=15056896, episodic return=2289.18896484375\n", + "global step=15058944, episodic return=2262.6982421875\n", + "global step=15058944, episodic return=2317.291259765625\n", + "global step=15063040, episodic return=2345.55810546875\n", + "global step=15063040, episodic return=2409.643798828125\n", + "global step=15063040, episodic return=2290.41064453125\n", + "global step=15065088, episodic return=2334.1123046875\n", + "global step=15067136, episodic return=2246.82958984375\n", + "global step=15067136, episodic return=1201.8331298828125\n", + "global step=15069184, episodic return=1507.4412841796875\n", + "global step=15069184, episodic return=2212.8212890625\n", + "global step=15077376, episodic return=2335.544677734375\n", + "global step=15077376, episodic return=2323.97802734375\n", + "global step=15079424, episodic return=2376.377685546875\n", + "global step=15081472, episodic return=2313.319580078125\n", + "global step=15081472, episodic return=2282.69677734375\n", + "global step=15083520, episodic return=648.8152465820312\n", + "global step=15083520, episodic return=2365.524169921875\n", + "global step=15083520, episodic return=2318.75\n", + "global step=15083520, episodic return=677.646240234375\n", + "global step=15083520, episodic return=2397.035888671875\n", + "global step=15085568, episodic return=2352.031005859375\n", + "global step=15087616, episodic return=670.3672485351562\n", + "global step=15089664, episodic return=1756.88232421875\n", + "global step=15089664, episodic return=2377.37109375\n", + "global step=15089664, episodic return=2396.833740234375\n", + "global step=15089664, episodic return=2419.3125\n", + "global step=15089664, episodic return=2366.5048828125\n", + "global step=15093760, episodic return=425.8359069824219\n", + "global step=15095808, episodic return=2251.667236328125\n", + "global step=15097856, episodic return=2393.16748046875\n", + "global step=15097856, episodic return=2271.611572265625\n", + "global step=15097856, episodic return=983.4041748046875\n", + "global step=15099904, episodic return=2313.92822265625\n", + "global step=15099904, episodic return=2255.0810546875\n", + "global step=15101952, episodic return=1093.5601806640625\n", + "global step=15101952, episodic return=646.3585205078125\n", + "global step=15104000, episodic return=257.836669921875\n", + "global step=15104000, episodic return=852.3733520507812\n", + "global step=15104000, episodic return=1497.345947265625\n", + "global step=15104000, episodic return=263.9984130859375\n", + "global step=15104000, episodic return=2121.818115234375\n", + "global step=15106048, episodic return=2354.479736328125\n", + "global step=15108096, episodic return=269.24859619140625\n", + "global step=15108096, episodic return=2362.181884765625\n", + "global step=15108096, episodic return=2338.78369140625\n", + "global step=15108096, episodic return=2351.644775390625\n", + "global step=15114240, episodic return=2089.234375\n", + "global step=15118336, episodic return=2392.50634765625\n", + "global step=15118336, episodic return=2284.61328125\n", + "global step=15118336, episodic return=1534.458740234375\n", + "global step=15118336, episodic return=2348.985107421875\n", + "global step=15118336, episodic return=2343.05126953125\n", + "global step=15120384, episodic return=2368.29296875\n", + "global step=15120384, episodic return=827.4796142578125\n", + "global step=15120384, episodic return=2301.97607421875\n", + "global step=15122432, episodic return=2339.289306640625\n", + "global step=15122432, episodic return=2298.384765625\n", + "global step=15122432, episodic return=2242.139404296875\n", + "global step=15122432, episodic return=2360.4208984375\n", + "global step=15124480, episodic return=2336.86328125\n", + "global step=15126528, episodic return=2296.529296875\n", + "global step=15128576, episodic return=2341.358154296875\n", + "global step=15128576, episodic return=2359.861083984375\n", + "global step=15128576, episodic return=2326.9462890625\n", + "global step=15128576, episodic return=2339.747802734375\n", + "global step=15130624, episodic return=2366.416015625\n", + "global step=15130624, episodic return=2354.417236328125\n", + "global step=15130624, episodic return=2365.02392578125\n", + "global step=15130624, episodic return=1110.2205810546875\n", + "global step=15130624, episodic return=188.69964599609375\n", + "global step=15130624, episodic return=2352.21533203125\n", + "global step=15132672, episodic return=2303.65625\n", + "global step=15134720, episodic return=2338.955810546875\n", + "global step=15134720, episodic return=2342.937255859375\n", + "global step=15136768, episodic return=2351.074462890625\n", + "global step=15136768, episodic return=2358.3017578125\n", + "global step=15136768, episodic return=2309.07763671875\n", + "global step=15140864, episodic return=2334.932861328125\n", + "global step=15140864, episodic return=2282.62841796875\n", + "global step=15142912, episodic return=2229.986083984375\n", + "global step=15144960, episodic return=2237.49365234375\n", + "global step=15151104, episodic return=2347.855712890625\n", + "global step=15151104, episodic return=796.1962280273438\n", + "global step=15151104, episodic return=2341.921142578125\n", + "global step=15153152, episodic return=201.53802490234375\n", + "global step=15155200, episodic return=1519.523681640625\n", + "global step=15157248, episodic return=2237.118408203125\n", + "global step=15159296, episodic return=2278.25341796875\n", + "global step=15161344, episodic return=2277.92626953125\n", + "global step=15161344, episodic return=2242.203125\n", + "global step=15163392, episodic return=2297.380126953125\n", + "global step=15163392, episodic return=2352.67333984375\n", + "global step=15163392, episodic return=2278.083984375\n", + "global step=15163392, episodic return=2329.267578125\n", + "global step=15167488, episodic return=2371.28076171875\n", + "global step=15167488, episodic return=2289.472412109375\n", + "global step=15167488, episodic return=2314.834228515625\n", + "global step=15167488, episodic return=2275.886962890625\n", + "global step=15167488, episodic return=2344.823486328125\n", + "global step=15169536, episodic return=2326.314453125\n", + "global step=15169536, episodic return=2284.5576171875\n", + "global step=15173632, episodic return=2333.32666015625\n", + "global step=15179776, episodic return=1933.5009765625\n", + "global step=15183872, episodic return=2216.40234375\n", + "global step=15185920, episodic return=2420.38818359375\n", + "global step=15185920, episodic return=2359.190185546875\n", + "global step=15190016, episodic return=2363.625\n", + "global step=15192064, episodic return=2263.428955078125\n", + "global step=15192064, episodic return=2303.9052734375\n", + "global step=15192064, episodic return=1904.2510986328125\n", + "global step=15192064, episodic return=2376.277587890625\n", + "global step=15196160, episodic return=2390.507080078125\n", + "global step=15196160, episodic return=2367.99755859375\n", + "global step=15196160, episodic return=2239.635986328125\n", + "global step=15198208, episodic return=2336.85791015625\n", + "global step=15200256, episodic return=788.6957397460938\n", + "global step=15200256, episodic return=2297.45751953125\n", + "global step=15202304, episodic return=2073.68212890625\n", + "global step=15202304, episodic return=2334.14208984375\n", + "global step=15202304, episodic return=2357.263671875\n", + "global step=15204352, episodic return=737.441162109375\n", + "global step=15206400, episodic return=938.3841552734375\n", + "global step=15206400, episodic return=440.7041320800781\n", + "global step=15206400, episodic return=2140.767822265625\n", + "global step=15208448, episodic return=2269.756103515625\n", + "global step=15208448, episodic return=2368.95751953125\n", + "global step=15208448, episodic return=1330.738037109375\n", + "global step=15210496, episodic return=1782.87890625\n", + "global step=15210496, episodic return=287.1998596191406\n", + "global step=15210496, episodic return=1076.620849609375\n", + "global step=15212544, episodic return=246.38465881347656\n", + "global step=15212544, episodic return=1097.8011474609375\n", + "global step=15214592, episodic return=2364.3955078125\n", + "global step=15214592, episodic return=2295.779052734375\n", + "global step=15214592, episodic return=1876.0594482421875\n", + "global step=15216640, episodic return=2334.135986328125\n", + "global step=15216640, episodic return=2317.90673828125\n", + "global step=15218688, episodic return=2254.993896484375\n", + "global step=15218688, episodic return=2348.294921875\n", + "global step=15218688, episodic return=2344.305908203125\n", + "global step=15218688, episodic return=2307.084228515625\n", + "global step=15218688, episodic return=2330.674072265625\n", + "global step=15220736, episodic return=874.4366455078125\n", + "global step=15222784, episodic return=2243.999267578125\n", + "global step=15224832, episodic return=2355.533935546875\n", + "global step=15224832, episodic return=1672.6937255859375\n", + "global step=15224832, episodic return=571.704833984375\n", + "global step=15226880, episodic return=1011.03173828125\n", + "global step=15226880, episodic return=2302.326904296875\n", + "global step=15230976, episodic return=2344.656494140625\n", + "global step=15230976, episodic return=2169.340576171875\n", + "global step=15233024, episodic return=1805.767822265625\n", + "global step=15233024, episodic return=2300.99462890625\n", + "global step=15233024, episodic return=2400.230224609375\n", + "global step=15235072, episodic return=2246.24267578125\n", + "global step=15235072, episodic return=2298.201416015625\n", + "global step=15235072, episodic return=1115.5352783203125\n", + "global step=15237120, episodic return=1568.3680419921875\n", + "global step=15237120, episodic return=2063.34375\n", + "global step=15239168, episodic return=2295.985107421875\n", + "global step=15239168, episodic return=2198.070068359375\n", + "global step=15241216, episodic return=1918.931884765625\n", + "global step=15241216, episodic return=2294.608154296875\n", + "global step=15241216, episodic return=1975.491455078125\n", + "global step=15241216, episodic return=2241.00390625\n", + "global step=15241216, episodic return=2185.074951171875\n", + "global step=15241216, episodic return=2289.049072265625\n", + "global step=15243264, episodic return=2218.6708984375\n", + "global step=15243264, episodic return=2363.505126953125\n", + "global step=15243264, episodic return=1874.0257568359375\n", + "global step=15245312, episodic return=2307.606689453125\n", + "global step=15247360, episodic return=207.80783081054688\n", + "global step=15247360, episodic return=2035.45947265625\n", + "global step=15247360, episodic return=305.56884765625\n", + "global step=15249408, episodic return=2304.985107421875\n", + "global step=15249408, episodic return=2218.31103515625\n", + "global step=15249408, episodic return=2343.1259765625\n", + "global step=15251456, episodic return=2318.860595703125\n", + "global step=15251456, episodic return=2281.084228515625\n", + "global step=15251456, episodic return=2280.403564453125\n", + "global step=15251456, episodic return=2243.340576171875\n", + "global step=15253504, episodic return=1711.0960693359375\n", + "global step=15255552, episodic return=2326.076904296875\n", + "global step=15257600, episodic return=2323.197021484375\n", + "global step=15259648, episodic return=1675.8157958984375\n", + "global step=15259648, episodic return=1491.6861572265625\n", + "global step=15259648, episodic return=551.5018920898438\n", + "global step=15261696, episodic return=1008.7807006835938\n", + "global step=15263744, episodic return=2341.8720703125\n", + "global step=15263744, episodic return=2243.8583984375\n", + "global step=15263744, episodic return=2310.712158203125\n", + "global step=15263744, episodic return=2236.718994140625\n", + "global step=15263744, episodic return=2303.146240234375\n", + "global step=15265792, episodic return=2311.719970703125\n", + "global step=15265792, episodic return=2269.244873046875\n", + "global step=15265792, episodic return=2275.639404296875\n", + "global step=15265792, episodic return=1000.0484008789062\n", + "global step=15267840, episodic return=2085.57958984375\n", + "global step=15267840, episodic return=2011.73974609375\n", + "global step=15267840, episodic return=1675.008544921875\n", + "global step=15267840, episodic return=2271.938232421875\n", + "global step=15269888, episodic return=2306.2001953125\n", + "global step=15269888, episodic return=2203.217529296875\n", + "global step=15269888, episodic return=1260.38720703125\n", + "global step=15269888, episodic return=2357.84521484375\n", + "global step=15269888, episodic return=2284.313720703125\n", + "global step=15271936, episodic return=1746.1990966796875\n", + "global step=15271936, episodic return=584.7357177734375\n", + "global step=15276032, episodic return=2248.667724609375\n", + "global step=15276032, episodic return=1384.5894775390625\n", + "global step=15276032, episodic return=2318.257568359375\n", + "global step=15276032, episodic return=1290.6798095703125\n", + "global step=15276032, episodic return=2362.753662109375\n", + "global step=15276032, episodic return=1892.67236328125\n", + "global step=15278080, episodic return=2307.58349609375\n", + "global step=15278080, episodic return=1537.5008544921875\n", + "global step=15278080, episodic return=2297.4365234375\n", + "global step=15280128, episodic return=2337.2236328125\n", + "global step=15280128, episodic return=2312.099609375\n", + "global step=15280128, episodic return=2336.84423828125\n", + "global step=15284224, episodic return=2357.941650390625\n", + "global step=15284224, episodic return=2072.812744140625\n", + "global step=15284224, episodic return=2314.868408203125\n", + "global step=15286272, episodic return=2382.217529296875\n", + "global step=15286272, episodic return=2249.380126953125\n", + "global step=15286272, episodic return=1062.7047119140625\n", + "global step=15286272, episodic return=2292.126220703125\n", + "global step=15288320, episodic return=2309.55126953125\n", + "global step=15288320, episodic return=1348.2373046875\n", + "global step=15290368, episodic return=2344.995361328125\n", + "global step=15290368, episodic return=2290.378662109375\n", + "global step=15290368, episodic return=2289.617431640625\n", + "global step=15292416, episodic return=2333.817138671875\n", + "global step=15292416, episodic return=2296.689453125\n", + "global step=15294464, episodic return=2283.370849609375\n", + "global step=15294464, episodic return=2262.666259765625\n", + "global step=15294464, episodic return=2301.16552734375\n", + "global step=15296512, episodic return=2302.15673828125\n", + "global step=15296512, episodic return=2334.018798828125\n", + "global step=15298560, episodic return=2332.43798828125\n", + "global step=15298560, episodic return=2226.391845703125\n", + "global step=15298560, episodic return=2356.920166015625\n", + "global step=15298560, episodic return=2359.88623046875\n", + "global step=15300608, episodic return=2339.85302734375\n", + "global step=15300608, episodic return=2358.494873046875\n", + "global step=15300608, episodic return=2316.181884765625\n", + "global step=15302656, episodic return=2238.75048828125\n", + "global step=15304704, episodic return=2341.30859375\n", + "global step=15306752, episodic return=861.419921875\n", + "global step=15306752, episodic return=2361.03515625\n", + "global step=15306752, episodic return=2299.794677734375\n", + "global step=15308800, episodic return=2253.8330078125\n", + "global step=15308800, episodic return=48.740108489990234\n", + "global step=15308800, episodic return=1815.7127685546875\n", + "global step=15308800, episodic return=2318.39892578125\n", + "global step=15310848, episodic return=2261.225830078125\n", + "global step=15310848, episodic return=2308.072509765625\n", + "global step=15312896, episodic return=2323.970947265625\n", + "global step=15312896, episodic return=2300.452880859375\n", + "global step=15314944, episodic return=2339.63330078125\n", + "global step=15314944, episodic return=2348.586669921875\n", + "global step=15316992, episodic return=2337.259765625\n", + "global step=15316992, episodic return=2276.165283203125\n", + "global step=15316992, episodic return=2274.43505859375\n", + "global step=15316992, episodic return=2208.07763671875\n", + "global step=15321088, episodic return=2186.655517578125\n", + "global step=15321088, episodic return=221.53598022460938\n", + "global step=15321088, episodic return=1015.9392700195312\n", + "global step=15323136, episodic return=2297.72314453125\n", + "global step=15323136, episodic return=2354.032470703125\n", + "global step=15325184, episodic return=2354.69287109375\n", + "global step=15327232, episodic return=26.91415786743164\n", + "global step=15327232, episodic return=2319.516845703125\n", + "global step=15327232, episodic return=2252.3681640625\n", + "global step=15327232, episodic return=2224.818115234375\n", + "global step=15327232, episodic return=2312.683349609375\n", + "global step=15329280, episodic return=561.5348510742188\n", + "global step=15329280, episodic return=2310.81298828125\n", + "global step=15329280, episodic return=2215.16552734375\n", + "global step=15329280, episodic return=2285.982177734375\n", + "global step=15331328, episodic return=2374.046142578125\n", + "global step=15331328, episodic return=2297.462890625\n", + "global step=15331328, episodic return=1279.0986328125\n", + "global step=15333376, episodic return=1892.109130859375\n", + "global step=15333376, episodic return=2318.211181640625\n", + "global step=15333376, episodic return=2314.7158203125\n", + "global step=15333376, episodic return=2292.51171875\n", + "global step=15335424, episodic return=2340.675048828125\n", + "global step=15335424, episodic return=2269.183349609375\n", + "global step=15335424, episodic return=2337.15087890625\n", + "global step=15335424, episodic return=2268.59619140625\n", + "global step=15335424, episodic return=2335.5498046875\n", + "global step=15335424, episodic return=2264.76318359375\n", + "global step=15339520, episodic return=16.80459213256836\n", + "global step=15339520, episodic return=1343.9849853515625\n", + "global step=15341568, episodic return=2334.119384765625\n", + "global step=15341568, episodic return=2311.51708984375\n", + "global step=15341568, episodic return=2028.5343017578125\n", + "global step=15343616, episodic return=2359.7265625\n", + "global step=15343616, episodic return=2302.67431640625\n", + "global step=15343616, episodic return=2356.815185546875\n", + "global step=15345664, episodic return=1661.337890625\n", + "global step=15345664, episodic return=2162.59619140625\n", + "global step=15345664, episodic return=2285.001220703125\n", + "global step=15345664, episodic return=2299.51953125\n", + "global step=15347712, episodic return=734.268798828125\n", + "global step=15347712, episodic return=2299.815673828125\n", + "global step=15347712, episodic return=2355.236083984375\n", + "global step=15349760, episodic return=2343.086181640625\n", + "global step=15349760, episodic return=2249.9130859375\n", + "global step=15349760, episodic return=2329.368408203125\n", + "global step=15351808, episodic return=2220.18408203125\n", + "global step=15351808, episodic return=2295.03564453125\n", + "global step=15351808, episodic return=2197.7919921875\n", + "global step=15355904, episodic return=2293.4833984375\n", + "global step=15355904, episodic return=2316.14208984375\n", + "global step=15355904, episodic return=2312.44140625\n", + "global step=15355904, episodic return=2291.41064453125\n", + "global step=15357952, episodic return=2347.560302734375\n", + "global step=15357952, episodic return=2307.513916015625\n", + "global step=15357952, episodic return=2326.10791015625\n", + "global step=15357952, episodic return=2333.9345703125\n", + "global step=15360000, episodic return=2203.94482421875\n", + "global step=15360000, episodic return=2347.664794921875\n", + "global step=15362048, episodic return=2217.166259765625\n", + "global step=15362048, episodic return=2339.348388671875\n", + "global step=15362048, episodic return=2287.89599609375\n", + "global step=15362048, episodic return=2307.441162109375\n", + "global step=15364096, episodic return=2272.925048828125\n", + "global step=15364096, episodic return=2211.6220703125\n", + "global step=15366144, episodic return=2295.600830078125\n", + "global step=15368192, episodic return=2288.13671875\n", + "global step=15368192, episodic return=2311.704345703125\n", + "global step=15372288, episodic return=2253.588623046875\n", + "global step=15372288, episodic return=2358.118408203125\n", + "global step=15372288, episodic return=1811.677490234375\n", + "global step=15374336, episodic return=2270.6455078125\n", + "global step=15376384, episodic return=2344.626708984375\n", + "global step=15378432, episodic return=2338.988525390625\n", + "global step=15378432, episodic return=2079.04248046875\n", + "global step=15378432, episodic return=2347.58837890625\n", + "global step=15378432, episodic return=2375.273681640625\n", + "global step=15380480, episodic return=2290.41943359375\n", + "global step=15380480, episodic return=2343.9443359375\n", + "global step=15382528, episodic return=2287.038330078125\n", + "global step=15382528, episodic return=2326.506591796875\n", + "global step=15382528, episodic return=2292.642822265625\n", + "global step=15384576, episodic return=2239.73828125\n", + "global step=15384576, episodic return=943.9742431640625\n", + "global step=15386624, episodic return=1235.635498046875\n", + "global step=15386624, episodic return=2330.189208984375\n", + "global step=15388672, episodic return=2288.28857421875\n", + "global step=15388672, episodic return=2279.60888671875\n", + "global step=15388672, episodic return=2374.46728515625\n", + "global step=15390720, episodic return=2355.12109375\n", + "global step=15390720, episodic return=2358.49365234375\n", + "global step=15394816, episodic return=2315.02734375\n", + "global step=15394816, episodic return=2268.654541015625\n", + "global step=15396864, episodic return=2243.881591796875\n", + "global step=15396864, episodic return=2339.995849609375\n", + "global step=15396864, episodic return=2271.974853515625\n", + "global step=15398912, episodic return=2358.707763671875\n", + "global step=15398912, episodic return=2169.20703125\n", + "global step=15400960, episodic return=2281.268798828125\n", + "global step=15400960, episodic return=2281.4599609375\n", + "global step=15403008, episodic return=883.7620849609375\n", + "global step=15403008, episodic return=2173.516845703125\n", + "global step=15403008, episodic return=2323.6943359375\n", + "global step=15405056, episodic return=1632.6033935546875\n", + "global step=15405056, episodic return=1247.4091796875\n", + "global step=15405056, episodic return=739.0518188476562\n", + "global step=15405056, episodic return=2283.98388671875\n", + "global step=15407104, episodic return=2285.19580078125\n", + "global step=15407104, episodic return=2240.92333984375\n", + "global step=15407104, episodic return=2252.104736328125\n", + "global step=15409152, episodic return=2174.382568359375\n", + "global step=15411200, episodic return=2242.33203125\n", + "global step=15413248, episodic return=2264.453857421875\n", + "global step=15415296, episodic return=2392.385986328125\n", + "global step=15417344, episodic return=1459.5081787109375\n", + "global step=15417344, episodic return=2271.367431640625\n", + "global step=15417344, episodic return=2134.8349609375\n", + "global step=15417344, episodic return=1547.0306396484375\n", + "global step=15417344, episodic return=2245.722412109375\n", + "global step=15419392, episodic return=2301.39453125\n", + "global step=15419392, episodic return=784.0941162109375\n", + "global step=15419392, episodic return=2306.982666015625\n", + "global step=15419392, episodic return=2316.29931640625\n", + "global step=15421440, episodic return=760.574951171875\n", + "global step=15421440, episodic return=1209.2962646484375\n", + "global step=15421440, episodic return=2300.2822265625\n", + "global step=15421440, episodic return=2351.17138671875\n", + "global step=15423488, episodic return=1985.6683349609375\n", + "global step=15425536, episodic return=2276.20361328125\n", + "global step=15425536, episodic return=2280.86865234375\n", + "global step=15425536, episodic return=1862.1201171875\n", + "global step=15425536, episodic return=2322.67236328125\n", + "global step=15425536, episodic return=2287.2412109375\n", + "global step=15427584, episodic return=2287.177734375\n", + "global step=15427584, episodic return=2320.027587890625\n", + "global step=15429632, episodic return=2318.624755859375\n", + "global step=15431680, episodic return=2263.03662109375\n", + "global step=15431680, episodic return=2368.68017578125\n", + "global step=15433728, episodic return=46.72523498535156\n", + "global step=15433728, episodic return=2343.326904296875\n", + "global step=15433728, episodic return=512.5947265625\n", + "global step=15435776, episodic return=2186.2236328125\n", + "global step=15435776, episodic return=51.98420333862305\n", + "global step=15435776, episodic return=152.97958374023438\n", + "global step=15435776, episodic return=2306.71337890625\n", + "global step=15435776, episodic return=1532.7138671875\n", + "global step=15435776, episodic return=182.21063232421875\n", + "global step=15435776, episodic return=2308.867431640625\n", + "global step=15437824, episodic return=2218.5\n", + "global step=15437824, episodic return=2239.349609375\n", + "global step=15439872, episodic return=2290.643310546875\n", + "global step=15439872, episodic return=258.68817138671875\n", + "global step=15439872, episodic return=2339.322509765625\n", + "global step=15441920, episodic return=2308.144287109375\n", + "global step=15441920, episodic return=2333.5234375\n", + "global step=15443968, episodic return=1154.0775146484375\n", + "global step=15443968, episodic return=2255.474365234375\n", + "global step=15443968, episodic return=288.2423095703125\n", + "global step=15443968, episodic return=2296.349609375\n", + "global step=15446016, episodic return=2348.855712890625\n", + "global step=15446016, episodic return=2210.184326171875\n", + "global step=15446016, episodic return=2321.313720703125\n", + "global step=15446016, episodic return=213.83778381347656\n", + "global step=15446016, episodic return=2296.185791015625\n", + "global step=15446016, episodic return=2329.70556640625\n", + "global step=15446016, episodic return=2068.859375\n", + "global step=15448064, episodic return=2299.9091796875\n", + "global step=15448064, episodic return=2362.23828125\n", + "global step=15448064, episodic return=452.6971435546875\n", + "global step=15448064, episodic return=345.88031005859375\n", + "global step=15450112, episodic return=2381.12109375\n", + "global step=15450112, episodic return=2269.56689453125\n", + "global step=15450112, episodic return=2292.279296875\n", + "global step=15452160, episodic return=2371.565185546875\n", + "global step=15452160, episodic return=248.38900756835938\n", + "global step=15452160, episodic return=2284.19091796875\n", + "global step=15452160, episodic return=1316.9774169921875\n", + "global step=15452160, episodic return=1142.3397216796875\n", + "global step=15454208, episodic return=2299.491455078125\n", + "global step=15454208, episodic return=2328.28125\n", + "global step=15454208, episodic return=295.28619384765625\n", + "global step=15454208, episodic return=1003.6627197265625\n", + "global step=15454208, episodic return=2330.825927734375\n", + "global step=15456256, episodic return=318.2178039550781\n", + "global step=15456256, episodic return=1339.4140625\n", + "global step=15456256, episodic return=289.7943115234375\n", + "global step=15456256, episodic return=1677.95849609375\n", + "global step=15458304, episodic return=973.179931640625\n", + "global step=15458304, episodic return=196.461181640625\n", + "global step=15458304, episodic return=2299.306396484375\n", + "global step=15458304, episodic return=687.4329833984375\n", + "global step=15458304, episodic return=2270.10986328125\n", + "global step=15458304, episodic return=665.0452270507812\n", + "global step=15460352, episodic return=1636.0322265625\n", + "global step=15460352, episodic return=2358.51708984375\n", + "global step=15460352, episodic return=2369.744140625\n", + "global step=15460352, episodic return=54.88051986694336\n", + "global step=15462400, episodic return=2330.4345703125\n", + "global step=15464448, episodic return=1839.44580078125\n", + "global step=15464448, episodic return=2317.20556640625\n", + "global step=15464448, episodic return=2296.841552734375\n", + "global step=15464448, episodic return=2315.90380859375\n", + "global step=15466496, episodic return=2286.239013671875\n", + "global step=15466496, episodic return=1222.9920654296875\n", + "global step=15466496, episodic return=875.9102172851562\n", + "global step=15468544, episodic return=2279.3681640625\n", + "global step=15468544, episodic return=2297.38232421875\n", + "global step=15468544, episodic return=2309.846435546875\n", + "global step=15468544, episodic return=2066.839599609375\n", + "global step=15470592, episodic return=2344.478271484375\n", + "global step=15470592, episodic return=2083.456787109375\n", + "global step=15470592, episodic return=636.4942016601562\n", + "global step=15470592, episodic return=2298.33349609375\n", + "global step=15470592, episodic return=656.1738891601562\n", + "global step=15472640, episodic return=1539.865234375\n", + "global step=15472640, episodic return=1372.82568359375\n", + "global step=15472640, episodic return=2320.87158203125\n", + "global step=15474688, episodic return=287.42071533203125\n", + "global step=15476736, episodic return=2240.2509765625\n", + "global step=15476736, episodic return=2314.59619140625\n", + "global step=15476736, episodic return=2262.786865234375\n", + "global step=15476736, episodic return=2233.1875\n", + "global step=15476736, episodic return=2265.04833984375\n", + "global step=15478784, episodic return=2272.69970703125\n", + "global step=15478784, episodic return=512.4563598632812\n", + "global step=15480832, episodic return=1957.9420166015625\n", + "global step=15480832, episodic return=2352.689453125\n", + "global step=15480832, episodic return=2335.236083984375\n", + "global step=15480832, episodic return=2293.9892578125\n", + "global step=15480832, episodic return=768.6903076171875\n", + "global step=15482880, episodic return=2201.945068359375\n", + "global step=15484928, episodic return=2334.547119140625\n", + "global step=15484928, episodic return=996.7032470703125\n", + "global step=15484928, episodic return=2260.041015625\n", + "global step=15484928, episodic return=2335.86083984375\n", + "global step=15486976, episodic return=2308.438232421875\n", + "global step=15486976, episodic return=2348.4775390625\n", + "global step=15486976, episodic return=2400.75048828125\n", + "global step=15489024, episodic return=674.7753295898438\n", + "global step=15489024, episodic return=2348.6572265625\n", + "global step=15489024, episodic return=2323.96826171875\n", + "global step=15489024, episodic return=2362.634765625\n", + "global step=15489024, episodic return=2269.642333984375\n", + "global step=15489024, episodic return=1253.413330078125\n", + "global step=15491072, episodic return=2181.336669921875\n", + "global step=15491072, episodic return=2254.88134765625\n", + "global step=15491072, episodic return=1266.090576171875\n", + "global step=15493120, episodic return=2273.6123046875\n", + "global step=15493120, episodic return=188.2126007080078\n", + "global step=15493120, episodic return=851.0035400390625\n", + "global step=15493120, episodic return=2349.69677734375\n", + "global step=15495168, episodic return=2325.43017578125\n", + "global step=15495168, episodic return=713.2685546875\n", + "global step=15497216, episodic return=2297.86962890625\n", + "global step=15497216, episodic return=899.2454223632812\n", + "global step=15499264, episodic return=2328.2294921875\n", + "global step=15499264, episodic return=2326.978515625\n", + "global step=15499264, episodic return=2330.86767578125\n", + "global step=15499264, episodic return=848.2625732421875\n", + "global step=15501312, episodic return=2321.051025390625\n", + "global step=15501312, episodic return=2312.08984375\n", + "global step=15501312, episodic return=2326.11181640625\n", + "global step=15501312, episodic return=639.150390625\n", + "global step=15503360, episodic return=2394.15087890625\n", + "global step=15503360, episodic return=2316.19775390625\n", + "global step=15505408, episodic return=1885.6671142578125\n", + "global step=15505408, episodic return=1123.6644287109375\n", + "global step=15507456, episodic return=1045.912109375\n", + "global step=15507456, episodic return=2304.47705078125\n", + "global step=15509504, episodic return=2302.487060546875\n", + "global step=15509504, episodic return=2349.283935546875\n", + "global step=15509504, episodic return=2311.470458984375\n", + "global step=15509504, episodic return=222.51870727539062\n", + "global step=15511552, episodic return=920.3733520507812\n", + "global step=15511552, episodic return=2253.3544921875\n", + "global step=15511552, episodic return=2322.0146484375\n", + "global step=15513600, episodic return=2405.166748046875\n", + "global step=15513600, episodic return=2362.60888671875\n", + "global step=15513600, episodic return=2357.335693359375\n", + "global step=15513600, episodic return=2368.832763671875\n", + "global step=15513600, episodic return=2255.57861328125\n", + "global step=15513600, episodic return=2332.97998046875\n", + "global step=15513600, episodic return=2217.084716796875\n", + "global step=15513600, episodic return=2229.949462890625\n", + "global step=15513600, episodic return=216.36001586914062\n", + "global step=15515648, episodic return=2340.38427734375\n", + "global step=15515648, episodic return=2274.183837890625\n", + "global step=15515648, episodic return=2242.65869140625\n", + "global step=15517696, episodic return=2323.490234375\n", + "global step=15517696, episodic return=2321.223388671875\n", + "global step=15517696, episodic return=916.2850341796875\n", + "global step=15521792, episodic return=807.5723266601562\n", + "global step=15523840, episodic return=2331.5546875\n", + "global step=15523840, episodic return=2368.253662109375\n", + "global step=15523840, episodic return=2301.92578125\n", + "global step=15523840, episodic return=2404.370361328125\n", + "global step=15523840, episodic return=2276.333740234375\n", + "global step=15523840, episodic return=2355.5126953125\n", + "global step=15527936, episodic return=1581.32470703125\n", + "global step=15527936, episodic return=2294.25927734375\n", + "global step=15527936, episodic return=2330.551513671875\n", + "global step=15527936, episodic return=2307.840576171875\n", + "global step=15529984, episodic return=434.1844482421875\n", + "global step=15529984, episodic return=2376.43115234375\n", + "global step=15529984, episodic return=2386.265625\n", + "global step=15529984, episodic return=2375.75048828125\n", + "global step=15532032, episodic return=2274.0078125\n", + "global step=15532032, episodic return=2267.615478515625\n", + "global step=15534080, episodic return=2299.232177734375\n", + "global step=15534080, episodic return=2357.732666015625\n", + "global step=15534080, episodic return=2299.9892578125\n", + "global step=15534080, episodic return=2256.32275390625\n", + "global step=15536128, episodic return=2166.305908203125\n", + "global step=15536128, episodic return=2298.00146484375\n", + "global step=15536128, episodic return=2243.219482421875\n", + "global step=15536128, episodic return=2305.73828125\n", + "global step=15536128, episodic return=192.2655029296875\n", + "global step=15538176, episodic return=2259.914794921875\n", + "global step=15538176, episodic return=2347.595947265625\n", + "global step=15540224, episodic return=2208.216064453125\n", + "global step=15540224, episodic return=630.114501953125\n", + "global step=15542272, episodic return=2308.81689453125\n", + "global step=15542272, episodic return=1485.1885986328125\n", + "global step=15542272, episodic return=2342.484619140625\n", + "global step=15542272, episodic return=2340.80419921875\n", + "global step=15544320, episodic return=2330.4404296875\n", + "global step=15544320, episodic return=2282.581787109375\n", + "global step=15544320, episodic return=2290.68359375\n", + "global step=15544320, episodic return=2381.581787109375\n", + "global step=15544320, episodic return=2009.1429443359375\n", + "global step=15544320, episodic return=2352.61962890625\n", + "global step=15546368, episodic return=2298.237060546875\n", + "global step=15548416, episodic return=2328.447998046875\n", + "global step=15550464, episodic return=1810.5067138671875\n", + "global step=15550464, episodic return=2397.234130859375\n", + "global step=15550464, episodic return=2321.2822265625\n", + "global step=15552512, episodic return=2320.314697265625\n", + "global step=15552512, episodic return=2353.668701171875\n", + "global step=15554560, episodic return=2301.197021484375\n", + "global step=15556608, episodic return=2314.33642578125\n", + "global step=15556608, episodic return=2314.5986328125\n", + "global step=15556608, episodic return=1905.2733154296875\n", + "global step=15556608, episodic return=1868.36572265625\n", + "global step=15556608, episodic return=42.73100662231445\n", + "global step=15556608, episodic return=2263.66943359375\n", + "global step=15558656, episodic return=2343.916748046875\n", + "global step=15558656, episodic return=2341.0361328125\n", + "global step=15558656, episodic return=2360.9423828125\n", + "global step=15558656, episodic return=2283.74951171875\n", + "global step=15558656, episodic return=2238.092529296875\n", + "global step=15558656, episodic return=2313.307861328125\n", + "global step=15560704, episodic return=2336.57763671875\n", + "global step=15560704, episodic return=2347.0546875\n", + "global step=15560704, episodic return=2303.2763671875\n", + "global step=15562752, episodic return=2335.519287109375\n", + "global step=15562752, episodic return=2114.236083984375\n", + "global step=15562752, episodic return=2284.0634765625\n", + "global step=15562752, episodic return=2296.442138671875\n", + "global step=15562752, episodic return=1934.997314453125\n", + "global step=15564800, episodic return=2269.039794921875\n", + "global step=15564800, episodic return=2318.949462890625\n", + "global step=15564800, episodic return=853.3375854492188\n", + "global step=15564800, episodic return=2272.9541015625\n", + "global step=15564800, episodic return=2249.16015625\n", + "global step=15564800, episodic return=2234.746826171875\n", + "global step=15566848, episodic return=289.7616882324219\n", + "global step=15566848, episodic return=2294.923828125\n", + "global step=15566848, episodic return=2265.15673828125\n", + "global step=15568896, episodic return=2247.873779296875\n", + "global step=15568896, episodic return=2405.355712890625\n", + "global step=15568896, episodic return=2206.6533203125\n", + "global step=15568896, episodic return=2320.844970703125\n", + "global step=15570944, episodic return=924.7163696289062\n", + "global step=15570944, episodic return=2281.980224609375\n", + "global step=15570944, episodic return=2313.08447265625\n", + "global step=15570944, episodic return=2400.58056640625\n", + "global step=15575040, episodic return=2228.962158203125\n", + "global step=15575040, episodic return=1306.4293212890625\n", + "global step=15577088, episodic return=2253.340087890625\n", + "global step=15577088, episodic return=2373.35595703125\n", + "global step=15579136, episodic return=2306.5576171875\n", + "global step=15579136, episodic return=2374.128662109375\n", + "global step=15579136, episodic return=2283.802490234375\n", + "global step=15579136, episodic return=36.566795349121094\n", + "global step=15579136, episodic return=2270.9775390625\n", + "global step=15579136, episodic return=768.6309204101562\n", + "global step=15581184, episodic return=2231.260009765625\n", + "global step=15581184, episodic return=2277.843994140625\n", + "global step=15581184, episodic return=2317.34716796875\n", + "global step=15583232, episodic return=2352.8017578125\n", + "global step=15583232, episodic return=2199.843505859375\n", + "global step=15583232, episodic return=2301.637939453125\n", + "global step=15583232, episodic return=2311.453857421875\n", + "global step=15583232, episodic return=2352.680419921875\n", + "global step=15585280, episodic return=2308.913330078125\n", + "global step=15585280, episodic return=1041.9482421875\n", + "global step=15585280, episodic return=1395.2132568359375\n", + "global step=15585280, episodic return=685.5310668945312\n", + "global step=15585280, episodic return=2243.75244140625\n", + "global step=15587328, episodic return=216.37039184570312\n", + "global step=15587328, episodic return=2309.8056640625\n", + "global step=15587328, episodic return=2317.409912109375\n", + "global step=15587328, episodic return=2306.399658203125\n", + "global step=15589376, episodic return=2254.810546875\n", + "global step=15589376, episodic return=2279.996826171875\n", + "global step=15589376, episodic return=177.91616821289062\n", + "global step=15589376, episodic return=2289.061279296875\n", + "global step=15591424, episodic return=2384.676513671875\n", + "global step=15591424, episodic return=2281.968017578125\n", + "global step=15591424, episodic return=2178.524658203125\n", + "global step=15593472, episodic return=2330.33642578125\n", + "global step=15593472, episodic return=2349.866943359375\n", + "global step=15593472, episodic return=2260.838134765625\n", + "global step=15593472, episodic return=2294.2861328125\n", + "global step=15595520, episodic return=2220.863525390625\n", + "global step=15597568, episodic return=2236.54541015625\n", + "global step=15599616, episodic return=243.5747528076172\n", + "global step=15599616, episodic return=2233.65234375\n", + "global step=15601664, episodic return=2311.321533203125\n", + "global step=15601664, episodic return=2296.37939453125\n", + "global step=15603712, episodic return=2348.592529296875\n", + "global step=15603712, episodic return=2258.77734375\n", + "global step=15603712, episodic return=2349.91552734375\n", + "global step=15603712, episodic return=2323.433837890625\n", + "global step=15603712, episodic return=2221.835205078125\n", + "global step=15605760, episodic return=321.71044921875\n", + "global step=15605760, episodic return=2304.022705078125\n", + "global step=15605760, episodic return=2291.465576171875\n", + "global step=15605760, episodic return=992.63720703125\n", + "global step=15607808, episodic return=2291.791015625\n", + "global step=15607808, episodic return=2254.84521484375\n", + "global step=15609856, episodic return=2300.67041015625\n", + "global step=15609856, episodic return=502.63909912109375\n", + "global step=15609856, episodic return=785.4340209960938\n", + "global step=15609856, episodic return=235.3993682861328\n", + "global step=15611904, episodic return=2249.70068359375\n", + "global step=15611904, episodic return=2226.19775390625\n", + "global step=15611904, episodic return=2337.937255859375\n", + "global step=15611904, episodic return=2316.462646484375\n", + "global step=15611904, episodic return=2230.74169921875\n", + "global step=15611904, episodic return=2344.15576171875\n", + "global step=15616000, episodic return=2261.667236328125\n", + "global step=15618048, episodic return=2346.042724609375\n", + "global step=15620096, episodic return=2288.7763671875\n", + "global step=15620096, episodic return=2283.41259765625\n", + "global step=15620096, episodic return=2226.375244140625\n", + "global step=15622144, episodic return=2365.306640625\n", + "global step=15622144, episodic return=1884.802978515625\n", + "global step=15622144, episodic return=1428.9658203125\n", + "global step=15622144, episodic return=1878.8486328125\n", + "global step=15624192, episodic return=2276.9453125\n", + "global step=15626240, episodic return=2363.861328125\n", + "global step=15626240, episodic return=2320.822021484375\n", + "global step=15626240, episodic return=2301.077392578125\n", + "global step=15628288, episodic return=2275.73681640625\n", + "global step=15628288, episodic return=2353.449462890625\n", + "global step=15628288, episodic return=2277.217529296875\n", + "global step=15630336, episodic return=2345.14111328125\n", + "global step=15632384, episodic return=2230.333740234375\n", + "global step=15632384, episodic return=2312.69384765625\n", + "global step=15634432, episodic return=2272.79541015625\n", + "global step=15634432, episodic return=2326.327392578125\n", + "global step=15634432, episodic return=2285.82958984375\n", + "global step=15636480, episodic return=2339.94384765625\n", + "global step=15638528, episodic return=2367.189453125\n", + "global step=15640576, episodic return=2334.48388671875\n", + "global step=15640576, episodic return=2299.972412109375\n", + "global step=15640576, episodic return=2314.281494140625\n", + "global step=15644672, episodic return=2282.2890625\n", + "global step=15644672, episodic return=2090.86572265625\n", + "global step=15646720, episodic return=2303.08837890625\n", + "global step=15646720, episodic return=2265.756591796875\n", + "global step=15646720, episodic return=2301.111083984375\n", + "global step=15646720, episodic return=2315.99609375\n", + "global step=15646720, episodic return=2339.875\n", + "global step=15646720, episodic return=2314.578857421875\n", + "global step=15648768, episodic return=2313.12060546875\n", + "global step=15648768, episodic return=2345.38427734375\n", + "global step=15648768, episodic return=2331.510009765625\n", + "global step=15652864, episodic return=2304.67626953125\n", + "global step=15654912, episodic return=2298.40771484375\n", + "global step=15654912, episodic return=2422.753173828125\n", + "global step=15654912, episodic return=2259.490234375\n", + "global step=15654912, episodic return=2357.725830078125\n", + "global step=15656960, episodic return=2330.761474609375\n", + "global step=15656960, episodic return=2327.758056640625\n", + "global step=15656960, episodic return=2281.2177734375\n", + "global step=15656960, episodic return=2347.672607421875\n", + "global step=15656960, episodic return=2254.368896484375\n", + "global step=15656960, episodic return=2265.962890625\n", + "global step=15659008, episodic return=2298.687255859375\n", + "global step=15659008, episodic return=2315.68212890625\n", + "global step=15659008, episodic return=2274.307373046875\n", + "global step=15661056, episodic return=2356.253173828125\n", + "global step=15663104, episodic return=2332.769775390625\n", + "global step=15669248, episodic return=2342.27685546875\n", + "global step=15669248, episodic return=2349.315185546875\n", + "global step=15669248, episodic return=2333.9560546875\n", + "global step=15669248, episodic return=2401.397705078125\n", + "global step=15669248, episodic return=2313.898681640625\n", + "global step=15671296, episodic return=2264.412841796875\n", + "global step=15671296, episodic return=2351.580322265625\n", + "global step=15671296, episodic return=2293.98095703125\n", + "global step=15671296, episodic return=2096.453369140625\n", + "global step=15673344, episodic return=2253.645751953125\n", + "global step=15673344, episodic return=1956.996337890625\n", + "global step=15673344, episodic return=2331.838623046875\n", + "global step=15675392, episodic return=2294.00244140625\n", + "global step=15675392, episodic return=2308.052978515625\n", + "global step=15675392, episodic return=2321.259033203125\n", + "global step=15675392, episodic return=2263.2841796875\n", + "global step=15677440, episodic return=2282.791259765625\n", + "global step=15677440, episodic return=2380.34814453125\n", + "global step=15679488, episodic return=2354.5859375\n", + "global step=15679488, episodic return=1577.13671875\n", + "global step=15679488, episodic return=2319.64501953125\n", + "global step=15681536, episodic return=2337.960693359375\n", + "global step=15681536, episodic return=2287.955810546875\n", + "global step=15683584, episodic return=2347.1259765625\n", + "global step=15683584, episodic return=2323.431884765625\n", + "global step=15683584, episodic return=2244.842529296875\n", + "global step=15685632, episodic return=2269.71484375\n", + "global step=15685632, episodic return=2319.6708984375\n", + "global step=15685632, episodic return=1442.1236572265625\n", + "global step=15687680, episodic return=2258.831298828125\n", + "global step=15687680, episodic return=2382.90380859375\n", + "global step=15687680, episodic return=2324.118408203125\n", + "global step=15687680, episodic return=262.00494384765625\n", + "global step=15687680, episodic return=2287.0302734375\n", + "global step=15689728, episodic return=1448.4951171875\n", + "global step=15691776, episodic return=961.4398193359375\n", + "global step=15691776, episodic return=2305.14990234375\n", + "global step=15691776, episodic return=2340.762451171875\n", + "global step=15691776, episodic return=2305.474853515625\n", + "global step=15691776, episodic return=2371.41455078125\n", + "global step=15691776, episodic return=2336.44921875\n", + "global step=15693824, episodic return=2292.99853515625\n", + "global step=15693824, episodic return=2357.982666015625\n", + "global step=15695872, episodic return=2302.30126953125\n", + "global step=15695872, episodic return=2307.255615234375\n", + "global step=15695872, episodic return=2333.6240234375\n", + "global step=15697920, episodic return=2408.977783203125\n", + "global step=15697920, episodic return=2333.355224609375\n", + "global step=15697920, episodic return=2281.116455078125\n", + "global step=15697920, episodic return=2299.3515625\n", + "global step=15697920, episodic return=2332.160888671875\n", + "global step=15697920, episodic return=2358.77001953125\n", + "global step=15699968, episodic return=2342.070068359375\n", + "global step=15699968, episodic return=2334.359375\n", + "global step=15699968, episodic return=18.403972625732422\n", + "global step=15699968, episodic return=2348.75\n", + "global step=15699968, episodic return=294.585693359375\n", + "global step=15702016, episodic return=2310.40576171875\n", + "global step=15702016, episodic return=2308.086669921875\n", + "global step=15702016, episodic return=2367.45654296875\n", + "global step=15704064, episodic return=2378.040771484375\n", + "global step=15704064, episodic return=2215.618896484375\n", + "global step=15706112, episodic return=2355.715087890625\n", + "global step=15706112, episodic return=301.7353515625\n", + "global step=15710208, episodic return=2329.111083984375\n", + "global step=15710208, episodic return=300.0620422363281\n", + "global step=15710208, episodic return=2271.620361328125\n", + "global step=15710208, episodic return=317.4305725097656\n", + "global step=15712256, episodic return=2350.1201171875\n", + "global step=15712256, episodic return=1265.7813720703125\n", + "global step=15712256, episodic return=2313.148681640625\n", + "global step=15714304, episodic return=236.93246459960938\n", + "global step=15714304, episodic return=2378.432861328125\n", + "global step=15714304, episodic return=393.49993896484375\n", + "global step=15716352, episodic return=2347.873291015625\n", + "global step=15716352, episodic return=2338.95703125\n", + "global step=15718400, episodic return=2334.659912109375\n", + "global step=15718400, episodic return=2342.56787109375\n", + "global step=15720448, episodic return=2246.339111328125\n", + "global step=15720448, episodic return=356.40460205078125\n", + "global step=15720448, episodic return=2230.033447265625\n", + "global step=15722496, episodic return=2318.92919921875\n", + "global step=15722496, episodic return=2347.3017578125\n", + "global step=15722496, episodic return=2336.7919921875\n", + "global step=15722496, episodic return=2315.331787109375\n", + "global step=15722496, episodic return=2295.805419921875\n", + "global step=15724544, episodic return=45.904457092285156\n", + "global step=15724544, episodic return=2234.329345703125\n", + "global step=15724544, episodic return=2340.12060546875\n", + "global step=15724544, episodic return=2298.220703125\n", + "global step=15724544, episodic return=2283.52294921875\n", + "global step=15724544, episodic return=364.4204406738281\n", + "global step=15724544, episodic return=2351.340087890625\n", + "global step=15726592, episodic return=173.37655639648438\n", + "global step=15726592, episodic return=2334.57958984375\n", + "global step=15726592, episodic return=2331.097412109375\n", + "global step=15726592, episodic return=2369.366943359375\n", + "global step=15728640, episodic return=2381.9111328125\n", + "global step=15728640, episodic return=90.7100601196289\n", + "global step=15730688, episodic return=2296.689453125\n", + "global step=15730688, episodic return=2327.809814453125\n", + "global step=15730688, episodic return=2368.416748046875\n", + "global step=15730688, episodic return=2348.6953125\n", + "global step=15730688, episodic return=2306.2138671875\n", + "global step=15730688, episodic return=2330.879150390625\n", + "global step=15732736, episodic return=760.2479248046875\n", + "global step=15732736, episodic return=237.84303283691406\n", + "global step=15734784, episodic return=2327.8056640625\n", + "global step=15734784, episodic return=263.6607971191406\n", + "global step=15736832, episodic return=2243.425537109375\n", + "global step=15736832, episodic return=2296.610595703125\n", + "global step=15736832, episodic return=290.10382080078125\n", + "global step=15736832, episodic return=2387.617431640625\n", + "global step=15736832, episodic return=2371.9560546875\n", + "global step=15736832, episodic return=179.29205322265625\n", + "global step=15738880, episodic return=2373.166748046875\n", + "global step=15738880, episodic return=2308.8583984375\n", + "global step=15740928, episodic return=2313.1533203125\n", + "global step=15742976, episodic return=2343.225341796875\n", + "global step=15742976, episodic return=2332.93603515625\n", + "global step=15742976, episodic return=1822.0250244140625\n", + "global step=15742976, episodic return=2324.765625\n", + "global step=15745024, episodic return=2341.2490234375\n", + "global step=15745024, episodic return=201.40780639648438\n", + "global step=15747072, episodic return=752.2117309570312\n", + "global step=15749120, episodic return=2314.833740234375\n", + "global step=15749120, episodic return=2396.21630859375\n", + "global step=15751168, episodic return=2352.6533203125\n", + "global step=15751168, episodic return=2333.371826171875\n", + "global step=15751168, episodic return=2345.503662109375\n", + "global step=15751168, episodic return=2272.481689453125\n", + "global step=15751168, episodic return=2348.076171875\n", + "global step=15753216, episodic return=2366.619384765625\n", + "global step=15753216, episodic return=390.7485046386719\n", + "global step=15753216, episodic return=2319.231201171875\n", + "global step=15753216, episodic return=2385.75537109375\n", + "global step=15755264, episodic return=2359.619140625\n", + "global step=15757312, episodic return=2246.92138671875\n", + "global step=15757312, episodic return=2271.801513671875\n", + "global step=15759360, episodic return=234.108642578125\n", + "global step=15759360, episodic return=2296.323486328125\n", + "global step=15759360, episodic return=246.13983154296875\n", + "global step=15759360, episodic return=2337.827880859375\n", + "global step=15761408, episodic return=2378.343994140625\n", + "global step=15761408, episodic return=2365.38037109375\n", + "global step=15761408, episodic return=2307.31787109375\n", + "global step=15763456, episodic return=2319.40185546875\n", + "global step=15763456, episodic return=2375.27783203125\n", + "global step=15763456, episodic return=2353.507568359375\n", + "global step=15763456, episodic return=2323.278564453125\n", + "global step=15765504, episodic return=2371.65625\n", + "global step=15765504, episodic return=2280.83203125\n", + "global step=15767552, episodic return=2310.71875\n", + "global step=15767552, episodic return=2355.12109375\n", + "global step=15767552, episodic return=2310.392333984375\n", + "global step=15767552, episodic return=2264.677978515625\n", + "global step=15767552, episodic return=256.45849609375\n", + "global step=15769600, episodic return=2335.3916015625\n", + "global step=15769600, episodic return=2303.980224609375\n", + "global step=15775744, episodic return=2289.675537109375\n", + "global step=15775744, episodic return=396.9378967285156\n", + "global step=15777792, episodic return=2266.40185546875\n", + "global step=15777792, episodic return=2404.92919921875\n", + "global step=15777792, episodic return=2341.857666015625\n", + "global step=15779840, episodic return=242.85073852539062\n", + "global step=15779840, episodic return=301.7825927734375\n", + "global step=15779840, episodic return=2286.634033203125\n", + "global step=15781888, episodic return=2308.433837890625\n", + "global step=15781888, episodic return=242.3052520751953\n", + "global step=15783936, episodic return=2298.713623046875\n", + "global step=15783936, episodic return=2326.64306640625\n", + "global step=15783936, episodic return=2294.344970703125\n", + "global step=15785984, episodic return=2323.98779296875\n", + "global step=15785984, episodic return=2270.902587890625\n", + "global step=15788032, episodic return=235.54901123046875\n", + "global step=15788032, episodic return=1272.3463134765625\n", + "global step=15788032, episodic return=2322.58154296875\n", + "global step=15788032, episodic return=2335.927734375\n", + "global step=15788032, episodic return=2315.373046875\n", + "global step=15788032, episodic return=40.121559143066406\n", + "global step=15790080, episodic return=2292.314453125\n", + "global step=15790080, episodic return=2290.05419921875\n", + "global step=15792128, episodic return=2319.27490234375\n", + "global step=15794176, episodic return=157.15695190429688\n", + "global step=15800320, episodic return=2327.893310546875\n", + "global step=15800320, episodic return=2357.095458984375\n", + "global step=15802368, episodic return=2304.712646484375\n", + "global step=15802368, episodic return=2362.824951171875\n", + "global step=15806464, episodic return=2318.830322265625\n", + "global step=15806464, episodic return=2316.615234375\n", + "global step=15806464, episodic return=2342.083740234375\n", + "global step=15808512, episodic return=2350.102783203125\n", + "global step=15810560, episodic return=2356.854248046875\n", + "global step=15810560, episodic return=2314.39794921875\n", + "global step=15810560, episodic return=2359.758056640625\n", + "global step=15810560, episodic return=2334.7705078125\n", + "global step=15812608, episodic return=2431.50927734375\n", + "global step=15812608, episodic return=2244.71728515625\n", + "global step=15814656, episodic return=2323.907470703125\n", + "global step=15816704, episodic return=2342.3095703125\n", + "global step=15816704, episodic return=2313.4521484375\n", + "global step=15818752, episodic return=2352.70947265625\n", + "global step=15820800, episodic return=2289.697998046875\n", + "global step=15824896, episodic return=2357.622314453125\n", + "global step=15826944, episodic return=2340.940673828125\n", + "global step=15826944, episodic return=2369.9453125\n", + "global step=15826944, episodic return=2290.147705078125\n", + "global step=15828992, episodic return=2363.7626953125\n", + "global step=15831040, episodic return=2332.32666015625\n", + "global step=15833088, episodic return=2267.97314453125\n", + "global step=15835136, episodic return=2375.73291015625\n", + "global step=15837184, episodic return=2310.487548828125\n", + "global step=15837184, episodic return=2344.908203125\n", + "global step=15837184, episodic return=486.2077941894531\n", + "global step=15843328, episodic return=2355.465087890625\n", + "global step=15845376, episodic return=2377.803955078125\n", + "global step=15845376, episodic return=2364.40869140625\n", + "global step=15845376, episodic return=2305.85791015625\n", + "global step=15849472, episodic return=2323.829345703125\n", + "global step=15849472, episodic return=2352.94140625\n", + "global step=15851520, episodic return=2287.716796875\n", + "global step=15855616, episodic return=2272.306640625\n", + "global step=15857664, episodic return=659.3604125976562\n", + "global step=15857664, episodic return=2352.69873046875\n", + "global step=15857664, episodic return=2247.39453125\n", + "global step=15857664, episodic return=2366.706298828125\n", + "global step=15857664, episodic return=2265.232421875\n", + "global step=15859712, episodic return=2279.536376953125\n", + "global step=15859712, episodic return=2307.146240234375\n", + "global step=15867904, episodic return=2101.625732421875\n", + "global step=15869952, episodic return=272.1202392578125\n", + "global step=15869952, episodic return=2244.287109375\n", + "global step=15872000, episodic return=2299.491943359375\n", + "global step=15872000, episodic return=201.8715362548828\n", + "global step=15874048, episodic return=2286.115966796875\n", + "global step=15876096, episodic return=266.04638671875\n", + "global step=15876096, episodic return=2323.888671875\n", + "global step=15878144, episodic return=2321.863037109375\n", + "global step=15878144, episodic return=2354.92236328125\n", + "global step=15880192, episodic return=923.942626953125\n", + "global step=15880192, episodic return=2365.798583984375\n", + "global step=15882240, episodic return=2316.521484375\n", + "global step=15882240, episodic return=2303.095947265625\n", + "global step=15882240, episodic return=2332.818603515625\n", + "global step=15882240, episodic return=224.7911376953125\n", + "global step=15884288, episodic return=555.49853515625\n", + "global step=15884288, episodic return=2103.835205078125\n", + "global step=15886336, episodic return=2307.2626953125\n", + "global step=15886336, episodic return=2346.38720703125\n", + "global step=15886336, episodic return=2341.366943359375\n", + "global step=15886336, episodic return=2328.508056640625\n", + "global step=15886336, episodic return=2329.484619140625\n", + "global step=15890432, episodic return=2384.1123046875\n", + "global step=15892480, episodic return=2261.721923828125\n", + "global step=15892480, episodic return=2348.06884765625\n", + "global step=15894528, episodic return=2332.12548828125\n", + "global step=15894528, episodic return=2352.866943359375\n", + "global step=15896576, episodic return=2307.671875\n", + "global step=15896576, episodic return=2321.705078125\n", + "global step=15896576, episodic return=133.7190399169922\n", + "global step=15898624, episodic return=2313.178955078125\n", + "global step=15898624, episodic return=2347.905029296875\n", + "global step=15902720, episodic return=2321.225830078125\n", + "global step=15906816, episodic return=2312.091064453125\n", + "global step=15906816, episodic return=801.743408203125\n", + "global step=15906816, episodic return=2360.052734375\n", + "global step=15906816, episodic return=2351.226318359375\n", + "global step=15908864, episodic return=2282.637939453125\n", + "global step=15908864, episodic return=2315.540771484375\n", + "global step=15908864, episodic return=2361.6953125\n", + "global step=15908864, episodic return=2302.861328125\n", + "global step=15908864, episodic return=2388.0537109375\n", + "global step=15910912, episodic return=2287.230712890625\n", + "global step=15910912, episodic return=2318.53662109375\n", + "global step=15915008, episodic return=2320.33984375\n", + "global step=15917056, episodic return=2325.19970703125\n", + "global step=15923200, episodic return=2290.556396484375\n", + "global step=15927296, episodic return=2355.214111328125\n", + "global step=15931392, episodic return=2323.052490234375\n", + "global step=15931392, episodic return=1746.9400634765625\n", + "global step=15931392, episodic return=2182.62158203125\n", + "global step=15933440, episodic return=2276.666748046875\n", + "global step=15933440, episodic return=2403.788330078125\n", + "global step=15935488, episodic return=2252.64794921875\n", + "global step=15935488, episodic return=2379.767578125\n", + "global step=15937536, episodic return=2300.73876953125\n", + "global step=15937536, episodic return=2298.09326171875\n", + "global step=15939584, episodic return=2296.835693359375\n", + "global step=15941632, episodic return=321.3675537109375\n", + "global step=15941632, episodic return=2355.794921875\n", + "global step=15943680, episodic return=2321.01171875\n", + "global step=15947776, episodic return=2296.977294921875\n", + "global step=15947776, episodic return=2138.626708984375\n", + "global step=15947776, episodic return=2323.734619140625\n", + "global step=15949824, episodic return=2282.966064453125\n", + "global step=15951872, episodic return=2308.91552734375\n", + "global step=15955968, episodic return=2105.945068359375\n", + "global step=15955968, episodic return=2292.688720703125\n", + "global step=15955968, episodic return=1739.54248046875\n", + "global step=15955968, episodic return=1378.545166015625\n", + "global step=15955968, episodic return=2322.12744140625\n", + "global step=15958016, episodic return=2304.3115234375\n", + "global step=15958016, episodic return=2341.996826171875\n", + "global step=15958016, episodic return=2286.20703125\n", + "global step=15960064, episodic return=2298.43505859375\n", + "global step=15962112, episodic return=2318.424072265625\n", + "global step=15962112, episodic return=2345.59423828125\n", + "global step=15964160, episodic return=2260.77685546875\n", + "global step=15964160, episodic return=2350.438232421875\n", + "global step=15964160, episodic return=2337.163330078125\n", + "global step=15966208, episodic return=2297.534912109375\n", + "global step=15966208, episodic return=2299.096435546875\n", + "global step=15966208, episodic return=2133.230712890625\n", + "global step=15968256, episodic return=2339.369140625\n", + "global step=15970304, episodic return=2288.894287109375\n", + "global step=15970304, episodic return=2297.54150390625\n", + "global step=15970304, episodic return=2213.61376953125\n", + "global step=15970304, episodic return=2244.3583984375\n", + "global step=15972352, episodic return=2301.244140625\n", + "global step=15974400, episodic return=2394.775634765625\n", + "global step=15974400, episodic return=2340.54638671875\n", + "global step=15976448, episodic return=1315.991943359375\n", + "global step=15976448, episodic return=2333.230712890625\n", + "global step=15976448, episodic return=2291.7978515625\n", + "global step=15976448, episodic return=2372.09130859375\n", + "global step=15978496, episodic return=2335.675537109375\n", + "global step=15978496, episodic return=2245.73193359375\n", + "global step=15980544, episodic return=2328.03173828125\n", + "global step=15982592, episodic return=2239.7421875\n", + "global step=15986688, episodic return=2357.533447265625\n", + "global step=15986688, episodic return=2321.38330078125\n", + "global step=15986688, episodic return=1115.5745849609375\n", + "global step=15988736, episodic return=493.4930419921875\n", + "global step=15988736, episodic return=2162.8916015625\n", + "global step=15990784, episodic return=2265.541015625\n", + "global step=15990784, episodic return=2297.819580078125\n", + "global step=15990784, episodic return=2290.7685546875\n", + "global step=15992832, episodic return=2345.46044921875\n", + "global step=15992832, episodic return=2393.28466796875\n", + "global step=15992832, episodic return=2220.035888671875\n", + "global step=15994880, episodic return=2297.25927734375\n", + "global step=15996928, episodic return=2193.2509765625\n", + "global step=15998976, episodic return=2270.654052734375\n", + "global step=15998976, episodic return=2380.424560546875\n", + "global step=15998976, episodic return=2243.6337890625\n", + "global step=16001024, episodic return=2295.6923828125\n", + "global step=16003072, episodic return=2365.457275390625\n", + "global step=16003072, episodic return=2209.64794921875\n", + "global step=16005120, episodic return=2306.59423828125\n", + "global step=16005120, episodic return=1040.7032470703125\n", + "global step=16005120, episodic return=2323.5771484375\n", + "global step=16007168, episodic return=2292.904052734375\n", + "global step=16007168, episodic return=2290.70703125\n", + "global step=16009216, episodic return=1833.070068359375\n", + "global step=16009216, episodic return=2284.056396484375\n", + "global step=16011264, episodic return=208.47232055664062\n", + "global step=16011264, episodic return=2309.0908203125\n", + "global step=16015360, episodic return=2319.06298828125\n", + "global step=16017408, episodic return=2306.0439453125\n", + "global step=16017408, episodic return=213.23892211914062\n", + "global step=16019456, episodic return=2270.86279296875\n", + "global step=16019456, episodic return=2307.310302734375\n", + "global step=16019456, episodic return=2407.740478515625\n", + "global step=16021504, episodic return=2332.39892578125\n", + "global step=16023552, episodic return=2275.719970703125\n", + "global step=16023552, episodic return=2353.386474609375\n", + "global step=16023552, episodic return=2347.787109375\n", + "global step=16025600, episodic return=824.9640502929688\n", + "global step=16027648, episodic return=26.247798919677734\n", + "global step=16027648, episodic return=236.94091796875\n", + "global step=16027648, episodic return=2314.55712890625\n", + "global step=16029696, episodic return=2331.798828125\n", + "global step=16029696, episodic return=2250.56640625\n", + "global step=16031744, episodic return=2303.275634765625\n", + "global step=16031744, episodic return=2293.71240234375\n", + "global step=16031744, episodic return=2352.58935546875\n", + "global step=16031744, episodic return=2338.120361328125\n", + "global step=16031744, episodic return=278.28857421875\n", + "global step=16033792, episodic return=2269.694091796875\n", + "global step=16033792, episodic return=2342.46875\n", + "global step=16035840, episodic return=2334.117431640625\n", + "global step=16035840, episodic return=261.9933166503906\n", + "global step=16035840, episodic return=2007.664794921875\n", + "global step=16035840, episodic return=2244.512451171875\n", + "global step=16041984, episodic return=285.6612243652344\n", + "global step=16041984, episodic return=1160.2716064453125\n", + "global step=16041984, episodic return=241.8928985595703\n", + "global step=16044032, episodic return=2349.316162109375\n", + "global step=16044032, episodic return=2364.924072265625\n", + "global step=16044032, episodic return=901.9080200195312\n", + "global step=16046080, episodic return=2290.83447265625\n", + "global step=16046080, episodic return=2326.517333984375\n", + "global step=16048128, episodic return=2377.33251953125\n", + "global step=16050176, episodic return=2382.96875\n", + "global step=16052224, episodic return=2358.64404296875\n", + "global step=16054272, episodic return=2342.380859375\n", + "global step=16054272, episodic return=2327.9033203125\n", + "global step=16056320, episodic return=2286.298583984375\n", + "global step=16060416, episodic return=2307.072998046875\n", + "global step=16060416, episodic return=2240.350830078125\n", + "global step=16062464, episodic return=1406.329833984375\n", + "global step=16062464, episodic return=2342.59326171875\n", + "global step=16062464, episodic return=2335.279541015625\n", + "global step=16064512, episodic return=2335.04052734375\n", + "global step=16064512, episodic return=2387.41748046875\n", + "global step=16064512, episodic return=2302.9853515625\n", + "global step=16064512, episodic return=2267.94921875\n", + "global step=16066560, episodic return=2304.525146484375\n", + "global step=16066560, episodic return=2403.28369140625\n", + "global step=16070656, episodic return=290.92510986328125\n", + "global step=16070656, episodic return=2225.834228515625\n", + "global step=16070656, episodic return=2330.979248046875\n", + "global step=16072704, episodic return=2343.105224609375\n", + "global step=16072704, episodic return=2313.585693359375\n", + "global step=16072704, episodic return=2314.201904296875\n", + "global step=16074752, episodic return=1728.849609375\n", + "global step=16074752, episodic return=2331.976318359375\n", + "global step=16074752, episodic return=2305.474609375\n", + "global step=16076800, episodic return=456.7254333496094\n", + "global step=16078848, episodic return=2285.2255859375\n", + "global step=16080896, episodic return=2261.961669921875\n", + "global step=16080896, episodic return=2384.66259765625\n", + "global step=16082944, episodic return=2307.45263671875\n", + "global step=16084992, episodic return=252.22254943847656\n", + "global step=16084992, episodic return=2322.566650390625\n", + "global step=16089088, episodic return=2356.943115234375\n", + "global step=16091136, episodic return=2300.04296875\n", + "global step=16093184, episodic return=2263.18359375\n", + "global step=16093184, episodic return=2370.261962890625\n", + "global step=16097280, episodic return=2316.06494140625\n", + "global step=16101376, episodic return=2350.274169921875\n", + "global step=16101376, episodic return=2351.889404296875\n", + "global step=16103424, episodic return=1922.064697265625\n", + "global step=16105472, episodic return=198.9424285888672\n", + "global step=16107520, episodic return=2335.146240234375\n", + "global step=16107520, episodic return=2309.545166015625\n", + "global step=16107520, episodic return=2345.41259765625\n", + "global step=16107520, episodic return=2170.15478515625\n", + "global step=16109568, episodic return=2324.610107421875\n", + "global step=16109568, episodic return=2312.892578125\n", + "global step=16109568, episodic return=257.0390625\n", + "global step=16111616, episodic return=2244.591796875\n", + "global step=16113664, episodic return=2299.325927734375\n", + "global step=16113664, episodic return=2337.8466796875\n", + "global step=16115712, episodic return=2321.031982421875\n", + "global step=16119808, episodic return=2317.590576171875\n", + "global step=16121856, episodic return=568.869873046875\n", + "global step=16123904, episodic return=462.4720764160156\n", + "global step=16123904, episodic return=2300.06298828125\n", + "global step=16123904, episodic return=2326.52978515625\n", + "global step=16123904, episodic return=2351.83447265625\n", + "global step=16125952, episodic return=2292.7509765625\n", + "global step=16128000, episodic return=2353.259033203125\n", + "global step=16132096, episodic return=2335.172119140625\n", + "global step=16132096, episodic return=263.3070373535156\n", + "global step=16132096, episodic return=2133.92236328125\n", + "global step=16132096, episodic return=225.0502471923828\n", + "global step=16134144, episodic return=849.18505859375\n", + "global step=16134144, episodic return=2315.757568359375\n", + "global step=16136192, episodic return=2244.937744140625\n", + "global step=16136192, episodic return=2351.99560546875\n", + "global step=16136192, episodic return=2365.346435546875\n", + "global step=16138240, episodic return=2344.439697265625\n", + "global step=16140288, episodic return=1843.3448486328125\n", + "global step=16140288, episodic return=581.5501708984375\n", + "global step=16140288, episodic return=2343.73046875\n", + "global step=16140288, episodic return=2333.895751953125\n", + "global step=16140288, episodic return=2297.5390625\n", + "global step=16142336, episodic return=2319.8017578125\n", + "global step=16142336, episodic return=2354.1845703125\n", + "global step=16142336, episodic return=2186.752197265625\n", + "global step=16142336, episodic return=2409.68115234375\n", + "global step=16142336, episodic return=1906.02392578125\n", + "global step=16142336, episodic return=2335.025146484375\n", + "global step=16142336, episodic return=1322.084716796875\n", + "global step=16144384, episodic return=1236.1324462890625\n", + "global step=16144384, episodic return=650.8242797851562\n", + "global step=16144384, episodic return=2359.473876953125\n", + "global step=16144384, episodic return=503.936279296875\n", + "global step=16148480, episodic return=623.8192138671875\n", + "global step=16152576, episodic return=2051.712890625\n", + "global step=16152576, episodic return=1600.7462158203125\n", + "global step=16154624, episodic return=2283.7666015625\n", + "global step=16154624, episodic return=2293.320556640625\n", + "global step=16154624, episodic return=2254.6220703125\n", + "global step=16156672, episodic return=2227.85107421875\n", + "global step=16158720, episodic return=618.3070068359375\n", + "global step=16158720, episodic return=1901.8016357421875\n", + "global step=16160768, episodic return=2355.5224609375\n", + "global step=16160768, episodic return=653.7826538085938\n", + "global step=16162816, episodic return=2285.04638671875\n", + "global step=16164864, episodic return=1464.8763427734375\n", + "global step=16164864, episodic return=904.630615234375\n", + "global step=16164864, episodic return=2287.44091796875\n", + "global step=16166912, episodic return=2307.757568359375\n", + "global step=16166912, episodic return=2228.552734375\n", + "global step=16166912, episodic return=2352.369873046875\n", + "global step=16166912, episodic return=2337.76416015625\n", + "global step=16166912, episodic return=886.3906860351562\n", + "global step=16168960, episodic return=2300.05322265625\n", + "global step=16168960, episodic return=2284.89111328125\n", + "global step=16171008, episodic return=1754.1551513671875\n", + "global step=16171008, episodic return=2296.6318359375\n", + "global step=16173056, episodic return=2384.80078125\n", + "global step=16173056, episodic return=1408.9945068359375\n", + "global step=16175104, episodic return=2232.88427734375\n", + "global step=16175104, episodic return=2273.383544921875\n", + "global step=16175104, episodic return=2281.949951171875\n", + "global step=16175104, episodic return=2316.938232421875\n", + "global step=16175104, episodic return=2280.73095703125\n", + "global step=16177152, episodic return=2320.26708984375\n", + "global step=16177152, episodic return=2329.973876953125\n", + "global step=16179200, episodic return=1949.1485595703125\n", + "global step=16181248, episodic return=2356.35107421875\n", + "global step=16181248, episodic return=412.3605651855469\n", + "global step=16181248, episodic return=2180.198974609375\n", + "global step=16183296, episodic return=2308.174072265625\n", + "global step=16183296, episodic return=2360.819091796875\n", + "global step=16183296, episodic return=2307.019775390625\n", + "global step=16185344, episodic return=2288.86767578125\n", + "global step=16187392, episodic return=560.9427490234375\n", + "global step=16189440, episodic return=2358.18994140625\n", + "global step=16189440, episodic return=2106.7255859375\n", + "global step=16189440, episodic return=2320.057861328125\n", + "global step=16189440, episodic return=2262.689697265625\n", + "global step=16191488, episodic return=2167.898681640625\n", + "global step=16191488, episodic return=2355.90869140625\n", + "global step=16191488, episodic return=2347.3583984375\n", + "global step=16191488, episodic return=2354.87451171875\n", + "global step=16193536, episodic return=2342.111328125\n", + "global step=16195584, episodic return=442.7548828125\n", + "global step=16195584, episodic return=2224.98779296875\n", + "global step=16195584, episodic return=2323.9736328125\n", + "global step=16195584, episodic return=1078.40234375\n", + "global step=16195584, episodic return=1713.1768798828125\n", + "global step=16197632, episodic return=2282.564697265625\n", + "global step=16197632, episodic return=2207.260009765625\n", + "global step=16199680, episodic return=705.7526245117188\n", + "global step=16201728, episodic return=69.9651870727539\n", + "global step=16201728, episodic return=678.4013671875\n", + "global step=16201728, episodic return=2233.631103515625\n", + "global step=16201728, episodic return=2284.661865234375\n", + "global step=16201728, episodic return=2302.589111328125\n", + "global step=16201728, episodic return=2271.1171875\n", + "global step=16203776, episodic return=916.1784057617188\n", + "global step=16203776, episodic return=2336.675537109375\n", + "global step=16203776, episodic return=2281.831787109375\n", + "global step=16205824, episodic return=2293.72119140625\n", + "global step=16205824, episodic return=2323.5732421875\n", + "global step=16207872, episodic return=2282.18798828125\n", + "global step=16207872, episodic return=2393.86083984375\n", + "global step=16207872, episodic return=753.360107421875\n", + "global step=16209920, episodic return=444.8444519042969\n", + "global step=16209920, episodic return=612.0906372070312\n", + "global step=16209920, episodic return=477.0546875\n", + "global step=16209920, episodic return=1726.3228759765625\n", + "global step=16211968, episodic return=2362.66748046875\n", + "global step=16211968, episodic return=2325.509765625\n", + "global step=16216064, episodic return=2322.113037109375\n", + "global step=16216064, episodic return=2325.703857421875\n", + "global step=16216064, episodic return=2310.1171875\n", + "global step=16216064, episodic return=2340.729248046875\n", + "global step=16216064, episodic return=2374.240234375\n", + "global step=16216064, episodic return=688.7780151367188\n", + "global step=16218112, episodic return=2329.488037109375\n", + "global step=16218112, episodic return=700.8214111328125\n", + "global step=16218112, episodic return=2308.375\n", + "global step=16218112, episodic return=1858.2625732421875\n", + "global step=16218112, episodic return=2343.75146484375\n", + "global step=16218112, episodic return=2335.54296875\n", + "global step=16220160, episodic return=2184.177490234375\n", + "global step=16220160, episodic return=601.3406982421875\n", + "global step=16222208, episodic return=212.65904235839844\n", + "global step=16222208, episodic return=2292.945068359375\n", + "global step=16222208, episodic return=658.29931640625\n", + "global step=16222208, episodic return=2313.593017578125\n", + "global step=16224256, episodic return=2302.15673828125\n", + "global step=16224256, episodic return=829.458251953125\n", + "global step=16226304, episodic return=2286.5966796875\n", + "global step=16226304, episodic return=730.9390869140625\n", + "global step=16226304, episodic return=2236.77587890625\n", + "global step=16226304, episodic return=2293.18798828125\n", + "global step=16226304, episodic return=1421.460693359375\n", + "global step=16228352, episodic return=379.8733825683594\n", + "global step=16228352, episodic return=2346.15966796875\n", + "global step=16228352, episodic return=2291.48095703125\n", + "global step=16230400, episodic return=2362.54833984375\n", + "global step=16230400, episodic return=2344.040771484375\n", + "global step=16230400, episodic return=1789.731201171875\n", + "global step=16230400, episodic return=2335.768310546875\n", + "global step=16230400, episodic return=2068.67919921875\n", + "global step=16230400, episodic return=2110.5693359375\n", + "global step=16230400, episodic return=531.7224731445312\n", + "global step=16230400, episodic return=445.3992004394531\n", + "global step=16230400, episodic return=2283.274169921875\n", + "global step=16232448, episodic return=947.8441162109375\n", + "global step=16232448, episodic return=2293.673828125\n", + "global step=16232448, episodic return=2116.434326171875\n", + "global step=16232448, episodic return=1921.82421875\n", + "global step=16234496, episodic return=2019.00439453125\n", + "global step=16234496, episodic return=2309.97314453125\n", + "global step=16234496, episodic return=2282.93017578125\n", + "global step=16234496, episodic return=2327.53955078125\n", + "global step=16234496, episodic return=837.7260131835938\n", + "global step=16234496, episodic return=2117.687744140625\n", + "global step=16236544, episodic return=771.8419189453125\n", + "global step=16238592, episodic return=2325.373046875\n", + "global step=16238592, episodic return=2325.52392578125\n", + "global step=16238592, episodic return=680.7642211914062\n", + "global step=16238592, episodic return=1368.603271484375\n", + "global step=16240640, episodic return=1964.1922607421875\n", + "global step=16242688, episodic return=2233.28271484375\n", + "global step=16244736, episodic return=825.6813354492188\n", + "global step=16244736, episodic return=797.9698486328125\n", + "global step=16244736, episodic return=2344.57763671875\n", + "global step=16246784, episodic return=657.857177734375\n", + "global step=16246784, episodic return=711.9866333007812\n", + "global step=16246784, episodic return=2348.1357421875\n", + "global step=16248832, episodic return=2300.14501953125\n", + "global step=16248832, episodic return=216.8243408203125\n", + "global step=16248832, episodic return=1728.510009765625\n", + "global step=16248832, episodic return=902.7758178710938\n", + "global step=16250880, episodic return=2348.051025390625\n", + "global step=16250880, episodic return=2192.906982421875\n", + "global step=16252928, episodic return=2249.5205078125\n", + "global step=16252928, episodic return=12.119474411010742\n", + "global step=16252928, episodic return=730.60205078125\n", + "global step=16254976, episodic return=442.5589294433594\n", + "global step=16254976, episodic return=2253.85595703125\n", + "global step=16254976, episodic return=2345.77197265625\n", + "global step=16257024, episodic return=2257.47900390625\n", + "global step=16257024, episodic return=2288.178955078125\n", + "global step=16257024, episodic return=2323.99609375\n", + "global step=16257024, episodic return=1322.7818603515625\n", + "global step=16259072, episodic return=754.53125\n", + "global step=16259072, episodic return=2297.66943359375\n", + "global step=16261120, episodic return=975.1691284179688\n", + "global step=16261120, episodic return=2299.060302734375\n", + "global step=16263168, episodic return=2347.599365234375\n", + "global step=16263168, episodic return=2335.157958984375\n", + "global step=16263168, episodic return=2311.364990234375\n", + "global step=16263168, episodic return=2320.5224609375\n", + "global step=16263168, episodic return=2350.11181640625\n", + "global step=16265216, episodic return=2264.037841796875\n", + "global step=16265216, episodic return=2380.024658203125\n", + "global step=16267264, episodic return=2405.454833984375\n", + "global step=16267264, episodic return=1580.3729248046875\n", + "global step=16269312, episodic return=640.2103271484375\n", + "global step=16271360, episodic return=2348.13232421875\n", + "global step=16273408, episodic return=2389.787353515625\n", + "global step=16273408, episodic return=1619.1566162109375\n", + "global step=16275456, episodic return=2023.3076171875\n", + "global step=16275456, episodic return=1550.3433837890625\n", + "global step=16277504, episodic return=586.00927734375\n", + "global step=16277504, episodic return=915.8331298828125\n", + "global step=16279552, episodic return=2376.927734375\n", + "global step=16279552, episodic return=2385.325439453125\n", + "global step=16283648, episodic return=1293.025390625\n", + "global step=16283648, episodic return=903.0479736328125\n", + "global step=16285696, episodic return=2250.48828125\n", + "global step=16285696, episodic return=482.6349182128906\n", + "global step=16287744, episodic return=2343.6884765625\n", + "global step=16287744, episodic return=2336.82373046875\n", + "global step=16289792, episodic return=849.4216918945312\n", + "global step=16289792, episodic return=2334.78125\n", + "global step=16289792, episodic return=2321.04296875\n", + "global step=16291840, episodic return=826.00732421875\n", + "global step=16291840, episodic return=438.58135986328125\n", + "global step=16291840, episodic return=849.6234130859375\n", + "global step=16291840, episodic return=435.3526306152344\n", + "global step=16291840, episodic return=2372.3857421875\n", + "global step=16291840, episodic return=2220.24755859375\n", + "global step=16293888, episodic return=2350.214111328125\n", + "global step=16293888, episodic return=2179.100830078125\n", + "global step=16293888, episodic return=130.07603454589844\n", + "global step=16293888, episodic return=2307.888916015625\n", + "global step=16295936, episodic return=2234.320068359375\n", + "global step=16295936, episodic return=2329.301513671875\n", + "global step=16297984, episodic return=2111.379150390625\n", + "global step=16297984, episodic return=2297.7568359375\n", + "global step=16300032, episodic return=2335.51806640625\n", + "global step=16300032, episodic return=2308.953125\n", + "global step=16300032, episodic return=2268.394287109375\n", + "global step=16302080, episodic return=2302.1455078125\n", + "global step=16304128, episodic return=1176.5938720703125\n", + "global step=16304128, episodic return=2294.52734375\n", + "global step=16304128, episodic return=2343.116943359375\n", + "global step=16304128, episodic return=2349.1630859375\n", + "global step=16304128, episodic return=1825.3408203125\n", + "global step=16304128, episodic return=2325.291748046875\n", + "global step=16306176, episodic return=2381.27490234375\n", + "global step=16310272, episodic return=920.147705078125\n", + "global step=16310272, episodic return=2408.391357421875\n", + "global step=16310272, episodic return=2323.60498046875\n", + "global step=16310272, episodic return=136.07102966308594\n", + "global step=16310272, episodic return=2323.947509765625\n", + "global step=16312320, episodic return=2291.72607421875\n", + "global step=16314368, episodic return=175.1614532470703\n", + "global step=16314368, episodic return=2341.91162109375\n", + "global step=16316416, episodic return=2336.1103515625\n", + "global step=16316416, episodic return=2327.003662109375\n", + "global step=16316416, episodic return=803.3967895507812\n", + "global step=16318464, episodic return=2370.041748046875\n", + "global step=16320512, episodic return=2327.62646484375\n", + "global step=16320512, episodic return=2311.9462890625\n", + "global step=16320512, episodic return=1872.0533447265625\n", + "global step=16322560, episodic return=2351.990966796875\n", + "global step=16322560, episodic return=2297.48193359375\n", + "global step=16324608, episodic return=2300.78173828125\n", + "global step=16324608, episodic return=2398.628662109375\n", + "global step=16324608, episodic return=2327.271484375\n", + "global step=16326656, episodic return=2330.5205078125\n", + "global step=16326656, episodic return=2296.656005859375\n", + "global step=16326656, episodic return=2363.523681640625\n", + "global step=16328704, episodic return=2311.041259765625\n", + "global step=16328704, episodic return=2271.562744140625\n", + "global step=16328704, episodic return=1385.7398681640625\n", + "global step=16330752, episodic return=2312.25927734375\n", + "global step=16330752, episodic return=1588.5614013671875\n", + "global step=16330752, episodic return=2331.302490234375\n", + "global step=16330752, episodic return=2285.517578125\n", + "global step=16332800, episodic return=787.9600830078125\n", + "global step=16332800, episodic return=2280.07763671875\n", + "global step=16332800, episodic return=2294.90576171875\n", + "global step=16334848, episodic return=2317.0087890625\n", + "global step=16334848, episodic return=2271.75\n", + "global step=16334848, episodic return=2345.9091796875\n", + "global step=16334848, episodic return=2378.349853515625\n", + "global step=16334848, episodic return=2358.512451171875\n", + "global step=16334848, episodic return=2272.462890625\n", + "global step=16334848, episodic return=2332.7783203125\n", + "global step=16336896, episodic return=2355.4326171875\n", + "global step=16336896, episodic return=2356.605712890625\n", + "global step=16338944, episodic return=24.601280212402344\n", + "global step=16338944, episodic return=2317.61328125\n", + "global step=16338944, episodic return=2377.570556640625\n", + "global step=16340992, episodic return=2158.018310546875\n", + "global step=16340992, episodic return=1162.21630859375\n", + "global step=16340992, episodic return=2250.046875\n", + "global step=16343040, episodic return=2192.669189453125\n", + "global step=16343040, episodic return=2367.78271484375\n", + "global step=16345088, episodic return=1559.8443603515625\n", + "global step=16345088, episodic return=1053.5233154296875\n", + "global step=16345088, episodic return=2265.8271484375\n", + "global step=16347136, episodic return=2291.0361328125\n", + "global step=16349184, episodic return=2223.5986328125\n", + "global step=16351232, episodic return=2304.1630859375\n", + "global step=16351232, episodic return=2341.31103515625\n", + "global step=16351232, episodic return=2348.096435546875\n", + "global step=16351232, episodic return=2310.4072265625\n", + "global step=16351232, episodic return=2333.325439453125\n", + "global step=16351232, episodic return=2323.1025390625\n", + "global step=16351232, episodic return=2271.974853515625\n", + "global step=16353280, episodic return=2217.272216796875\n", + "global step=16353280, episodic return=950.7974853515625\n", + "global step=16353280, episodic return=2150.494140625\n", + "global step=16355328, episodic return=2267.555419921875\n", + "global step=16355328, episodic return=2361.70654296875\n", + "global step=16355328, episodic return=2258.8173828125\n", + "global step=16355328, episodic return=2318.53466796875\n", + "global step=16355328, episodic return=1564.18994140625\n", + "global step=16357376, episodic return=844.549072265625\n", + "global step=16357376, episodic return=2381.21533203125\n", + "global step=16359424, episodic return=2404.26806640625\n", + "global step=16359424, episodic return=2319.001220703125\n", + "global step=16359424, episodic return=2337.69384765625\n", + "global step=16359424, episodic return=2188.33984375\n", + "global step=16359424, episodic return=2279.667724609375\n", + "global step=16361472, episodic return=531.5696411132812\n", + "global step=16361472, episodic return=2312.4736328125\n", + "global step=16361472, episodic return=2349.30322265625\n", + "global step=16361472, episodic return=2320.282470703125\n", + "global step=16361472, episodic return=896.9815673828125\n", + "global step=16361472, episodic return=2325.827392578125\n", + "global step=16363520, episodic return=2296.2119140625\n", + "global step=16363520, episodic return=1673.6220703125\n", + "global step=16365568, episodic return=744.5932006835938\n", + "global step=16365568, episodic return=2336.819091796875\n", + "global step=16365568, episodic return=2170.918212890625\n", + "global step=16365568, episodic return=2340.3134765625\n", + "global step=16365568, episodic return=2323.085205078125\n", + "global step=16365568, episodic return=2260.66064453125\n", + "global step=16367616, episodic return=2342.311767578125\n", + "global step=16367616, episodic return=2286.854248046875\n", + "global step=16367616, episodic return=2276.7138671875\n", + "global step=16367616, episodic return=2248.247802734375\n", + "global step=16367616, episodic return=2295.1494140625\n", + "global step=16367616, episodic return=2326.04833984375\n", + "global step=16367616, episodic return=2297.31396484375\n", + "global step=16367616, episodic return=2330.0693359375\n", + "global step=16369664, episodic return=2376.99658203125\n", + "global step=16369664, episodic return=2338.068603515625\n", + "global step=16369664, episodic return=2361.8984375\n", + "global step=16369664, episodic return=2364.91845703125\n", + "global step=16371712, episodic return=2276.160400390625\n", + "global step=16371712, episodic return=834.8536376953125\n", + "global step=16371712, episodic return=2331.835205078125\n", + "global step=16373760, episodic return=2333.79638671875\n", + "global step=16373760, episodic return=2301.794189453125\n", + "global step=16373760, episodic return=2309.959716796875\n", + "global step=16375808, episodic return=2370.48828125\n", + "global step=16375808, episodic return=1431.0660400390625\n", + "global step=16377856, episodic return=2186.7294921875\n", + "global step=16377856, episodic return=2340.143310546875\n", + "global step=16377856, episodic return=2315.69580078125\n", + "global step=16377856, episodic return=2253.03564453125\n", + "global step=16377856, episodic return=2335.76513671875\n", + "global step=16377856, episodic return=2355.5009765625\n", + "global step=16377856, episodic return=2322.771240234375\n", + "global step=16377856, episodic return=2249.496826171875\n", + "global step=16379904, episodic return=2307.28564453125\n", + "global step=16379904, episodic return=741.206787109375\n", + "global step=16379904, episodic return=2317.949462890625\n", + "global step=16379904, episodic return=2350.267578125\n", + "global step=16381952, episodic return=2305.429931640625\n", + "global step=16381952, episodic return=2309.434814453125\n", + "global step=16381952, episodic return=2300.773193359375\n", + "global step=16381952, episodic return=2248.114013671875\n", + "global step=16381952, episodic return=2276.52783203125\n", + "global step=16381952, episodic return=2316.31494140625\n", + "global step=16384000, episodic return=145.83349609375\n", + "global step=16384000, episodic return=2293.59375\n", + "global step=16384000, episodic return=1002.6300048828125\n", + "global step=16384000, episodic return=2345.30419921875\n", + "global step=16384000, episodic return=2322.09326171875\n", + "global step=16384000, episodic return=2347.39990234375\n", + "global step=16384000, episodic return=2320.09912109375\n", + "global step=16384000, episodic return=2225.259765625\n", + "global step=16384000, episodic return=2303.360107421875\n", + "global step=16386048, episodic return=2355.302734375\n", + "global step=16386048, episodic return=2286.5498046875\n", + "global step=16386048, episodic return=2371.5224609375\n", + "global step=16388096, episodic return=2301.7958984375\n", + "global step=16390144, episodic return=2251.54150390625\n", + "global step=16390144, episodic return=2348.610107421875\n", + "global step=16390144, episodic return=981.2394409179688\n", + "global step=16390144, episodic return=1326.5120849609375\n", + "global step=16390144, episodic return=2324.636474609375\n", + "global step=16392192, episodic return=2298.994873046875\n", + "global step=16392192, episodic return=2297.725341796875\n", + "global step=16392192, episodic return=931.6012573242188\n", + "global step=16392192, episodic return=2340.230712890625\n", + "global step=16394240, episodic return=2304.322998046875\n", + "global step=16394240, episodic return=2367.122314453125\n", + "global step=16396288, episodic return=2420.021240234375\n", + "global step=16396288, episodic return=2287.040771484375\n", + "global step=16396288, episodic return=2280.572998046875\n", + "global step=16396288, episodic return=2302.70654296875\n", + "global step=16396288, episodic return=2326.818603515625\n", + "global step=16398336, episodic return=18.587186813354492\n", + "global step=16398336, episodic return=2316.609130859375\n", + "global step=16398336, episodic return=2366.678955078125\n", + "global step=16400384, episodic return=2294.34375\n", + "global step=16400384, episodic return=1004.9658203125\n", + "global step=16400384, episodic return=2321.769775390625\n", + "global step=16400384, episodic return=2312.78857421875\n", + "global step=16400384, episodic return=2377.10595703125\n", + "global step=16400384, episodic return=2357.131103515625\n", + "global step=16402432, episodic return=2328.692626953125\n", + "global step=16402432, episodic return=1142.6827392578125\n", + "global step=16404480, episodic return=2306.3076171875\n", + "global step=16404480, episodic return=2324.297119140625\n", + "global step=16404480, episodic return=685.7422485351562\n", + "global step=16404480, episodic return=2288.76611328125\n", + "global step=16404480, episodic return=2300.677001953125\n", + "global step=16406528, episodic return=2331.50634765625\n", + "global step=16406528, episodic return=2216.8515625\n", + "global step=16406528, episodic return=2243.680419921875\n", + "global step=16406528, episodic return=2266.461669921875\n", + "global step=16408576, episodic return=2342.414306640625\n", + "global step=16408576, episodic return=2238.149169921875\n", + "global step=16410624, episodic return=2159.5048828125\n", + "global step=16410624, episodic return=2337.577880859375\n", + "global step=16410624, episodic return=2371.865478515625\n", + "global step=16410624, episodic return=2288.22216796875\n", + "global step=16412672, episodic return=2367.41015625\n", + "global step=16412672, episodic return=2251.10888671875\n", + "global step=16412672, episodic return=2331.64208984375\n", + "global step=16412672, episodic return=2339.089599609375\n", + "global step=16414720, episodic return=430.60394287109375\n", + "global step=16414720, episodic return=2299.2392578125\n", + "global step=16414720, episodic return=2336.742919921875\n", + "global step=16414720, episodic return=2305.930419921875\n", + "global step=16414720, episodic return=2315.638671875\n", + "global step=16416768, episodic return=938.0034790039062\n", + "global step=16416768, episodic return=2072.646484375\n", + "global step=16416768, episodic return=2299.988525390625\n", + "global step=16418816, episodic return=2355.434326171875\n", + "global step=16418816, episodic return=1236.5545654296875\n", + "global step=16420864, episodic return=2261.1630859375\n", + "global step=16420864, episodic return=2272.978271484375\n", + "global step=16420864, episodic return=245.0168914794922\n", + "global step=16420864, episodic return=2318.505859375\n", + "global step=16420864, episodic return=2281.684814453125\n", + "global step=16422912, episodic return=230.87017822265625\n", + "global step=16422912, episodic return=2347.535888671875\n", + "global step=16422912, episodic return=2353.6025390625\n", + "global step=16422912, episodic return=2375.247314453125\n", + "global step=16422912, episodic return=2323.28125\n", + "global step=16424960, episodic return=2303.1767578125\n", + "global step=16424960, episodic return=2322.16552734375\n", + "global step=16427008, episodic return=978.8645629882812\n", + "global step=16427008, episodic return=2310.862060546875\n", + "global step=16427008, episodic return=2362.896728515625\n", + "global step=16427008, episodic return=715.3170166015625\n", + "global step=16427008, episodic return=2220.864013671875\n", + "global step=16429056, episodic return=2357.90185546875\n", + "global step=16429056, episodic return=2346.437255859375\n", + "global step=16429056, episodic return=2303.857421875\n", + "global step=16431104, episodic return=2273.44482421875\n", + "global step=16431104, episodic return=2312.583251953125\n", + "global step=16433152, episodic return=2383.41162109375\n", + "global step=16433152, episodic return=2361.701416015625\n", + "global step=16433152, episodic return=2267.189453125\n", + "global step=16433152, episodic return=2303.236328125\n", + "global step=16433152, episodic return=342.2322692871094\n", + "global step=16439296, episodic return=2320.213623046875\n", + "global step=16439296, episodic return=2273.8916015625\n", + "global step=16439296, episodic return=2290.02978515625\n", + "global step=16439296, episodic return=341.2640075683594\n", + "global step=16439296, episodic return=2341.83642578125\n", + "global step=16441344, episodic return=2231.095947265625\n", + "global step=16443392, episodic return=2316.634521484375\n", + "global step=16445440, episodic return=2291.60400390625\n", + "global step=16447488, episodic return=1755.2310791015625\n", + "global step=16447488, episodic return=2313.84375\n", + "global step=16447488, episodic return=961.57958984375\n", + "global step=16447488, episodic return=2310.923095703125\n", + "global step=16449536, episodic return=2343.642822265625\n", + "global step=16451584, episodic return=212.07174682617188\n", + "global step=16451584, episodic return=2248.43359375\n", + "global step=16451584, episodic return=453.9399719238281\n", + "global step=16451584, episodic return=2336.15185546875\n", + "global step=16451584, episodic return=2210.466552734375\n", + "global step=16451584, episodic return=2361.5185546875\n", + "global step=16453632, episodic return=2311.12939453125\n", + "global step=16453632, episodic return=2235.6435546875\n", + "global step=16453632, episodic return=2330.592041015625\n", + "global step=16455680, episodic return=2344.02099609375\n", + "global step=16455680, episodic return=2364.23388671875\n", + "global step=16455680, episodic return=1188.870849609375\n", + "global step=16455680, episodic return=2281.30126953125\n", + "global step=16455680, episodic return=1722.3145751953125\n", + "global step=16455680, episodic return=2328.6005859375\n", + "global step=16455680, episodic return=2327.193359375\n", + "global step=16457728, episodic return=2287.988037109375\n", + "global step=16457728, episodic return=1109.0264892578125\n", + "global step=16457728, episodic return=2312.21728515625\n", + "global step=16457728, episodic return=2370.1142578125\n", + "global step=16459776, episodic return=2343.6162109375\n", + "global step=16459776, episodic return=2342.227783203125\n", + "global step=16459776, episodic return=2325.612548828125\n", + "global step=16459776, episodic return=2268.966552734375\n", + "global step=16461824, episodic return=2319.12841796875\n", + "global step=16461824, episodic return=2329.61083984375\n", + "global step=16461824, episodic return=2335.19677734375\n", + "global step=16461824, episodic return=2213.253662109375\n", + "global step=16461824, episodic return=2307.755126953125\n", + "global step=16461824, episodic return=2190.084716796875\n", + "global step=16463872, episodic return=2328.296142578125\n", + "global step=16463872, episodic return=2348.514892578125\n", + "global step=16463872, episodic return=2365.657470703125\n", + "global step=16465920, episodic return=2360.803466796875\n", + "global step=16465920, episodic return=2279.463623046875\n", + "global step=16467968, episodic return=644.2598876953125\n", + "global step=16467968, episodic return=2344.66064453125\n", + "global step=16470016, episodic return=2210.79248046875\n", + "global step=16470016, episodic return=2370.7548828125\n", + "global step=16470016, episodic return=2329.568603515625\n", + "global step=16470016, episodic return=2341.455078125\n", + "global step=16472064, episodic return=2221.216064453125\n", + "global step=16472064, episodic return=2341.493408203125\n", + "global step=16472064, episodic return=1897.4375\n", + "global step=16472064, episodic return=434.2248840332031\n", + "global step=16472064, episodic return=2323.498779296875\n", + "global step=16474112, episodic return=2235.572021484375\n", + "global step=16474112, episodic return=590.2155151367188\n", + "global step=16476160, episodic return=2298.331787109375\n", + "global step=16476160, episodic return=428.4040832519531\n", + "global step=16476160, episodic return=2342.5126953125\n", + "global step=16478208, episodic return=2266.074462890625\n", + "global step=16478208, episodic return=2328.65869140625\n", + "global step=16478208, episodic return=2381.115234375\n", + "global step=16478208, episodic return=2260.77197265625\n", + "global step=16478208, episodic return=2332.509765625\n", + "global step=16478208, episodic return=2336.79931640625\n", + "global step=16480256, episodic return=2266.370849609375\n", + "global step=16480256, episodic return=2283.07568359375\n", + "global step=16480256, episodic return=1081.554443359375\n", + "global step=16480256, episodic return=945.4000854492188\n", + "global step=16480256, episodic return=1024.0723876953125\n", + "global step=16482304, episodic return=2294.2001953125\n", + "global step=16482304, episodic return=2286.520263671875\n", + "global step=16482304, episodic return=2282.17578125\n", + "global step=16482304, episodic return=2310.490234375\n", + "global step=16484352, episodic return=958.3020629882812\n", + "global step=16486400, episodic return=1422.122802734375\n", + "global step=16486400, episodic return=2297.39453125\n", + "global step=16486400, episodic return=2307.89501953125\n", + "global step=16486400, episodic return=2313.073486328125\n", + "global step=16486400, episodic return=2303.7109375\n", + "global step=16488448, episodic return=2353.79638671875\n", + "global step=16488448, episodic return=2284.99169921875\n", + "global step=16490496, episodic return=2280.199462890625\n", + "global step=16490496, episodic return=2311.993408203125\n", + "global step=16490496, episodic return=2284.731689453125\n", + "global step=16492544, episodic return=2235.070556640625\n", + "global step=16492544, episodic return=2327.4541015625\n", + "global step=16492544, episodic return=2301.711181640625\n", + "global step=16492544, episodic return=2256.083984375\n", + "global step=16494592, episodic return=2289.63037109375\n", + "global step=16494592, episodic return=2330.680908203125\n", + "global step=16494592, episodic return=352.78900146484375\n", + "global step=16494592, episodic return=2304.274658203125\n", + "global step=16494592, episodic return=1793.13720703125\n", + "global step=16494592, episodic return=2353.906494140625\n", + "global step=16496640, episodic return=975.793212890625\n", + "global step=16496640, episodic return=2298.1337890625\n", + "global step=16498688, episodic return=197.60794067382812\n", + "global step=16498688, episodic return=2283.047607421875\n", + "global step=16498688, episodic return=2318.540283203125\n", + "global step=16498688, episodic return=2383.5185546875\n", + "global step=16498688, episodic return=2326.309814453125\n", + "global step=16500736, episodic return=2319.486083984375\n", + "global step=16500736, episodic return=2256.751953125\n", + "global step=16502784, episodic return=910.33935546875\n", + "global step=16502784, episodic return=2035.6834716796875\n", + "global step=16502784, episodic return=2286.132568359375\n", + "global step=16504832, episodic return=2369.3310546875\n", + "global step=16504832, episodic return=911.3956298828125\n", + "global step=16506880, episodic return=2258.595947265625\n", + "global step=16508928, episodic return=2358.6123046875\n", + "global step=16508928, episodic return=2317.893310546875\n", + "global step=16508928, episodic return=2239.304443359375\n", + "global step=16508928, episodic return=2321.657958984375\n", + "global step=16510976, episodic return=2155.225341796875\n", + "global step=16510976, episodic return=842.909423828125\n", + "global step=16510976, episodic return=2322.627197265625\n", + "global step=16510976, episodic return=1915.3009033203125\n", + "global step=16513024, episodic return=2363.84619140625\n", + "global step=16513024, episodic return=2256.776611328125\n", + "global step=16513024, episodic return=2339.67529296875\n", + "global step=16515072, episodic return=800.5714111328125\n", + "global step=16519168, episodic return=2193.61669921875\n", + "global step=16519168, episodic return=1699.716064453125\n", + "global step=16519168, episodic return=2325.945068359375\n", + "global step=16519168, episodic return=245.5417938232422\n", + "global step=16519168, episodic return=2393.862548828125\n", + "global step=16521216, episodic return=288.2494201660156\n", + "global step=16521216, episodic return=2354.7001953125\n", + "global step=16521216, episodic return=2296.80126953125\n", + "global step=16523264, episodic return=2228.181640625\n", + "global step=16525312, episodic return=2335.84130859375\n", + "global step=16525312, episodic return=2292.149169921875\n", + "global step=16527360, episodic return=2235.56884765625\n", + "global step=16527360, episodic return=221.22262573242188\n", + "global step=16531456, episodic return=1823.51123046875\n", + "global step=16531456, episodic return=2316.897705078125\n", + "global step=16531456, episodic return=2317.17138671875\n", + "global step=16533504, episodic return=2334.734375\n", + "global step=16533504, episodic return=2205.920166015625\n", + "global step=16535552, episodic return=2337.5771484375\n", + "global step=16535552, episodic return=1815.3714599609375\n", + "global step=16535552, episodic return=1024.8350830078125\n", + "global step=16535552, episodic return=2345.53125\n", + "global step=16537600, episodic return=2309.671630859375\n", + "global step=16537600, episodic return=76.7173843383789\n", + "global step=16537600, episodic return=2362.05908203125\n", + "global step=16537600, episodic return=238.18344116210938\n", + "global step=16539648, episodic return=235.29335021972656\n", + "global step=16539648, episodic return=2246.6826171875\n", + "global step=16541696, episodic return=2076.880126953125\n", + "global step=16543744, episodic return=2261.569580078125\n", + "global step=16545792, episodic return=2329.4599609375\n", + "global step=16547840, episodic return=2304.800537109375\n", + "global step=16549888, episodic return=1307.134033203125\n", + "global step=16551936, episodic return=2232.072265625\n", + "global step=16551936, episodic return=2297.483642578125\n", + "global step=16551936, episodic return=2243.856201171875\n", + "global step=16553984, episodic return=2130.872802734375\n", + "global step=16553984, episodic return=2272.338623046875\n", + "global step=16553984, episodic return=2310.6142578125\n", + "global step=16553984, episodic return=2324.01513671875\n", + "global step=16553984, episodic return=2334.010986328125\n", + "global step=16556032, episodic return=2329.908447265625\n", + "global step=16558080, episodic return=2324.5556640625\n", + "global step=16558080, episodic return=1792.4698486328125\n", + "global step=16560128, episodic return=2242.0859375\n", + "global step=16560128, episodic return=2313.375244140625\n", + "global step=16562176, episodic return=2334.37353515625\n", + "global step=16562176, episodic return=2235.647705078125\n", + "global step=16564224, episodic return=2276.218994140625\n", + "global step=16564224, episodic return=2261.962646484375\n", + "global step=16564224, episodic return=2274.64404296875\n", + "global step=16566272, episodic return=1500.4837646484375\n", + "global step=16566272, episodic return=2321.74951171875\n", + "global step=16566272, episodic return=2275.7294921875\n", + "global step=16568320, episodic return=2288.13232421875\n", + "global step=16570368, episodic return=539.6014404296875\n", + "global step=16572416, episodic return=2277.80078125\n", + "global step=16574464, episodic return=307.2350158691406\n", + "global step=16576512, episodic return=2400.427978515625\n", + "global step=16576512, episodic return=279.96343994140625\n", + "global step=16578560, episodic return=407.41680908203125\n", + "global step=16578560, episodic return=2366.245361328125\n", + "global step=16580608, episodic return=2365.092041015625\n", + "global step=16582656, episodic return=2280.003173828125\n", + "global step=16582656, episodic return=2306.531982421875\n", + "global step=16582656, episodic return=2363.1826171875\n", + "global step=16584704, episodic return=2203.16015625\n", + "global step=16584704, episodic return=688.9600830078125\n", + "global step=16586752, episodic return=2260.25732421875\n", + "global step=16586752, episodic return=2304.708251953125\n", + "global step=16588800, episodic return=2161.963134765625\n", + "global step=16588800, episodic return=2291.5986328125\n", + "global step=16588800, episodic return=2263.447998046875\n", + "global step=16592896, episodic return=2025.013916015625\n", + "global step=16592896, episodic return=2271.60693359375\n", + "global step=16594944, episodic return=2365.444580078125\n", + "global step=16594944, episodic return=502.3721618652344\n", + "global step=16594944, episodic return=2211.661376953125\n", + "global step=16596992, episodic return=2306.748779296875\n", + "global step=16596992, episodic return=2315.730712890625\n", + "global step=16596992, episodic return=2327.498779296875\n", + "global step=16599040, episodic return=2362.525634765625\n", + "global step=16599040, episodic return=2364.827880859375\n", + "global step=16599040, episodic return=1156.919189453125\n", + "global step=16601088, episodic return=2288.985595703125\n", + "global step=16601088, episodic return=2303.35986328125\n", + "global step=16601088, episodic return=2347.5087890625\n", + "global step=16603136, episodic return=2269.83349609375\n", + "global step=16603136, episodic return=2239.8759765625\n", + "global step=16605184, episodic return=1523.795654296875\n", + "global step=16605184, episodic return=2348.08935546875\n", + "global step=16607232, episodic return=2366.4404296875\n", + "global step=16607232, episodic return=2338.294189453125\n", + "global step=16607232, episodic return=2329.242431640625\n", + "global step=16607232, episodic return=2312.12646484375\n", + "global step=16609280, episodic return=2258.65087890625\n", + "global step=16609280, episodic return=2304.4755859375\n", + "global step=16611328, episodic return=2049.830322265625\n", + "global step=16613376, episodic return=2260.047607421875\n", + "global step=16613376, episodic return=2304.632568359375\n", + "global step=16619520, episodic return=2357.17578125\n", + "global step=16621568, episodic return=2262.3251953125\n", + "global step=16621568, episodic return=1805.8277587890625\n", + "global step=16623616, episodic return=307.7594299316406\n", + "global step=16623616, episodic return=2239.463134765625\n", + "global step=16623616, episodic return=2361.76953125\n", + "global step=16623616, episodic return=2322.281005859375\n", + "global step=16623616, episodic return=2243.582275390625\n", + "global step=16623616, episodic return=914.8610229492188\n", + "global step=16625664, episodic return=2373.4521484375\n", + "global step=16625664, episodic return=2303.041259765625\n", + "global step=16625664, episodic return=2353.013916015625\n", + "global step=16625664, episodic return=1844.4744873046875\n", + "global step=16625664, episodic return=2290.39697265625\n", + "global step=16627712, episodic return=1242.3441162109375\n", + "global step=16627712, episodic return=2257.83544921875\n", + "global step=16627712, episodic return=2301.466552734375\n", + "global step=16627712, episodic return=2264.911865234375\n", + "global step=16629760, episodic return=2206.153564453125\n", + "global step=16629760, episodic return=2288.900634765625\n", + "global step=16631808, episodic return=2328.28076171875\n", + "global step=16631808, episodic return=2281.12548828125\n", + "global step=16631808, episodic return=2324.454833984375\n", + "global step=16633856, episodic return=2321.13134765625\n", + "global step=16637952, episodic return=1417.083251953125\n", + "global step=16637952, episodic return=2312.44287109375\n", + "global step=16637952, episodic return=493.87921142578125\n", + "global step=16637952, episodic return=731.6345825195312\n", + "global step=16640000, episodic return=2345.3681640625\n", + "global step=16640000, episodic return=226.3954315185547\n", + "global step=16640000, episodic return=317.3470458984375\n", + "global step=16642048, episodic return=2285.64404296875\n", + "global step=16642048, episodic return=2071.7890625\n", + "global step=16642048, episodic return=2316.8994140625\n", + "global step=16644096, episodic return=2313.126220703125\n", + "global step=16644096, episodic return=2348.04833984375\n", + "global step=16646144, episodic return=1383.8006591796875\n", + "global step=16646144, episodic return=2349.712158203125\n", + "global step=16648192, episodic return=2267.384765625\n", + "global step=16648192, episodic return=211.31785583496094\n", + "global step=16648192, episodic return=2296.691650390625\n", + "global step=16648192, episodic return=294.300537109375\n", + "global step=16650240, episodic return=2334.798828125\n", + "global step=16652288, episodic return=205.55548095703125\n", + "global step=16652288, episodic return=2353.0634765625\n", + "global step=16652288, episodic return=2303.831298828125\n", + "global step=16652288, episodic return=2388.97998046875\n", + "global step=16652288, episodic return=2353.933349609375\n", + "global step=16654336, episodic return=2285.917236328125\n", + "global step=16654336, episodic return=2339.81396484375\n", + "global step=16654336, episodic return=2264.439208984375\n", + "global step=16656384, episodic return=293.8577880859375\n", + "global step=16656384, episodic return=2264.664794921875\n", + "global step=16658432, episodic return=2354.869384765625\n", + "global step=16660480, episodic return=2257.801513671875\n", + "global step=16660480, episodic return=243.39952087402344\n", + "global step=16662528, episodic return=2293.178466796875\n", + "global step=16662528, episodic return=1459.4300537109375\n", + "global step=16664576, episodic return=1410.064453125\n", + "global step=16664576, episodic return=1349.4327392578125\n", + "global step=16666624, episodic return=2370.2529296875\n", + "global step=16668672, episodic return=2358.77783203125\n", + "global step=16668672, episodic return=2284.8251953125\n", + "global step=16668672, episodic return=2281.598388671875\n", + "global step=16668672, episodic return=1002.589599609375\n", + "global step=16668672, episodic return=2323.0732421875\n", + "global step=16668672, episodic return=2357.887939453125\n", + "global step=16668672, episodic return=2273.92724609375\n", + "global step=16670720, episodic return=2354.18701171875\n", + "global step=16670720, episodic return=2215.099853515625\n", + "global step=16670720, episodic return=212.29954528808594\n", + "global step=16670720, episodic return=2250.400390625\n", + "global step=16670720, episodic return=1227.3004150390625\n", + "global step=16672768, episodic return=232.29591369628906\n", + "global step=16672768, episodic return=2285.11376953125\n", + "global step=16674816, episodic return=862.9345092773438\n", + "global step=16674816, episodic return=2290.250732421875\n", + "global step=16676864, episodic return=2374.107177734375\n", + "global step=16676864, episodic return=2342.581787109375\n", + "global step=16678912, episodic return=2371.1279296875\n", + "global step=16678912, episodic return=216.1582489013672\n", + "global step=16680960, episodic return=2321.706298828125\n", + "global step=16683008, episodic return=2369.77197265625\n", + "global step=16683008, episodic return=1188.875\n", + "global step=16685056, episodic return=2375.265380859375\n", + "global step=16685056, episodic return=2367.872802734375\n", + "global step=16687104, episodic return=2228.958984375\n", + "global step=16687104, episodic return=2312.125732421875\n", + "global step=16687104, episodic return=2360.12744140625\n", + "global step=16687104, episodic return=1304.228271484375\n", + "global step=16689152, episodic return=761.7099609375\n", + "global step=16689152, episodic return=2346.736328125\n", + "global step=16689152, episodic return=2289.642822265625\n", + "global step=16689152, episodic return=2326.90185546875\n", + "global step=16691200, episodic return=2326.302734375\n", + "global step=16693248, episodic return=254.03515625\n", + "global step=16693248, episodic return=2358.00537109375\n", + "global step=16695296, episodic return=2236.0576171875\n", + "global step=16695296, episodic return=2333.25146484375\n", + "global step=16695296, episodic return=2397.6015625\n", + "global step=16697344, episodic return=1778.7005615234375\n", + "global step=16697344, episodic return=2325.335205078125\n", + "global step=16697344, episodic return=991.899658203125\n", + "global step=16697344, episodic return=2352.5732421875\n", + "global step=16697344, episodic return=2326.701904296875\n", + "global step=16697344, episodic return=1458.4012451171875\n", + "global step=16699392, episodic return=2358.602783203125\n", + "global step=16699392, episodic return=2370.334716796875\n", + "global step=16699392, episodic return=2345.01171875\n", + "global step=16701440, episodic return=2353.341796875\n", + "global step=16701440, episodic return=2269.380859375\n", + "global step=16701440, episodic return=2357.5400390625\n", + "global step=16703488, episodic return=2345.75732421875\n", + "global step=16703488, episodic return=2353.335693359375\n", + "global step=16705536, episodic return=2308.9443359375\n", + "global step=16705536, episodic return=2359.625244140625\n", + "global step=16705536, episodic return=2295.77099609375\n", + "global step=16705536, episodic return=810.5658569335938\n", + "global step=16707584, episodic return=2307.025390625\n", + "global step=16707584, episodic return=2321.95361328125\n", + "global step=16709632, episodic return=2294.351318359375\n", + "global step=16711680, episodic return=197.35302734375\n", + "global step=16711680, episodic return=2341.882568359375\n", + "global step=16711680, episodic return=2302.47216796875\n", + "global step=16711680, episodic return=2333.839111328125\n", + "global step=16713728, episodic return=2402.550537109375\n", + "global step=16713728, episodic return=2133.8916015625\n", + "global step=16713728, episodic return=2341.8505859375\n", + "global step=16713728, episodic return=2378.65771484375\n", + "global step=16715776, episodic return=2336.40234375\n", + "global step=16715776, episodic return=2372.47998046875\n", + "global step=16715776, episodic return=2334.3486328125\n", + "global step=16717824, episodic return=2334.24169921875\n", + "global step=16717824, episodic return=2337.480224609375\n", + "global step=16719872, episodic return=2228.017822265625\n", + "global step=16723968, episodic return=316.6434631347656\n", + "global step=16723968, episodic return=2378.733642578125\n", + "global step=16723968, episodic return=2339.022216796875\n", + "global step=16723968, episodic return=2380.51123046875\n", + "global step=16726016, episodic return=2265.0478515625\n", + "global step=16728064, episodic return=1023.6708984375\n", + "global step=16728064, episodic return=2311.7568359375\n", + "global step=16730112, episodic return=2321.243408203125\n", + "global step=16732160, episodic return=2341.502685546875\n", + "global step=16734208, episodic return=2073.191650390625\n", + "global step=16734208, episodic return=2269.433837890625\n", + "global step=16736256, episodic return=1680.115966796875\n", + "global step=16736256, episodic return=2385.610595703125\n", + "global step=16736256, episodic return=1876.1341552734375\n", + "global step=16738304, episodic return=2337.721923828125\n", + "global step=16738304, episodic return=253.44281005859375\n", + "global step=16740352, episodic return=1357.8143310546875\n", + "global step=16740352, episodic return=2367.806884765625\n", + "global step=16740352, episodic return=2240.01318359375\n", + "global step=16742400, episodic return=2260.307373046875\n", + "global step=16742400, episodic return=469.74566650390625\n", + "global step=16744448, episodic return=2344.5205078125\n", + "global step=16744448, episodic return=253.00682067871094\n", + "global step=16746496, episodic return=2193.9775390625\n", + "global step=16746496, episodic return=2326.716552734375\n", + "global step=16746496, episodic return=269.0019836425781\n", + "global step=16746496, episodic return=2339.3828125\n", + "global step=16748544, episodic return=200.16363525390625\n", + "global step=16748544, episodic return=119.75125885009766\n", + "global step=16748544, episodic return=2322.48046875\n", + "global step=16748544, episodic return=2350.24462890625\n", + "global step=16748544, episodic return=19.849571228027344\n", + "global step=16750592, episodic return=1833.968017578125\n", + "global step=16752640, episodic return=2388.908447265625\n", + "global step=16754688, episodic return=2299.82666015625\n", + "global step=16756736, episodic return=2284.1787109375\n", + "global step=16756736, episodic return=2297.85009765625\n", + "global step=16756736, episodic return=278.1372985839844\n", + "global step=16756736, episodic return=2325.733642578125\n", + "global step=16756736, episodic return=1451.4012451171875\n", + "global step=16758784, episodic return=2323.281494140625\n", + "global step=16758784, episodic return=739.8281860351562\n", + "global step=16758784, episodic return=2336.333251953125\n", + "global step=16758784, episodic return=283.7499084472656\n", + "global step=16758784, episodic return=274.613037109375\n", + "global step=16760832, episodic return=2195.53173828125\n", + "global step=16760832, episodic return=2325.3232421875\n", + "global step=16762880, episodic return=2282.112060546875\n", + "global step=16762880, episodic return=2331.884033203125\n", + "global step=16762880, episodic return=28.080062866210938\n", + "global step=16764928, episodic return=2346.791015625\n", + "global step=16764928, episodic return=2357.71484375\n", + "global step=16764928, episodic return=2286.683837890625\n", + "global step=16764928, episodic return=2340.976318359375\n", + "global step=16764928, episodic return=2227.203857421875\n", + "global step=16766976, episodic return=2314.212890625\n", + "global step=16766976, episodic return=25.99673843383789\n", + "global step=16766976, episodic return=2311.784423828125\n", + "global step=16769024, episodic return=2395.1435546875\n", + "global step=16769024, episodic return=2320.790283203125\n", + "global step=16771072, episodic return=2360.6123046875\n", + "global step=16771072, episodic return=2306.502685546875\n", + "global step=16771072, episodic return=2339.216796875\n", + "global step=16771072, episodic return=2299.550048828125\n", + "global step=16771072, episodic return=54.323875427246094\n", + "global step=16773120, episodic return=2299.680419921875\n", + "global step=16775168, episodic return=2285.560791015625\n", + "global step=16779264, episodic return=2385.510986328125\n", + "global step=16783360, episodic return=2289.728515625\n", + "global step=16783360, episodic return=20.26112937927246\n", + "global step=16783360, episodic return=2358.01318359375\n", + "global step=16783360, episodic return=1412.4793701171875\n", + "global step=16785408, episodic return=1158.318115234375\n", + "global step=16787456, episodic return=1313.0321044921875\n", + "global step=16787456, episodic return=1690.159423828125\n", + "global step=16787456, episodic return=2281.285888671875\n", + "global step=16789504, episodic return=919.6119995117188\n", + "global step=16789504, episodic return=2059.3779296875\n", + "global step=16791552, episodic return=2301.028564453125\n", + "global step=16791552, episodic return=2388.005126953125\n", + "global step=16791552, episodic return=2347.342529296875\n", + "global step=16791552, episodic return=270.365966796875\n", + "global step=16793600, episodic return=1631.2392578125\n", + "global step=16795648, episodic return=662.115966796875\n", + "global step=16795648, episodic return=1755.79052734375\n", + "global step=16797696, episodic return=2304.24658203125\n", + "global step=16797696, episodic return=2364.79833984375\n", + "global step=16799744, episodic return=2323.2158203125\n", + "global step=16799744, episodic return=2369.21435546875\n", + "global step=16801792, episodic return=2358.807373046875\n", + "global step=16803840, episodic return=2264.420166015625\n", + "global step=16803840, episodic return=255.0111846923828\n", + "global step=16803840, episodic return=2277.701171875\n", + "global step=16805888, episodic return=2332.63427734375\n", + "global step=16805888, episodic return=2310.52197265625\n", + "global step=16807936, episodic return=2388.48388671875\n", + "global step=16809984, episodic return=1464.647705078125\n", + "global step=16809984, episodic return=2376.900146484375\n", + "global step=16809984, episodic return=2330.256591796875\n", + "global step=16809984, episodic return=2267.169189453125\n", + "global step=16809984, episodic return=2290.14306640625\n", + "global step=16809984, episodic return=1121.4208984375\n", + "global step=16812032, episodic return=2347.95703125\n", + "global step=16812032, episodic return=1479.42041015625\n", + "global step=16814080, episodic return=2149.53759765625\n", + "global step=16814080, episodic return=2253.05126953125\n", + "global step=16816128, episodic return=583.5799560546875\n", + "global step=16816128, episodic return=2315.742431640625\n", + "global step=16816128, episodic return=1296.2120361328125\n", + "global step=16816128, episodic return=2258.91162109375\n", + "global step=16816128, episodic return=2257.159423828125\n", + "global step=16818176, episodic return=272.4296569824219\n", + "global step=16818176, episodic return=2339.0341796875\n", + "global step=16820224, episodic return=1278.5711669921875\n", + "global step=16820224, episodic return=26.736339569091797\n", + "global step=16822272, episodic return=25.285003662109375\n", + "global step=16822272, episodic return=715.3145141601562\n", + "global step=16822272, episodic return=2269.41845703125\n", + "global step=16822272, episodic return=2218.693359375\n", + "global step=16822272, episodic return=2334.51318359375\n", + "global step=16824320, episodic return=2283.407470703125\n", + "global step=16824320, episodic return=2352.76416015625\n", + "global step=16824320, episodic return=2330.190185546875\n", + "global step=16824320, episodic return=2353.22509765625\n", + "global step=16826368, episodic return=2317.52783203125\n", + "global step=16826368, episodic return=2293.886474609375\n", + "global step=16828416, episodic return=2361.1875\n", + "global step=16828416, episodic return=2291.316650390625\n", + "global step=16830464, episodic return=2342.172119140625\n", + "global step=16830464, episodic return=1815.8604736328125\n", + "global step=16830464, episodic return=2315.4892578125\n", + "global step=16832512, episodic return=2374.249267578125\n", + "global step=16832512, episodic return=2284.696533203125\n", + "global step=16832512, episodic return=2353.013427734375\n", + "global step=16834560, episodic return=1396.7110595703125\n", + "global step=16834560, episodic return=2314.46533203125\n", + "global step=16836608, episodic return=2365.200927734375\n", + "global step=16838656, episodic return=2333.824462890625\n", + "global step=16838656, episodic return=2312.517333984375\n", + "global step=16838656, episodic return=2346.59423828125\n", + "global step=16842752, episodic return=2339.6923828125\n", + "global step=16844800, episodic return=1798.744384765625\n", + "global step=16844800, episodic return=2311.9619140625\n", + "global step=16846848, episodic return=2402.32275390625\n", + "global step=16846848, episodic return=1023.7766723632812\n", + "global step=16846848, episodic return=1176.3662109375\n", + "global step=16846848, episodic return=2333.864990234375\n", + "global step=16846848, episodic return=2322.9091796875\n", + "global step=16848896, episodic return=2293.6904296875\n", + "global step=16850944, episodic return=1510.6240234375\n", + "global step=16850944, episodic return=865.9107055664062\n", + "global step=16850944, episodic return=2346.0380859375\n", + "global step=16850944, episodic return=2349.682373046875\n", + "global step=16855040, episodic return=2306.549560546875\n", + "global step=16857088, episodic return=2396.558349609375\n", + "global step=16857088, episodic return=2354.029296875\n", + "global step=16859136, episodic return=2331.849365234375\n", + "global step=16861184, episodic return=2332.55517578125\n", + "global step=16863232, episodic return=1680.3182373046875\n", + "global step=16863232, episodic return=2333.622802734375\n", + "global step=16865280, episodic return=2370.005126953125\n", + "global step=16865280, episodic return=2384.562744140625\n", + "global step=16869376, episodic return=2337.326416015625\n", + "global step=16871424, episodic return=2408.8408203125\n", + "global step=16873472, episodic return=2225.8720703125\n", + "global step=16873472, episodic return=2320.568115234375\n", + "global step=16875520, episodic return=1862.0291748046875\n", + "global step=16875520, episodic return=2292.167724609375\n", + "global step=16875520, episodic return=2346.0224609375\n", + "global step=16875520, episodic return=2313.45068359375\n", + "global step=16877568, episodic return=2394.74951171875\n", + "global step=16877568, episodic return=2358.68896484375\n", + "global step=16877568, episodic return=2341.673095703125\n", + "global step=16877568, episodic return=2303.3779296875\n", + "global step=16881664, episodic return=2377.530517578125\n", + "global step=16881664, episodic return=2338.598388671875\n", + "global step=16885760, episodic return=2342.375244140625\n", + "global step=16885760, episodic return=2278.14208984375\n", + "global step=16887808, episodic return=217.89259338378906\n", + "global step=16887808, episodic return=2345.466064453125\n", + "global step=16889856, episodic return=2330.482666015625\n", + "global step=16891904, episodic return=130.26332092285156\n", + "global step=16891904, episodic return=2345.34619140625\n", + "global step=16891904, episodic return=2339.515380859375\n", + "global step=16898048, episodic return=2392.6689453125\n", + "global step=16898048, episodic return=2312.9990234375\n", + "global step=16898048, episodic return=2345.380615234375\n", + "global step=16902144, episodic return=2318.356689453125\n", + "global step=16904192, episodic return=2322.859619140625\n", + "global step=16904192, episodic return=2334.237060546875\n", + "global step=16904192, episodic return=2371.619140625\n", + "global step=16906240, episodic return=2313.9697265625\n", + "global step=16908288, episodic return=2308.02783203125\n", + "global step=16910336, episodic return=2433.7685546875\n", + "global step=16910336, episodic return=2330.39990234375\n", + "global step=16910336, episodic return=2333.222900390625\n", + "global step=16912384, episodic return=179.7841796875\n", + "global step=16914432, episodic return=2329.055908203125\n", + "global step=16914432, episodic return=2329.172119140625\n", + "global step=16916480, episodic return=2295.288818359375\n", + "global step=16916480, episodic return=2340.59521484375\n", + "global step=16916480, episodic return=2380.668212890625\n", + "global step=16916480, episodic return=2382.7900390625\n", + "global step=16918528, episodic return=2319.937744140625\n", + "global step=16918528, episodic return=2358.369384765625\n", + "global step=16920576, episodic return=797.8846435546875\n", + "global step=16922624, episodic return=2340.398193359375\n", + "global step=16922624, episodic return=1117.209228515625\n", + "global step=16922624, episodic return=247.74563598632812\n", + "global step=16922624, episodic return=2293.132080078125\n", + "global step=16922624, episodic return=2360.034912109375\n", + "global step=16924672, episodic return=2182.83740234375\n", + "global step=16926720, episodic return=1359.3240966796875\n", + "global step=16926720, episodic return=2332.729248046875\n", + "global step=16926720, episodic return=278.21673583984375\n", + "global step=16930816, episodic return=2319.462158203125\n", + "global step=16932864, episodic return=2252.08935546875\n", + "global step=16932864, episodic return=1637.165283203125\n", + "global step=16932864, episodic return=2311.492431640625\n", + "global step=16932864, episodic return=2266.2958984375\n", + "global step=16934912, episodic return=2375.91845703125\n", + "global step=16934912, episodic return=1291.0206298828125\n", + "global step=16934912, episodic return=2305.16064453125\n", + "global step=16934912, episodic return=2318.240234375\n", + "global step=16934912, episodic return=2328.18994140625\n", + "global step=16936960, episodic return=558.2625732421875\n", + "global step=16936960, episodic return=2360.581787109375\n", + "global step=16936960, episodic return=910.3858032226562\n", + "global step=16939008, episodic return=2189.13720703125\n", + "global step=16939008, episodic return=1498.790771484375\n", + "global step=16941056, episodic return=2297.358642578125\n", + "global step=16941056, episodic return=2311.26318359375\n", + "global step=16943104, episodic return=736.69482421875\n", + "global step=16947200, episodic return=1221.603759765625\n", + "global step=16949248, episodic return=223.49681091308594\n", + "global step=16949248, episodic return=2313.654052734375\n", + "global step=16949248, episodic return=1767.5113525390625\n", + "global step=16949248, episodic return=2348.4248046875\n", + "global step=16951296, episodic return=2233.439697265625\n", + "global step=16951296, episodic return=2354.5185546875\n", + "global step=16951296, episodic return=1356.5655517578125\n", + "global step=16953344, episodic return=2326.51220703125\n", + "global step=16953344, episodic return=273.8424377441406\n", + "global step=16955392, episodic return=279.7835693359375\n", + "global step=16955392, episodic return=2399.06591796875\n", + "global step=16957440, episodic return=463.1636657714844\n", + "global step=16957440, episodic return=2285.560791015625\n", + "global step=16959488, episodic return=2297.491455078125\n", + "global step=16959488, episodic return=241.48651123046875\n", + "global step=16961536, episodic return=199.0552215576172\n", + "global step=16961536, episodic return=2347.96044921875\n", + "global step=16963584, episodic return=2337.858154296875\n", + "global step=16963584, episodic return=2322.304443359375\n", + "global step=16963584, episodic return=2361.992919921875\n", + "global step=16967680, episodic return=2319.631591796875\n", + "global step=16971776, episodic return=2383.60302734375\n", + "global step=16971776, episodic return=2282.110107421875\n", + "global step=16971776, episodic return=261.8127136230469\n", + "global step=16973824, episodic return=2314.289306640625\n", + "global step=16973824, episodic return=2267.54296875\n", + "global step=16973824, episodic return=258.58306884765625\n", + "global step=16975872, episodic return=178.56375122070312\n", + "global step=16975872, episodic return=2392.704345703125\n", + "global step=16977920, episodic return=2335.628173828125\n", + "global step=16979968, episodic return=2261.342041015625\n", + "global step=16982016, episodic return=1726.066650390625\n", + "global step=16982016, episodic return=2342.520751953125\n", + "global step=16982016, episodic return=2326.486572265625\n", + "global step=16986112, episodic return=790.9993896484375\n", + "global step=16986112, episodic return=913.777099609375\n", + "global step=16990208, episodic return=2365.551025390625\n", + "global step=16990208, episodic return=536.8417358398438\n", + "global step=16990208, episodic return=2296.4345703125\n", + "global step=16990208, episodic return=1567.16259765625\n", + "global step=16990208, episodic return=2211.5693359375\n", + "global step=16990208, episodic return=2379.675048828125\n", + "global step=16994304, episodic return=2336.8125\n", + "global step=16994304, episodic return=2312.5849609375\n", + "global step=16994304, episodic return=2387.180908203125\n", + "global step=16994304, episodic return=1587.2293701171875\n", + "global step=16994304, episodic return=2321.14013671875\n", + "global step=16996352, episodic return=2332.132568359375\n", + "global step=16998400, episodic return=2337.83447265625\n", + "global step=16998400, episodic return=2350.845947265625\n", + "global step=17000448, episodic return=2357.91064453125\n", + "global step=17002496, episodic return=1523.4061279296875\n", + "global step=17002496, episodic return=2309.09521484375\n", + "global step=17002496, episodic return=1364.0260009765625\n", + "global step=17002496, episodic return=2301.43017578125\n", + "global step=17004544, episodic return=709.1890869140625\n", + "global step=17004544, episodic return=2319.16796875\n", + "global step=17004544, episodic return=1784.1763916015625\n", + "global step=17004544, episodic return=1703.6868896484375\n", + "global step=17004544, episodic return=2192.176513671875\n", + "global step=17006592, episodic return=2363.411865234375\n", + "global step=17006592, episodic return=2334.44775390625\n", + "global step=17008640, episodic return=796.515869140625\n", + "global step=17008640, episodic return=1766.1583251953125\n", + "global step=17008640, episodic return=954.5642700195312\n", + "global step=17008640, episodic return=1468.5926513671875\n", + "global step=17008640, episodic return=401.3415832519531\n", + "global step=17010688, episodic return=1644.5880126953125\n", + "global step=17012736, episodic return=2327.005126953125\n", + "global step=17012736, episodic return=1442.96484375\n", + "global step=17012736, episodic return=2307.109619140625\n", + "global step=17012736, episodic return=2314.211181640625\n", + "global step=17014784, episodic return=734.6489868164062\n", + "global step=17018880, episodic return=828.5906982421875\n", + "global step=17018880, episodic return=671.619140625\n", + "global step=17018880, episodic return=540.5114135742188\n", + "global step=17018880, episodic return=2038.4736328125\n", + "global step=17020928, episodic return=2391.367431640625\n", + "global step=17020928, episodic return=2309.803466796875\n", + "global step=17020928, episodic return=2328.23046875\n", + "global step=17020928, episodic return=520.9921875\n", + "global step=17022976, episodic return=1647.1778564453125\n", + "global step=17025024, episodic return=1985.586669921875\n", + "global step=17025024, episodic return=2328.70263671875\n", + "global step=17025024, episodic return=2364.182861328125\n", + "global step=17029120, episodic return=2049.306640625\n", + "global step=17029120, episodic return=520.7998657226562\n", + "global step=17029120, episodic return=1396.3037109375\n", + "global step=17031168, episodic return=2342.74853515625\n", + "global step=17031168, episodic return=2364.91552734375\n", + "global step=17031168, episodic return=2365.434326171875\n", + "global step=17031168, episodic return=2069.705078125\n", + "global step=17031168, episodic return=2349.024169921875\n", + "global step=17033216, episodic return=1646.040771484375\n", + "global step=17035264, episodic return=2333.3134765625\n", + "global step=17037312, episodic return=473.39373779296875\n", + "global step=17041408, episodic return=2366.188720703125\n", + "global step=17041408, episodic return=2356.697021484375\n", + "global step=17043456, episodic return=1341.044189453125\n", + "global step=17043456, episodic return=2316.2861328125\n", + "global step=17045504, episodic return=2377.083251953125\n", + "global step=17045504, episodic return=160.4307403564453\n", + "global step=17047552, episodic return=2392.654296875\n", + "global step=17047552, episodic return=2337.121826171875\n", + "global step=17047552, episodic return=2316.15869140625\n", + "global step=17049600, episodic return=2349.12060546875\n", + "global step=17049600, episodic return=2332.34619140625\n", + "global step=17049600, episodic return=2366.7216796875\n", + "global step=17049600, episodic return=1802.5028076171875\n", + "global step=17051648, episodic return=2344.802490234375\n", + "global step=17051648, episodic return=2390.406982421875\n", + "global step=17053696, episodic return=2367.151123046875\n", + "global step=17053696, episodic return=2379.833251953125\n", + "global step=17053696, episodic return=872.4583740234375\n", + "global step=17055744, episodic return=2324.23974609375\n", + "global step=17057792, episodic return=198.99746704101562\n", + "global step=17057792, episodic return=1725.4508056640625\n", + "global step=17057792, episodic return=2438.3984375\n", + "global step=17059840, episodic return=2370.32568359375\n", + "global step=17063936, episodic return=2219.708251953125\n", + "global step=17063936, episodic return=2301.507568359375\n", + "global step=17065984, episodic return=1647.453125\n", + "global step=17065984, episodic return=2364.2021484375\n", + "global step=17068032, episodic return=2364.1298828125\n", + "global step=17070080, episodic return=2310.934326171875\n", + "global step=17072128, episodic return=1432.576416015625\n", + "global step=17072128, episodic return=1504.870361328125\n", + "global step=17074176, episodic return=2396.298583984375\n", + "global step=17074176, episodic return=2382.320556640625\n", + "global step=17076224, episodic return=2298.21875\n", + "global step=17078272, episodic return=1717.2559814453125\n", + "global step=17078272, episodic return=2352.0830078125\n", + "global step=17078272, episodic return=966.8358154296875\n", + "global step=17080320, episodic return=2339.84765625\n", + "global step=17082368, episodic return=2244.37890625\n", + "global step=17086464, episodic return=2301.640869140625\n", + "global step=17086464, episodic return=319.18658447265625\n", + "global step=17088512, episodic return=2387.953857421875\n", + "global step=17090560, episodic return=1322.8375244140625\n", + "global step=17092608, episodic return=544.7808227539062\n", + "global step=17096704, episodic return=2364.45458984375\n", + "global step=17098752, episodic return=38.32708740234375\n", + "global step=17098752, episodic return=2355.810302734375\n", + "global step=17098752, episodic return=2323.851806640625\n", + "global step=17102848, episodic return=2366.444580078125\n", + "global step=17104896, episodic return=2354.68212890625\n", + "global step=17104896, episodic return=2296.5615234375\n", + "global step=17106944, episodic return=2396.208251953125\n", + "global step=17106944, episodic return=2376.94775390625\n", + "global step=17108992, episodic return=1235.940673828125\n", + "global step=17111040, episodic return=2394.3310546875\n", + "global step=17111040, episodic return=1997.968505859375\n", + "global step=17111040, episodic return=2381.684326171875\n", + "global step=17111040, episodic return=2317.193359375\n", + "global step=17113088, episodic return=2219.49267578125\n", + "global step=17115136, episodic return=2341.42822265625\n", + "global step=17115136, episodic return=270.94549560546875\n", + "global step=17117184, episodic return=2375.22802734375\n", + "global step=17117184, episodic return=1598.346435546875\n", + "global step=17117184, episodic return=2379.665771484375\n", + "global step=17123328, episodic return=2343.415771484375\n", + "global step=17125376, episodic return=2367.088134765625\n", + "global step=17125376, episodic return=2367.1123046875\n", + "global step=17125376, episodic return=1984.93896484375\n", + "global step=17125376, episodic return=307.8863220214844\n", + "global step=17127424, episodic return=2365.236572265625\n", + "global step=17129472, episodic return=2391.244384765625\n", + "global step=17129472, episodic return=2345.016357421875\n", + "global step=17131520, episodic return=2270.35400390625\n", + "global step=17131520, episodic return=2275.599853515625\n", + "global step=17131520, episodic return=2371.885498046875\n", + "global step=17131520, episodic return=2326.899658203125\n", + "global step=17131520, episodic return=2329.625\n", + "global step=17133568, episodic return=2343.686767578125\n", + "global step=17135616, episodic return=447.0674743652344\n", + "global step=17135616, episodic return=2313.523193359375\n", + "global step=17135616, episodic return=382.7119140625\n", + "global step=17137664, episodic return=2331.760498046875\n", + "global step=17137664, episodic return=2337.499755859375\n", + "global step=17137664, episodic return=2356.561279296875\n", + "global step=17137664, episodic return=2335.210205078125\n", + "global step=17141760, episodic return=2393.0029296875\n", + "global step=17143808, episodic return=2377.606201171875\n", + "global step=17145856, episodic return=843.143798828125\n", + "global step=17145856, episodic return=2307.242919921875\n", + "global step=17147904, episodic return=683.142822265625\n", + "global step=17147904, episodic return=2299.087890625\n", + "global step=17149952, episodic return=2277.927490234375\n", + "global step=17149952, episodic return=2122.475830078125\n", + "global step=17152000, episodic return=2381.037353515625\n", + "global step=17152000, episodic return=2324.673095703125\n", + "global step=17152000, episodic return=2339.013671875\n", + "global step=17152000, episodic return=2377.685546875\n", + "global step=17152000, episodic return=2371.783935546875\n", + "global step=17154048, episodic return=2331.716552734375\n", + "global step=17154048, episodic return=647.5828857421875\n", + "global step=17156096, episodic return=2383.54345703125\n", + "global step=17156096, episodic return=2381.78857421875\n", + "global step=17158144, episodic return=939.9700317382812\n", + "global step=17158144, episodic return=389.0759582519531\n", + "global step=17160192, episodic return=1885.8211669921875\n", + "global step=17162240, episodic return=2306.31298828125\n", + "global step=17162240, episodic return=722.195068359375\n", + "global step=17164288, episodic return=1422.623779296875\n", + "global step=17164288, episodic return=1698.6044921875\n", + "global step=17166336, episodic return=2361.258544921875\n", + "global step=17166336, episodic return=2332.736083984375\n", + "global step=17166336, episodic return=2282.429931640625\n", + "global step=17166336, episodic return=841.2784423828125\n", + "global step=17166336, episodic return=2358.1357421875\n", + "global step=17168384, episodic return=2361.260009765625\n", + "global step=17168384, episodic return=1589.71533203125\n", + "global step=17168384, episodic return=1875.6383056640625\n", + "global step=17168384, episodic return=2405.486083984375\n", + "global step=17168384, episodic return=318.03924560546875\n", + "global step=17170432, episodic return=2243.4453125\n", + "global step=17170432, episodic return=2378.729248046875\n", + "global step=17170432, episodic return=2381.225341796875\n", + "global step=17170432, episodic return=2334.57421875\n", + "global step=17170432, episodic return=633.53466796875\n", + "global step=17172480, episodic return=542.557373046875\n", + "global step=17172480, episodic return=1347.9246826171875\n", + "global step=17174528, episodic return=2285.966064453125\n", + "global step=17176576, episodic return=2372.38916015625\n", + "global step=17176576, episodic return=929.982666015625\n", + "global step=17176576, episodic return=2364.83544921875\n", + "global step=17176576, episodic return=592.0753784179688\n", + "global step=17176576, episodic return=2315.499267578125\n", + "global step=17176576, episodic return=822.6918334960938\n", + "global step=17178624, episodic return=2384.706298828125\n", + "global step=17178624, episodic return=2340.83154296875\n", + "global step=17178624, episodic return=2314.69091796875\n", + "global step=17178624, episodic return=960.920166015625\n", + "global step=17178624, episodic return=2352.965087890625\n", + "global step=17178624, episodic return=258.9681701660156\n", + "global step=17178624, episodic return=2381.671875\n", + "global step=17180672, episodic return=2033.1033935546875\n", + "global step=17180672, episodic return=1113.7537841796875\n", + "global step=17180672, episodic return=2255.930908203125\n", + "global step=17182720, episodic return=2377.570068359375\n", + "global step=17182720, episodic return=1177.4327392578125\n", + "global step=17182720, episodic return=319.2962341308594\n", + "global step=17184768, episodic return=2372.042236328125\n", + "global step=17184768, episodic return=2367.416748046875\n", + "global step=17184768, episodic return=2074.506103515625\n", + "global step=17186816, episodic return=835.7774658203125\n", + "global step=17188864, episodic return=1554.8740234375\n", + "global step=17188864, episodic return=2342.07275390625\n", + "global step=17188864, episodic return=2333.19873046875\n", + "global step=17188864, episodic return=1543.370849609375\n", + "global step=17190912, episodic return=2387.569580078125\n", + "global step=17190912, episodic return=491.64111328125\n", + "global step=17190912, episodic return=2323.17333984375\n", + "global step=17190912, episodic return=1997.7696533203125\n", + "global step=17190912, episodic return=1426.9952392578125\n", + "global step=17192960, episodic return=2080.452880859375\n", + "global step=17192960, episodic return=2326.782470703125\n", + "global step=17192960, episodic return=2125.6044921875\n", + "global step=17195008, episodic return=2125.043212890625\n", + "global step=17195008, episodic return=1989.129638671875\n", + "global step=17197056, episodic return=218.64271545410156\n", + "global step=17197056, episodic return=1026.1917724609375\n", + "global step=17199104, episodic return=2327.174072265625\n", + "global step=17199104, episodic return=2384.0439453125\n", + "global step=17199104, episodic return=2262.04638671875\n", + "global step=17199104, episodic return=616.1433715820312\n", + "global step=17201152, episodic return=253.32655334472656\n", + "global step=17201152, episodic return=2380.402099609375\n", + "global step=17203200, episodic return=923.3499755859375\n", + "global step=17203200, episodic return=2349.70703125\n", + "global step=17205248, episodic return=2057.658203125\n", + "global step=17205248, episodic return=2333.304931640625\n", + "global step=17205248, episodic return=323.3565673828125\n", + "global step=17205248, episodic return=721.4656982421875\n", + "global step=17207296, episodic return=1916.3477783203125\n", + "global step=17207296, episodic return=2030.5419921875\n", + "global step=17209344, episodic return=2352.123291015625\n", + "global step=17209344, episodic return=2207.044921875\n", + "global step=17211392, episodic return=2374.57958984375\n", + "global step=17211392, episodic return=954.8876342773438\n", + "global step=17211392, episodic return=2088.520751953125\n", + "global step=17211392, episodic return=1526.7113037109375\n", + "global step=17211392, episodic return=2358.11328125\n", + "global step=17211392, episodic return=2157.147705078125\n", + "global step=17213440, episodic return=218.14659118652344\n", + "global step=17213440, episodic return=2181.141357421875\n", + "global step=17213440, episodic return=1299.9373779296875\n", + "global step=17215488, episodic return=2364.28173828125\n", + "global step=17215488, episodic return=2330.995361328125\n", + "global step=17215488, episodic return=2406.76513671875\n", + "global step=17215488, episodic return=2371.17333984375\n", + "global step=17215488, episodic return=2107.246337890625\n", + "global step=17217536, episodic return=2413.08203125\n", + "global step=17217536, episodic return=57.19147872924805\n", + "global step=17217536, episodic return=2381.7861328125\n", + "global step=17217536, episodic return=1029.6414794921875\n", + "global step=17219584, episodic return=2206.646484375\n", + "global step=17221632, episodic return=2215.958251953125\n", + "global step=17221632, episodic return=489.85614013671875\n", + "global step=17227776, episodic return=419.3365783691406\n", + "global step=17229824, episodic return=2294.5771484375\n", + "global step=17229824, episodic return=252.7893829345703\n", + "global step=17231872, episodic return=2338.462646484375\n", + "global step=17231872, episodic return=231.78016662597656\n", + "global step=17233920, episodic return=2357.693359375\n", + "global step=17233920, episodic return=1979.134765625\n", + "global step=17233920, episodic return=2379.287353515625\n", + "global step=17238016, episodic return=2396.648681640625\n", + "global step=17240064, episodic return=1374.7489013671875\n", + "global step=17240064, episodic return=2382.055908203125\n", + "global step=17242112, episodic return=1647.3072509765625\n", + "global step=17244160, episodic return=788.1961669921875\n", + "global step=17244160, episodic return=2345.8212890625\n", + "global step=17244160, episodic return=2356.97802734375\n", + "global step=17246208, episodic return=2037.0098876953125\n", + "global step=17250304, episodic return=1121.018798828125\n", + "global step=17250304, episodic return=870.3110961914062\n", + "global step=17250304, episodic return=1783.284423828125\n", + "global step=17250304, episodic return=2363.959228515625\n", + "global step=17252352, episodic return=2356.496826171875\n", + "global step=17254400, episodic return=2364.336669921875\n", + "global step=17254400, episodic return=2280.9599609375\n", + "global step=17256448, episodic return=2321.390869140625\n", + "global step=17256448, episodic return=2398.430419921875\n", + "global step=17256448, episodic return=2344.2607421875\n", + "global step=17258496, episodic return=1883.755859375\n", + "global step=17258496, episodic return=2316.474853515625\n", + "global step=17258496, episodic return=2298.182373046875\n", + "global step=17260544, episodic return=1942.81640625\n", + "global step=17260544, episodic return=1855.337646484375\n", + "global step=17260544, episodic return=2131.80419921875\n", + "global step=17260544, episodic return=2297.65771484375\n", + "global step=17262592, episodic return=2406.709228515625\n", + "global step=17262592, episodic return=2362.2900390625\n", + "global step=17262592, episodic return=1880.9600830078125\n", + "global step=17262592, episodic return=2369.893310546875\n", + "global step=17264640, episodic return=2392.666015625\n", + "global step=17266688, episodic return=2320.5927734375\n", + "global step=17266688, episodic return=2348.619873046875\n", + "global step=17266688, episodic return=2306.892822265625\n", + "global step=17266688, episodic return=2312.363525390625\n", + "global step=17268736, episodic return=1916.9210205078125\n", + "global step=17268736, episodic return=2339.32666015625\n", + "global step=17270784, episodic return=2427.58935546875\n", + "global step=17272832, episodic return=2325.056884765625\n", + "global step=17272832, episodic return=2283.8037109375\n", + "global step=17272832, episodic return=256.22784423828125\n", + "global step=17274880, episodic return=2316.402099609375\n", + "global step=17278976, episodic return=1894.175048828125\n", + "global step=17278976, episodic return=1166.13427734375\n", + "global step=17278976, episodic return=2384.0146484375\n", + "global step=17278976, episodic return=2380.07568359375\n", + "global step=17281024, episodic return=2376.68603515625\n", + "global step=17281024, episodic return=2388.698486328125\n", + "global step=17281024, episodic return=2339.397705078125\n", + "global step=17283072, episodic return=2389.068359375\n", + "global step=17283072, episodic return=2327.240478515625\n", + "global step=17285120, episodic return=2373.45166015625\n", + "global step=17289216, episodic return=2351.39453125\n", + "global step=17289216, episodic return=2316.451416015625\n", + "global step=17289216, episodic return=2369.751220703125\n", + "global step=17289216, episodic return=2295.81689453125\n", + "global step=17289216, episodic return=2322.33837890625\n", + "global step=17291264, episodic return=2342.94482421875\n", + "global step=17291264, episodic return=2232.412109375\n", + "global step=17291264, episodic return=2356.802978515625\n", + "global step=17293312, episodic return=2354.075439453125\n", + "global step=17293312, episodic return=1975.5849609375\n", + "global step=17295360, episodic return=2336.290283203125\n", + "global step=17299456, episodic return=2433.571044921875\n", + "global step=17299456, episodic return=2356.396484375\n", + "global step=17299456, episodic return=1657.37939453125\n", + "global step=17299456, episodic return=2256.67041015625\n", + "global step=17301504, episodic return=533.4472045898438\n", + "global step=17301504, episodic return=2363.12158203125\n", + "global step=17303552, episodic return=1136.630126953125\n", + "global step=17303552, episodic return=2270.347900390625\n", + "global step=17305600, episodic return=215.69284057617188\n", + "global step=17307648, episodic return=2301.6171875\n", + "global step=17307648, episodic return=2298.54345703125\n", + "global step=17309696, episodic return=2338.492431640625\n", + "global step=17309696, episodic return=1533.677490234375\n", + "global step=17311744, episodic return=2314.566162109375\n", + "global step=17311744, episodic return=2365.2646484375\n", + "global step=17311744, episodic return=2340.13525390625\n", + "global step=17313792, episodic return=2381.947998046875\n", + "global step=17313792, episodic return=915.90380859375\n", + "global step=17313792, episodic return=2324.637939453125\n", + "global step=17313792, episodic return=2355.225341796875\n", + "global step=17315840, episodic return=2406.72607421875\n", + "global step=17315840, episodic return=32.3355712890625\n", + "global step=17315840, episodic return=2291.4638671875\n", + "global step=17315840, episodic return=2314.660888671875\n", + "global step=17317888, episodic return=2010.178955078125\n", + "global step=17317888, episodic return=2337.2802734375\n", + "global step=17317888, episodic return=2354.29150390625\n", + "global step=17317888, episodic return=2336.52099609375\n", + "global step=17317888, episodic return=2276.977294921875\n", + "global step=17317888, episodic return=2318.10498046875\n", + "global step=17319936, episodic return=2356.96826171875\n", + "global step=17319936, episodic return=2434.609619140625\n", + "global step=17321984, episodic return=55.990013122558594\n", + "global step=17324032, episodic return=2341.48828125\n", + "global step=17324032, episodic return=2310.945068359375\n", + "global step=17324032, episodic return=2327.898681640625\n", + "global step=17324032, episodic return=2317.9892578125\n", + "global step=17326080, episodic return=256.2875671386719\n", + "global step=17326080, episodic return=2347.546142578125\n", + "global step=17326080, episodic return=2415.978271484375\n", + "global step=17326080, episodic return=2382.2490234375\n", + "global step=17328128, episodic return=2354.2822265625\n", + "global step=17332224, episodic return=253.76104736328125\n", + "global step=17332224, episodic return=2356.9794921875\n", + "global step=17332224, episodic return=23.4426326751709\n", + "global step=17334272, episodic return=2346.263916015625\n", + "global step=17336320, episodic return=2355.607421875\n", + "global step=17336320, episodic return=2389.375\n", + "global step=17338368, episodic return=2328.98828125\n", + "global step=17338368, episodic return=2282.42236328125\n", + "global step=17338368, episodic return=783.9034423828125\n", + "global step=17338368, episodic return=2414.446044921875\n", + "global step=17340416, episodic return=2123.97119140625\n", + "global step=17340416, episodic return=2253.7314453125\n", + "global step=17340416, episodic return=2285.33544921875\n", + "global step=17342464, episodic return=2325.99169921875\n", + "global step=17344512, episodic return=1780.019775390625\n", + "global step=17344512, episodic return=2367.688720703125\n", + "global step=17344512, episodic return=711.8903198242188\n", + "global step=17346560, episodic return=131.4913330078125\n", + "global step=17346560, episodic return=2334.470703125\n", + "global step=17346560, episodic return=2309.998046875\n", + "global step=17346560, episodic return=2375.215087890625\n", + "global step=17348608, episodic return=2380.97607421875\n", + "global step=17348608, episodic return=2338.87109375\n", + "global step=17350656, episodic return=305.9271545410156\n", + "global step=17352704, episodic return=2314.84912109375\n", + "global step=17354752, episodic return=2317.6767578125\n", + "global step=17354752, episodic return=143.34588623046875\n", + "global step=17354752, episodic return=2101.930419921875\n", + "global step=17356800, episodic return=1886.5072021484375\n", + "global step=17356800, episodic return=2409.03466796875\n", + "global step=17356800, episodic return=2377.652587890625\n", + "global step=17358848, episodic return=2312.908935546875\n", + "global step=17358848, episodic return=1579.583251953125\n", + "global step=17360896, episodic return=2230.4423828125\n", + "global step=17360896, episodic return=2341.80126953125\n", + "global step=17360896, episodic return=1300.4398193359375\n", + "global step=17362944, episodic return=2244.718994140625\n", + "global step=17362944, episodic return=2423.45556640625\n", + "global step=17364992, episodic return=2410.65576171875\n", + "global step=17364992, episodic return=2353.847412109375\n", + "global step=17364992, episodic return=2397.83740234375\n", + "global step=17364992, episodic return=2393.167724609375\n", + "global step=17367040, episodic return=123.681396484375\n", + "global step=17369088, episodic return=2447.145751953125\n", + "global step=17369088, episodic return=1125.836181640625\n", + "global step=17371136, episodic return=2379.995361328125\n", + "global step=17371136, episodic return=1587.122802734375\n", + "global step=17371136, episodic return=2367.55517578125\n", + "global step=17373184, episodic return=2395.224609375\n", + "global step=17375232, episodic return=2367.190673828125\n", + "global step=17375232, episodic return=2378.733642578125\n", + "global step=17375232, episodic return=2390.24609375\n", + "global step=17375232, episodic return=2342.017578125\n", + "global step=17377280, episodic return=2266.77880859375\n", + "global step=17379328, episodic return=317.41021728515625\n", + "global step=17379328, episodic return=2314.134765625\n", + "global step=17381376, episodic return=2064.48095703125\n", + "global step=17381376, episodic return=2402.856689453125\n", + "global step=17381376, episodic return=2374.827880859375\n", + "global step=17381376, episodic return=2390.976806640625\n", + "global step=17383424, episodic return=2391.751708984375\n", + "global step=17383424, episodic return=2401.966796875\n", + "global step=17383424, episodic return=2366.39013671875\n", + "global step=17383424, episodic return=2360.678955078125\n", + "global step=17383424, episodic return=2380.1474609375\n", + "global step=17383424, episodic return=2382.491943359375\n", + "global step=17385472, episodic return=1007.5162963867188\n", + "global step=17385472, episodic return=505.6073303222656\n", + "global step=17387520, episodic return=2374.689208984375\n", + "global step=17387520, episodic return=1688.9306640625\n", + "global step=17389568, episodic return=2063.150390625\n", + "global step=17389568, episodic return=2394.859130859375\n", + "global step=17389568, episodic return=2371.461669921875\n", + "global step=17389568, episodic return=2349.091064453125\n", + "global step=17391616, episodic return=2381.39990234375\n", + "global step=17391616, episodic return=2385.10791015625\n", + "global step=17391616, episodic return=2329.45068359375\n", + "global step=17391616, episodic return=638.1126098632812\n", + "global step=17393664, episodic return=2393.0908203125\n", + "global step=17393664, episodic return=2064.797119140625\n", + "global step=17395712, episodic return=1362.642822265625\n", + "global step=17395712, episodic return=2344.62255859375\n", + "global step=17397760, episodic return=215.8316192626953\n", + "global step=17397760, episodic return=2404.86376953125\n", + "global step=17399808, episodic return=2345.65966796875\n", + "global step=17401856, episodic return=1953.7955322265625\n", + "global step=17403904, episodic return=1301.355224609375\n", + "global step=17403904, episodic return=2204.17431640625\n", + "global step=17403904, episodic return=2402.03173828125\n", + "global step=17403904, episodic return=539.3705444335938\n", + "global step=17403904, episodic return=2415.67626953125\n", + "global step=17405952, episodic return=2339.677001953125\n", + "global step=17405952, episodic return=2409.692626953125\n", + "global step=17405952, episodic return=2365.6923828125\n", + "global step=17408000, episodic return=1477.3553466796875\n", + "global step=17408000, episodic return=2396.32470703125\n", + "global step=17408000, episodic return=2392.262451171875\n", + "global step=17410048, episodic return=2351.77978515625\n", + "global step=17410048, episodic return=2366.253173828125\n", + "global step=17410048, episodic return=2427.171875\n", + "global step=17410048, episodic return=2351.578369140625\n", + "global step=17412096, episodic return=2339.59912109375\n", + "global step=17414144, episodic return=1473.4161376953125\n", + "global step=17414144, episodic return=2358.125244140625\n", + "global step=17414144, episodic return=2167.002685546875\n", + "global step=17416192, episodic return=2334.279296875\n", + "global step=17416192, episodic return=2351.848876953125\n", + "global step=17416192, episodic return=1247.04833984375\n", + "global step=17420288, episodic return=1091.47265625\n", + "global step=17420288, episodic return=2411.133544921875\n", + "global step=17420288, episodic return=1209.4520263671875\n", + "global step=17420288, episodic return=806.418212890625\n", + "global step=17422336, episodic return=2375.670166015625\n", + "global step=17422336, episodic return=1884.6156005859375\n", + "global step=17424384, episodic return=2434.992919921875\n", + "global step=17426432, episodic return=2336.97509765625\n", + "global step=17430528, episodic return=1946.8583984375\n", + "global step=17430528, episodic return=2368.76904296875\n", + "global step=17432576, episodic return=2368.310791015625\n", + "global step=17434624, episodic return=2336.917724609375\n", + "global step=17436672, episodic return=2323.3125\n", + "global step=17436672, episodic return=380.30877685546875\n", + "global step=17436672, episodic return=2351.86767578125\n", + "global step=17436672, episodic return=2405.49853515625\n", + "global step=17438720, episodic return=2328.181884765625\n", + "global step=17442816, episodic return=2370.648193359375\n", + "global step=17444864, episodic return=2351.28857421875\n", + "global step=17444864, episodic return=2336.64990234375\n", + "global step=17446912, episodic return=2364.96484375\n", + "global step=17446912, episodic return=1007.7267456054688\n", + "global step=17448960, episodic return=2414.317138671875\n", + "global step=17448960, episodic return=2369.970947265625\n", + "global step=17448960, episodic return=487.14764404296875\n", + "global step=17451008, episodic return=2345.69580078125\n", + "global step=17451008, episodic return=760.493896484375\n", + "global step=17451008, episodic return=2359.814453125\n", + "global step=17451008, episodic return=1403.4613037109375\n", + "global step=17453056, episodic return=2407.45458984375\n", + "global step=17453056, episodic return=2052.30859375\n", + "global step=17455104, episodic return=2461.84375\n", + "global step=17455104, episodic return=2356.875244140625\n", + "global step=17455104, episodic return=956.8644409179688\n", + "global step=17459200, episodic return=2293.544677734375\n", + "global step=17461248, episodic return=2378.67919921875\n", + "global step=17461248, episodic return=984.3387451171875\n", + "global step=17465344, episodic return=2322.380615234375\n", + "global step=17465344, episodic return=2230.89208984375\n", + "global step=17465344, episodic return=2349.082275390625\n", + "global step=17465344, episodic return=2412.384521484375\n", + "global step=17465344, episodic return=1289.53271484375\n", + "global step=17465344, episodic return=2326.896240234375\n", + "global step=17465344, episodic return=1985.2841796875\n", + "global step=17467392, episodic return=2425.041015625\n", + "global step=17467392, episodic return=2200.057373046875\n", + "global step=17467392, episodic return=2318.638427734375\n", + "global step=17469440, episodic return=2378.59912109375\n", + "global step=17469440, episodic return=2401.1875\n", + "global step=17469440, episodic return=2187.406005859375\n", + "global step=17471488, episodic return=2406.978515625\n", + "global step=17471488, episodic return=1214.060302734375\n", + "global step=17471488, episodic return=1375.9244384765625\n", + "global step=17473536, episodic return=2430.6083984375\n", + "global step=17473536, episodic return=979.2650146484375\n", + "global step=17473536, episodic return=2441.681396484375\n", + "global step=17473536, episodic return=2390.0595703125\n", + "global step=17475584, episodic return=2385.3076171875\n", + "global step=17477632, episodic return=2388.73046875\n", + "global step=17479680, episodic return=2047.500244140625\n", + "global step=17479680, episodic return=1300.470947265625\n", + "global step=17479680, episodic return=2351.94580078125\n", + "global step=17479680, episodic return=2399.387939453125\n", + "global step=17481728, episodic return=2446.0263671875\n", + "global step=17481728, episodic return=1623.2255859375\n", + "global step=17483776, episodic return=2389.341552734375\n", + "global step=17483776, episodic return=2401.9033203125\n", + "global step=17483776, episodic return=2425.81640625\n", + "global step=17483776, episodic return=2371.635986328125\n", + "global step=17485824, episodic return=1799.6153564453125\n", + "global step=17485824, episodic return=2365.716552734375\n", + "global step=17487872, episodic return=2358.394287109375\n", + "global step=17487872, episodic return=2388.235107421875\n", + "global step=17487872, episodic return=2444.7099609375\n", + "global step=17487872, episodic return=1923.074951171875\n", + "global step=17489920, episodic return=2406.896240234375\n", + "global step=17491968, episodic return=2429.819580078125\n", + "global step=17494016, episodic return=2435.372314453125\n", + "global step=17494016, episodic return=2372.3701171875\n", + "global step=17494016, episodic return=1875.025634765625\n", + "global step=17494016, episodic return=335.866943359375\n", + "global step=17494016, episodic return=2371.637451171875\n", + "global step=17496064, episodic return=2374.78857421875\n", + "global step=17496064, episodic return=2405.341064453125\n", + "global step=17496064, episodic return=891.9274291992188\n", + "global step=17496064, episodic return=2373.219970703125\n", + "global step=17498112, episodic return=2349.92822265625\n", + "global step=17498112, episodic return=2375.6357421875\n", + "global step=17500160, episodic return=2436.73046875\n", + "global step=17500160, episodic return=2361.79443359375\n", + "global step=17502208, episodic return=2400.28857421875\n", + "global step=17502208, episodic return=2347.626953125\n", + "global step=17502208, episodic return=2416.96240234375\n", + "global step=17502208, episodic return=2380.237060546875\n", + "global step=17504256, episodic return=2352.177734375\n", + "global step=17504256, episodic return=959.2504272460938\n", + "global step=17504256, episodic return=2379.424560546875\n", + "global step=17506304, episodic return=2379.518310546875\n", + "global step=17506304, episodic return=2417.6845703125\n", + "global step=17506304, episodic return=2436.54833984375\n", + "global step=17508352, episodic return=2382.707275390625\n", + "global step=17510400, episodic return=2390.20849609375\n", + "global step=17512448, episodic return=2369.919921875\n", + "global step=17512448, episodic return=2436.6103515625\n", + "global step=17512448, episodic return=1340.65673828125\n", + "global step=17512448, episodic return=2378.92919921875\n", + "global step=17512448, episodic return=2409.787353515625\n", + "global step=17514496, episodic return=1491.84521484375\n", + "global step=17514496, episodic return=2369.237548828125\n", + "global step=17516544, episodic return=858.8037719726562\n", + "global step=17516544, episodic return=2397.2626953125\n", + "global step=17516544, episodic return=2410.793212890625\n", + "global step=17516544, episodic return=2369.795166015625\n", + "global step=17516544, episodic return=1257.95458984375\n", + "global step=17518592, episodic return=2415.649658203125\n", + "global step=17518592, episodic return=2392.042236328125\n", + "global step=17518592, episodic return=2431.017822265625\n", + "global step=17520640, episodic return=2416.419677734375\n", + "global step=17520640, episodic return=1423.908935546875\n", + "global step=17520640, episodic return=2408.852294921875\n", + "global step=17522688, episodic return=1147.8289794921875\n", + "global step=17524736, episodic return=2367.9033203125\n", + "global step=17524736, episodic return=2424.757568359375\n", + "global step=17524736, episodic return=1220.6905517578125\n", + "global step=17524736, episodic return=2390.023681640625\n", + "global step=17526784, episodic return=1710.353271484375\n", + "global step=17526784, episodic return=2335.014892578125\n", + "global step=17526784, episodic return=2301.370361328125\n", + "global step=17528832, episodic return=2395.132080078125\n", + "global step=17530880, episodic return=2382.954833984375\n", + "global step=17532928, episodic return=2447.9990234375\n", + "global step=17532928, episodic return=2363.99072265625\n", + "global step=17532928, episodic return=225.08250427246094\n", + "global step=17534976, episodic return=1452.7247314453125\n", + "global step=17534976, episodic return=1988.546875\n", + "global step=17534976, episodic return=312.8026428222656\n", + "global step=17534976, episodic return=2375.84912109375\n", + "global step=17534976, episodic return=1543.11865234375\n", + "global step=17537024, episodic return=2396.641357421875\n", + "global step=17537024, episodic return=2406.49560546875\n", + "global step=17537024, episodic return=2388.92578125\n", + "global step=17537024, episodic return=2369.26416015625\n", + "global step=17539072, episodic return=2393.66845703125\n", + "global step=17539072, episodic return=2357.6875\n", + "global step=17541120, episodic return=1189.7554931640625\n", + "global step=17541120, episodic return=2399.599365234375\n", + "global step=17541120, episodic return=2393.0458984375\n", + "global step=17543168, episodic return=1532.258544921875\n", + "global step=17543168, episodic return=41.04600524902344\n", + "global step=17543168, episodic return=2403.697265625\n", + "global step=17543168, episodic return=2367.378173828125\n", + "global step=17545216, episodic return=2385.1513671875\n", + "global step=17545216, episodic return=2408.34326171875\n", + "global step=17545216, episodic return=1513.4178466796875\n", + "global step=17547264, episodic return=64.6697006225586\n", + "global step=17547264, episodic return=2335.365234375\n", + "global step=17547264, episodic return=2385.1884765625\n", + "global step=17547264, episodic return=2419.68896484375\n", + "global step=17547264, episodic return=2437.418212890625\n", + "global step=17549312, episodic return=2384.968505859375\n", + "global step=17549312, episodic return=2380.162353515625\n", + "global step=17549312, episodic return=2413.48583984375\n", + "global step=17551360, episodic return=2221.40283203125\n", + "global step=17551360, episodic return=123.755615234375\n", + "global step=17551360, episodic return=2365.803466796875\n", + "global step=17553408, episodic return=2404.163330078125\n", + "global step=17553408, episodic return=2130.791259765625\n", + "global step=17553408, episodic return=2421.05419921875\n", + "global step=17555456, episodic return=761.0443115234375\n", + "global step=17555456, episodic return=2390.287353515625\n", + "global step=17555456, episodic return=2441.028076171875\n", + "global step=17557504, episodic return=2435.896728515625\n", + "global step=17557504, episodic return=2411.0693359375\n", + "global step=17559552, episodic return=2368.92724609375\n", + "global step=17559552, episodic return=2415.630615234375\n", + "global step=17559552, episodic return=20.161518096923828\n", + "global step=17561600, episodic return=2340.28271484375\n", + "global step=17561600, episodic return=2380.321533203125\n", + "global step=17561600, episodic return=2363.06298828125\n", + "global step=17561600, episodic return=2445.314697265625\n", + "global step=17561600, episodic return=2385.192626953125\n", + "global step=17563648, episodic return=203.97027587890625\n", + "global step=17563648, episodic return=2345.91650390625\n", + "global step=17565696, episodic return=2386.609130859375\n", + "global step=17565696, episodic return=2434.453125\n", + "global step=17565696, episodic return=2301.48681640625\n", + "global step=17567744, episodic return=367.40008544921875\n", + "global step=17567744, episodic return=1267.62939453125\n", + "global step=17569792, episodic return=2443.937744140625\n", + "global step=17569792, episodic return=978.46337890625\n", + "global step=17571840, episodic return=2434.59521484375\n", + "global step=17571840, episodic return=2401.841552734375\n", + "global step=17571840, episodic return=2395.31396484375\n", + "global step=17571840, episodic return=2355.928955078125\n", + "global step=17575936, episodic return=2366.830810546875\n", + "global step=17575936, episodic return=2359.722412109375\n", + "global step=17575936, episodic return=2391.447509765625\n", + "global step=17575936, episodic return=2382.6708984375\n", + "global step=17577984, episodic return=2433.6044921875\n", + "global step=17577984, episodic return=2381.644287109375\n", + "global step=17580032, episodic return=1178.31884765625\n", + "global step=17582080, episodic return=2383.03125\n", + "global step=17582080, episodic return=1340.7532958984375\n", + "global step=17582080, episodic return=2421.81640625\n", + "global step=17586176, episodic return=2420.158447265625\n", + "global step=17588224, episodic return=2437.994384765625\n", + "global step=17588224, episodic return=2325.582275390625\n", + "global step=17590272, episodic return=2339.022705078125\n", + "global step=17590272, episodic return=2375.033935546875\n", + "global step=17590272, episodic return=1664.1014404296875\n", + "global step=17592320, episodic return=2386.685791015625\n", + "global step=17592320, episodic return=2355.462158203125\n", + "global step=17592320, episodic return=2322.950927734375\n", + "global step=17592320, episodic return=2277.188232421875\n", + "global step=17594368, episodic return=2305.617919921875\n", + "global step=17594368, episodic return=734.3099975585938\n", + "global step=17594368, episodic return=329.5450439453125\n", + "global step=17594368, episodic return=1432.21142578125\n", + "global step=17596416, episodic return=2305.7666015625\n", + "global step=17598464, episodic return=2364.58544921875\n", + "global step=17598464, episodic return=2367.695556640625\n", + "global step=17598464, episodic return=2338.056640625\n", + "global step=17600512, episodic return=2365.85107421875\n", + "global step=17600512, episodic return=2355.677490234375\n", + "global step=17602560, episodic return=2401.91357421875\n", + "global step=17604608, episodic return=2336.770263671875\n", + "global step=17604608, episodic return=2432.46337890625\n", + "global step=17604608, episodic return=2366.674072265625\n", + "global step=17604608, episodic return=2457.917724609375\n", + "global step=17606656, episodic return=2072.888671875\n", + "global step=17606656, episodic return=2332.746826171875\n", + "global step=17606656, episodic return=2410.277099609375\n", + "global step=17606656, episodic return=2379.97216796875\n", + "global step=17606656, episodic return=2368.66845703125\n", + "global step=17608704, episodic return=2402.474609375\n", + "global step=17610752, episodic return=2381.236328125\n", + "global step=17610752, episodic return=2379.8837890625\n", + "global step=17610752, episodic return=2153.232177734375\n", + "global step=17610752, episodic return=2389.263427734375\n", + "global step=17612800, episodic return=2411.699462890625\n", + "global step=17612800, episodic return=1203.0687255859375\n", + "global step=17612800, episodic return=2452.9560546875\n", + "global step=17612800, episodic return=1102.197509765625\n", + "global step=17612800, episodic return=2436.187255859375\n", + "global step=17612800, episodic return=2414.75048828125\n", + "global step=17614848, episodic return=1867.9761962890625\n", + "global step=17616896, episodic return=2158.19921875\n", + "global step=17616896, episodic return=2414.628662109375\n", + "global step=17616896, episodic return=2320.676513671875\n", + "global step=17616896, episodic return=2418.385498046875\n", + "global step=17616896, episodic return=2435.716064453125\n", + "global step=17618944, episodic return=2405.845458984375\n", + "global step=17618944, episodic return=2422.510009765625\n", + "global step=17620992, episodic return=1563.6090087890625\n", + "global step=17623040, episodic return=181.5420379638672\n", + "global step=17625088, episodic return=2377.12548828125\n", + "global step=17625088, episodic return=2400.24609375\n", + "global step=17625088, episodic return=1859.5030517578125\n", + "global step=17627136, episodic return=2421.015625\n", + "global step=17627136, episodic return=2424.38623046875\n", + "global step=17627136, episodic return=2433.96728515625\n", + "global step=17629184, episodic return=2390.142822265625\n", + "global step=17629184, episodic return=2332.2109375\n", + "global step=17629184, episodic return=2444.701171875\n", + "global step=17631232, episodic return=2407.533203125\n", + "global step=17631232, episodic return=196.58546447753906\n", + "global step=17631232, episodic return=2399.267822265625\n", + "global step=17631232, episodic return=2385.336181640625\n", + "global step=17631232, episodic return=2377.90087890625\n", + "global step=17633280, episodic return=2371.474853515625\n", + "global step=17633280, episodic return=2416.936767578125\n", + "global step=17633280, episodic return=189.6545867919922\n", + "global step=17633280, episodic return=2394.3544921875\n", + "global step=17633280, episodic return=2408.5322265625\n", + "global step=17635328, episodic return=2382.30908203125\n", + "global step=17635328, episodic return=2402.84033203125\n", + "global step=17635328, episodic return=1552.31787109375\n", + "global step=17637376, episodic return=2076.1474609375\n", + "global step=17637376, episodic return=2348.537353515625\n", + "global step=17637376, episodic return=1355.1357421875\n", + "global step=17637376, episodic return=2413.2021484375\n", + "global step=17637376, episodic return=2459.47509765625\n", + "global step=17639424, episodic return=2464.9033203125\n", + "global step=17639424, episodic return=2416.2490234375\n", + "global step=17641472, episodic return=2429.58203125\n", + "global step=17641472, episodic return=2397.828369140625\n", + "global step=17641472, episodic return=2423.11279296875\n", + "global step=17641472, episodic return=2368.8291015625\n", + "global step=17643520, episodic return=253.03643798828125\n", + "global step=17645568, episodic return=2355.997802734375\n", + "global step=17647616, episodic return=1060.72998046875\n", + "global step=17647616, episodic return=2410.80810546875\n", + "global step=17647616, episodic return=2391.071044921875\n", + "global step=17649664, episodic return=1047.600341796875\n", + "global step=17649664, episodic return=2418.6630859375\n", + "global step=17651712, episodic return=2312.56396484375\n", + "global step=17651712, episodic return=2412.571533203125\n", + "global step=17651712, episodic return=2397.630126953125\n", + "global step=17651712, episodic return=2408.13037109375\n", + "global step=17653760, episodic return=2355.822509765625\n", + "global step=17653760, episodic return=2401.23291015625\n", + "global step=17653760, episodic return=2424.923095703125\n", + "global step=17655808, episodic return=2401.91796875\n", + "global step=17655808, episodic return=2454.904541015625\n", + "global step=17657856, episodic return=2411.732666015625\n", + "global step=17657856, episodic return=2388.262939453125\n", + "global step=17657856, episodic return=1207.8349609375\n", + "global step=17657856, episodic return=302.6817321777344\n", + "global step=17659904, episodic return=2322.9306640625\n", + "global step=17659904, episodic return=2409.267333984375\n", + "global step=17659904, episodic return=2378.62353515625\n", + "global step=17659904, episodic return=2398.984130859375\n", + "global step=17659904, episodic return=2408.000244140625\n", + "global step=17664000, episodic return=2427.39501953125\n", + "global step=17666048, episodic return=132.0901641845703\n", + "global step=17666048, episodic return=2460.160400390625\n", + "global step=17668096, episodic return=2422.947265625\n", + "global step=17670144, episodic return=2370.57373046875\n", + "global step=17670144, episodic return=2412.85595703125\n", + "global step=17670144, episodic return=2437.91162109375\n", + "global step=17672192, episodic return=2391.385986328125\n", + "global step=17674240, episodic return=2437.463134765625\n", + "global step=17674240, episodic return=1394.384033203125\n", + "global step=17676288, episodic return=1547.125732421875\n", + "global step=17676288, episodic return=2439.752685546875\n", + "global step=17676288, episodic return=2304.833984375\n", + "global step=17678336, episodic return=2416.97412109375\n", + "global step=17680384, episodic return=2387.106689453125\n", + "global step=17680384, episodic return=1640.40185546875\n", + "global step=17680384, episodic return=1318.3408203125\n", + "global step=17682432, episodic return=2422.123779296875\n", + "global step=17682432, episodic return=2254.963623046875\n", + "global step=17682432, episodic return=2346.35888671875\n", + "global step=17682432, episodic return=238.79678344726562\n", + "global step=17684480, episodic return=2477.41552734375\n", + "global step=17686528, episodic return=2173.0673828125\n", + "global step=17686528, episodic return=424.6018981933594\n", + "global step=17686528, episodic return=2407.569091796875\n", + "global step=17688576, episodic return=2444.03173828125\n", + "global step=17688576, episodic return=2224.991943359375\n", + "global step=17688576, episodic return=2389.49658203125\n", + "global step=17688576, episodic return=2374.047119140625\n", + "global step=17690624, episodic return=1439.6396484375\n", + "global step=17692672, episodic return=2403.146484375\n", + "global step=17694720, episodic return=2366.46875\n", + "global step=17694720, episodic return=2236.804443359375\n", + "global step=17694720, episodic return=2405.37353515625\n", + "global step=17694720, episodic return=1678.405517578125\n", + "global step=17694720, episodic return=2449.639892578125\n", + "global step=17694720, episodic return=2361.91015625\n", + "global step=17696768, episodic return=356.2105407714844\n", + "global step=17696768, episodic return=2399.603515625\n", + "global step=17696768, episodic return=2375.052978515625\n", + "global step=17696768, episodic return=2362.345703125\n", + "global step=17696768, episodic return=294.35693359375\n", + "global step=17702912, episodic return=2378.328125\n", + "global step=17702912, episodic return=2393.001953125\n", + "global step=17702912, episodic return=2370.937744140625\n", + "global step=17702912, episodic return=2394.288330078125\n", + "global step=17704960, episodic return=2379.457275390625\n", + "global step=17704960, episodic return=2418.990478515625\n", + "global step=17704960, episodic return=2393.478515625\n", + "global step=17704960, episodic return=2393.738037109375\n", + "global step=17704960, episodic return=2424.07470703125\n", + "global step=17704960, episodic return=2394.94287109375\n", + "global step=17707008, episodic return=2421.967529296875\n", + "global step=17709056, episodic return=2350.90869140625\n", + "global step=17709056, episodic return=579.3722534179688\n", + "global step=17711104, episodic return=1599.5614013671875\n", + "global step=17715200, episodic return=696.3176879882812\n", + "global step=17717248, episodic return=2415.568359375\n", + "global step=17717248, episodic return=2380.428466796875\n", + "global step=17717248, episodic return=476.07867431640625\n", + "global step=17717248, episodic return=2322.05322265625\n", + "global step=17719296, episodic return=2416.18798828125\n", + "global step=17719296, episodic return=2282.597900390625\n", + "global step=17719296, episodic return=2406.631591796875\n", + "global step=17721344, episodic return=2377.19189453125\n", + "global step=17721344, episodic return=2372.764404296875\n", + "global step=17721344, episodic return=1695.8121337890625\n", + "global step=17723392, episodic return=594.7938232421875\n", + "global step=17725440, episodic return=2315.358154296875\n", + "global step=17727488, episodic return=255.0131072998047\n", + "global step=17727488, episodic return=2373.8759765625\n", + "global step=17727488, episodic return=2365.939697265625\n", + "global step=17727488, episodic return=2320.625732421875\n", + "global step=17727488, episodic return=760.52685546875\n", + "global step=17727488, episodic return=2155.463623046875\n", + "global step=17729536, episodic return=2398.34326171875\n", + "global step=17731584, episodic return=2410.28125\n", + "global step=17731584, episodic return=1440.9085693359375\n", + "global step=17731584, episodic return=2401.699462890625\n", + "global step=17735680, episodic return=2407.460205078125\n", + "global step=17735680, episodic return=2456.803955078125\n", + "global step=17735680, episodic return=2402.64404296875\n", + "global step=17737728, episodic return=169.63975524902344\n", + "global step=17737728, episodic return=2426.512451171875\n", + "global step=17739776, episodic return=2405.981689453125\n", + "global step=17739776, episodic return=2440.512451171875\n", + "global step=17739776, episodic return=2405.7958984375\n", + "global step=17739776, episodic return=2430.227783203125\n", + "global step=17741824, episodic return=2449.531005859375\n", + "global step=17741824, episodic return=2340.204833984375\n", + "global step=17741824, episodic return=472.0982360839844\n", + "global step=17743872, episodic return=2376.49267578125\n", + "global step=17743872, episodic return=2343.646728515625\n", + "global step=17743872, episodic return=2416.879150390625\n", + "global step=17745920, episodic return=2398.983642578125\n", + "global step=17745920, episodic return=2368.886474609375\n", + "global step=17745920, episodic return=2433.8154296875\n", + "global step=17745920, episodic return=2278.791015625\n", + "global step=17747968, episodic return=2402.396240234375\n", + "global step=17747968, episodic return=2388.636962890625\n", + "global step=17747968, episodic return=2312.606201171875\n", + "global step=17747968, episodic return=2441.91845703125\n", + "global step=17750016, episodic return=2387.166015625\n", + "global step=17752064, episodic return=235.6266326904297\n", + "global step=17752064, episodic return=1003.4281005859375\n", + "global step=17752064, episodic return=2382.915283203125\n", + "global step=17754112, episodic return=203.763916015625\n", + "global step=17754112, episodic return=2390.49951171875\n", + "global step=17754112, episodic return=2394.2890625\n", + "global step=17758208, episodic return=2371.325927734375\n", + "global step=17758208, episodic return=2354.462890625\n", + "global step=17758208, episodic return=2423.98779296875\n", + "global step=17758208, episodic return=2364.697509765625\n", + "global step=17760256, episodic return=565.2817993164062\n", + "global step=17762304, episodic return=2442.05517578125\n", + "global step=17762304, episodic return=2370.474365234375\n", + "global step=17762304, episodic return=203.7018280029297\n", + "global step=17764352, episodic return=1994.073974609375\n", + "global step=17764352, episodic return=2326.489013671875\n", + "global step=17766400, episodic return=2384.3876953125\n", + "global step=17766400, episodic return=2261.18603515625\n", + "global step=17768448, episodic return=2369.736083984375\n", + "global step=17768448, episodic return=139.65924072265625\n", + "global step=17768448, episodic return=2392.255615234375\n", + "global step=17770496, episodic return=2358.683349609375\n", + "global step=17770496, episodic return=2401.563720703125\n", + "global step=17770496, episodic return=2367.434326171875\n", + "global step=17770496, episodic return=2399.213623046875\n", + "global step=17770496, episodic return=2367.945068359375\n", + "global step=17772544, episodic return=1742.5628662109375\n", + "global step=17772544, episodic return=2402.909912109375\n", + "global step=17772544, episodic return=2362.976318359375\n", + "global step=17772544, episodic return=1436.0972900390625\n", + "global step=17772544, episodic return=2372.78466796875\n", + "global step=17772544, episodic return=2394.1708984375\n", + "global step=17772544, episodic return=2414.218994140625\n", + "global step=17772544, episodic return=2379.136474609375\n", + "global step=17774592, episodic return=1395.9539794921875\n", + "global step=17774592, episodic return=2358.749755859375\n", + "global step=17774592, episodic return=2371.3935546875\n", + "global step=17776640, episodic return=2447.544189453125\n", + "global step=17778688, episodic return=2351.384521484375\n", + "global step=17778688, episodic return=2416.119384765625\n", + "global step=17778688, episodic return=2406.798828125\n", + "global step=17778688, episodic return=2406.257568359375\n", + "global step=17778688, episodic return=299.0282287597656\n", + "global step=17780736, episodic return=2124.190185546875\n", + "global step=17782784, episodic return=2423.947509765625\n", + "global step=17784832, episodic return=2371.380859375\n", + "global step=17784832, episodic return=2384.843505859375\n", + "global step=17784832, episodic return=2388.642578125\n", + "global step=17784832, episodic return=2421.28857421875\n", + "global step=17786880, episodic return=2298.60302734375\n", + "global step=17786880, episodic return=2406.5927734375\n", + "global step=17788928, episodic return=1950.846435546875\n", + "global step=17788928, episodic return=2023.23046875\n", + "global step=17788928, episodic return=2347.318115234375\n", + "global step=17790976, episodic return=2358.70947265625\n", + "global step=17790976, episodic return=2353.81298828125\n", + "global step=17790976, episodic return=2375.296142578125\n", + "global step=17790976, episodic return=1531.5423583984375\n", + "global step=17793024, episodic return=2391.21337890625\n", + "global step=17793024, episodic return=1332.68310546875\n", + "global step=17793024, episodic return=1178.7230224609375\n", + "global step=17795072, episodic return=2389.851806640625\n", + "global step=17797120, episodic return=2383.188720703125\n", + "global step=17797120, episodic return=1799.33984375\n", + "global step=17799168, episodic return=2401.72314453125\n", + "global step=17799168, episodic return=2377.889404296875\n", + "global step=17801216, episodic return=2344.828369140625\n", + "global step=17801216, episodic return=2344.61962890625\n", + "global step=17801216, episodic return=2350.4951171875\n", + "global step=17801216, episodic return=1508.7891845703125\n", + "global step=17801216, episodic return=1593.680908203125\n", + "global step=17801216, episodic return=1432.614990234375\n", + "global step=17805312, episodic return=2394.236328125\n", + "global step=17805312, episodic return=2238.862548828125\n", + "global step=17805312, episodic return=2446.59326171875\n", + "global step=17807360, episodic return=2412.783935546875\n", + "global step=17807360, episodic return=2398.60107421875\n", + "global step=17807360, episodic return=2356.68505859375\n", + "global step=17809408, episodic return=2330.901611328125\n", + "global step=17809408, episodic return=1470.583740234375\n", + "global step=17809408, episodic return=2413.77099609375\n", + "global step=17811456, episodic return=2410.5732421875\n", + "global step=17811456, episodic return=1720.75634765625\n", + "global step=17811456, episodic return=2439.376953125\n", + "global step=17813504, episodic return=1524.462890625\n", + "global step=17813504, episodic return=2372.165283203125\n", + "global step=17813504, episodic return=2374.06494140625\n", + "global step=17815552, episodic return=2342.50634765625\n", + "global step=17815552, episodic return=2420.173583984375\n", + "global step=17815552, episodic return=2389.233154296875\n", + "global step=17815552, episodic return=2358.191162109375\n", + "global step=17815552, episodic return=1500.173583984375\n", + "global step=17817600, episodic return=2300.624755859375\n", + "global step=17819648, episodic return=1454.4014892578125\n", + "global step=17823744, episodic return=1052.8427734375\n", + "global step=17823744, episodic return=2306.0322265625\n", + "global step=17825792, episodic return=2383.122314453125\n", + "global step=17825792, episodic return=1529.272216796875\n", + "global step=17825792, episodic return=1555.651611328125\n", + "global step=17825792, episodic return=2413.2138671875\n", + "global step=17827840, episodic return=1909.306884765625\n", + "global step=17827840, episodic return=2426.2158203125\n", + "global step=17827840, episodic return=1434.585693359375\n", + "global step=17827840, episodic return=2462.498291015625\n", + "global step=17827840, episodic return=2377.847900390625\n", + "global step=17829888, episodic return=398.672607421875\n", + "global step=17829888, episodic return=2360.616943359375\n", + "global step=17831936, episodic return=1968.4853515625\n", + "global step=17831936, episodic return=2433.40576171875\n", + "global step=17831936, episodic return=2317.9248046875\n", + "global step=17833984, episodic return=2345.55126953125\n", + "global step=17833984, episodic return=1630.196044921875\n", + "global step=17833984, episodic return=2428.385986328125\n", + "global step=17833984, episodic return=1403.8123779296875\n", + "global step=17836032, episodic return=2363.8408203125\n", + "global step=17836032, episodic return=2396.622314453125\n", + "global step=17836032, episodic return=2281.74462890625\n", + "global step=17836032, episodic return=2336.09033203125\n", + "global step=17836032, episodic return=2395.4931640625\n", + "global step=17838080, episodic return=2343.641845703125\n", + "global step=17838080, episodic return=2384.534423828125\n", + "global step=17842176, episodic return=2181.994384765625\n", + "global step=17844224, episodic return=1503.446533203125\n", + "global step=17848320, episodic return=2399.0126953125\n", + "global step=17848320, episodic return=1832.1746826171875\n", + "global step=17848320, episodic return=1465.5963134765625\n", + "global step=17850368, episodic return=2376.541015625\n", + "global step=17850368, episodic return=2061.21923828125\n", + "global step=17854464, episodic return=1281.130126953125\n", + "global step=17854464, episodic return=2368.07958984375\n", + "global step=17854464, episodic return=2362.57080078125\n", + "global step=17856512, episodic return=1524.40283203125\n", + "global step=17858560, episodic return=2359.54150390625\n", + "global step=17858560, episodic return=2386.89013671875\n", + "global step=17860608, episodic return=1329.6370849609375\n", + "global step=17860608, episodic return=2430.147705078125\n", + "global step=17862656, episodic return=1082.43212890625\n", + "global step=17862656, episodic return=1745.2640380859375\n", + "global step=17864704, episodic return=2415.81591796875\n", + "global step=17864704, episodic return=2368.1064453125\n", + "global step=17864704, episodic return=1274.9146728515625\n", + "global step=17866752, episodic return=778.4766845703125\n", + "global step=17866752, episodic return=2424.933349609375\n", + "global step=17866752, episodic return=1334.9962158203125\n", + "global step=17868800, episodic return=1396.9669189453125\n", + "global step=17868800, episodic return=2347.070068359375\n", + "global step=17870848, episodic return=1894.043212890625\n", + "global step=17870848, episodic return=297.1097412109375\n", + "global step=17870848, episodic return=1020.2662353515625\n", + "global step=17872896, episodic return=1484.8837890625\n", + "global step=17872896, episodic return=2400.75341796875\n", + "global step=17874944, episodic return=2359.966064453125\n", + "global step=17874944, episodic return=2436.056884765625\n", + "global step=17876992, episodic return=2370.7265625\n", + "global step=17876992, episodic return=2404.487060546875\n", + "global step=17879040, episodic return=62.48030090332031\n", + "global step=17879040, episodic return=66.41900634765625\n", + "global step=17881088, episodic return=2213.3291015625\n", + "global step=17883136, episodic return=2337.066650390625\n", + "global step=17883136, episodic return=1216.04638671875\n", + "global step=17883136, episodic return=1446.29638671875\n", + "global step=17883136, episodic return=1336.126220703125\n", + "global step=17885184, episodic return=2428.975341796875\n", + "global step=17885184, episodic return=1509.1497802734375\n", + "global step=17887232, episodic return=1818.278564453125\n", + "global step=17889280, episodic return=2300.319091796875\n", + "global step=17891328, episodic return=1920.7691650390625\n", + "global step=17893376, episodic return=2370.09814453125\n", + "global step=17893376, episodic return=2412.34716796875\n", + "global step=17893376, episodic return=1926.32861328125\n", + "global step=17893376, episodic return=1790.8319091796875\n", + "global step=17893376, episodic return=2396.703857421875\n", + "global step=17895424, episodic return=924.4769897460938\n", + "global step=17897472, episodic return=2430.296630859375\n", + "global step=17899520, episodic return=1852.943359375\n", + "global step=17901568, episodic return=72.41622161865234\n", + "global step=17901568, episodic return=1341.7967529296875\n", + "global step=17905664, episodic return=2350.0380859375\n", + "global step=17905664, episodic return=2201.60205078125\n", + "global step=17905664, episodic return=2426.650146484375\n", + "global step=17907712, episodic return=2446.263427734375\n", + "global step=17913856, episodic return=1354.31689453125\n", + "global step=17915904, episodic return=2129.338623046875\n", + "global step=17917952, episodic return=2399.604736328125\n", + "global step=17917952, episodic return=2413.59912109375\n", + "global step=17920000, episodic return=2419.84619140625\n", + "global step=17920000, episodic return=2377.271728515625\n", + "global step=17922048, episodic return=2367.7060546875\n", + "global step=17924096, episodic return=2332.018310546875\n", + "global step=17924096, episodic return=1767.2232666015625\n", + "global step=17924096, episodic return=2423.331298828125\n", + "global step=17924096, episodic return=2419.599365234375\n", + "global step=17926144, episodic return=1812.4197998046875\n", + "global step=17926144, episodic return=2318.328857421875\n", + "global step=17928192, episodic return=2465.578369140625\n", + "global step=17928192, episodic return=2410.33642578125\n", + "global step=17930240, episodic return=1904.669921875\n", + "global step=17930240, episodic return=285.0657043457031\n", + "global step=17930240, episodic return=2397.142333984375\n", + "global step=17930240, episodic return=2412.311279296875\n", + "global step=17932288, episodic return=438.75323486328125\n", + "global step=17932288, episodic return=697.5963745117188\n", + "global step=17932288, episodic return=2391.60546875\n", + "global step=17932288, episodic return=1697.0357666015625\n", + "global step=17932288, episodic return=2398.70458984375\n", + "global step=17934336, episodic return=2197.9248046875\n", + "global step=17934336, episodic return=2363.4462890625\n", + "global step=17934336, episodic return=2393.9697265625\n", + "global step=17934336, episodic return=2366.793701171875\n", + "global step=17936384, episodic return=1616.0848388671875\n", + "global step=17938432, episodic return=2463.01953125\n", + "global step=17940480, episodic return=2399.520263671875\n", + "global step=17940480, episodic return=435.4006652832031\n", + "global step=17940480, episodic return=1374.7396240234375\n", + "global step=17940480, episodic return=2383.533935546875\n", + "global step=17942528, episodic return=2364.013427734375\n", + "global step=17944576, episodic return=2272.458740234375\n", + "global step=17944576, episodic return=2427.0595703125\n", + "global step=17944576, episodic return=2404.455810546875\n", + "global step=17946624, episodic return=2395.27001953125\n", + "global step=17946624, episodic return=274.9579162597656\n", + "global step=17946624, episodic return=2387.09814453125\n", + "global step=17946624, episodic return=1907.404296875\n", + "global step=17948672, episodic return=241.45065307617188\n", + "global step=17950720, episodic return=2371.104248046875\n", + "global step=17950720, episodic return=1419.1322021484375\n", + "global step=17950720, episodic return=1780.7178955078125\n", + "global step=17952768, episodic return=445.92547607421875\n", + "global step=17952768, episodic return=346.7070007324219\n", + "global step=17954816, episodic return=2409.470947265625\n", + "global step=17954816, episodic return=477.6172180175781\n", + "global step=17954816, episodic return=552.7333984375\n", + "global step=17954816, episodic return=2440.433837890625\n", + "global step=17954816, episodic return=1805.2088623046875\n", + "global step=17954816, episodic return=2403.47509765625\n", + "global step=17956864, episodic return=2000.674072265625\n", + "global step=17956864, episodic return=2402.3037109375\n", + "global step=17956864, episodic return=2390.13671875\n", + "global step=17958912, episodic return=182.36419677734375\n", + "global step=17958912, episodic return=2368.482666015625\n", + "global step=17958912, episodic return=2317.19140625\n", + "global step=17958912, episodic return=49.59581756591797\n", + "global step=17960960, episodic return=389.1334533691406\n", + "global step=17960960, episodic return=2270.567626953125\n", + "global step=17963008, episodic return=2395.445068359375\n", + "global step=17963008, episodic return=1563.4056396484375\n", + "global step=17965056, episodic return=2427.713134765625\n", + "global step=17967104, episodic return=1274.4910888671875\n", + "global step=17971200, episodic return=304.8928527832031\n", + "global step=17971200, episodic return=2264.9072265625\n", + "global step=17973248, episodic return=401.8758850097656\n", + "global step=17975296, episodic return=642.1472778320312\n", + "global step=17975296, episodic return=2377.08349609375\n", + "global step=17979392, episodic return=2391.14794921875\n", + "global step=17979392, episodic return=1937.6173095703125\n", + "global step=17979392, episodic return=2407.41552734375\n", + "global step=17979392, episodic return=2396.116455078125\n", + "global step=17979392, episodic return=511.9258728027344\n", + "global step=17981440, episodic return=2415.61962890625\n", + "global step=17983488, episodic return=2378.965576171875\n", + "global step=17985536, episodic return=1403.8868408203125\n", + "global step=17985536, episodic return=2418.984619140625\n", + "global step=17985536, episodic return=2317.3974609375\n", + "global step=17985536, episodic return=2364.80224609375\n", + "global step=17985536, episodic return=1553.67333984375\n", + "global step=17989632, episodic return=2366.47802734375\n", + "global step=17991680, episodic return=1319.634765625\n", + "global step=17991680, episodic return=2370.496337890625\n", + "global step=17993728, episodic return=240.29627990722656\n", + "global step=17993728, episodic return=191.9569549560547\n", + "global step=17993728, episodic return=185.14735412597656\n", + "global step=17995776, episodic return=2394.599365234375\n", + "global step=17995776, episodic return=1995.82568359375\n", + "global step=17995776, episodic return=2390.43994140625\n", + "global step=17995776, episodic return=2388.410400390625\n", + "global step=17995776, episodic return=1851.832763671875\n", + "global step=17995776, episodic return=167.62733459472656\n", + "global step=17995776, episodic return=495.2456970214844\n", + "global step=17997824, episodic return=2413.265380859375\n", + "global step=17999872, episodic return=2437.237548828125\n", + "global step=18003968, episodic return=2387.433349609375\n", + "global step=18003968, episodic return=2350.87353515625\n", + "global step=18006016, episodic return=2434.319091796875\n", + "global step=18006016, episodic return=435.0702819824219\n", + "global step=18006016, episodic return=2362.61572265625\n", + "global step=18006016, episodic return=2073.7724609375\n", + "global step=18006016, episodic return=2422.705078125\n", + "global step=18006016, episodic return=20.834074020385742\n", + "global step=18008064, episodic return=34.834739685058594\n", + "global step=18010112, episodic return=2444.958984375\n", + "global step=18010112, episodic return=2412.2265625\n", + "global step=18012160, episodic return=2398.5732421875\n", + "global step=18012160, episodic return=2361.6357421875\n", + "global step=18014208, episodic return=2354.059326171875\n", + "global step=18014208, episodic return=2485.584716796875\n", + "global step=18014208, episodic return=2359.560791015625\n", + "global step=18014208, episodic return=1704.9931640625\n", + "global step=18016256, episodic return=2366.690185546875\n", + "global step=18018304, episodic return=2437.242919921875\n", + "global step=18018304, episodic return=2039.5860595703125\n", + "global step=18018304, episodic return=692.4310302734375\n", + "global step=18018304, episodic return=2434.20751953125\n", + "global step=18020352, episodic return=504.5648498535156\n", + "global step=18020352, episodic return=2424.00634765625\n", + "global step=18022400, episodic return=2457.3291015625\n", + "global step=18024448, episodic return=2336.443115234375\n", + "global step=18026496, episodic return=2441.254150390625\n", + "global step=18026496, episodic return=1986.74462890625\n", + "global step=18026496, episodic return=2340.072021484375\n", + "global step=18028544, episodic return=2083.036865234375\n", + "global step=18028544, episodic return=2372.06494140625\n", + "global step=18030592, episodic return=1490.5389404296875\n", + "global step=18030592, episodic return=2313.863037109375\n", + "global step=18034688, episodic return=2407.2041015625\n", + "global step=18034688, episodic return=2386.105224609375\n", + "global step=18036736, episodic return=2425.82373046875\n", + "global step=18036736, episodic return=2409.969482421875\n", + "global step=18038784, episodic return=2424.210693359375\n", + "global step=18038784, episodic return=2453.116943359375\n", + "global step=18038784, episodic return=2437.082275390625\n", + "global step=18040832, episodic return=1808.301025390625\n", + "global step=18040832, episodic return=2377.165771484375\n", + "global step=18040832, episodic return=2381.268310546875\n", + "global step=18044928, episodic return=2407.691650390625\n", + "global step=18046976, episodic return=2337.751708984375\n", + "global step=18049024, episodic return=1882.489990234375\n", + "global step=18049024, episodic return=2450.667236328125\n", + "global step=18051072, episodic return=2335.286376953125\n", + "global step=18051072, episodic return=139.1381072998047\n", + "global step=18053120, episodic return=2449.7060546875\n", + "global step=18053120, episodic return=2362.966552734375\n", + "global step=18055168, episodic return=399.03265380859375\n", + "global step=18055168, episodic return=2388.75244140625\n", + "global step=18057216, episodic return=2417.35498046875\n", + "global step=18057216, episodic return=2336.18896484375\n", + "global step=18059264, episodic return=2386.046875\n", + "global step=18059264, episodic return=2350.5556640625\n", + "global step=18063360, episodic return=2432.341552734375\n", + "global step=18065408, episodic return=2383.546630859375\n", + "global step=18065408, episodic return=2382.199951171875\n", + "global step=18067456, episodic return=220.36685180664062\n", + "global step=18067456, episodic return=2422.603271484375\n", + "global step=18067456, episodic return=2182.284423828125\n", + "global step=18071552, episodic return=2342.8154296875\n", + "global step=18073600, episodic return=1914.6656494140625\n", + "global step=18075648, episodic return=2438.28466796875\n", + "global step=18075648, episodic return=2227.49951171875\n", + "global step=18075648, episodic return=2173.95458984375\n", + "global step=18075648, episodic return=1465.0218505859375\n", + "global step=18077696, episodic return=2226.726806640625\n", + "global step=18077696, episodic return=2433.325927734375\n", + "global step=18079744, episodic return=2392.611328125\n", + "global step=18079744, episodic return=2203.76025390625\n", + "global step=18079744, episodic return=2307.943115234375\n", + "global step=18079744, episodic return=1563.1990966796875\n", + "global step=18079744, episodic return=2331.5517578125\n", + "global step=18081792, episodic return=2376.69287109375\n", + "global step=18083840, episodic return=2379.552001953125\n", + "global step=18083840, episodic return=2427.959716796875\n", + "global step=18083840, episodic return=2400.395263671875\n", + "global step=18089984, episodic return=2399.536865234375\n", + "global step=18089984, episodic return=2349.93798828125\n", + "global step=18089984, episodic return=2454.671142578125\n", + "global step=18094080, episodic return=169.59103393554688\n", + "global step=18094080, episodic return=2424.902587890625\n", + "global step=18094080, episodic return=2381.3935546875\n", + "global step=18096128, episodic return=2406.396484375\n", + "global step=18098176, episodic return=2158.212890625\n", + "global step=18100224, episodic return=2399.683837890625\n", + "global step=18102272, episodic return=2385.383544921875\n", + "global step=18102272, episodic return=2155.5712890625\n", + "global step=18102272, episodic return=2321.8076171875\n", + "global step=18104320, episodic return=1873.177978515625\n", + "global step=18104320, episodic return=2448.84326171875\n", + "global step=18108416, episodic return=197.1587371826172\n", + "global step=18110464, episodic return=2352.80615234375\n", + "global step=18110464, episodic return=2380.613525390625\n", + "global step=18110464, episodic return=180.19635009765625\n", + "global step=18112512, episodic return=2424.036865234375\n", + "global step=18112512, episodic return=2376.141357421875\n", + "global step=18114560, episodic return=2354.138427734375\n", + "global step=18114560, episodic return=2426.3017578125\n", + "global step=18118656, episodic return=2457.560546875\n", + "global step=18118656, episodic return=2396.80908203125\n", + "global step=18118656, episodic return=2315.28173828125\n", + "global step=18120704, episodic return=184.3067626953125\n", + "global step=18120704, episodic return=180.7169647216797\n", + "global step=18120704, episodic return=2328.562744140625\n", + "global step=18122752, episodic return=2379.767822265625\n", + "global step=18122752, episodic return=2430.9580078125\n", + "global step=18124800, episodic return=2403.77685546875\n", + "global step=18126848, episodic return=2331.08642578125\n", + "global step=18128896, episodic return=2364.8623046875\n", + "global step=18128896, episodic return=2433.876953125\n", + "global step=18130944, episodic return=2440.931640625\n", + "global step=18132992, episodic return=2360.283935546875\n", + "global step=18135040, episodic return=1188.749755859375\n", + "global step=18139136, episodic return=2372.33740234375\n", + "global step=18139136, episodic return=234.4486846923828\n", + "global step=18141184, episodic return=2361.77099609375\n", + "global step=18145280, episodic return=468.0257568359375\n", + "global step=18145280, episodic return=2430.067138671875\n", + "global step=18149376, episodic return=2508.5517578125\n", + "global step=18149376, episodic return=2380.947265625\n", + "global step=18151424, episodic return=2460.66455078125\n", + "global step=18153472, episodic return=2417.519775390625\n", + "global step=18155520, episodic return=2398.056396484375\n", + "global step=18157568, episodic return=2439.39013671875\n", + "global step=18157568, episodic return=1332.9217529296875\n", + "global step=18159616, episodic return=234.5213623046875\n", + "global step=18159616, episodic return=2434.1953125\n", + "global step=18161664, episodic return=2401.1181640625\n", + "global step=18163712, episodic return=118.45423889160156\n", + "global step=18163712, episodic return=182.82196044921875\n", + "global step=18163712, episodic return=2406.95654296875\n", + "global step=18167808, episodic return=2347.587646484375\n", + "global step=18169856, episodic return=2416.0224609375\n", + "global step=18171904, episodic return=2363.912109375\n", + "global step=18173952, episodic return=2374.6279296875\n", + "global step=18176000, episodic return=2420.80615234375\n", + "global step=18180096, episodic return=2383.20849609375\n", + "global step=18180096, episodic return=126.4302978515625\n", + "global step=18182144, episodic return=2429.52734375\n", + "global step=18184192, episodic return=1163.7872314453125\n", + "global step=18184192, episodic return=2440.857177734375\n", + "global step=18184192, episodic return=2265.9052734375\n", + "global step=18184192, episodic return=2375.25634765625\n", + "global step=18186240, episodic return=2400.013916015625\n", + "global step=18188288, episodic return=2299.75146484375\n", + "global step=18188288, episodic return=2367.967529296875\n", + "global step=18190336, episodic return=2418.399658203125\n", + "global step=18190336, episodic return=1731.671142578125\n", + "global step=18190336, episodic return=2408.134033203125\n", + "global step=18190336, episodic return=1463.3519287109375\n", + "global step=18190336, episodic return=2290.135009765625\n", + "global step=18190336, episodic return=2465.430419921875\n", + "global step=18190336, episodic return=2436.21875\n", + "global step=18192384, episodic return=2027.0697021484375\n", + "global step=18192384, episodic return=365.0420227050781\n", + "global step=18192384, episodic return=201.62115478515625\n", + "global step=18192384, episodic return=2381.39306640625\n", + "global step=18192384, episodic return=2443.28564453125\n", + "global step=18196480, episodic return=2441.06005859375\n", + "global step=18200576, episodic return=2416.8681640625\n", + "global step=18202624, episodic return=2320.046142578125\n", + "global step=18202624, episodic return=2455.717529296875\n", + "global step=18204672, episodic return=2405.6044921875\n", + "global step=18206720, episodic return=2363.46826171875\n", + "global step=18208768, episodic return=2412.995361328125\n", + "global step=18210816, episodic return=2404.565673828125\n", + "global step=18212864, episodic return=2445.171630859375\n", + "global step=18212864, episodic return=2412.0029296875\n", + "global step=18212864, episodic return=2401.206787109375\n", + "global step=18214912, episodic return=2452.491455078125\n", + "global step=18214912, episodic return=2415.553955078125\n", + "global step=18214912, episodic return=514.2145385742188\n", + "global step=18214912, episodic return=2446.583251953125\n", + "global step=18216960, episodic return=2431.743408203125\n", + "global step=18216960, episodic return=2343.1611328125\n", + "global step=18216960, episodic return=394.5039367675781\n", + "global step=18219008, episodic return=2403.103515625\n", + "global step=18219008, episodic return=2438.779296875\n", + "global step=18221056, episodic return=722.3014526367188\n", + "global step=18221056, episodic return=2451.376708984375\n", + "global step=18223104, episodic return=2462.468017578125\n", + "global step=18223104, episodic return=2345.9072265625\n", + "global step=18223104, episodic return=2417.6796875\n", + "global step=18223104, episodic return=2470.912841796875\n", + "global step=18225152, episodic return=648.2959594726562\n", + "global step=18225152, episodic return=2398.518798828125\n", + "global step=18227200, episodic return=2427.710693359375\n", + "global step=18229248, episodic return=2409.164794921875\n", + "global step=18229248, episodic return=2395.986083984375\n", + "global step=18231296, episodic return=2431.459716796875\n", + "global step=18231296, episodic return=2378.052978515625\n", + "global step=18231296, episodic return=2454.277587890625\n", + "global step=18233344, episodic return=618.8489379882812\n", + "global step=18237440, episodic return=2425.775390625\n", + "global step=18239488, episodic return=2408.362548828125\n", + "global step=18239488, episodic return=2327.0263671875\n", + "global step=18239488, episodic return=2436.468505859375\n", + "global step=18241536, episodic return=2445.891845703125\n", + "global step=18243584, episodic return=2433.596923828125\n", + "global step=18243584, episodic return=2378.78466796875\n", + "global step=18245632, episodic return=2446.10400390625\n", + "global step=18245632, episodic return=415.4319152832031\n", + "global step=18245632, episodic return=2454.21875\n", + "global step=18247680, episodic return=2371.67626953125\n", + "global step=18249728, episodic return=2489.32177734375\n", + "global step=18249728, episodic return=2428.792236328125\n", + "global step=18249728, episodic return=2422.43212890625\n", + "global step=18249728, episodic return=2373.343994140625\n", + "global step=18249728, episodic return=2398.071533203125\n", + "global step=18251776, episodic return=2374.27294921875\n", + "global step=18255872, episodic return=2464.913330078125\n", + "global step=18255872, episodic return=2421.68798828125\n", + "global step=18257920, episodic return=323.40228271484375\n", + "global step=18257920, episodic return=2377.44140625\n", + "global step=18257920, episodic return=2409.923095703125\n", + "global step=18257920, episodic return=2415.11669921875\n", + "global step=18257920, episodic return=2365.500732421875\n", + "global step=18259968, episodic return=2324.381103515625\n", + "global step=18262016, episodic return=1259.773193359375\n", + "global step=18264064, episodic return=2402.189697265625\n", + "global step=18264064, episodic return=2442.763671875\n", + "global step=18264064, episodic return=2336.7001953125\n", + "global step=18264064, episodic return=2449.961669921875\n", + "global step=18264064, episodic return=584.1364135742188\n", + "global step=18266112, episodic return=574.136962890625\n", + "global step=18266112, episodic return=2436.016845703125\n", + "global step=18266112, episodic return=354.2602233886719\n", + "global step=18266112, episodic return=2440.520751953125\n", + "global step=18266112, episodic return=2424.00146484375\n", + "global step=18266112, episodic return=360.68060302734375\n", + "global step=18268160, episodic return=204.633056640625\n", + "global step=18268160, episodic return=2399.625244140625\n", + "global step=18268160, episodic return=2408.352294921875\n", + "global step=18268160, episodic return=660.5304565429688\n", + "global step=18270208, episodic return=2348.80078125\n", + "global step=18270208, episodic return=1249.308837890625\n", + "global step=18270208, episodic return=2442.238525390625\n", + "global step=18270208, episodic return=2392.349853515625\n", + "global step=18272256, episodic return=2416.50537109375\n", + "global step=18272256, episodic return=2158.845947265625\n", + "global step=18272256, episodic return=539.3609619140625\n", + "global step=18272256, episodic return=2327.22509765625\n", + "global step=18274304, episodic return=2497.984375\n", + "global step=18274304, episodic return=2418.1572265625\n", + "global step=18274304, episodic return=2360.876953125\n", + "global step=18274304, episodic return=2400.173583984375\n", + "global step=18276352, episodic return=2412.24658203125\n", + "global step=18276352, episodic return=2369.164306640625\n", + "global step=18276352, episodic return=2402.98486328125\n", + "global step=18278400, episodic return=2454.41015625\n", + "global step=18278400, episodic return=2413.68212890625\n", + "global step=18278400, episodic return=2406.822265625\n", + "global step=18278400, episodic return=2469.1640625\n", + "global step=18278400, episodic return=2455.724609375\n", + "global step=18278400, episodic return=2404.248046875\n", + "global step=18278400, episodic return=2431.862548828125\n", + "global step=18280448, episodic return=2410.27734375\n", + "global step=18280448, episodic return=2372.1513671875\n", + "global step=18280448, episodic return=2385.48388671875\n", + "global step=18282496, episodic return=2444.341064453125\n", + "global step=18282496, episodic return=2347.8876953125\n", + "global step=18282496, episodic return=2408.651611328125\n", + "global step=18284544, episodic return=2414.462890625\n", + "global step=18286592, episodic return=2372.92626953125\n", + "global step=18286592, episodic return=2402.488037109375\n", + "global step=18286592, episodic return=2413.724853515625\n", + "global step=18288640, episodic return=489.0350341796875\n", + "global step=18292736, episodic return=2377.974853515625\n", + "global step=18292736, episodic return=2416.74072265625\n", + "global step=18294784, episodic return=2455.154052734375\n", + "global step=18294784, episodic return=2380.482421875\n", + "global step=18294784, episodic return=2449.369384765625\n", + "global step=18296832, episodic return=2399.600341796875\n", + "global step=18298880, episodic return=2419.792724609375\n", + "global step=18298880, episodic return=2384.192138671875\n", + "global step=18300928, episodic return=2407.29931640625\n", + "global step=18300928, episodic return=2399.00927734375\n", + "global step=18300928, episodic return=1992.2332763671875\n", + "global step=18300928, episodic return=2377.40625\n", + "global step=18302976, episodic return=2401.44580078125\n", + "global step=18302976, episodic return=688.2564697265625\n", + "global step=18302976, episodic return=632.2134399414062\n", + "global step=18305024, episodic return=2370.624755859375\n", + "global step=18305024, episodic return=2412.56201171875\n", + "global step=18305024, episodic return=2420.879150390625\n", + "global step=18305024, episodic return=2348.4814453125\n", + "global step=18307072, episodic return=713.340087890625\n", + "global step=18307072, episodic return=2422.041259765625\n", + "global step=18307072, episodic return=2439.093994140625\n", + "global step=18311168, episodic return=2430.436767578125\n", + "global step=18311168, episodic return=2355.9267578125\n", + "global step=18311168, episodic return=2420.212158203125\n", + "global step=18313216, episodic return=2398.230712890625\n", + "global step=18315264, episodic return=2372.050537109375\n", + "global step=18317312, episodic return=2444.208984375\n", + "global step=18319360, episodic return=2408.564208984375\n", + "global step=18321408, episodic return=2384.21337890625\n", + "global step=18321408, episodic return=2420.94091796875\n", + "global step=18323456, episodic return=2037.4254150390625\n", + "global step=18323456, episodic return=2388.703125\n", + "global step=18325504, episodic return=913.7755126953125\n", + "global step=18325504, episodic return=2414.9892578125\n", + "global step=18325504, episodic return=2427.0078125\n", + "global step=18327552, episodic return=2440.93017578125\n", + "global step=18331648, episodic return=2418.51513671875\n", + "global step=18333696, episodic return=2452.900634765625\n", + "global step=18333696, episodic return=556.50439453125\n", + "global step=18333696, episodic return=249.9025421142578\n", + "global step=18335744, episodic return=2392.8154296875\n", + "global step=18335744, episodic return=2380.34521484375\n", + "global step=18337792, episodic return=2466.395751953125\n", + "global step=18337792, episodic return=2458.720947265625\n", + "global step=18337792, episodic return=177.7407684326172\n", + "global step=18337792, episodic return=220.8837890625\n", + "global step=18337792, episodic return=2392.715087890625\n", + "global step=18339840, episodic return=2397.207275390625\n", + "global step=18339840, episodic return=2438.410888671875\n", + "global step=18339840, episodic return=2388.727294921875\n", + "global step=18339840, episodic return=2414.5322265625\n", + "global step=18341888, episodic return=2406.19091796875\n", + "global step=18341888, episodic return=2433.7529296875\n", + "global step=18341888, episodic return=2449.823486328125\n", + "global step=18341888, episodic return=2394.090576171875\n", + "global step=18345984, episodic return=2373.319580078125\n", + "global step=18345984, episodic return=2368.85302734375\n", + "global step=18348032, episodic return=2388.571044921875\n", + "global step=18350080, episodic return=2429.866455078125\n", + "global step=18350080, episodic return=1775.8565673828125\n", + "global step=18352128, episodic return=2377.3896484375\n", + "global step=18352128, episodic return=2361.350341796875\n", + "global step=18352128, episodic return=2369.5810546875\n", + "global step=18352128, episodic return=2354.42919921875\n", + "global step=18354176, episodic return=2399.967041015625\n", + "global step=18356224, episodic return=1972.6842041015625\n", + "global step=18358272, episodic return=874.1038208007812\n", + "global step=18358272, episodic return=2422.99267578125\n", + "global step=18358272, episodic return=2385.805908203125\n", + "global step=18358272, episodic return=2429.55908203125\n", + "global step=18360320, episodic return=2483.22509765625\n", + "global step=18362368, episodic return=2465.653076171875\n", + "global step=18364416, episodic return=2260.3837890625\n", + "global step=18364416, episodic return=2340.59033203125\n", + "global step=18364416, episodic return=2452.0361328125\n", + "global step=18366464, episodic return=2399.685791015625\n", + "global step=18366464, episodic return=195.9915771484375\n", + "global step=18368512, episodic return=2303.9189453125\n", + "global step=18368512, episodic return=1445.6739501953125\n", + "global step=18368512, episodic return=2391.82275390625\n", + "global step=18368512, episodic return=2404.43359375\n", + "global step=18370560, episodic return=1896.0186767578125\n", + "global step=18370560, episodic return=2416.88623046875\n", + "global step=18372608, episodic return=2442.237548828125\n", + "global step=18374656, episodic return=2434.93115234375\n", + "global step=18374656, episodic return=2405.639404296875\n", + "global step=18374656, episodic return=2388.4697265625\n", + "global step=18376704, episodic return=2443.978759765625\n", + "global step=18376704, episodic return=2433.295166015625\n", + "global step=18376704, episodic return=2357.238525390625\n", + "global step=18378752, episodic return=2323.662109375\n", + "global step=18378752, episodic return=2395.56982421875\n", + "global step=18378752, episodic return=2457.2099609375\n", + "global step=18380800, episodic return=2459.7109375\n", + "global step=18380800, episodic return=2444.845458984375\n", + "global step=18380800, episodic return=2316.57568359375\n", + "global step=18382848, episodic return=2435.872314453125\n", + "global step=18382848, episodic return=2439.26953125\n", + "global step=18382848, episodic return=2415.325439453125\n", + "global step=18382848, episodic return=2383.2021484375\n", + "global step=18382848, episodic return=2457.43701171875\n", + "global step=18382848, episodic return=2376.12939453125\n", + "global step=18384896, episodic return=2433.263671875\n", + "global step=18384896, episodic return=2408.39599609375\n", + "global step=18386944, episodic return=2415.5244140625\n", + "global step=18386944, episodic return=1118.53173828125\n", + "global step=18388992, episodic return=2437.895263671875\n", + "global step=18388992, episodic return=2408.63671875\n", + "global step=18388992, episodic return=2423.706298828125\n", + "global step=18391040, episodic return=2430.583251953125\n", + "global step=18391040, episodic return=2446.6953125\n", + "global step=18393088, episodic return=2430.2880859375\n", + "global step=18393088, episodic return=2433.936767578125\n", + "global step=18393088, episodic return=2437.0\n", + "global step=18395136, episodic return=2441.702880859375\n", + "global step=18395136, episodic return=2346.120361328125\n", + "global step=18395136, episodic return=2015.841552734375\n", + "global step=18397184, episodic return=41.09800720214844\n", + "global step=18397184, episodic return=2456.058837890625\n", + "global step=18399232, episodic return=2446.580322265625\n", + "global step=18399232, episodic return=2261.761962890625\n", + "global step=18399232, episodic return=2399.72607421875\n", + "global step=18399232, episodic return=2369.760009765625\n", + "global step=18399232, episodic return=2429.5224609375\n", + "global step=18399232, episodic return=2428.099853515625\n", + "global step=18399232, episodic return=2407.1982421875\n", + "global step=18401280, episodic return=1787.9866943359375\n", + "global step=18401280, episodic return=2415.60888671875\n", + "global step=18401280, episodic return=2428.563232421875\n", + "global step=18401280, episodic return=2439.378662109375\n", + "global step=18403328, episodic return=2431.559326171875\n", + "global step=18403328, episodic return=2388.678955078125\n", + "global step=18403328, episodic return=2409.927001953125\n", + "global step=18405376, episodic return=2441.37841796875\n", + "global step=18405376, episodic return=2435.8427734375\n", + "global step=18407424, episodic return=2413.920166015625\n", + "global step=18407424, episodic return=2447.192626953125\n", + "global step=18407424, episodic return=2435.2119140625\n", + "global step=18407424, episodic return=2452.33056640625\n", + "global step=18409472, episodic return=2474.302734375\n", + "global step=18409472, episodic return=2470.705322265625\n", + "global step=18409472, episodic return=2475.831298828125\n", + "global step=18409472, episodic return=1294.771484375\n", + "global step=18409472, episodic return=2468.245361328125\n", + "global step=18409472, episodic return=2428.663330078125\n", + "global step=18411520, episodic return=2443.291259765625\n", + "global step=18411520, episodic return=2396.9404296875\n", + "global step=18411520, episodic return=1303.3795166015625\n", + "global step=18413568, episodic return=2451.5205078125\n", + "global step=18413568, episodic return=2428.7978515625\n", + "global step=18413568, episodic return=2393.08447265625\n", + "global step=18413568, episodic return=2410.0908203125\n", + "global step=18415616, episodic return=2433.19580078125\n", + "global step=18415616, episodic return=2434.783447265625\n", + "global step=18415616, episodic return=2456.099365234375\n", + "global step=18415616, episodic return=2420.896484375\n", + "global step=18415616, episodic return=2429.9462890625\n", + "global step=18417664, episodic return=2368.512451171875\n", + "global step=18417664, episodic return=2441.35595703125\n", + "global step=18417664, episodic return=2414.5615234375\n", + "global step=18419712, episodic return=2433.85205078125\n", + "global step=18419712, episodic return=2422.840576171875\n", + "global step=18421760, episodic return=2412.986572265625\n", + "global step=18421760, episodic return=2408.3564453125\n", + "global step=18421760, episodic return=2415.40234375\n", + "global step=18423808, episodic return=2363.396240234375\n", + "global step=18423808, episodic return=2399.594970703125\n", + "global step=18425856, episodic return=2435.649169921875\n", + "global step=18425856, episodic return=2438.271728515625\n", + "global step=18425856, episodic return=2448.60546875\n", + "global step=18425856, episodic return=2411.168701171875\n", + "global step=18425856, episodic return=2290.5458984375\n", + "global step=18425856, episodic return=2435.200927734375\n", + "global step=18425856, episodic return=2419.092529296875\n", + "global step=18425856, episodic return=2447.788330078125\n", + "global step=18425856, episodic return=2466.377197265625\n", + "global step=18427904, episodic return=2401.282470703125\n", + "global step=18427904, episodic return=2430.495361328125\n", + "global step=18427904, episodic return=176.62005615234375\n", + "global step=18429952, episodic return=2435.267578125\n", + "global step=18429952, episodic return=2408.734130859375\n", + "global step=18429952, episodic return=2438.2099609375\n", + "global step=18429952, episodic return=2450.5732421875\n", + "global step=18429952, episodic return=2405.786865234375\n", + "global step=18432000, episodic return=2420.472900390625\n", + "global step=18432000, episodic return=1314.5721435546875\n", + "global step=18432000, episodic return=2463.73095703125\n", + "global step=18432000, episodic return=2430.0224609375\n", + "global step=18432000, episodic return=2455.029541015625\n", + "global step=18432000, episodic return=2483.924560546875\n", + "global step=18432000, episodic return=2425.239501953125\n", + "global step=18434048, episodic return=2395.44287109375\n", + "global step=18434048, episodic return=2444.642333984375\n", + "global step=18434048, episodic return=1912.4002685546875\n", + "global step=18434048, episodic return=196.7677459716797\n", + "global step=18436096, episodic return=2426.229736328125\n", + "global step=18438144, episodic return=2386.2802734375\n", + "global step=18438144, episodic return=2446.673583984375\n", + "global step=18438144, episodic return=2419.275390625\n", + "global step=18438144, episodic return=2483.651611328125\n", + "global step=18440192, episodic return=2456.333984375\n", + "global step=18440192, episodic return=2405.529052734375\n", + "global step=18440192, episodic return=2440.2314453125\n", + "global step=18442240, episodic return=2448.7099609375\n", + "global step=18442240, episodic return=2424.916259765625\n", + "global step=18442240, episodic return=42.29642105102539\n", + "global step=18444288, episodic return=2440.459716796875\n", + "global step=18444288, episodic return=2419.0087890625\n", + "global step=18446336, episodic return=2071.84716796875\n", + "global step=18446336, episodic return=2382.39697265625\n", + "global step=18446336, episodic return=2475.755859375\n", + "global step=18448384, episodic return=2440.017578125\n", + "global step=18448384, episodic return=2456.694091796875\n", + "global step=18448384, episodic return=2445.85693359375\n", + "global step=18448384, episodic return=2416.492431640625\n", + "global step=18448384, episodic return=2435.294921875\n", + "global step=18450432, episodic return=246.21969604492188\n", + "global step=18450432, episodic return=2430.826416015625\n", + "global step=18450432, episodic return=2444.7919921875\n", + "global step=18450432, episodic return=1102.7479248046875\n", + "global step=18452480, episodic return=2471.2490234375\n", + "global step=18452480, episodic return=2415.477294921875\n", + "global step=18452480, episodic return=2452.017822265625\n", + "global step=18452480, episodic return=2456.019775390625\n", + "global step=18454528, episodic return=2413.95361328125\n", + "global step=18454528, episodic return=2447.234619140625\n", + "global step=18454528, episodic return=2478.77587890625\n", + "global step=18456576, episodic return=2410.440185546875\n", + "global step=18458624, episodic return=2432.77197265625\n", + "global step=18458624, episodic return=2399.346435546875\n", + "global step=18460672, episodic return=2442.12109375\n", + "global step=18460672, episodic return=2459.560546875\n", + "global step=18462720, episodic return=2442.136962890625\n", + "global step=18464768, episodic return=2494.773193359375\n", + "global step=18464768, episodic return=2435.261474609375\n", + "global step=18464768, episodic return=2455.30517578125\n", + "global step=18466816, episodic return=2389.896240234375\n", + "global step=18466816, episodic return=2400.491455078125\n", + "global step=18468864, episodic return=2384.466796875\n", + "global step=18468864, episodic return=2373.5087890625\n", + "global step=18468864, episodic return=2425.336181640625\n", + "global step=18468864, episodic return=2344.5703125\n", + "global step=18470912, episodic return=2455.218017578125\n", + "global step=18475008, episodic return=2441.347900390625\n", + "global step=18475008, episodic return=2475.35791015625\n", + "global step=18475008, episodic return=2424.16064453125\n", + "global step=18475008, episodic return=2413.218505859375\n", + "global step=18477056, episodic return=2442.52978515625\n", + "global step=18477056, episodic return=2065.663330078125\n", + "global step=18477056, episodic return=2457.0009765625\n", + "global step=18481152, episodic return=2153.72021484375\n", + "global step=18481152, episodic return=2451.950927734375\n", + "global step=18481152, episodic return=2414.70654296875\n", + "global step=18481152, episodic return=2431.461181640625\n", + "global step=18485248, episodic return=2401.272216796875\n", + "global step=18487296, episodic return=2342.803466796875\n", + "global step=18487296, episodic return=2412.087646484375\n", + "global step=18487296, episodic return=2399.678955078125\n", + "global step=18487296, episodic return=2408.930419921875\n", + "global step=18491392, episodic return=2429.875\n", + "global step=18495488, episodic return=2446.630859375\n", + "global step=18495488, episodic return=2441.75634765625\n", + "global step=18499584, episodic return=2383.81591796875\n", + "global step=18499584, episodic return=2362.065185546875\n", + "global step=18499584, episodic return=2460.7919921875\n", + "global step=18499584, episodic return=2427.21142578125\n", + "global step=18501632, episodic return=1097.3515625\n", + "global step=18501632, episodic return=2364.83056640625\n", + "global step=18501632, episodic return=2377.542236328125\n", + "global step=18501632, episodic return=2342.41845703125\n", + "global step=18503680, episodic return=2409.639892578125\n", + "global step=18503680, episodic return=2426.815673828125\n", + "global step=18503680, episodic return=2439.637939453125\n", + "global step=18503680, episodic return=2440.944091796875\n", + "global step=18503680, episodic return=2392.9931640625\n", + "global step=18503680, episodic return=2308.8583984375\n", + "global step=18505728, episodic return=640.736572265625\n", + "global step=18505728, episodic return=1829.259521484375\n", + "global step=18505728, episodic return=2428.656982421875\n", + "global step=18505728, episodic return=2465.927734375\n", + "global step=18505728, episodic return=2357.9189453125\n", + "global step=18507776, episodic return=2447.854248046875\n", + "global step=18507776, episodic return=2471.08740234375\n", + "global step=18509824, episodic return=2425.306640625\n", + "global step=18509824, episodic return=2391.99658203125\n", + "global step=18509824, episodic return=2465.58154296875\n", + "global step=18509824, episodic return=2418.65576171875\n", + "global step=18509824, episodic return=2459.591552734375\n", + "global step=18511872, episodic return=2418.462890625\n", + "global step=18511872, episodic return=2407.98779296875\n", + "global step=18513920, episodic return=2404.092529296875\n", + "global step=18515968, episodic return=2434.92041015625\n", + "global step=18515968, episodic return=2419.477783203125\n", + "global step=18518016, episodic return=2481.619384765625\n", + "global step=18518016, episodic return=2375.02685546875\n", + "global step=18520064, episodic return=1479.279296875\n", + "global step=18520064, episodic return=2123.637939453125\n", + "global step=18520064, episodic return=2455.1240234375\n", + "global step=18520064, episodic return=2435.980224609375\n", + "global step=18520064, episodic return=2419.63232421875\n", + "global step=18520064, episodic return=2313.639404296875\n", + "global step=18522112, episodic return=630.786376953125\n", + "global step=18522112, episodic return=2364.353515625\n", + "global step=18522112, episodic return=2414.1865234375\n", + "global step=18524160, episodic return=2445.135009765625\n", + "global step=18524160, episodic return=2400.3623046875\n", + "global step=18524160, episodic return=234.5959930419922\n", + "global step=18524160, episodic return=2488.82958984375\n", + "global step=18526208, episodic return=2371.5205078125\n", + "global step=18528256, episodic return=2449.70166015625\n", + "global step=18528256, episodic return=2458.765869140625\n", + "global step=18528256, episodic return=2439.483642578125\n", + "global step=18530304, episodic return=186.2106475830078\n", + "global step=18530304, episodic return=2218.7080078125\n", + "global step=18530304, episodic return=2461.053955078125\n", + "global step=18530304, episodic return=2415.805419921875\n", + "global step=18532352, episodic return=2443.537353515625\n", + "global step=18532352, episodic return=2123.8583984375\n", + "global step=18534400, episodic return=2406.073974609375\n", + "global step=18534400, episodic return=2032.03076171875\n", + "global step=18534400, episodic return=200.6883544921875\n", + "global step=18534400, episodic return=2474.00048828125\n", + "global step=18536448, episodic return=2441.46826171875\n", + "global step=18538496, episodic return=2381.5625\n", + "global step=18540544, episodic return=1779.8834228515625\n", + "global step=18540544, episodic return=2320.658447265625\n", + "global step=18540544, episodic return=2413.56591796875\n", + "global step=18540544, episodic return=2471.520263671875\n", + "global step=18540544, episodic return=2491.637939453125\n", + "global step=18542592, episodic return=2397.540283203125\n", + "global step=18542592, episodic return=2459.62255859375\n", + "global step=18542592, episodic return=2349.80859375\n", + "global step=18542592, episodic return=2329.723388671875\n", + "global step=18542592, episodic return=2490.74755859375\n", + "global step=18544640, episodic return=2423.0986328125\n", + "global step=18546688, episodic return=2416.135986328125\n", + "global step=18546688, episodic return=2425.09619140625\n", + "global step=18546688, episodic return=2402.994140625\n", + "global step=18546688, episodic return=129.17398071289062\n", + "global step=18548736, episodic return=2444.9189453125\n", + "global step=18548736, episodic return=1536.2916259765625\n", + "global step=18550784, episodic return=2352.50439453125\n", + "global step=18550784, episodic return=1910.9658203125\n", + "global step=18550784, episodic return=2392.638671875\n", + "global step=18550784, episodic return=2447.01171875\n", + "global step=18552832, episodic return=2338.502685546875\n", + "global step=18552832, episodic return=1544.52587890625\n", + "global step=18552832, episodic return=2410.588623046875\n", + "global step=18552832, episodic return=645.2892456054688\n", + "global step=18554880, episodic return=906.7528076171875\n", + "global step=18554880, episodic return=438.6810607910156\n", + "global step=18556928, episodic return=2473.937744140625\n", + "global step=18556928, episodic return=2433.075927734375\n", + "global step=18556928, episodic return=2424.1484375\n", + "global step=18556928, episodic return=2334.837158203125\n", + "global step=18558976, episodic return=2311.25146484375\n", + "global step=18558976, episodic return=1778.80029296875\n", + "global step=18558976, episodic return=2416.41015625\n", + "global step=18558976, episodic return=1176.73388671875\n", + "global step=18558976, episodic return=2433.793701171875\n", + "global step=18558976, episodic return=190.4315948486328\n", + "global step=18558976, episodic return=2426.25830078125\n", + "global step=18558976, episodic return=2240.79638671875\n", + "global step=18561024, episodic return=1992.944580078125\n", + "global step=18561024, episodic return=2457.80126953125\n", + "global step=18561024, episodic return=2411.4560546875\n", + "global step=18563072, episodic return=2425.46142578125\n", + "global step=18567168, episodic return=2311.030517578125\n", + "global step=18567168, episodic return=2373.610107421875\n", + "global step=18567168, episodic return=2432.463134765625\n", + "global step=18569216, episodic return=523.5595703125\n", + "global step=18569216, episodic return=1782.65185546875\n", + "global step=18569216, episodic return=2432.484619140625\n", + "global step=18569216, episodic return=2450.789794921875\n", + "global step=18569216, episodic return=2476.096923828125\n", + "global step=18571264, episodic return=2442.31689453125\n", + "global step=18573312, episodic return=2426.401611328125\n", + "global step=18573312, episodic return=967.3975830078125\n", + "global step=18573312, episodic return=2419.23779296875\n", + "global step=18575360, episodic return=231.60316467285156\n", + "global step=18575360, episodic return=2356.787353515625\n", + "global step=18575360, episodic return=2380.928955078125\n", + "global step=18577408, episodic return=27.129491806030273\n", + "global step=18577408, episodic return=1525.783935546875\n", + "global step=18581504, episodic return=2445.694580078125\n", + "global step=18583552, episodic return=2449.164306640625\n", + "global step=18583552, episodic return=2398.2724609375\n", + "global step=18583552, episodic return=2404.9111328125\n", + "global step=18585600, episodic return=2422.650634765625\n", + "global step=18585600, episodic return=2392.233154296875\n", + "global step=18585600, episodic return=2408.3369140625\n", + "global step=18587648, episodic return=2400.365234375\n", + "global step=18589696, episodic return=1504.9599609375\n", + "global step=18591744, episodic return=2437.9609375\n", + "global step=18593792, episodic return=2340.11279296875\n", + "global step=18595840, episodic return=2306.3740234375\n", + "global step=18599936, episodic return=178.56112670898438\n", + "global step=18599936, episodic return=2468.926513671875\n", + "global step=18599936, episodic return=200.19688415527344\n", + "global step=18599936, episodic return=2384.821044921875\n", + "global step=18601984, episodic return=2433.72314453125\n", + "global step=18601984, episodic return=2371.047607421875\n", + "global step=18601984, episodic return=1565.353271484375\n", + "global step=18601984, episodic return=2440.18212890625\n", + "global step=18601984, episodic return=2393.992431640625\n", + "global step=18608128, episodic return=2408.900146484375\n", + "global step=18612224, episodic return=2430.0771484375\n", + "global step=18612224, episodic return=2383.365966796875\n", + "global step=18614272, episodic return=2503.792236328125\n", + "global step=18614272, episodic return=2452.388671875\n", + "global step=18614272, episodic return=2393.341796875\n", + "global step=18616320, episodic return=2412.708251953125\n", + "global step=18616320, episodic return=2341.94970703125\n", + "global step=18618368, episodic return=2358.315185546875\n", + "global step=18620416, episodic return=2442.431396484375\n", + "global step=18622464, episodic return=2428.544921875\n", + "global step=18624512, episodic return=2446.40673828125\n", + "global step=18624512, episodic return=2445.6015625\n", + "global step=18626560, episodic return=171.42608642578125\n", + "global step=18626560, episodic return=2482.60205078125\n", + "global step=18626560, episodic return=2436.4287109375\n", + "global step=18628608, episodic return=2415.009521484375\n", + "global step=18630656, episodic return=2433.173583984375\n", + "global step=18630656, episodic return=2364.024658203125\n", + "global step=18630656, episodic return=2450.056640625\n", + "global step=18632704, episodic return=2466.7421875\n", + "global step=18634752, episodic return=2478.895751953125\n", + "global step=18634752, episodic return=2434.525146484375\n", + "global step=18636800, episodic return=2411.9814453125\n", + "global step=18636800, episodic return=2443.583740234375\n", + "global step=18636800, episodic return=2324.8994140625\n", + "global step=18640896, episodic return=2431.13671875\n", + "global step=18640896, episodic return=2418.553466796875\n", + "global step=18642944, episodic return=2440.68212890625\n", + "global step=18644992, episodic return=2389.84912109375\n", + "global step=18644992, episodic return=2376.28515625\n", + "global step=18644992, episodic return=2389.63818359375\n", + "global step=18649088, episodic return=2436.299560546875\n", + "global step=18651136, episodic return=475.3393859863281\n", + "global step=18651136, episodic return=2384.87255859375\n", + "global step=18655232, episodic return=1205.46435546875\n", + "global step=18655232, episodic return=2384.683837890625\n", + "global step=18657280, episodic return=2444.85400390625\n", + "global step=18657280, episodic return=568.1234130859375\n", + "global step=18657280, episodic return=2472.103271484375\n", + "global step=18659328, episodic return=274.8564147949219\n", + "global step=18659328, episodic return=436.7666931152344\n", + "global step=18659328, episodic return=578.1241455078125\n", + "global step=18659328, episodic return=318.3155822753906\n", + "global step=18661376, episodic return=2448.21923828125\n", + "global step=18661376, episodic return=2446.370849609375\n", + "global step=18663424, episodic return=855.82666015625\n", + "global step=18665472, episodic return=637.3673706054688\n", + "global step=18665472, episodic return=60.573307037353516\n", + "global step=18669568, episodic return=1572.7061767578125\n", + "global step=18669568, episodic return=182.08633422851562\n", + "global step=18669568, episodic return=2445.70361328125\n", + "global step=18669568, episodic return=2417.385009765625\n", + "global step=18671616, episodic return=2451.848388671875\n", + "global step=18671616, episodic return=2455.3154296875\n", + "global step=18671616, episodic return=2402.48095703125\n", + "global step=18671616, episodic return=2440.794921875\n", + "global step=18671616, episodic return=2458.566650390625\n", + "global step=18671616, episodic return=291.9440612792969\n", + "global step=18671616, episodic return=2388.396484375\n", + "global step=18673664, episodic return=2431.85595703125\n", + "global step=18673664, episodic return=2450.356689453125\n", + "global step=18673664, episodic return=2480.358642578125\n", + "global step=18673664, episodic return=2399.247802734375\n", + "global step=18675712, episodic return=2442.08544921875\n", + "global step=18675712, episodic return=2449.28173828125\n", + "global step=18675712, episodic return=2423.190673828125\n", + "global step=18675712, episodic return=2402.171142578125\n", + "global step=18677760, episodic return=2381.672607421875\n", + "global step=18679808, episodic return=2428.763916015625\n", + "global step=18679808, episodic return=2413.827392578125\n", + "global step=18679808, episodic return=2496.095703125\n", + "global step=18681856, episodic return=174.35646057128906\n", + "global step=18681856, episodic return=2434.289306640625\n", + "global step=18685952, episodic return=1428.6397705078125\n", + "global step=18685952, episodic return=2428.870361328125\n", + "global step=18685952, episodic return=2460.57421875\n", + "global step=18685952, episodic return=2411.107666015625\n", + "global step=18685952, episodic return=202.53463745117188\n", + "global step=18688000, episodic return=2435.21728515625\n", + "global step=18690048, episodic return=2437.859130859375\n", + "global step=18690048, episodic return=2465.826904296875\n", + "global step=18692096, episodic return=2423.328369140625\n", + "global step=18696192, episodic return=2434.998291015625\n", + "global step=18696192, episodic return=2396.43408203125\n", + "global step=18698240, episodic return=1234.511474609375\n", + "global step=18700288, episodic return=2476.16015625\n", + "global step=18700288, episodic return=2396.6875\n", + "global step=18700288, episodic return=2411.14892578125\n", + "global step=18702336, episodic return=2457.530029296875\n", + "global step=18702336, episodic return=2439.893798828125\n", + "global step=18704384, episodic return=2467.507568359375\n", + "global step=18706432, episodic return=2401.607421875\n", + "global step=18708480, episodic return=2459.039306640625\n", + "global step=18708480, episodic return=2393.78564453125\n", + "global step=18710528, episodic return=2444.9609375\n", + "global step=18712576, episodic return=2437.059814453125\n", + "global step=18712576, episodic return=2467.24169921875\n", + "global step=18712576, episodic return=377.06512451171875\n", + "global step=18714624, episodic return=2418.435302734375\n", + "global step=18714624, episodic return=230.25833129882812\n", + "global step=18716672, episodic return=2399.846435546875\n", + "global step=18716672, episodic return=2483.16064453125\n", + "global step=18716672, episodic return=2461.4677734375\n", + "global step=18716672, episodic return=2423.509033203125\n", + "global step=18716672, episodic return=2437.62646484375\n", + "global step=18716672, episodic return=2430.982666015625\n", + "global step=18718720, episodic return=2444.782958984375\n", + "global step=18718720, episodic return=2456.509765625\n", + "global step=18720768, episodic return=2431.1904296875\n", + "global step=18720768, episodic return=2399.74609375\n", + "global step=18722816, episodic return=2466.17333984375\n", + "global step=18724864, episodic return=2378.27685546875\n", + "global step=18724864, episodic return=989.7135009765625\n", + "global step=18724864, episodic return=2445.626708984375\n", + "global step=18726912, episodic return=2432.003173828125\n", + "global step=18728960, episodic return=2452.698974609375\n", + "global step=18731008, episodic return=2404.19921875\n", + "global step=18733056, episodic return=2448.357421875\n", + "global step=18735104, episodic return=2442.30517578125\n", + "global step=18735104, episodic return=2485.34521484375\n", + "global step=18735104, episodic return=2408.005615234375\n", + "global step=18737152, episodic return=2426.846923828125\n", + "global step=18737152, episodic return=2395.68603515625\n", + "global step=18737152, episodic return=2431.020263671875\n", + "global step=18737152, episodic return=255.92965698242188\n", + "global step=18739200, episodic return=2427.619384765625\n", + "global step=18739200, episodic return=204.42279052734375\n", + "global step=18739200, episodic return=1749.5626220703125\n", + "global step=18741248, episodic return=1197.9306640625\n", + "global step=18741248, episodic return=2448.26953125\n", + "global step=18743296, episodic return=2408.070068359375\n", + "global step=18743296, episodic return=2385.45458984375\n", + "global step=18745344, episodic return=220.75790405273438\n", + "global step=18745344, episodic return=2342.960205078125\n", + "global step=18747392, episodic return=2439.07861328125\n", + "global step=18747392, episodic return=2399.207763671875\n", + "global step=18747392, episodic return=2457.576904296875\n", + "global step=18747392, episodic return=2249.1787109375\n", + "global step=18749440, episodic return=2458.061279296875\n", + "global step=18749440, episodic return=2387.843994140625\n", + "global step=18749440, episodic return=2428.6630859375\n", + "global step=18749440, episodic return=1861.6622314453125\n", + "global step=18751488, episodic return=2477.3515625\n", + "global step=18751488, episodic return=2463.478515625\n", + "global step=18753536, episodic return=2444.066162109375\n", + "global step=18753536, episodic return=2433.78759765625\n", + "global step=18753536, episodic return=1508.925048828125\n", + "global step=18753536, episodic return=2448.470458984375\n", + "global step=18753536, episodic return=2421.366943359375\n", + "global step=18755584, episodic return=2467.62744140625\n", + "global step=18755584, episodic return=396.57464599609375\n", + "global step=18757632, episodic return=2425.54541015625\n", + "global step=18759680, episodic return=2430.315185546875\n", + "global step=18759680, episodic return=2425.243896484375\n", + "global step=18759680, episodic return=2431.383544921875\n", + "global step=18761728, episodic return=2457.991455078125\n", + "global step=18761728, episodic return=2466.40185546875\n", + "global step=18763776, episodic return=2453.237548828125\n", + "global step=18763776, episodic return=2430.935302734375\n", + "global step=18765824, episodic return=2158.71240234375\n", + "global step=18765824, episodic return=1215.1187744140625\n", + "global step=18765824, episodic return=2434.269287109375\n", + "global step=18765824, episodic return=2432.6630859375\n", + "global step=18767872, episodic return=2466.055419921875\n", + "global step=18771968, episodic return=1807.6380615234375\n", + "global step=18771968, episodic return=2439.129150390625\n", + "global step=18771968, episodic return=2436.71044921875\n", + "global step=18771968, episodic return=2406.607421875\n", + "global step=18774016, episodic return=787.6948852539062\n", + "global step=18776064, episodic return=2419.642333984375\n", + "global step=18780160, episodic return=2452.759521484375\n", + "global step=18780160, episodic return=1857.61865234375\n", + "global step=18782208, episodic return=2437.590087890625\n", + "global step=18784256, episodic return=2360.991943359375\n", + "global step=18784256, episodic return=2440.403076171875\n", + "global step=18784256, episodic return=2387.93603515625\n", + "global step=18786304, episodic return=2278.33251953125\n", + "global step=18786304, episodic return=2460.659423828125\n", + "global step=18786304, episodic return=2422.0576171875\n", + "global step=18788352, episodic return=2483.5087890625\n", + "global step=18788352, episodic return=2433.656982421875\n", + "global step=18790400, episodic return=2462.589599609375\n", + "global step=18792448, episodic return=2423.77001953125\n", + "global step=18794496, episodic return=2445.390380859375\n", + "global step=18794496, episodic return=2448.35009765625\n", + "global step=18794496, episodic return=2417.15478515625\n", + "global step=18794496, episodic return=320.30340576171875\n", + "global step=18796544, episodic return=2395.598876953125\n", + "global step=18796544, episodic return=2397.349853515625\n", + "global step=18796544, episodic return=1645.3577880859375\n", + "global step=18796544, episodic return=2413.670166015625\n", + "global step=18796544, episodic return=2391.349609375\n", + "global step=18796544, episodic return=2414.31689453125\n", + "global step=18798592, episodic return=2418.6875\n", + "global step=18800640, episodic return=2387.034912109375\n", + "global step=18802688, episodic return=2400.124267578125\n", + "global step=18804736, episodic return=2479.680908203125\n", + "global step=18804736, episodic return=2399.36474609375\n", + "global step=18806784, episodic return=2440.732421875\n", + "global step=18806784, episodic return=2404.142333984375\n", + "global step=18806784, episodic return=2470.392333984375\n", + "global step=18808832, episodic return=2355.272705078125\n", + "global step=18808832, episodic return=2457.23486328125\n", + "global step=18810880, episodic return=2398.517333984375\n", + "global step=18810880, episodic return=2361.42041015625\n", + "global step=18812928, episodic return=2361.103759765625\n", + "global step=18812928, episodic return=2412.7939453125\n", + "global step=18812928, episodic return=2375.4951171875\n", + "global step=18812928, episodic return=2380.83642578125\n", + "global step=18814976, episodic return=2380.51953125\n", + "global step=18814976, episodic return=2364.85888671875\n", + "global step=18817024, episodic return=2265.54833984375\n", + "global step=18817024, episodic return=2432.677978515625\n", + "global step=18819072, episodic return=2416.64111328125\n", + "global step=18819072, episodic return=2462.40380859375\n", + "global step=18819072, episodic return=2379.776123046875\n", + "global step=18819072, episodic return=2434.34228515625\n", + "global step=18819072, episodic return=2406.435546875\n", + "global step=18821120, episodic return=2457.406005859375\n", + "global step=18823168, episodic return=2423.876220703125\n", + "global step=18823168, episodic return=579.1788940429688\n", + "global step=18825216, episodic return=1065.83056640625\n", + "global step=18825216, episodic return=901.7129516601562\n", + "global step=18827264, episodic return=2439.943603515625\n", + "global step=18831360, episodic return=39.03388214111328\n", + "global step=18831360, episodic return=2455.888427734375\n", + "global step=18831360, episodic return=2425.545654296875\n", + "global step=18831360, episodic return=2362.042724609375\n", + "global step=18831360, episodic return=1747.445556640625\n", + "global step=18831360, episodic return=2417.438720703125\n", + "global step=18833408, episodic return=2379.802978515625\n", + "global step=18833408, episodic return=1267.525634765625\n", + "global step=18835456, episodic return=2427.792724609375\n", + "global step=18835456, episodic return=1685.509765625\n", + "global step=18835456, episodic return=2478.51953125\n", + "global step=18837504, episodic return=69.30418395996094\n", + "global step=18837504, episodic return=1004.8726806640625\n", + "global step=18837504, episodic return=2421.591064453125\n", + "global step=18837504, episodic return=2425.050048828125\n", + "global step=18839552, episodic return=230.94052124023438\n", + "global step=18839552, episodic return=43.38713455200195\n", + "global step=18839552, episodic return=2387.183349609375\n", + "global step=18841600, episodic return=2391.6318359375\n", + "global step=18843648, episodic return=229.35838317871094\n", + "global step=18843648, episodic return=214.97120666503906\n", + "global step=18843648, episodic return=2415.462158203125\n", + "global step=18843648, episodic return=2424.883056640625\n", + "global step=18843648, episodic return=208.5065460205078\n", + "global step=18847744, episodic return=2398.395263671875\n", + "global step=18849792, episodic return=2393.740478515625\n", + "global step=18853888, episodic return=2432.81689453125\n", + "global step=18853888, episodic return=300.18896484375\n", + "global step=18855936, episodic return=2354.507080078125\n", + "global step=18857984, episodic return=2441.494140625\n", + "global step=18857984, episodic return=2463.759521484375\n", + "global step=18857984, episodic return=2348.6962890625\n", + "global step=18857984, episodic return=2351.593017578125\n", + "global step=18857984, episodic return=2396.983154296875\n", + "global step=18857984, episodic return=2380.690185546875\n", + "global step=18857984, episodic return=85.05066680908203\n", + "global step=18860032, episodic return=2396.394775390625\n", + "global step=18860032, episodic return=2391.807861328125\n", + "global step=18862080, episodic return=2399.788818359375\n", + "global step=18864128, episodic return=2389.5634765625\n", + "global step=18864128, episodic return=2387.173095703125\n", + "global step=18864128, episodic return=2427.11962890625\n", + "global step=18864128, episodic return=2383.292236328125\n", + "global step=18864128, episodic return=2399.997314453125\n", + "global step=18866176, episodic return=2404.8017578125\n", + "global step=18866176, episodic return=2364.753662109375\n", + "global step=18868224, episodic return=2364.69091796875\n", + "global step=18868224, episodic return=31.538650512695312\n", + "global step=18870272, episodic return=2356.842041015625\n", + "global step=18870272, episodic return=2249.240234375\n", + "global step=18870272, episodic return=2199.2060546875\n", + "global step=18870272, episodic return=2342.6923828125\n", + "global step=18872320, episodic return=2349.137939453125\n", + "global step=18872320, episodic return=2373.693603515625\n", + "global step=18872320, episodic return=2367.765869140625\n", + "global step=18874368, episodic return=2449.91357421875\n", + "global step=18876416, episodic return=2414.38720703125\n", + "global step=18876416, episodic return=2319.375244140625\n", + "global step=18878464, episodic return=2423.159912109375\n", + "global step=18878464, episodic return=2414.43603515625\n", + "global step=18880512, episodic return=2412.19580078125\n", + "global step=18880512, episodic return=2293.508544921875\n", + "global step=18880512, episodic return=2406.321044921875\n", + "global step=18882560, episodic return=2435.623046875\n", + "global step=18882560, episodic return=2430.8212890625\n", + "global step=18884608, episodic return=2450.886474609375\n", + "global step=18886656, episodic return=2389.584228515625\n", + "global step=18886656, episodic return=2437.933349609375\n", + "global step=18886656, episodic return=248.95872497558594\n", + "global step=18886656, episodic return=2376.71728515625\n", + "global step=18890752, episodic return=2449.033935546875\n", + "global step=18890752, episodic return=1205.32666015625\n", + "global step=18892800, episodic return=2365.952392578125\n", + "global step=18894848, episodic return=2320.52099609375\n", + "global step=18894848, episodic return=2405.063720703125\n", + "global step=18894848, episodic return=1336.6739501953125\n", + "global step=18894848, episodic return=2365.453369140625\n", + "global step=18894848, episodic return=2463.270751953125\n", + "global step=18896896, episodic return=2434.66357421875\n", + "global step=18898944, episodic return=2298.12548828125\n", + "global step=18898944, episodic return=394.03485107421875\n", + "global step=18898944, episodic return=2316.033447265625\n", + "global step=18898944, episodic return=2398.702392578125\n", + "global step=18903040, episodic return=2353.569580078125\n", + "global step=18905088, episodic return=2387.913818359375\n", + "global step=18907136, episodic return=2338.148193359375\n", + "global step=18909184, episodic return=2334.329833984375\n", + "global step=18911232, episodic return=2396.662353515625\n", + "global step=18911232, episodic return=2428.656005859375\n", + "global step=18913280, episodic return=2358.654052734375\n", + "global step=18913280, episodic return=2388.8349609375\n", + "global step=18915328, episodic return=1187.2860107421875\n", + "global step=18917376, episodic return=2023.7801513671875\n", + "global step=18917376, episodic return=2382.8818359375\n", + "global step=18919424, episodic return=2404.512939453125\n", + "global step=18921472, episodic return=2378.231689453125\n", + "global step=18923520, episodic return=2374.806640625\n", + "global step=18923520, episodic return=2341.699462890625\n", + "global step=18925568, episodic return=963.4793701171875\n", + "global step=18925568, episodic return=2426.841796875\n", + "global step=18925568, episodic return=2328.55517578125\n", + "global step=18925568, episodic return=2398.819091796875\n", + "global step=18929664, episodic return=2446.641357421875\n", + "global step=18929664, episodic return=2382.606689453125\n", + "global step=18933760, episodic return=1910.1544189453125\n", + "global step=18933760, episodic return=2397.19873046875\n", + "global step=18935808, episodic return=2303.528564453125\n", + "global step=18935808, episodic return=2402.44873046875\n", + "global step=18939904, episodic return=2355.8515625\n", + "global step=18939904, episodic return=2364.14404296875\n", + "global step=18939904, episodic return=2391.64599609375\n", + "global step=18939904, episodic return=932.3621826171875\n", + "global step=18946048, episodic return=2452.19287109375\n", + "global step=18946048, episodic return=2410.27001953125\n", + "global step=18946048, episodic return=2274.634521484375\n", + "global step=18950144, episodic return=2435.048828125\n", + "global step=18952192, episodic return=2406.919189453125\n", + "global step=18952192, episodic return=2248.585693359375\n", + "global step=18952192, episodic return=2339.029296875\n", + "global step=18954240, episodic return=2399.836181640625\n", + "global step=18958336, episodic return=2117.942626953125\n", + "global step=18958336, episodic return=2357.943359375\n", + "global step=18960384, episodic return=2354.70361328125\n", + "global step=18962432, episodic return=2359.1640625\n", + "global step=18962432, episodic return=345.5293273925781\n", + "global step=18964480, episodic return=2395.943603515625\n", + "global step=18964480, episodic return=2336.1396484375\n", + "global step=18964480, episodic return=2398.0126953125\n", + "global step=18964480, episodic return=2424.023681640625\n", + "global step=18966528, episodic return=2261.891357421875\n", + "global step=18966528, episodic return=2364.9560546875\n", + "global step=18970624, episodic return=2450.31640625\n", + "global step=18970624, episodic return=2402.528564453125\n", + "global step=18970624, episodic return=2304.525390625\n", + "global step=18970624, episodic return=2437.484130859375\n", + "global step=18970624, episodic return=2388.818359375\n", + "global step=18972672, episodic return=2369.934814453125\n", + "global step=18974720, episodic return=2354.832763671875\n", + "global step=18974720, episodic return=2281.961669921875\n", + "global step=18978816, episodic return=2310.268798828125\n", + "global step=18978816, episodic return=189.81112670898438\n", + "global step=18980864, episodic return=2334.91552734375\n", + "global step=18980864, episodic return=2397.8271484375\n", + "global step=18980864, episodic return=155.89431762695312\n", + "global step=18980864, episodic return=1889.3931884765625\n", + "global step=18980864, episodic return=2307.947265625\n", + "global step=18980864, episodic return=2455.107177734375\n", + "global step=18982912, episodic return=2360.17236328125\n", + "global step=18982912, episodic return=2292.76708984375\n", + "global step=18982912, episodic return=2254.99169921875\n", + "global step=18982912, episodic return=2322.728759765625\n", + "global step=18984960, episodic return=2023.427001953125\n", + "global step=18984960, episodic return=2401.03564453125\n", + "global step=18987008, episodic return=2421.663330078125\n", + "global step=18987008, episodic return=2317.475341796875\n", + "global step=18989056, episodic return=2343.390869140625\n", + "global step=18989056, episodic return=2280.269287109375\n", + "global step=18991104, episodic return=2310.052001953125\n", + "global step=18995200, episodic return=2327.128173828125\n", + "global step=18997248, episodic return=2285.208251953125\n", + "global step=18997248, episodic return=2300.324951171875\n", + "global step=18997248, episodic return=2362.946533203125\n", + "global step=18997248, episodic return=411.7300720214844\n", + "global step=18997248, episodic return=2317.89013671875\n", + "global step=18999296, episodic return=2277.8828125\n", + "global step=18999296, episodic return=2324.422607421875\n", + "global step=18999296, episodic return=2216.053955078125\n", + "global step=19001344, episodic return=2290.780029296875\n", + "global step=19001344, episodic return=2333.9853515625\n", + "global step=19003392, episodic return=2268.65087890625\n", + "global step=19003392, episodic return=548.0648193359375\n", + "global step=19003392, episodic return=2403.715087890625\n", + "global step=19005440, episodic return=2259.249755859375\n", + "global step=19005440, episodic return=2302.388671875\n", + "global step=19007488, episodic return=2347.98388671875\n", + "global step=19009536, episodic return=2279.204345703125\n", + "global step=19009536, episodic return=2313.14599609375\n", + "global step=19011584, episodic return=2390.6015625\n", + "global step=19011584, episodic return=2252.9794921875\n", + "global step=19015680, episodic return=2311.69580078125\n", + "global step=19019776, episodic return=2297.985595703125\n", + "global step=19019776, episodic return=2327.061767578125\n", + "global step=19019776, episodic return=2461.340576171875\n", + "global step=19021824, episodic return=2307.001708984375\n", + "global step=19021824, episodic return=2423.248046875\n", + "global step=19021824, episodic return=2421.7333984375\n", + "global step=19023872, episodic return=2420.508544921875\n", + "global step=19023872, episodic return=2337.493408203125\n", + "global step=19025920, episodic return=2386.879150390625\n", + "global step=19027968, episodic return=2390.115234375\n", + "global step=19027968, episodic return=703.3779907226562\n", + "global step=19030016, episodic return=2290.263427734375\n", + "global step=19034112, episodic return=2392.45068359375\n", + "global step=19034112, episodic return=127.94068908691406\n", + "global step=19034112, episodic return=2291.330078125\n", + "global step=19038208, episodic return=2278.718017578125\n", + "global step=19038208, episodic return=2363.7978515625\n", + "global step=19038208, episodic return=2316.35107421875\n", + "global step=19038208, episodic return=2302.575439453125\n", + "global step=19038208, episodic return=121.99407196044922\n", + "global step=19038208, episodic return=2312.609375\n", + "global step=19042304, episodic return=2359.628173828125\n", + "global step=19042304, episodic return=2355.408203125\n", + "global step=19042304, episodic return=2294.569580078125\n", + "global step=19044352, episodic return=2309.594482421875\n", + "global step=19044352, episodic return=2020.4901123046875\n", + "global step=19046400, episodic return=2315.069091796875\n", + "global step=19046400, episodic return=2280.971923828125\n", + "global step=19046400, episodic return=2307.8935546875\n", + "global step=19050496, episodic return=135.78431701660156\n", + "global step=19050496, episodic return=2410.742431640625\n", + "global step=19050496, episodic return=2414.287353515625\n", + "global step=19050496, episodic return=2340.534423828125\n", + "global step=19050496, episodic return=2366.442138671875\n", + "global step=19052544, episodic return=2348.009765625\n", + "global step=19052544, episodic return=2376.204833984375\n", + "global step=19052544, episodic return=2310.031982421875\n", + "global step=19054592, episodic return=2347.279052734375\n", + "global step=19054592, episodic return=2444.001708984375\n", + "global step=19056640, episodic return=2380.266357421875\n", + "global step=19056640, episodic return=2360.533203125\n", + "global step=19056640, episodic return=2315.285888671875\n", + "global step=19058688, episodic return=2374.595947265625\n", + "global step=19060736, episodic return=2238.767333984375\n", + "global step=19060736, episodic return=88.09850311279297\n", + "global step=19060736, episodic return=2368.757080078125\n", + "global step=19060736, episodic return=414.4784240722656\n", + "global step=19060736, episodic return=2357.93408203125\n", + "global step=19060736, episodic return=2392.68408203125\n", + "global step=19062784, episodic return=101.26260375976562\n", + "global step=19062784, episodic return=2322.837646484375\n", + "global step=19064832, episodic return=480.9668884277344\n", + "global step=19064832, episodic return=833.5809326171875\n", + "global step=19064832, episodic return=574.0142822265625\n", + "global step=19066880, episodic return=2352.92138671875\n", + "global step=19066880, episodic return=2292.240478515625\n", + "global step=19066880, episodic return=2367.630859375\n", + "global step=19068928, episodic return=2337.66552734375\n", + "global step=19068928, episodic return=2346.510498046875\n", + "global step=19068928, episodic return=2396.245849609375\n", + "global step=19070976, episodic return=1580.042236328125\n", + "global step=19070976, episodic return=2312.446044921875\n", + "global step=19073024, episodic return=2425.7373046875\n", + "global step=19073024, episodic return=2381.345947265625\n", + "global step=19073024, episodic return=2402.420654296875\n", + "global step=19077120, episodic return=2359.002685546875\n", + "global step=19077120, episodic return=1552.214111328125\n", + "global step=19077120, episodic return=2354.832275390625\n", + "global step=19077120, episodic return=2325.06396484375\n", + "global step=19079168, episodic return=2318.157470703125\n", + "global step=19079168, episodic return=2340.193359375\n", + "global step=19079168, episodic return=2386.2255859375\n", + "global step=19079168, episodic return=2404.150146484375\n", + "global step=19081216, episodic return=654.3381958007812\n", + "global step=19081216, episodic return=2374.43603515625\n", + "global step=19083264, episodic return=2336.332763671875\n", + "global step=19085312, episodic return=2385.406005859375\n", + "global step=19089408, episodic return=2305.67431640625\n", + "global step=19089408, episodic return=2353.75537109375\n", + "global step=19091456, episodic return=2316.43359375\n", + "global step=19091456, episodic return=2384.46630859375\n", + "global step=19093504, episodic return=2329.174072265625\n", + "global step=19093504, episodic return=2344.94775390625\n", + "global step=19095552, episodic return=2373.83642578125\n", + "global step=19095552, episodic return=2316.266357421875\n", + "global step=19095552, episodic return=877.0830688476562\n", + "global step=19095552, episodic return=2375.245361328125\n", + "global step=19097600, episodic return=1157.2646484375\n", + "global step=19097600, episodic return=2310.527587890625\n", + "global step=19097600, episodic return=2374.20263671875\n", + "global step=19097600, episodic return=106.76578521728516\n", + "global step=19097600, episodic return=2352.15673828125\n", + "global step=19099648, episodic return=2365.63720703125\n", + "global step=19099648, episodic return=2251.913818359375\n", + "global step=19101696, episodic return=2387.455322265625\n", + "global step=19101696, episodic return=2352.218017578125\n", + "global step=19103744, episodic return=2342.400390625\n", + "global step=19105792, episodic return=2407.035400390625\n", + "global step=19105792, episodic return=2363.108642578125\n", + "global step=19107840, episodic return=2316.14697265625\n", + "global step=19111936, episodic return=2333.984375\n", + "global step=19111936, episodic return=94.5665283203125\n", + "global step=19111936, episodic return=2387.271240234375\n", + "global step=19113984, episodic return=2369.366455078125\n", + "global step=19113984, episodic return=2358.244873046875\n", + "global step=19116032, episodic return=2342.576171875\n", + "global step=19118080, episodic return=534.32763671875\n", + "global step=19120128, episodic return=2378.673095703125\n", + "global step=19120128, episodic return=2341.942138671875\n", + "global step=19122176, episodic return=1408.9183349609375\n", + "global step=19122176, episodic return=2399.681884765625\n", + "global step=19122176, episodic return=2441.376953125\n", + "global step=19126272, episodic return=59.0716438293457\n", + "global step=19126272, episodic return=2402.17822265625\n", + "global step=19126272, episodic return=2403.368408203125\n", + "global step=19126272, episodic return=2272.187744140625\n", + "global step=19126272, episodic return=1401.95556640625\n", + "global step=19128320, episodic return=2366.03955078125\n", + "global step=19130368, episodic return=1512.26318359375\n", + "global step=19132416, episodic return=1730.5902099609375\n", + "global step=19132416, episodic return=511.41314697265625\n", + "global step=19132416, episodic return=1119.8421630859375\n", + "global step=19134464, episodic return=2414.755615234375\n", + "global step=19134464, episodic return=2407.213623046875\n", + "global step=19136512, episodic return=2349.002685546875\n", + "global step=19136512, episodic return=510.723876953125\n", + "global step=19138560, episodic return=735.14892578125\n", + "global step=19138560, episodic return=669.9169921875\n", + "global step=19138560, episodic return=2376.021484375\n", + "global step=19140608, episodic return=2345.27001953125\n", + "global step=19140608, episodic return=1378.551513671875\n", + "global step=19142656, episodic return=1806.841552734375\n", + "global step=19144704, episodic return=2395.712646484375\n", + "global step=19146752, episodic return=637.0353393554688\n", + "global step=19146752, episodic return=2323.513427734375\n", + "global step=19146752, episodic return=2369.8134765625\n", + "global step=19146752, episodic return=2395.85791015625\n", + "global step=19146752, episodic return=317.8525085449219\n", + "global step=19150848, episodic return=351.6181335449219\n", + "global step=19150848, episodic return=889.4360961914062\n", + "global step=19150848, episodic return=2309.063232421875\n", + "global step=19150848, episodic return=1418.7567138671875\n", + "global step=19150848, episodic return=1727.4764404296875\n", + "global step=19152896, episodic return=2336.119873046875\n", + "global step=19152896, episodic return=2392.048828125\n", + "global step=19154944, episodic return=2396.0673828125\n", + "global step=19154944, episodic return=2363.845703125\n", + "global step=19154944, episodic return=1852.270751953125\n", + "global step=19159040, episodic return=2419.12109375\n", + "global step=19159040, episodic return=256.7700500488281\n", + "global step=19159040, episodic return=2375.207763671875\n", + "global step=19159040, episodic return=2378.5380859375\n", + "global step=19161088, episodic return=274.4990234375\n", + "global step=19161088, episodic return=271.98675537109375\n", + "global step=19161088, episodic return=2101.9130859375\n", + "global step=19161088, episodic return=266.22271728515625\n", + "global step=19161088, episodic return=1424.9053955078125\n", + "global step=19163136, episodic return=2408.681640625\n", + "global step=19165184, episodic return=2399.922607421875\n", + "global step=19165184, episodic return=334.2121276855469\n", + "global step=19165184, episodic return=2371.608154296875\n", + "global step=19165184, episodic return=2433.717529296875\n", + "global step=19167232, episodic return=699.6845703125\n", + "global step=19169280, episodic return=911.1124267578125\n", + "global step=19171328, episodic return=1729.440673828125\n", + "global step=19171328, episodic return=2401.6552734375\n", + "global step=19173376, episodic return=2498.631591796875\n", + "global step=19173376, episodic return=2335.38232421875\n", + "global step=19173376, episodic return=2366.166015625\n", + "global step=19173376, episodic return=2398.283203125\n", + "global step=19175424, episodic return=2358.611328125\n", + "global step=19177472, episodic return=2447.5947265625\n", + "global step=19177472, episodic return=2393.14013671875\n", + "global step=19179520, episodic return=2292.834716796875\n", + "global step=19179520, episodic return=2431.54931640625\n", + "global step=19179520, episodic return=2367.74462890625\n", + "global step=19179520, episodic return=2372.864990234375\n", + "global step=19179520, episodic return=2435.922119140625\n", + "global step=19181568, episodic return=2322.0439453125\n", + "global step=19183616, episodic return=2414.6142578125\n", + "global step=19183616, episodic return=1693.27685546875\n", + "global step=19183616, episodic return=2359.951171875\n", + "global step=19183616, episodic return=2423.826904296875\n", + "global step=19183616, episodic return=2019.2218017578125\n", + "global step=19185664, episodic return=2400.728759765625\n", + "global step=19185664, episodic return=1315.6693115234375\n", + "global step=19185664, episodic return=1308.0750732421875\n", + "global step=19185664, episodic return=2392.964599609375\n", + "global step=19185664, episodic return=2409.648681640625\n", + "global step=19185664, episodic return=2451.627685546875\n", + "global step=19187712, episodic return=266.4726867675781\n", + "global step=19189760, episodic return=2411.7001953125\n", + "global step=19191808, episodic return=2018.656494140625\n", + "global step=19193856, episodic return=2380.8623046875\n", + "global step=19193856, episodic return=2391.502685546875\n", + "global step=19195904, episodic return=2255.1044921875\n", + "global step=19197952, episodic return=2414.953125\n", + "global step=19197952, episodic return=664.0254516601562\n", + "global step=19197952, episodic return=2395.097900390625\n", + "global step=19200000, episodic return=835.06787109375\n", + "global step=19200000, episodic return=2396.371337890625\n", + "global step=19200000, episodic return=2379.261474609375\n", + "global step=19200000, episodic return=710.8265991210938\n", + "global step=19200000, episodic return=2360.741943359375\n", + "global step=19200000, episodic return=1378.71484375\n", + "global step=19200000, episodic return=2397.041015625\n", + "global step=19202048, episodic return=2401.66455078125\n", + "global step=19202048, episodic return=1473.9466552734375\n", + "global step=19204096, episodic return=2407.868896484375\n", + "global step=19204096, episodic return=2414.27783203125\n", + "global step=19206144, episodic return=2368.75341796875\n", + "global step=19206144, episodic return=1236.228515625\n", + "global step=19206144, episodic return=2376.595458984375\n", + "global step=19208192, episodic return=2372.16259765625\n", + "global step=19210240, episodic return=124.02057647705078\n", + "global step=19210240, episodic return=2428.36181640625\n", + "global step=19210240, episodic return=1927.0067138671875\n", + "global step=19210240, episodic return=2416.48388671875\n", + "global step=19212288, episodic return=2383.10693359375\n", + "global step=19212288, episodic return=2451.30615234375\n", + "global step=19214336, episodic return=2444.02294921875\n", + "global step=19214336, episodic return=2324.936279296875\n", + "global step=19216384, episodic return=2368.828857421875\n", + "global step=19216384, episodic return=2380.324951171875\n", + "global step=19216384, episodic return=2325.00341796875\n", + "global step=19218432, episodic return=2436.564453125\n", + "global step=19218432, episodic return=1749.717041015625\n", + "global step=19218432, episodic return=1693.676513671875\n", + "global step=19218432, episodic return=2412.63671875\n", + "global step=19218432, episodic return=2357.0\n", + "global step=19218432, episodic return=2383.771728515625\n", + "global step=19218432, episodic return=2334.57763671875\n", + "global step=19220480, episodic return=232.9653778076172\n", + "global step=19220480, episodic return=2405.56396484375\n", + "global step=19220480, episodic return=2365.2265625\n", + "global step=19224576, episodic return=2387.5146484375\n", + "global step=19224576, episodic return=2341.623779296875\n", + "global step=19224576, episodic return=2348.07666015625\n", + "global step=19224576, episodic return=2356.059326171875\n", + "global step=19224576, episodic return=2374.132080078125\n", + "global step=19226624, episodic return=2344.680419921875\n", + "global step=19226624, episodic return=2403.023193359375\n", + "global step=19226624, episodic return=2411.5322265625\n", + "global step=19226624, episodic return=2402.616455078125\n", + "global step=19226624, episodic return=2297.665283203125\n", + "global step=19228672, episodic return=2350.0869140625\n", + "global step=19228672, episodic return=2323.77001953125\n", + "global step=19228672, episodic return=2358.322998046875\n", + "global step=19230720, episodic return=2382.16455078125\n", + "global step=19230720, episodic return=2325.6533203125\n", + "global step=19230720, episodic return=2423.04931640625\n", + "global step=19232768, episodic return=2398.546875\n", + "global step=19232768, episodic return=2287.8798828125\n", + "global step=19232768, episodic return=2217.53173828125\n", + "global step=19232768, episodic return=1934.1484375\n", + "global step=19234816, episodic return=2380.19140625\n", + "global step=19234816, episodic return=2095.4482421875\n", + "global step=19236864, episodic return=2380.399658203125\n", + "global step=19236864, episodic return=2405.182373046875\n", + "global step=19236864, episodic return=1726.8165283203125\n", + "global step=19236864, episodic return=2397.811767578125\n", + "global step=19238912, episodic return=2355.119873046875\n", + "global step=19238912, episodic return=2354.718017578125\n", + "global step=19238912, episodic return=2378.126708984375\n", + "global step=19238912, episodic return=2399.288818359375\n", + "global step=19238912, episodic return=1908.6766357421875\n", + "global step=19238912, episodic return=2142.587890625\n", + "global step=19240960, episodic return=2391.402587890625\n", + "global step=19240960, episodic return=2311.5673828125\n", + "global step=19243008, episodic return=2403.013427734375\n", + "global step=19245056, episodic return=2385.588623046875\n", + "global step=19247104, episodic return=2383.586181640625\n", + "global step=19247104, episodic return=2352.043701171875\n", + "global step=19247104, episodic return=2047.49169921875\n", + "global step=19247104, episodic return=2354.191650390625\n", + "global step=19247104, episodic return=2381.162109375\n", + "global step=19249152, episodic return=2345.1826171875\n", + "global step=19249152, episodic return=2353.93505859375\n", + "global step=19249152, episodic return=660.543701171875\n", + "global step=19251200, episodic return=2339.938720703125\n", + "global step=19251200, episodic return=205.0048370361328\n", + "global step=19251200, episodic return=2299.432861328125\n", + "global step=19253248, episodic return=1927.2236328125\n", + "global step=19253248, episodic return=1752.31103515625\n", + "global step=19253248, episodic return=2396.531982421875\n", + "global step=19253248, episodic return=2441.685546875\n", + "global step=19253248, episodic return=2376.166015625\n", + "global step=19255296, episodic return=2401.849609375\n", + "global step=19255296, episodic return=2395.712890625\n", + "global step=19257344, episodic return=2403.4921875\n", + "global step=19257344, episodic return=502.27099609375\n", + "global step=19257344, episodic return=2373.36181640625\n", + "global step=19257344, episodic return=1970.3427734375\n", + "global step=19259392, episodic return=2401.302001953125\n", + "global step=19259392, episodic return=2456.286376953125\n", + "global step=19259392, episodic return=2353.104736328125\n", + "global step=19259392, episodic return=2335.283447265625\n", + "global step=19259392, episodic return=2406.459716796875\n", + "global step=19261440, episodic return=2392.87646484375\n", + "global step=19261440, episodic return=2308.99853515625\n", + "global step=19261440, episodic return=2324.80810546875\n", + "global step=19261440, episodic return=2341.434814453125\n", + "global step=19263488, episodic return=2385.42236328125\n", + "global step=19263488, episodic return=2368.548095703125\n", + "global step=19263488, episodic return=2295.1767578125\n", + "global step=19265536, episodic return=2386.24365234375\n", + "global step=19265536, episodic return=2425.05029296875\n", + "global step=19265536, episodic return=1566.2025146484375\n", + "global step=19269632, episodic return=2375.239990234375\n", + "global step=19269632, episodic return=2371.1025390625\n", + "global step=19273728, episodic return=288.7928466796875\n", + "global step=19273728, episodic return=1187.9359130859375\n", + "global step=19273728, episodic return=2103.730224609375\n", + "global step=19275776, episodic return=2396.5791015625\n", + "global step=19277824, episodic return=2376.737060546875\n", + "global step=19277824, episodic return=2420.96533203125\n", + "global step=19279872, episodic return=277.7780456542969\n", + "global step=19279872, episodic return=2379.44287109375\n", + "global step=19281920, episodic return=2327.547119140625\n", + "global step=19281920, episodic return=2391.98974609375\n", + "global step=19281920, episodic return=2406.330810546875\n", + "global step=19283968, episodic return=235.15365600585938\n", + "global step=19283968, episodic return=1961.2423095703125\n", + "global step=19283968, episodic return=763.4602661132812\n", + "global step=19286016, episodic return=2410.448486328125\n", + "global step=19288064, episodic return=2422.236572265625\n", + "global step=19288064, episodic return=2385.535400390625\n", + "global step=19290112, episodic return=2366.373779296875\n", + "global step=19290112, episodic return=1391.97607421875\n", + "global step=19292160, episodic return=2387.080322265625\n", + "global step=19292160, episodic return=2406.571044921875\n", + "global step=19292160, episodic return=1313.2423095703125\n", + "global step=19294208, episodic return=2033.883056640625\n", + "global step=19294208, episodic return=2345.542724609375\n", + "global step=19296256, episodic return=1466.7838134765625\n", + "global step=19298304, episodic return=2361.775146484375\n", + "global step=19298304, episodic return=2378.72265625\n", + "global step=19298304, episodic return=2388.63134765625\n", + "global step=19298304, episodic return=279.0660705566406\n", + "global step=19300352, episodic return=2358.7138671875\n", + "global step=19300352, episodic return=177.05374145507812\n", + "global step=19302400, episodic return=2414.24658203125\n", + "global step=19302400, episodic return=2382.610595703125\n", + "global step=19304448, episodic return=2398.999267578125\n", + "global step=19304448, episodic return=2405.073974609375\n", + "global step=19306496, episodic return=2113.33544921875\n", + "global step=19306496, episodic return=2384.6875\n", + "global step=19306496, episodic return=2396.187744140625\n", + "global step=19308544, episodic return=1275.047607421875\n", + "global step=19308544, episodic return=2336.8427734375\n", + "global step=19308544, episodic return=2420.13671875\n", + "global step=19308544, episodic return=2406.3642578125\n", + "global step=19308544, episodic return=2419.521728515625\n", + "global step=19310592, episodic return=2445.67138671875\n", + "global step=19310592, episodic return=2416.805908203125\n", + "global step=19310592, episodic return=2389.19775390625\n", + "global step=19310592, episodic return=2386.007568359375\n", + "global step=19312640, episodic return=2442.56494140625\n", + "global step=19314688, episodic return=2417.984130859375\n", + "global step=19314688, episodic return=2385.74072265625\n", + "global step=19314688, episodic return=289.37237548828125\n", + "global step=19314688, episodic return=2422.077392578125\n", + "global step=19316736, episodic return=2333.12255859375\n", + "global step=19318784, episodic return=2359.76708984375\n", + "global step=19320832, episodic return=2396.3583984375\n", + "global step=19320832, episodic return=2359.049072265625\n", + "global step=19326976, episodic return=2420.217529296875\n", + "global step=19326976, episodic return=2442.28125\n", + "global step=19326976, episodic return=2363.150634765625\n", + "global step=19326976, episodic return=486.1188049316406\n", + "global step=19326976, episodic return=2447.847900390625\n", + "global step=19329024, episodic return=2391.19677734375\n", + "global step=19329024, episodic return=2393.491943359375\n", + "global step=19331072, episodic return=2321.33154296875\n", + "global step=19331072, episodic return=2384.98779296875\n", + "global step=19333120, episodic return=2407.86328125\n", + "global step=19337216, episodic return=2378.500732421875\n", + "global step=19337216, episodic return=862.3123168945312\n", + "global step=19337216, episodic return=2391.24853515625\n", + "global step=19337216, episodic return=2357.652587890625\n", + "global step=19337216, episodic return=2412.611328125\n", + "global step=19339264, episodic return=2295.069091796875\n", + "global step=19339264, episodic return=2352.6806640625\n", + "global step=19341312, episodic return=2414.821533203125\n", + "global step=19341312, episodic return=2394.7490234375\n", + "global step=19341312, episodic return=1472.6673583984375\n", + "global step=19343360, episodic return=2470.365478515625\n", + "global step=19347456, episodic return=2347.007080078125\n", + "global step=19347456, episodic return=2384.7548828125\n", + "global step=19347456, episodic return=2400.234130859375\n", + "global step=19347456, episodic return=2384.806396484375\n", + "global step=19349504, episodic return=2414.354248046875\n", + "global step=19351552, episodic return=2377.48828125\n", + "global step=19355648, episodic return=2385.160888671875\n", + "global step=19355648, episodic return=163.15647888183594\n", + "global step=19355648, episodic return=2319.31884765625\n", + "global step=19357696, episodic return=2398.532470703125\n", + "global step=19357696, episodic return=2412.233642578125\n", + "global step=19359744, episodic return=1388.6470947265625\n", + "global step=19359744, episodic return=2393.211669921875\n", + "global step=19359744, episodic return=2400.886474609375\n", + "global step=19359744, episodic return=2412.75\n", + "global step=19359744, episodic return=1861.22119140625\n", + "global step=19361792, episodic return=2335.9404296875\n", + "global step=19361792, episodic return=2312.01611328125\n", + "global step=19361792, episodic return=2385.192138671875\n", + "global step=19363840, episodic return=2334.177001953125\n", + "global step=19363840, episodic return=2394.524169921875\n", + "global step=19365888, episodic return=2345.801025390625\n", + "global step=19365888, episodic return=2390.1044921875\n", + "global step=19365888, episodic return=2416.80322265625\n", + "global step=19365888, episodic return=2401.705810546875\n", + "global step=19365888, episodic return=2374.318603515625\n", + "global step=19365888, episodic return=2421.4599609375\n", + "global step=19367936, episodic return=2435.287841796875\n", + "global step=19367936, episodic return=2412.0322265625\n", + "global step=19369984, episodic return=2376.782470703125\n", + "global step=19369984, episodic return=380.53802490234375\n", + "global step=19372032, episodic return=2429.954833984375\n", + "global step=19372032, episodic return=2452.03759765625\n", + "global step=19372032, episodic return=2384.055419921875\n", + "global step=19372032, episodic return=2381.047119140625\n", + "global step=19374080, episodic return=2423.774658203125\n", + "global step=19374080, episodic return=2239.848388671875\n", + "global step=19374080, episodic return=2391.82080078125\n", + "global step=19374080, episodic return=2342.1259765625\n", + "global step=19376128, episodic return=2350.230712890625\n", + "global step=19380224, episodic return=2340.869873046875\n", + "global step=19380224, episodic return=2422.730712890625\n", + "global step=19380224, episodic return=2266.353515625\n", + "global step=19382272, episodic return=431.6601867675781\n", + "global step=19384320, episodic return=2403.28125\n", + "global step=19384320, episodic return=2299.31298828125\n", + "global step=19386368, episodic return=2416.70556640625\n", + "global step=19386368, episodic return=2333.81884765625\n", + "global step=19386368, episodic return=2426.552734375\n", + "global step=19386368, episodic return=2380.676025390625\n", + "global step=19388416, episodic return=2369.2470703125\n", + "global step=19388416, episodic return=2330.721923828125\n", + "global step=19390464, episodic return=2448.957763671875\n", + "global step=19392512, episodic return=2397.2548828125\n", + "global step=19392512, episodic return=2346.470458984375\n", + "global step=19394560, episodic return=2413.2275390625\n", + "global step=19394560, episodic return=2419.829345703125\n", + "global step=19394560, episodic return=2420.18212890625\n", + "global step=19394560, episodic return=2371.627197265625\n", + "global step=19396608, episodic return=2397.094970703125\n", + "global step=19396608, episodic return=2288.671142578125\n", + "global step=19398656, episodic return=1828.7279052734375\n", + "global step=19398656, episodic return=2438.556884765625\n", + "global step=19400704, episodic return=1931.84716796875\n", + "global step=19400704, episodic return=2406.445556640625\n", + "global step=19402752, episodic return=2410.513427734375\n", + "global step=19402752, episodic return=2375.572265625\n", + "global step=19402752, episodic return=2373.638671875\n", + "global step=19404800, episodic return=2398.0986328125\n", + "global step=19404800, episodic return=2334.700439453125\n", + "global step=19406848, episodic return=2342.675048828125\n", + "global step=19406848, episodic return=1278.4141845703125\n", + "global step=19406848, episodic return=2386.90283203125\n", + "global step=19408896, episodic return=2390.071044921875\n", + "global step=19408896, episodic return=2420.975341796875\n", + "global step=19408896, episodic return=2409.3671875\n", + "global step=19410944, episodic return=2191.654541015625\n", + "global step=19410944, episodic return=2404.478271484375\n", + "global step=19412992, episodic return=2295.640625\n", + "global step=19412992, episodic return=2426.11962890625\n", + "global step=19412992, episodic return=2323.814697265625\n", + "global step=19412992, episodic return=2083.10302734375\n", + "global step=19415040, episodic return=2357.558349609375\n", + "global step=19417088, episodic return=2455.68896484375\n", + "global step=19419136, episodic return=2419.32958984375\n", + "global step=19419136, episodic return=2380.8974609375\n", + "global step=19421184, episodic return=655.0026245117188\n", + "global step=19423232, episodic return=2419.562255859375\n", + "global step=19423232, episodic return=2381.302978515625\n", + "global step=19423232, episodic return=2377.814453125\n", + "global step=19423232, episodic return=2414.074462890625\n", + "global step=19425280, episodic return=2365.07958984375\n", + "global step=19427328, episodic return=2351.849609375\n", + "global step=19429376, episodic return=2303.280517578125\n", + "global step=19429376, episodic return=2348.80517578125\n", + "global step=19429376, episodic return=2398.217529296875\n", + "global step=19431424, episodic return=2397.091064453125\n", + "global step=19431424, episodic return=2410.15185546875\n", + "global step=19431424, episodic return=2449.80322265625\n", + "global step=19431424, episodic return=2421.7158203125\n", + "global step=19433472, episodic return=2424.53173828125\n", + "global step=19433472, episodic return=1812.4056396484375\n", + "global step=19433472, episodic return=2390.550537109375\n", + "global step=19435520, episodic return=2428.14697265625\n", + "global step=19437568, episodic return=2310.31591796875\n", + "global step=19437568, episodic return=2402.802978515625\n", + "global step=19437568, episodic return=2391.57763671875\n", + "global step=19439616, episodic return=2387.566162109375\n", + "global step=19439616, episodic return=2385.40966796875\n", + "global step=19439616, episodic return=2418.263916015625\n", + "global step=19439616, episodic return=2347.82275390625\n", + "global step=19441664, episodic return=2375.722412109375\n", + "global step=19441664, episodic return=2422.213134765625\n", + "global step=19441664, episodic return=1927.9873046875\n", + "global step=19443712, episodic return=2417.809814453125\n", + "global step=19445760, episodic return=1256.0946044921875\n", + "global step=19445760, episodic return=2371.342529296875\n", + "global step=19447808, episodic return=273.7563781738281\n", + "global step=19447808, episodic return=1151.040771484375\n", + "global step=19447808, episodic return=2395.71826171875\n", + "global step=19449856, episodic return=263.05731201171875\n", + "global step=19449856, episodic return=2405.594482421875\n", + "global step=19451904, episodic return=2396.8564453125\n", + "global step=19451904, episodic return=2393.067626953125\n", + "global step=19451904, episodic return=2310.864990234375\n", + "global step=19451904, episodic return=2383.34326171875\n", + "global step=19453952, episodic return=2364.804443359375\n", + "global step=19453952, episodic return=2396.87255859375\n", + "global step=19453952, episodic return=252.59947204589844\n", + "global step=19456000, episodic return=2409.345947265625\n", + "global step=19456000, episodic return=2372.629638671875\n", + "global step=19458048, episodic return=2347.93701171875\n", + "global step=19458048, episodic return=2370.19287109375\n", + "global step=19458048, episodic return=2347.59716796875\n", + "global step=19460096, episodic return=2265.61279296875\n", + "global step=19460096, episodic return=2399.033935546875\n", + "global step=19462144, episodic return=2345.436279296875\n", + "global step=19462144, episodic return=610.367919921875\n", + "global step=19464192, episodic return=2393.99462890625\n", + "global step=19468288, episodic return=2431.641845703125\n", + "global step=19468288, episodic return=2417.3564453125\n", + "global step=19468288, episodic return=52.194549560546875\n", + "global step=19468288, episodic return=2369.0908203125\n", + "global step=19468288, episodic return=258.9837646484375\n", + "global step=19470336, episodic return=2418.3798828125\n", + "global step=19470336, episodic return=2406.697998046875\n", + "global step=19472384, episodic return=2331.39111328125\n", + "global step=19474432, episodic return=2458.76025390625\n", + "global step=19474432, episodic return=776.2225341796875\n", + "global step=19478528, episodic return=1249.8331298828125\n", + "global step=19478528, episodic return=2413.304443359375\n", + "global step=19478528, episodic return=2244.09033203125\n", + "global step=19482624, episodic return=2401.330810546875\n", + "global step=19482624, episodic return=2000.7369384765625\n", + "global step=19484672, episodic return=2395.44140625\n", + "global step=19484672, episodic return=2421.646484375\n", + "global step=19484672, episodic return=2416.202392578125\n", + "global step=19486720, episodic return=2284.65771484375\n", + "global step=19488768, episodic return=1134.1396484375\n", + "global step=19490816, episodic return=2417.70068359375\n", + "global step=19492864, episodic return=2373.0537109375\n", + "global step=19496960, episodic return=2361.976806640625\n", + "global step=19496960, episodic return=2354.1357421875\n", + "global step=19496960, episodic return=2391.782470703125\n", + "global step=19499008, episodic return=2300.734130859375\n", + "global step=19499008, episodic return=2401.099365234375\n", + "global step=19499008, episodic return=2406.79150390625\n", + "global step=19499008, episodic return=2342.369384765625\n", + "global step=19501056, episodic return=2424.361572265625\n", + "global step=19501056, episodic return=2338.725341796875\n", + "global step=19503104, episodic return=2384.582275390625\n", + "global step=19503104, episodic return=2441.24169921875\n", + "global step=19503104, episodic return=2192.396484375\n", + "global step=19509248, episodic return=2334.401123046875\n", + "global step=19509248, episodic return=2383.55029296875\n", + "global step=19513344, episodic return=2299.51806640625\n", + "global step=19513344, episodic return=2309.344970703125\n", + "global step=19513344, episodic return=2335.129638671875\n", + "global step=19513344, episodic return=2362.214599609375\n", + "global step=19513344, episodic return=2414.766845703125\n", + "global step=19513344, episodic return=2370.238037109375\n", + "global step=19513344, episodic return=2412.253662109375\n", + "global step=19515392, episodic return=2375.631103515625\n", + "global step=19515392, episodic return=2392.78662109375\n", + "global step=19515392, episodic return=1429.0849609375\n", + "global step=19515392, episodic return=2374.410888671875\n", + "global step=19517440, episodic return=2385.932861328125\n", + "global step=19517440, episodic return=1681.934326171875\n", + "global step=19517440, episodic return=2348.02978515625\n", + "global step=19519488, episodic return=2422.46826171875\n", + "global step=19519488, episodic return=2437.9228515625\n", + "global step=19519488, episodic return=2353.337890625\n", + "global step=19521536, episodic return=2403.759033203125\n", + "global step=19521536, episodic return=2372.171630859375\n", + "global step=19523584, episodic return=2423.41943359375\n", + "global step=19527680, episodic return=2408.198974609375\n", + "global step=19527680, episodic return=2448.648681640625\n", + "global step=19527680, episodic return=2201.909912109375\n", + "global step=19527680, episodic return=2080.56787109375\n", + "global step=19529728, episodic return=2331.609375\n", + "global step=19531776, episodic return=2334.036865234375\n", + "global step=19531776, episodic return=2356.2255859375\n", + "global step=19531776, episodic return=2351.838134765625\n", + "global step=19533824, episodic return=2374.228759765625\n", + "global step=19535872, episodic return=2359.96484375\n", + "global step=19535872, episodic return=2418.01806640625\n", + "global step=19535872, episodic return=2422.502197265625\n", + "global step=19535872, episodic return=2357.011962890625\n", + "global step=19537920, episodic return=2435.936279296875\n", + "global step=19537920, episodic return=1163.4090576171875\n", + "global step=19537920, episodic return=1727.383544921875\n", + "global step=19539968, episodic return=2399.568359375\n", + "global step=19539968, episodic return=214.00108337402344\n", + "global step=19542016, episodic return=2458.787109375\n", + "global step=19542016, episodic return=2368.65234375\n", + "global step=19542016, episodic return=2432.4794921875\n", + "global step=19544064, episodic return=2287.564453125\n", + "global step=19544064, episodic return=2310.736328125\n", + "global step=19544064, episodic return=2333.213134765625\n", + "global step=19546112, episodic return=2447.35595703125\n", + "global step=19548160, episodic return=2355.159423828125\n", + "global step=19548160, episodic return=2100.23291015625\n", + "global step=19548160, episodic return=2337.533935546875\n", + "global step=19548160, episodic return=2438.402587890625\n", + "global step=19550208, episodic return=1655.2569580078125\n", + "global step=19550208, episodic return=2340.670166015625\n", + "global step=19552256, episodic return=2360.017822265625\n", + "global step=19552256, episodic return=2381.76708984375\n", + "global step=19552256, episodic return=2367.3095703125\n", + "global step=19554304, episodic return=2370.017333984375\n", + "global step=19554304, episodic return=2326.521728515625\n", + "global step=19556352, episodic return=2385.5625\n", + "global step=19558400, episodic return=2386.526123046875\n", + "global step=19558400, episodic return=262.9427185058594\n", + "global step=19560448, episodic return=2377.924072265625\n", + "global step=19560448, episodic return=2362.153564453125\n", + "global step=19560448, episodic return=1237.0289306640625\n", + "global step=19560448, episodic return=2429.406494140625\n", + "global step=19560448, episodic return=1512.69140625\n", + "global step=19560448, episodic return=2350.859619140625\n", + "global step=19562496, episodic return=2397.054931640625\n", + "global step=19562496, episodic return=2349.5478515625\n", + "global step=19562496, episodic return=198.90463256835938\n", + "global step=19562496, episodic return=1775.5499267578125\n", + "global step=19564544, episodic return=2443.416748046875\n", + "global step=19564544, episodic return=2402.474853515625\n", + "global step=19564544, episodic return=2425.135986328125\n", + "global step=19566592, episodic return=1068.389892578125\n", + "global step=19566592, episodic return=2339.67822265625\n", + "global step=19566592, episodic return=2393.129150390625\n", + "global step=19566592, episodic return=2405.837646484375\n", + "global step=19568640, episodic return=219.10650634765625\n", + "global step=19568640, episodic return=2414.7216796875\n", + "global step=19568640, episodic return=1364.435302734375\n", + "global step=19568640, episodic return=2290.544189453125\n", + "global step=19570688, episodic return=2392.69287109375\n", + "global step=19570688, episodic return=307.8971862792969\n", + "global step=19572736, episodic return=2347.53857421875\n", + "global step=19572736, episodic return=1512.607177734375\n", + "global step=19572736, episodic return=2388.523193359375\n", + "global step=19572736, episodic return=2382.999755859375\n", + "global step=19574784, episodic return=2344.705810546875\n", + "global step=19574784, episodic return=2378.566162109375\n", + "global step=19574784, episodic return=2387.268798828125\n", + "global step=19576832, episodic return=2008.2896728515625\n", + "global step=19576832, episodic return=2389.210693359375\n", + "global step=19578880, episodic return=2319.77734375\n", + "global step=19578880, episodic return=206.6445770263672\n", + "global step=19580928, episodic return=2377.687744140625\n", + "global step=19580928, episodic return=314.8844299316406\n", + "global step=19580928, episodic return=2440.18505859375\n", + "global step=19580928, episodic return=2400.55224609375\n", + "global step=19580928, episodic return=1494.299072265625\n", + "global step=19582976, episodic return=2231.83642578125\n", + "global step=19582976, episodic return=253.6802215576172\n", + "global step=19582976, episodic return=51.80257034301758\n", + "global step=19582976, episodic return=2421.48779296875\n", + "global step=19582976, episodic return=2278.5556640625\n", + "global step=19582976, episodic return=2343.46630859375\n", + "global step=19585024, episodic return=2387.83203125\n", + "global step=19585024, episodic return=2373.65283203125\n", + "global step=19585024, episodic return=1690.1719970703125\n", + "global step=19585024, episodic return=2366.652587890625\n", + "global step=19585024, episodic return=2413.956787109375\n", + "global step=19587072, episodic return=192.51409912109375\n", + "global step=19587072, episodic return=2397.92626953125\n", + "global step=19587072, episodic return=2106.068115234375\n", + "global step=19587072, episodic return=2451.62353515625\n", + "global step=19589120, episodic return=2358.979736328125\n", + "global step=19589120, episodic return=2426.185791015625\n", + "global step=19589120, episodic return=2391.67919921875\n", + "global step=19591168, episodic return=2295.6318359375\n", + "global step=19593216, episodic return=2367.34912109375\n", + "global step=19593216, episodic return=2389.127685546875\n", + "global step=19595264, episodic return=2042.641845703125\n", + "global step=19595264, episodic return=2124.96435546875\n", + "global step=19595264, episodic return=1736.4378662109375\n", + "global step=19595264, episodic return=2423.6025390625\n", + "global step=19595264, episodic return=2409.748779296875\n", + "global step=19595264, episodic return=2358.435302734375\n", + "global step=19595264, episodic return=1293.6024169921875\n", + "global step=19595264, episodic return=2364.468017578125\n", + "global step=19595264, episodic return=2324.1005859375\n", + "global step=19597312, episodic return=2390.47021484375\n", + "global step=19597312, episodic return=2447.48046875\n", + "global step=19597312, episodic return=2404.0791015625\n", + "global step=19599360, episodic return=51.31630325317383\n", + "global step=19599360, episodic return=2447.38134765625\n", + "global step=19599360, episodic return=2292.635498046875\n", + "global step=19599360, episodic return=2406.3740234375\n", + "global step=19601408, episodic return=2403.285888671875\n", + "global step=19601408, episodic return=839.0778198242188\n", + "global step=19601408, episodic return=2276.852783203125\n", + "global step=19601408, episodic return=2395.684814453125\n", + "global step=19603456, episodic return=2381.74951171875\n", + "global step=19603456, episodic return=2088.722900390625\n", + "global step=19605504, episodic return=2388.097900390625\n", + "global step=19607552, episodic return=2350.509765625\n", + "global step=19607552, episodic return=2328.257080078125\n", + "global step=19607552, episodic return=2369.9267578125\n", + "global step=19607552, episodic return=2130.40625\n", + "global step=19607552, episodic return=1575.7933349609375\n", + "global step=19609600, episodic return=2408.95361328125\n", + "global step=19609600, episodic return=2319.822509765625\n", + "global step=19609600, episodic return=2423.067626953125\n", + "global step=19609600, episodic return=2340.900390625\n", + "global step=19609600, episodic return=2270.5361328125\n", + "global step=19609600, episodic return=2323.765380859375\n", + "global step=19611648, episodic return=2268.983154296875\n", + "global step=19611648, episodic return=2424.772705078125\n", + "global step=19613696, episodic return=2433.923095703125\n", + "global step=19613696, episodic return=2350.194580078125\n", + "global step=19613696, episodic return=2359.9853515625\n", + "global step=19615744, episodic return=2396.986328125\n", + "global step=19615744, episodic return=1291.3515625\n", + "global step=19617792, episodic return=2328.996337890625\n", + "global step=19617792, episodic return=2272.3681640625\n", + "global step=19619840, episodic return=2379.749267578125\n", + "global step=19619840, episodic return=2392.767333984375\n", + "global step=19621888, episodic return=261.1990966796875\n", + "global step=19621888, episodic return=1694.013916015625\n", + "global step=19623936, episodic return=2412.51171875\n", + "global step=19623936, episodic return=2231.05078125\n", + "global step=19623936, episodic return=2193.812255859375\n", + "global step=19623936, episodic return=2315.660400390625\n", + "global step=19623936, episodic return=2415.39111328125\n", + "global step=19625984, episodic return=2414.83740234375\n", + "global step=19625984, episodic return=2371.684814453125\n", + "global step=19628032, episodic return=2387.55615234375\n", + "global step=19628032, episodic return=1395.674072265625\n", + "global step=19628032, episodic return=2248.587158203125\n", + "global step=19628032, episodic return=2200.175048828125\n", + "global step=19630080, episodic return=2381.76416015625\n", + "global step=19630080, episodic return=2310.270751953125\n", + "global step=19630080, episodic return=2435.629638671875\n", + "global step=19632128, episodic return=1476.387451171875\n", + "global step=19634176, episodic return=2372.719482421875\n", + "global step=19636224, episodic return=2394.581298828125\n", + "global step=19638272, episodic return=2390.31689453125\n", + "global step=19638272, episodic return=2397.30224609375\n", + "global step=19640320, episodic return=1188.5592041015625\n", + "global step=19640320, episodic return=2308.843994140625\n", + "global step=19642368, episodic return=2213.49853515625\n", + "global step=19642368, episodic return=2433.538330078125\n", + "global step=19642368, episodic return=2417.544921875\n", + "global step=19642368, episodic return=2324.546630859375\n", + "global step=19642368, episodic return=241.69183349609375\n", + "global step=19644416, episodic return=2328.7880859375\n", + "global step=19644416, episodic return=292.7805480957031\n", + "global step=19646464, episodic return=2379.33203125\n", + "global step=19648512, episodic return=2378.0380859375\n", + "global step=19652608, episodic return=2376.60205078125\n", + "global step=19652608, episodic return=1164.7459716796875\n", + "global step=19652608, episodic return=2389.29052734375\n", + "global step=19652608, episodic return=2374.35400390625\n", + "global step=19654656, episodic return=2409.7158203125\n", + "global step=19654656, episodic return=2389.39599609375\n", + "global step=19654656, episodic return=2403.954833984375\n", + "global step=19654656, episodic return=2294.669677734375\n", + "global step=19656704, episodic return=2376.571044921875\n", + "global step=19658752, episodic return=2435.96044921875\n", + "global step=19658752, episodic return=2167.812255859375\n", + "global step=19658752, episodic return=2211.13037109375\n", + "global step=19658752, episodic return=2178.192138671875\n", + "global step=19658752, episodic return=2298.056640625\n", + "global step=19658752, episodic return=1132.8724365234375\n", + "global step=19660800, episodic return=2375.1787109375\n", + "global step=19660800, episodic return=2304.45703125\n", + "global step=19660800, episodic return=2390.72900390625\n", + "global step=19660800, episodic return=2398.721435546875\n", + "global step=19660800, episodic return=2373.851806640625\n", + "global step=19664896, episodic return=2264.017333984375\n", + "global step=19664896, episodic return=2386.53955078125\n", + "global step=19664896, episodic return=2362.884033203125\n", + "global step=19664896, episodic return=2421.196533203125\n", + "global step=19666944, episodic return=2378.478759765625\n", + "global step=19668992, episodic return=2419.623779296875\n", + "global step=19671040, episodic return=2359.43603515625\n", + "global step=19673088, episodic return=2369.576904296875\n", + "global step=19673088, episodic return=2185.00048828125\n", + "global step=19673088, episodic return=2437.466552734375\n", + "global step=19675136, episodic return=2289.811767578125\n", + "global step=19675136, episodic return=2352.052490234375\n", + "global step=19675136, episodic return=2402.6455078125\n", + "global step=19677184, episodic return=2358.429443359375\n", + "global step=19677184, episodic return=2397.132568359375\n", + "global step=19677184, episodic return=2441.70947265625\n", + "global step=19677184, episodic return=523.1707763671875\n", + "global step=19679232, episodic return=2326.442626953125\n", + "global step=19679232, episodic return=2453.189697265625\n", + "global step=19679232, episodic return=2313.387939453125\n", + "global step=19679232, episodic return=2370.27294921875\n", + "global step=19681280, episodic return=2342.729248046875\n", + "global step=19681280, episodic return=2320.512939453125\n", + "global step=19681280, episodic return=2392.583984375\n", + "global step=19681280, episodic return=2417.28271484375\n", + "global step=19683328, episodic return=2330.454833984375\n", + "global step=19683328, episodic return=2403.699951171875\n", + "global step=19685376, episodic return=2343.844482421875\n", + "global step=19685376, episodic return=2475.9404296875\n", + "global step=19685376, episodic return=2418.455810546875\n", + "global step=19685376, episodic return=2035.7490234375\n", + "global step=19685376, episodic return=2392.24609375\n", + "global step=19687424, episodic return=2426.322021484375\n", + "global step=19687424, episodic return=2342.541748046875\n", + "global step=19689472, episodic return=2415.79150390625\n", + "global step=19689472, episodic return=2434.96630859375\n", + "global step=19689472, episodic return=2442.997802734375\n", + "global step=19691520, episodic return=300.9510498046875\n", + "global step=19691520, episodic return=914.0606689453125\n", + "global step=19691520, episodic return=2322.215087890625\n", + "global step=19693568, episodic return=1131.0030517578125\n", + "global step=19693568, episodic return=2383.94189453125\n", + "global step=19695616, episodic return=2406.431396484375\n", + "global step=19695616, episodic return=2408.917236328125\n", + "global step=19697664, episodic return=2411.211181640625\n", + "global step=19697664, episodic return=2384.573486328125\n", + "global step=19699712, episodic return=2264.337890625\n", + "global step=19699712, episodic return=269.750732421875\n", + "global step=19699712, episodic return=2351.332275390625\n", + "global step=19699712, episodic return=2324.689697265625\n", + "global step=19699712, episodic return=1977.507568359375\n", + "global step=19701760, episodic return=2447.694580078125\n", + "global step=19701760, episodic return=1733.24560546875\n", + "global step=19701760, episodic return=2378.2939453125\n", + "global step=19703808, episodic return=238.1365966796875\n", + "global step=19703808, episodic return=2404.382080078125\n", + "global step=19703808, episodic return=2296.39306640625\n", + "global step=19705856, episodic return=2360.080810546875\n", + "global step=19705856, episodic return=2376.234619140625\n", + "global step=19705856, episodic return=2441.396484375\n", + "global step=19707904, episodic return=800.1691284179688\n", + "global step=19707904, episodic return=2305.7490234375\n", + "global step=19707904, episodic return=1831.2071533203125\n", + "global step=19707904, episodic return=2336.289794921875\n", + "global step=19714048, episodic return=2429.640625\n", + "global step=19714048, episodic return=2426.060546875\n", + "global step=19716096, episodic return=2403.49462890625\n", + "global step=19718144, episodic return=2395.900634765625\n", + "global step=19718144, episodic return=2414.96240234375\n", + "global step=19720192, episodic return=2362.37646484375\n", + "global step=19722240, episodic return=1948.20849609375\n", + "global step=19722240, episodic return=2384.31201171875\n", + "global step=19724288, episodic return=2326.043701171875\n", + "global step=19724288, episodic return=2397.06103515625\n", + "global step=19724288, episodic return=2398.35595703125\n", + "global step=19726336, episodic return=2429.288818359375\n", + "global step=19728384, episodic return=2349.260009765625\n", + "global step=19728384, episodic return=2365.1982421875\n", + "global step=19730432, episodic return=2446.8583984375\n", + "global step=19730432, episodic return=2349.211181640625\n", + "global step=19732480, episodic return=2362.1728515625\n", + "global step=19734528, episodic return=2441.4365234375\n", + "global step=19734528, episodic return=2327.519775390625\n", + "global step=19734528, episodic return=2388.701416015625\n", + "global step=19734528, episodic return=555.7861938476562\n", + "global step=19736576, episodic return=2388.050048828125\n", + "global step=19738624, episodic return=2335.32373046875\n", + "global step=19738624, episodic return=1019.8975830078125\n", + "global step=19740672, episodic return=2344.210693359375\n", + "global step=19740672, episodic return=283.2675476074219\n", + "global step=19742720, episodic return=2432.0830078125\n", + "global step=19742720, episodic return=2467.489501953125\n", + "global step=19742720, episodic return=2379.248046875\n", + "global step=19742720, episodic return=268.357421875\n", + "global step=19742720, episodic return=2354.517578125\n", + "global step=19742720, episodic return=2313.30615234375\n", + "global step=19744768, episodic return=2328.355224609375\n", + "global step=19744768, episodic return=2436.083984375\n", + "global step=19744768, episodic return=2393.216796875\n", + "global step=19744768, episodic return=2404.541015625\n", + "global step=19748864, episodic return=1200.5113525390625\n", + "global step=19750912, episodic return=2338.294189453125\n", + "global step=19750912, episodic return=2378.57958984375\n", + "global step=19750912, episodic return=2437.476318359375\n", + "global step=19752960, episodic return=2349.65380859375\n", + "global step=19752960, episodic return=2451.85107421875\n", + "global step=19752960, episodic return=2441.637451171875\n", + "global step=19752960, episodic return=2381.806396484375\n", + "global step=19752960, episodic return=2225.90966796875\n", + "global step=19752960, episodic return=2284.729736328125\n", + "global step=19755008, episodic return=2395.460693359375\n", + "global step=19755008, episodic return=1013.7155151367188\n", + "global step=19757056, episodic return=2356.73046875\n", + "global step=19757056, episodic return=2316.51904296875\n", + "global step=19763200, episodic return=2353.89697265625\n", + "global step=19765248, episodic return=2408.20654296875\n", + "global step=19765248, episodic return=2372.291259765625\n", + "global step=19765248, episodic return=2424.74072265625\n", + "global step=19765248, episodic return=1015.8096313476562\n", + "global step=19767296, episodic return=2386.00830078125\n", + "global step=19767296, episodic return=2398.17431640625\n", + "global step=19767296, episodic return=1436.605224609375\n", + "global step=19769344, episodic return=256.28302001953125\n", + "global step=19769344, episodic return=2428.28173828125\n", + "global step=19769344, episodic return=2444.359619140625\n", + "global step=19769344, episodic return=2338.5224609375\n", + "global step=19771392, episodic return=239.1456756591797\n", + "global step=19773440, episodic return=2334.10009765625\n", + "global step=19773440, episodic return=75.97417449951172\n", + "global step=19775488, episodic return=2422.30224609375\n", + "global step=19775488, episodic return=2370.285888671875\n", + "global step=19775488, episodic return=2381.65576171875\n", + "global step=19775488, episodic return=65.781005859375\n", + "global step=19775488, episodic return=2418.267822265625\n", + "global step=19775488, episodic return=2343.721923828125\n", + "global step=19777536, episodic return=2392.2998046875\n", + "global step=19779584, episodic return=2395.59326171875\n", + "global step=19779584, episodic return=2379.9345703125\n", + "global step=19779584, episodic return=257.09075927734375\n", + "global step=19781632, episodic return=1912.2518310546875\n", + "global step=19783680, episodic return=2423.802734375\n", + "global step=19783680, episodic return=2392.838623046875\n", + "global step=19783680, episodic return=1762.4810791015625\n", + "global step=19785728, episodic return=2360.34228515625\n", + "global step=19787776, episodic return=2279.489013671875\n", + "global step=19787776, episodic return=2426.931640625\n", + "global step=19787776, episodic return=2357.887939453125\n", + "global step=19787776, episodic return=2362.869873046875\n", + "global step=19789824, episodic return=185.70816040039062\n", + "global step=19789824, episodic return=2409.297607421875\n", + "global step=19789824, episodic return=2361.75\n", + "global step=19789824, episodic return=1729.631103515625\n", + "global step=19789824, episodic return=2214.782470703125\n", + "global step=19791872, episodic return=2469.134521484375\n", + "global step=19791872, episodic return=2404.111328125\n", + "global step=19791872, episodic return=2371.827392578125\n", + "global step=19793920, episodic return=2442.72216796875\n", + "global step=19793920, episodic return=2381.1875\n", + "global step=19793920, episodic return=2417.278076171875\n", + "global step=19793920, episodic return=2338.75\n", + "global step=19795968, episodic return=2420.822265625\n", + "global step=19795968, episodic return=2375.40380859375\n", + "global step=19795968, episodic return=2343.103271484375\n", + "global step=19798016, episodic return=2414.634765625\n", + "global step=19800064, episodic return=1220.172607421875\n", + "global step=19800064, episodic return=1302.157470703125\n", + "global step=19800064, episodic return=2352.01513671875\n", + "global step=19800064, episodic return=2433.76953125\n", + "global step=19800064, episodic return=2471.051513671875\n", + "global step=19802112, episodic return=2343.063720703125\n", + "global step=19802112, episodic return=2362.843994140625\n", + "global step=19802112, episodic return=2412.073974609375\n", + "global step=19802112, episodic return=241.27972412109375\n", + "global step=19806208, episodic return=2387.249267578125\n", + "global step=19806208, episodic return=2500.984619140625\n", + "global step=19806208, episodic return=2381.875732421875\n", + "global step=19806208, episodic return=2417.29541015625\n", + "global step=19810304, episodic return=2323.556640625\n", + "global step=19810304, episodic return=2433.77197265625\n", + "global step=19812352, episodic return=2403.643798828125\n", + "global step=19812352, episodic return=2414.5732421875\n", + "global step=19814400, episodic return=2426.801513671875\n", + "global step=19814400, episodic return=2407.155029296875\n", + "global step=19816448, episodic return=2385.900634765625\n", + "global step=19816448, episodic return=2465.585693359375\n", + "global step=19816448, episodic return=2344.903076171875\n", + "global step=19818496, episodic return=2407.51416015625\n", + "global step=19818496, episodic return=2356.3212890625\n", + "global step=19818496, episodic return=2462.425048828125\n", + "global step=19818496, episodic return=2421.43212890625\n", + "global step=19818496, episodic return=2401.569091796875\n", + "global step=19820544, episodic return=2457.607421875\n", + "global step=19820544, episodic return=2437.070068359375\n", + "global step=19820544, episodic return=2341.075927734375\n", + "global step=19820544, episodic return=2381.455810546875\n", + "global step=19820544, episodic return=2339.16796875\n", + "global step=19820544, episodic return=2406.37841796875\n", + "global step=19822592, episodic return=2408.591552734375\n", + "global step=19822592, episodic return=2466.035888671875\n", + "global step=19822592, episodic return=2397.6904296875\n", + "global step=19824640, episodic return=2407.26708984375\n", + "global step=19826688, episodic return=2404.044189453125\n", + "global step=19826688, episodic return=1829.5570068359375\n", + "global step=19826688, episodic return=2399.127685546875\n", + "global step=19826688, episodic return=2460.419189453125\n", + "global step=19826688, episodic return=1578.67236328125\n", + "global step=19826688, episodic return=2397.771484375\n", + "global step=19826688, episodic return=1824.8184814453125\n", + "global step=19828736, episodic return=2392.48095703125\n", + "global step=19830784, episodic return=2458.56201171875\n", + "global step=19832832, episodic return=2420.991455078125\n", + "global step=19832832, episodic return=2413.16796875\n", + "global step=19832832, episodic return=2384.31787109375\n", + "global step=19832832, episodic return=2392.06982421875\n", + "global step=19834880, episodic return=2421.360595703125\n", + "global step=19834880, episodic return=2375.823486328125\n", + "global step=19834880, episodic return=2058.278076171875\n", + "global step=19836928, episodic return=2400.54345703125\n", + "global step=19838976, episodic return=2494.011962890625\n", + "global step=19838976, episodic return=2389.31689453125\n", + "global step=19838976, episodic return=2442.60546875\n", + "global step=19841024, episodic return=2424.3935546875\n", + "global step=19841024, episodic return=183.72950744628906\n", + "global step=19841024, episodic return=2413.62939453125\n", + "global step=19845120, episodic return=2405.71240234375\n", + "global step=19845120, episodic return=2396.238037109375\n", + "global step=19847168, episodic return=1683.9508056640625\n", + "global step=19847168, episodic return=2365.181640625\n", + "global step=19847168, episodic return=2384.5615234375\n", + "global step=19847168, episodic return=2400.972900390625\n", + "global step=19849216, episodic return=2370.806396484375\n", + "global step=19849216, episodic return=2353.010498046875\n", + "global step=19853312, episodic return=2397.49755859375\n", + "global step=19853312, episodic return=2458.178466796875\n", + "global step=19855360, episodic return=2404.798583984375\n", + "global step=19855360, episodic return=299.0436706542969\n", + "global step=19857408, episodic return=2376.3740234375\n", + "global step=19857408, episodic return=2362.7626953125\n", + "global step=19857408, episodic return=2458.4931640625\n", + "global step=19859456, episodic return=2385.86865234375\n", + "global step=19859456, episodic return=2360.463623046875\n", + "global step=19859456, episodic return=2419.1396484375\n", + "global step=19861504, episodic return=2416.44677734375\n", + "global step=19861504, episodic return=2375.826416015625\n", + "global step=19861504, episodic return=2367.463623046875\n", + "global step=19863552, episodic return=1602.6373291015625\n", + "global step=19863552, episodic return=2346.03466796875\n", + "global step=19863552, episodic return=1209.4642333984375\n", + "global step=19863552, episodic return=2425.963623046875\n", + "global step=19863552, episodic return=2359.5302734375\n", + "global step=19863552, episodic return=2416.295166015625\n", + "global step=19865600, episodic return=2453.97607421875\n", + "global step=19867648, episodic return=1092.6490478515625\n", + "global step=19867648, episodic return=26.522789001464844\n", + "global step=19867648, episodic return=2362.949462890625\n", + "global step=19867648, episodic return=2418.98876953125\n", + "global step=19869696, episodic return=2054.81494140625\n", + "global step=19871744, episodic return=2387.843017578125\n", + "global step=19871744, episodic return=2441.822998046875\n", + "global step=19873792, episodic return=2419.8544921875\n", + "global step=19873792, episodic return=2163.679443359375\n", + "global step=19875840, episodic return=2356.654296875\n", + "global step=19875840, episodic return=388.4762878417969\n", + "global step=19875840, episodic return=1372.829345703125\n", + "global step=19875840, episodic return=2475.671142578125\n", + "global step=19877888, episodic return=2474.2529296875\n", + "global step=19877888, episodic return=2411.91015625\n", + "global step=19879936, episodic return=2402.146728515625\n", + "global step=19879936, episodic return=307.5670471191406\n", + "global step=19879936, episodic return=2440.939453125\n", + "global step=19879936, episodic return=943.6029663085938\n", + "global step=19881984, episodic return=2375.599365234375\n", + "global step=19884032, episodic return=2352.17236328125\n", + "global step=19884032, episodic return=2447.12841796875\n", + "global step=19884032, episodic return=2324.671630859375\n", + "global step=19886080, episodic return=2404.966552734375\n", + "global step=19886080, episodic return=2340.777587890625\n", + "global step=19890176, episodic return=1196.0810546875\n", + "global step=19890176, episodic return=944.07177734375\n", + "global step=19890176, episodic return=2423.079345703125\n", + "global step=19892224, episodic return=2363.846435546875\n", + "global step=19892224, episodic return=1533.95361328125\n", + "global step=19892224, episodic return=2171.600341796875\n", + "global step=19892224, episodic return=1897.78466796875\n", + "global step=19896320, episodic return=2282.9775390625\n", + "global step=19896320, episodic return=2345.479736328125\n", + "global step=19896320, episodic return=2323.7548828125\n", + "global step=19902464, episodic return=1729.5487060546875\n", + "global step=19902464, episodic return=2381.12939453125\n", + "global step=19902464, episodic return=2365.58056640625\n", + "global step=19904512, episodic return=2409.0380859375\n", + "global step=19906560, episodic return=2381.77685546875\n", + "global step=19908608, episodic return=1720.6578369140625\n", + "global step=19908608, episodic return=2365.041259765625\n", + "global step=19910656, episodic return=2403.0009765625\n", + "global step=19912704, episodic return=69.95136260986328\n", + "global step=19912704, episodic return=2386.591064453125\n", + "global step=19912704, episodic return=2367.703857421875\n", + "global step=19912704, episodic return=2363.035888671875\n", + "global step=19914752, episodic return=2343.324462890625\n", + "global step=19914752, episodic return=260.3826904296875\n", + "global step=19914752, episodic return=2376.272705078125\n", + "global step=19914752, episodic return=2422.698486328125\n", + "global step=19916800, episodic return=2297.4287109375\n", + "global step=19918848, episodic return=2345.349365234375\n", + "global step=19918848, episodic return=2433.0185546875\n", + "global step=19918848, episodic return=2387.030029296875\n", + "global step=19920896, episodic return=2372.4365234375\n", + "global step=19920896, episodic return=2377.423095703125\n", + "global step=19922944, episodic return=2306.545654296875\n", + "global step=19922944, episodic return=1785.3421630859375\n", + "global step=19922944, episodic return=2439.585205078125\n", + "global step=19922944, episodic return=51.28294372558594\n", + "global step=19924992, episodic return=2362.733642578125\n", + "global step=19924992, episodic return=2425.339111328125\n", + "global step=19924992, episodic return=153.71836853027344\n", + "global step=19927040, episodic return=1810.63330078125\n", + "global step=19927040, episodic return=2365.5400390625\n", + "global step=19927040, episodic return=2390.294677734375\n", + "global step=19931136, episodic return=2301.78515625\n", + "global step=19931136, episodic return=2427.741455078125\n", + "global step=19931136, episodic return=2371.28369140625\n", + "global step=19931136, episodic return=522.2862548828125\n", + "global step=19933184, episodic return=2295.1640625\n", + "global step=19937280, episodic return=113.18157196044922\n", + "global step=19939328, episodic return=1783.2694091796875\n", + "global step=19939328, episodic return=2378.875244140625\n", + "global step=19939328, episodic return=1604.3306884765625\n", + "global step=19941376, episodic return=2409.43310546875\n", + "global step=19941376, episodic return=2411.83203125\n", + "global step=19941376, episodic return=2414.32861328125\n", + "global step=19947520, episodic return=2443.560791015625\n", + "global step=19949568, episodic return=2077.812744140625\n", + "global step=19949568, episodic return=2342.38427734375\n", + "global step=19953664, episodic return=2390.078857421875\n", + "global step=19953664, episodic return=2444.298095703125\n", + "global step=19955712, episodic return=2369.84375\n", + "global step=19957760, episodic return=2203.222900390625\n", + "global step=19961856, episodic return=2344.69677734375\n", + "global step=19963904, episodic return=2108.155029296875\n", + "global step=19965952, episodic return=2337.229736328125\n", + "global step=19965952, episodic return=2396.873291015625\n", + "global step=19968000, episodic return=2249.28759765625\n", + "global step=19970048, episodic return=2337.290771484375\n", + "global step=19972096, episodic return=602.7377319335938\n", + "global step=19972096, episodic return=2405.18603515625\n", + "global step=19972096, episodic return=2344.5244140625\n", + "global step=19972096, episodic return=1718.8143310546875\n", + "global step=19972096, episodic return=2463.353515625\n", + "global step=19972096, episodic return=2264.62939453125\n", + "global step=19974144, episodic return=2396.33251953125\n", + "global step=19974144, episodic return=1419.4510498046875\n", + "global step=19974144, episodic return=2375.134521484375\n", + "global step=19976192, episodic return=2321.67138671875\n", + "global step=19976192, episodic return=2382.958984375\n", + "global step=19978240, episodic return=2339.05126953125\n", + "global step=19978240, episodic return=2364.308837890625\n", + "global step=19978240, episodic return=2391.39599609375\n", + "global step=19978240, episodic return=2355.76171875\n", + "global step=19980288, episodic return=2368.742919921875\n", + "global step=19980288, episodic return=2301.9697265625\n", + "global step=19980288, episodic return=2383.388671875\n", + "global step=19982336, episodic return=2349.60546875\n", + "global step=19982336, episodic return=2348.517822265625\n", + "global step=19984384, episodic return=2449.60498046875\n", + "global step=19986432, episodic return=2316.475341796875\n", + "global step=19988480, episodic return=2338.17236328125\n", + "global step=19988480, episodic return=2368.111083984375\n", + "global step=19988480, episodic return=2445.287353515625\n", + "global step=19988480, episodic return=2325.3798828125\n", + "global step=19990528, episodic return=2372.173583984375\n", + "global step=19992576, episodic return=2017.49609375\n", + "global step=19992576, episodic return=2407.064453125\n", + "global step=19992576, episodic return=2342.72509765625\n", + "global step=19994624, episodic return=2364.490478515625\n", + "global step=19994624, episodic return=2391.290771484375\n", + "global step=19996672, episodic return=2345.32080078125\n", + "global step=19998720, episodic return=489.4643859863281\n", + "global step=19998720, episodic return=2163.260498046875\n", + "global step=19998720, episodic return=2416.611083984375\n", + "global step=20000768, episodic return=2379.281494140625\n", + "global step=20000768, episodic return=2095.441162109375\n", + "global step=20002816, episodic return=2490.635009765625\n", + "global step=20002816, episodic return=2321.108154296875\n", + "global step=20002816, episodic return=2379.601318359375\n", + "global step=20002816, episodic return=2322.601806640625\n", + "global step=20002816, episodic return=2464.126220703125\n", + "global step=20002816, episodic return=2299.1748046875\n", + "global step=20004864, episodic return=2009.2947998046875\n", + "global step=20004864, episodic return=2268.703857421875\n", + "global step=20004864, episodic return=2289.631103515625\n", + "global step=20006912, episodic return=2022.554931640625\n", + "global step=20006912, episodic return=2180.0390625\n", + "global step=20006912, episodic return=2134.3935546875\n", + "global step=20006912, episodic return=2345.870849609375\n", + "global step=20008960, episodic return=2047.181640625\n", + "global step=20008960, episodic return=2389.604736328125\n", + "global step=20008960, episodic return=184.2044219970703\n", + "global step=20011008, episodic return=2358.32861328125\n", + "global step=20011008, episodic return=2353.402587890625\n", + "global step=20013056, episodic return=2372.604736328125\n", + "global step=20015104, episodic return=1806.91552734375\n", + "global step=20019200, episodic return=1934.45751953125\n", + "global step=20019200, episodic return=2369.52099609375\n", + "global step=20021248, episodic return=2360.01708984375\n", + "global step=20023296, episodic return=2448.29248046875\n", + "global step=20027392, episodic return=2362.239990234375\n", + "global step=20027392, episodic return=2375.906005859375\n", + "global step=20027392, episodic return=455.23919677734375\n", + "global step=20027392, episodic return=2398.236572265625\n", + "global step=20027392, episodic return=2402.084716796875\n", + "global step=20029440, episodic return=1833.086669921875\n", + "global step=20029440, episodic return=593.1033935546875\n", + "global step=20031488, episodic return=2394.57421875\n", + "global step=20033536, episodic return=2353.9736328125\n", + "global step=20033536, episodic return=2390.322998046875\n", + "global step=20033536, episodic return=2381.177001953125\n", + "global step=20037632, episodic return=181.63478088378906\n", + "global step=20037632, episodic return=2313.304931640625\n", + "global step=20039680, episodic return=2182.430908203125\n", + "global step=20039680, episodic return=2422.342041015625\n", + "global step=20039680, episodic return=405.7368469238281\n", + "global step=20041728, episodic return=2333.59423828125\n", + "global step=20041728, episodic return=2399.681396484375\n", + "global step=20041728, episodic return=2443.114013671875\n", + "global step=20043776, episodic return=2467.003662109375\n", + "global step=20043776, episodic return=2393.2197265625\n", + "global step=20043776, episodic return=2387.448486328125\n", + "global step=20043776, episodic return=2416.863525390625\n", + "global step=20043776, episodic return=2375.932373046875\n", + "global step=20043776, episodic return=2381.234375\n", + "global step=20043776, episodic return=2340.028076171875\n", + "global step=20045824, episodic return=2413.017578125\n", + "global step=20047872, episodic return=2420.076416015625\n", + "global step=20049920, episodic return=2304.009765625\n", + "global step=20051968, episodic return=2442.977783203125\n", + "global step=20051968, episodic return=2372.9736328125\n", + "global step=20054016, episodic return=2394.182861328125\n", + "global step=20054016, episodic return=2391.134033203125\n", + "global step=20058112, episodic return=2433.884765625\n", + "global step=20058112, episodic return=2425.690673828125\n", + "global step=20060160, episodic return=2389.8876953125\n", + "global step=20062208, episodic return=2487.44775390625\n", + "global step=20062208, episodic return=2360.227294921875\n", + "global step=20064256, episodic return=1958.4659423828125\n", + "global step=20066304, episodic return=2353.18310546875\n", + "global step=20068352, episodic return=2364.674560546875\n", + "global step=20068352, episodic return=2346.758056640625\n", + "global step=20068352, episodic return=604.0534057617188\n", + "global step=20072448, episodic return=2205.49658203125\n", + "global step=20072448, episodic return=609.3281860351562\n", + "global step=20072448, episodic return=2313.384521484375\n", + "global step=20074496, episodic return=2345.512451171875\n", + "global step=20074496, episodic return=352.090087890625\n", + "global step=20074496, episodic return=2408.2109375\n", + "global step=20076544, episodic return=2284.89013671875\n", + "global step=20078592, episodic return=1256.388916015625\n", + "global step=20078592, episodic return=2406.053466796875\n", + "global step=20078592, episodic return=2395.4560546875\n", + "global step=20082688, episodic return=2390.531494140625\n", + "global step=20082688, episodic return=2390.186279296875\n", + "global step=20084736, episodic return=2377.587646484375\n", + "global step=20086784, episodic return=2309.674560546875\n", + "global step=20086784, episodic return=1910.0078125\n", + "global step=20086784, episodic return=2252.50390625\n", + "global step=20086784, episodic return=2364.456787109375\n", + "global step=20088832, episodic return=2377.635986328125\n", + "global step=20088832, episodic return=2426.546142578125\n", + "global step=20088832, episodic return=589.4887084960938\n", + "global step=20092928, episodic return=2360.0693359375\n", + "global step=20094976, episodic return=693.2031860351562\n", + "global step=20097024, episodic return=2386.3193359375\n", + "global step=20097024, episodic return=2440.63623046875\n", + "global step=20099072, episodic return=2428.793212890625\n", + "global step=20099072, episodic return=2399.876220703125\n", + "global step=20101120, episodic return=2397.740478515625\n", + "global step=20103168, episodic return=2389.7138671875\n", + "global step=20105216, episodic return=161.4795379638672\n", + "global step=20105216, episodic return=2390.579833984375\n", + "global step=20107264, episodic return=2346.813232421875\n", + "global step=20107264, episodic return=2395.36328125\n", + "global step=20109312, episodic return=1927.1732177734375\n", + "global step=20111360, episodic return=2371.28125\n", + "global step=20111360, episodic return=153.45159912109375\n", + "global step=20113408, episodic return=234.74717712402344\n", + "global step=20113408, episodic return=2336.69580078125\n", + "global step=20113408, episodic return=2351.885009765625\n", + "global step=20113408, episodic return=170.9193878173828\n", + "global step=20113408, episodic return=51.312469482421875\n", + "global step=20115456, episodic return=2408.268798828125\n", + "global step=20115456, episodic return=2385.844970703125\n", + "global step=20117504, episodic return=182.18716430664062\n", + "global step=20119552, episodic return=2372.557861328125\n", + "global step=20119552, episodic return=234.28411865234375\n", + "global step=20121600, episodic return=2369.86083984375\n", + "global step=20121600, episodic return=2449.427001953125\n", + "global step=20123648, episodic return=2395.49169921875\n", + "global step=20123648, episodic return=759.3594360351562\n", + "global step=20123648, episodic return=2387.4462890625\n", + "global step=20123648, episodic return=2444.5927734375\n", + "global step=20125696, episodic return=2424.24609375\n", + "global step=20125696, episodic return=2354.8125\n", + "global step=20127744, episodic return=237.0075225830078\n", + "global step=20127744, episodic return=206.63885498046875\n", + "global step=20127744, episodic return=2447.17578125\n", + "global step=20127744, episodic return=2392.0068359375\n", + "global step=20127744, episodic return=2382.381591796875\n", + "global step=20127744, episodic return=2379.484619140625\n", + "global step=20129792, episodic return=2419.194580078125\n", + "global step=20129792, episodic return=2110.352783203125\n", + "global step=20131840, episodic return=2363.704833984375\n", + "global step=20131840, episodic return=2429.980712890625\n", + "global step=20137984, episodic return=2383.541259765625\n", + "global step=20137984, episodic return=2372.46337890625\n", + "global step=20137984, episodic return=2390.451171875\n", + "global step=20142080, episodic return=2357.572265625\n", + "global step=20142080, episodic return=2368.070556640625\n", + "global step=20142080, episodic return=2372.618408203125\n", + "global step=20144128, episodic return=2337.17138671875\n", + "global step=20146176, episodic return=2405.784912109375\n", + "global step=20148224, episodic return=2380.739990234375\n", + "global step=20152320, episodic return=55.60060501098633\n", + "global step=20156416, episodic return=2447.38330078125\n", + "global step=20158464, episodic return=2412.180908203125\n", + "global step=20158464, episodic return=2320.59375\n", + "global step=20158464, episodic return=2408.556640625\n", + "global step=20160512, episodic return=2387.475830078125\n", + "global step=20160512, episodic return=2352.987060546875\n", + "global step=20162560, episodic return=2439.562255859375\n", + "global step=20166656, episodic return=2405.995849609375\n", + "global step=20166656, episodic return=2367.973388671875\n", + "global step=20166656, episodic return=2320.231201171875\n", + "global step=20168704, episodic return=2366.565673828125\n", + "global step=20168704, episodic return=2383.51611328125\n", + "global step=20168704, episodic return=2397.245361328125\n", + "global step=20170752, episodic return=2355.8291015625\n", + "global step=20170752, episodic return=797.10888671875\n", + "global step=20170752, episodic return=2365.351318359375\n", + "global step=20172800, episodic return=662.8165893554688\n", + "global step=20174848, episodic return=2425.87109375\n", + "global step=20176896, episodic return=1083.6910400390625\n", + "global step=20176896, episodic return=2350.331787109375\n", + "global step=20178944, episodic return=2433.113037109375\n", + "global step=20187136, episodic return=2384.001708984375\n", + "global step=20187136, episodic return=2364.96533203125\n", + "global step=20189184, episodic return=2353.16552734375\n", + "global step=20193280, episodic return=2363.155517578125\n", + "global step=20193280, episodic return=2465.634033203125\n", + "global step=20195328, episodic return=819.3118286132812\n", + "global step=20197376, episodic return=2300.7734375\n", + "global step=20197376, episodic return=2385.405029296875\n", + "global step=20199424, episodic return=565.33154296875\n", + "global step=20199424, episodic return=1745.416015625\n", + "global step=20201472, episodic return=2407.99365234375\n", + "global step=20203520, episodic return=2370.08447265625\n", + "global step=20205568, episodic return=2359.769287109375\n", + "global step=20207616, episodic return=2397.2939453125\n", + "global step=20207616, episodic return=2370.991455078125\n", + "global step=20207616, episodic return=794.9420166015625\n", + "global step=20207616, episodic return=501.8929138183594\n", + "global step=20209664, episodic return=2444.4697265625\n", + "global step=20211712, episodic return=2358.26513671875\n", + "global step=20211712, episodic return=2317.734375\n", + "global step=20211712, episodic return=2427.2216796875\n", + "global step=20211712, episodic return=1130.3443603515625\n", + "global step=20215808, episodic return=2376.188232421875\n", + "global step=20215808, episodic return=750.5132446289062\n", + "global step=20217856, episodic return=2379.742431640625\n", + "global step=20219904, episodic return=2452.9765625\n", + "global step=20221952, episodic return=2391.68896484375\n", + "global step=20221952, episodic return=1609.8663330078125\n", + "global step=20224000, episodic return=869.31494140625\n", + "global step=20226048, episodic return=1894.07763671875\n", + "global step=20228096, episodic return=2249.690673828125\n", + "global step=20228096, episodic return=2251.7509765625\n", + "global step=20228096, episodic return=1709.45458984375\n", + "global step=20230144, episodic return=2411.61767578125\n", + "global step=20232192, episodic return=2160.265869140625\n", + "global step=20232192, episodic return=2275.200927734375\n", + "global step=20232192, episodic return=1686.9139404296875\n", + "global step=20232192, episodic return=2397.091064453125\n", + "global step=20232192, episodic return=1639.5079345703125\n", + "global step=20232192, episodic return=2364.667724609375\n", + "global step=20234240, episodic return=167.08505249023438\n", + "global step=20236288, episodic return=2279.3994140625\n", + "global step=20236288, episodic return=2407.225830078125\n", + "global step=20238336, episodic return=2467.98974609375\n", + "global step=20238336, episodic return=2390.62451171875\n", + "global step=20238336, episodic return=2386.6572265625\n", + "global step=20238336, episodic return=2387.474853515625\n", + "global step=20238336, episodic return=2370.727783203125\n", + "global step=20238336, episodic return=2331.82861328125\n", + "global step=20238336, episodic return=53.596927642822266\n", + "global step=20238336, episodic return=2405.42724609375\n", + "global step=20240384, episodic return=2392.97265625\n", + "global step=20240384, episodic return=2377.1357421875\n", + "global step=20240384, episodic return=2380.309326171875\n", + "global step=20240384, episodic return=2329.492431640625\n", + "global step=20244480, episodic return=1672.6229248046875\n", + "global step=20244480, episodic return=2310.660400390625\n", + "global step=20246528, episodic return=1324.94970703125\n", + "global step=20246528, episodic return=1999.9754638671875\n", + "global step=20248576, episodic return=2100.768310546875\n", + "global step=20250624, episodic return=2441.80029296875\n", + "global step=20250624, episodic return=995.0763549804688\n", + "global step=20252672, episodic return=2369.613525390625\n", + "global step=20252672, episodic return=1850.2486572265625\n", + "global step=20254720, episodic return=266.14862060546875\n", + "global step=20256768, episodic return=2428.7177734375\n", + "global step=20256768, episodic return=1003.7527465820312\n", + "global step=20260864, episodic return=2349.0771484375\n", + "global step=20260864, episodic return=2455.455078125\n", + "global step=20262912, episodic return=2306.152099609375\n", + "global step=20262912, episodic return=2443.173583984375\n", + "global step=20262912, episodic return=2336.30517578125\n", + "global step=20264960, episodic return=2428.355712890625\n", + "global step=20264960, episodic return=1475.796630859375\n", + "global step=20264960, episodic return=436.0303649902344\n", + "global step=20264960, episodic return=2390.350341796875\n", + "global step=20267008, episodic return=2466.85546875\n", + "global step=20271104, episodic return=2416.0087890625\n", + "global step=20271104, episodic return=2389.088134765625\n", + "global step=20273152, episodic return=2387.067626953125\n", + "global step=20273152, episodic return=2357.263916015625\n", + "global step=20275200, episodic return=1008.91552734375\n", + "global step=20275200, episodic return=2400.166259765625\n", + "global step=20277248, episodic return=1456.828369140625\n", + "global step=20277248, episodic return=2333.850830078125\n", + "global step=20279296, episodic return=2396.347900390625\n", + "global step=20279296, episodic return=2414.650390625\n", + "global step=20279296, episodic return=2360.09375\n", + "global step=20281344, episodic return=2387.012451171875\n", + "global step=20281344, episodic return=1257.6385498046875\n", + "global step=20283392, episodic return=1443.6468505859375\n", + "global step=20285440, episodic return=2437.388671875\n", + "global step=20287488, episodic return=2389.03369140625\n", + "global step=20287488, episodic return=539.216552734375\n", + "global step=20287488, episodic return=2394.120849609375\n", + "global step=20287488, episodic return=2238.34375\n", + "global step=20289536, episodic return=2260.33544921875\n", + "global step=20291584, episodic return=2374.795654296875\n", + "global step=20293632, episodic return=2386.33447265625\n", + "global step=20293632, episodic return=2395.9970703125\n", + "global step=20293632, episodic return=720.1402587890625\n", + "global step=20295680, episodic return=2360.127197265625\n", + "global step=20297728, episodic return=1323.9736328125\n", + "global step=20297728, episodic return=1936.6351318359375\n", + "global step=20297728, episodic return=2369.041259765625\n", + "global step=20297728, episodic return=2433.372802734375\n", + "global step=20297728, episodic return=2319.783935546875\n", + "global step=20297728, episodic return=2430.966064453125\n", + "global step=20297728, episodic return=2394.982421875\n", + "global step=20301824, episodic return=1332.1727294921875\n", + "global step=20303872, episodic return=2413.656494140625\n", + "global step=20303872, episodic return=2335.969970703125\n", + "global step=20305920, episodic return=2370.216796875\n", + "global step=20305920, episodic return=2427.885498046875\n", + "global step=20305920, episodic return=2388.681640625\n", + "global step=20305920, episodic return=1793.26025390625\n", + "global step=20310016, episodic return=2376.240234375\n", + "global step=20312064, episodic return=2452.906982421875\n", + "global step=20312064, episodic return=2389.356201171875\n", + "global step=20312064, episodic return=1970.091064453125\n", + "global step=20312064, episodic return=2381.97021484375\n", + "global step=20312064, episodic return=2368.37353515625\n", + "global step=20314112, episodic return=2351.396240234375\n", + "global step=20314112, episodic return=2408.380615234375\n", + "global step=20314112, episodic return=199.8544464111328\n", + "global step=20314112, episodic return=2427.794921875\n", + "global step=20314112, episodic return=2391.0361328125\n", + "global step=20314112, episodic return=2379.675048828125\n", + "global step=20316160, episodic return=2389.6728515625\n", + "global step=20316160, episodic return=2409.93505859375\n", + "global step=20316160, episodic return=2352.625244140625\n", + "global step=20316160, episodic return=2341.351806640625\n", + "global step=20318208, episodic return=2372.08056640625\n", + "global step=20318208, episodic return=2288.144287109375\n", + "global step=20318208, episodic return=2343.562255859375\n", + "global step=20318208, episodic return=2393.262939453125\n", + "global step=20320256, episodic return=2354.1533203125\n", + "global step=20320256, episodic return=2425.672119140625\n", + "global step=20320256, episodic return=2400.6201171875\n", + "global step=20320256, episodic return=2411.130615234375\n", + "global step=20322304, episodic return=2402.531494140625\n", + "global step=20322304, episodic return=2406.021728515625\n", + "global step=20322304, episodic return=250.8743896484375\n", + "global step=20322304, episodic return=2438.533935546875\n", + "global step=20322304, episodic return=2376.9111328125\n", + "global step=20324352, episodic return=2088.14990234375\n", + "global step=20324352, episodic return=2436.411376953125\n", + "global step=20326400, episodic return=2375.8125\n", + "global step=20326400, episodic return=2393.322998046875\n", + "global step=20326400, episodic return=2456.39111328125\n", + "global step=20326400, episodic return=2400.484130859375\n", + "global step=20326400, episodic return=2374.55908203125\n", + "global step=20328448, episodic return=2416.400390625\n", + "global step=20328448, episodic return=2403.443603515625\n", + "global step=20328448, episodic return=2386.044677734375\n", + "global step=20330496, episodic return=2403.453125\n", + "global step=20330496, episodic return=2407.343505859375\n", + "global step=20330496, episodic return=237.6983642578125\n", + "global step=20330496, episodic return=2401.654052734375\n", + "global step=20332544, episodic return=2403.302001953125\n", + "global step=20336640, episodic return=2420.379638671875\n", + "global step=20338688, episodic return=2306.969482421875\n", + "global step=20340736, episodic return=2338.0498046875\n", + "global step=20340736, episodic return=2434.224609375\n", + "global step=20342784, episodic return=2406.551513671875\n", + "global step=20342784, episodic return=2364.6875\n", + "global step=20342784, episodic return=2433.450439453125\n", + "global step=20344832, episodic return=2351.906982421875\n", + "global step=20346880, episodic return=2289.068359375\n", + "global step=20346880, episodic return=2376.07763671875\n", + "global step=20346880, episodic return=2392.53369140625\n", + "global step=20348928, episodic return=2371.33447265625\n", + "global step=20348928, episodic return=2423.534423828125\n", + "global step=20348928, episodic return=2178.125732421875\n", + "global step=20348928, episodic return=2293.037109375\n", + "global step=20350976, episodic return=1233.407470703125\n", + "global step=20350976, episodic return=2411.1162109375\n", + "global step=20350976, episodic return=2416.55126953125\n", + "global step=20350976, episodic return=2283.79931640625\n", + "global step=20353024, episodic return=2391.64794921875\n", + "global step=20353024, episodic return=2406.405517578125\n", + "global step=20353024, episodic return=2379.802490234375\n", + "global step=20353024, episodic return=2421.724609375\n", + "global step=20355072, episodic return=2332.204833984375\n", + "global step=20355072, episodic return=2325.3408203125\n", + "global step=20359168, episodic return=2361.000732421875\n", + "global step=20359168, episodic return=2411.049560546875\n", + "global step=20359168, episodic return=2468.0634765625\n", + "global step=20361216, episodic return=1252.7327880859375\n", + "global step=20363264, episodic return=2407.109130859375\n", + "global step=20363264, episodic return=1403.731689453125\n", + "global step=20365312, episodic return=1526.52587890625\n", + "global step=20365312, episodic return=2395.416748046875\n", + "global step=20367360, episodic return=2423.814697265625\n", + "global step=20367360, episodic return=1047.8492431640625\n", + "global step=20369408, episodic return=2398.89404296875\n", + "global step=20369408, episodic return=2407.557373046875\n", + "global step=20371456, episodic return=1233.340576171875\n", + "global step=20371456, episodic return=1691.4149169921875\n", + "global step=20371456, episodic return=2402.532958984375\n", + "global step=20371456, episodic return=480.07379150390625\n", + "global step=20371456, episodic return=2399.761962890625\n", + "global step=20373504, episodic return=2411.094482421875\n", + "global step=20373504, episodic return=2415.526123046875\n", + "global step=20373504, episodic return=2431.86279296875\n", + "global step=20375552, episodic return=582.4739990234375\n", + "global step=20375552, episodic return=2408.662841796875\n", + "global step=20375552, episodic return=950.7935180664062\n", + "global step=20379648, episodic return=2395.52490234375\n", + "global step=20381696, episodic return=294.43804931640625\n", + "global step=20381696, episodic return=2364.03125\n", + "global step=20381696, episodic return=2377.99462890625\n", + "global step=20383744, episodic return=2376.09375\n", + "global step=20383744, episodic return=2390.452392578125\n", + "global step=20383744, episodic return=301.8808288574219\n", + "global step=20385792, episodic return=2394.85986328125\n", + "global step=20385792, episodic return=2443.6083984375\n", + "global step=20387840, episodic return=2013.279296875\n", + "global step=20387840, episodic return=2298.507568359375\n", + "global step=20387840, episodic return=2419.978271484375\n", + "global step=20387840, episodic return=2435.58642578125\n", + "global step=20387840, episodic return=531.2581787109375\n", + "global step=20389888, episodic return=2427.54296875\n", + "global step=20389888, episodic return=2382.488525390625\n", + "global step=20389888, episodic return=2377.013916015625\n", + "global step=20389888, episodic return=2364.475830078125\n", + "global step=20393984, episodic return=2372.036376953125\n", + "global step=20396032, episodic return=2398.3701171875\n", + "global step=20398080, episodic return=539.0261840820312\n", + "global step=20400128, episodic return=2313.022705078125\n", + "global step=20400128, episodic return=2314.24853515625\n", + "global step=20400128, episodic return=2444.834716796875\n", + "global step=20402176, episodic return=2401.47705078125\n", + "global step=20404224, episodic return=2366.988037109375\n", + "global step=20406272, episodic return=54.803627014160156\n", + "global step=20406272, episodic return=2353.011474609375\n", + "global step=20408320, episodic return=2396.347412109375\n", + "global step=20408320, episodic return=662.617431640625\n", + "global step=20408320, episodic return=704.3707275390625\n", + "global step=20410368, episodic return=2396.84326171875\n", + "global step=20412416, episodic return=2346.73388671875\n", + "global step=20412416, episodic return=2386.5673828125\n", + "global step=20412416, episodic return=2379.47216796875\n", + "global step=20416512, episodic return=1543.3077392578125\n", + "global step=20416512, episodic return=2342.914794921875\n", + "global step=20416512, episodic return=2379.54931640625\n", + "global step=20418560, episodic return=2395.39697265625\n", + "global step=20418560, episodic return=2340.99169921875\n", + "global step=20418560, episodic return=566.6430053710938\n", + "global step=20420608, episodic return=228.26107788085938\n", + "global step=20420608, episodic return=2399.9541015625\n", + "global step=20422656, episodic return=2412.653564453125\n", + "global step=20422656, episodic return=2434.317626953125\n", + "global step=20422656, episodic return=2361.907470703125\n", + "global step=20424704, episodic return=144.13702392578125\n", + "global step=20424704, episodic return=2408.18701171875\n", + "global step=20426752, episodic return=2414.8935546875\n", + "global step=20426752, episodic return=2317.603515625\n", + "global step=20426752, episodic return=2409.9423828125\n", + "global step=20428800, episodic return=2385.6875\n", + "global step=20428800, episodic return=125.94322204589844\n", + "global step=20428800, episodic return=2424.39892578125\n", + "global step=20428800, episodic return=2392.683837890625\n", + "global step=20428800, episodic return=508.1492614746094\n", + "global step=20430848, episodic return=2396.10986328125\n", + "global step=20430848, episodic return=255.41555786132812\n", + "global step=20430848, episodic return=2434.491455078125\n", + "global step=20430848, episodic return=2398.68408203125\n", + "global step=20430848, episodic return=2402.828125\n", + "global step=20430848, episodic return=276.781982421875\n", + "global step=20432896, episodic return=2395.324462890625\n", + "global step=20432896, episodic return=2341.099853515625\n", + "global step=20434944, episodic return=2391.7529296875\n", + "global step=20436992, episodic return=2387.8271484375\n", + "global step=20436992, episodic return=1126.9832763671875\n", + "global step=20436992, episodic return=2403.61572265625\n", + "global step=20439040, episodic return=2438.523193359375\n", + "global step=20439040, episodic return=2397.61474609375\n", + "global step=20441088, episodic return=2388.78662109375\n", + "global step=20441088, episodic return=2361.51416015625\n", + "global step=20443136, episodic return=2371.50927734375\n", + "global step=20443136, episodic return=2401.5908203125\n", + "global step=20443136, episodic return=2396.887451171875\n", + "global step=20445184, episodic return=2434.998046875\n", + "global step=20447232, episodic return=2401.503662109375\n", + "global step=20447232, episodic return=2440.376708984375\n", + "global step=20447232, episodic return=216.09991455078125\n", + "global step=20447232, episodic return=2450.097900390625\n", + "global step=20447232, episodic return=2420.3212890625\n", + "global step=20447232, episodic return=2438.00048828125\n", + "global step=20447232, episodic return=2406.432861328125\n", + "global step=20449280, episodic return=2404.9814453125\n", + "global step=20449280, episodic return=2335.200439453125\n", + "global step=20449280, episodic return=2396.1484375\n", + "global step=20449280, episodic return=2464.880859375\n", + "global step=20451328, episodic return=2354.49169921875\n", + "global step=20451328, episodic return=2374.467529296875\n", + "global step=20451328, episodic return=2375.042724609375\n", + "global step=20453376, episodic return=2433.575439453125\n", + "global step=20453376, episodic return=2341.210205078125\n", + "global step=20455424, episodic return=2442.492919921875\n", + "global step=20455424, episodic return=2357.904296875\n", + "global step=20455424, episodic return=2378.702880859375\n", + "global step=20457472, episodic return=2383.23974609375\n", + "global step=20457472, episodic return=1951.412109375\n", + "global step=20457472, episodic return=2417.417236328125\n", + "global step=20457472, episodic return=2375.950927734375\n", + "global step=20459520, episodic return=2386.93408203125\n", + "global step=20459520, episodic return=2416.5546875\n", + "global step=20459520, episodic return=2421.22021484375\n", + "global step=20461568, episodic return=2435.7958984375\n", + "global step=20461568, episodic return=1427.576904296875\n", + "global step=20461568, episodic return=2404.918701171875\n", + "global step=20461568, episodic return=1830.206787109375\n", + "global step=20463616, episodic return=2397.40673828125\n", + "global step=20463616, episodic return=2399.53515625\n", + "global step=20463616, episodic return=2315.559326171875\n", + "global step=20465664, episodic return=2400.602294921875\n", + "global step=20465664, episodic return=2387.982177734375\n", + "global step=20465664, episodic return=682.3845825195312\n", + "global step=20467712, episodic return=2437.524169921875\n", + "global step=20467712, episodic return=2324.119140625\n", + "global step=20469760, episodic return=2337.377197265625\n", + "global step=20469760, episodic return=2397.79736328125\n", + "global step=20469760, episodic return=2387.406982421875\n", + "global step=20471808, episodic return=2417.85400390625\n", + "global step=20471808, episodic return=2404.54052734375\n", + "global step=20473856, episodic return=2380.465576171875\n", + "global step=20473856, episodic return=2417.173828125\n", + "global step=20473856, episodic return=2385.193603515625\n", + "global step=20473856, episodic return=2410.654296875\n", + "global step=20473856, episodic return=2420.23095703125\n", + "global step=20473856, episodic return=2387.09619140625\n", + "global step=20473856, episodic return=2388.81005859375\n", + "global step=20475904, episodic return=2416.9853515625\n", + "global step=20475904, episodic return=2421.070556640625\n", + "global step=20475904, episodic return=2381.18359375\n", + "global step=20477952, episodic return=2362.4775390625\n", + "global step=20477952, episodic return=2389.477294921875\n", + "global step=20477952, episodic return=2407.7978515625\n", + "global step=20477952, episodic return=2350.960205078125\n", + "global step=20480000, episodic return=2405.302001953125\n", + "global step=20480000, episodic return=2431.16015625\n", + "global step=20480000, episodic return=2366.45166015625\n", + "global step=20480000, episodic return=2408.84130859375\n", + "global step=20482048, episodic return=599.9263305664062\n", + "global step=20482048, episodic return=2416.451171875\n", + "global step=20482048, episodic return=2418.71875\n", + "global step=20484096, episodic return=440.49432373046875\n", + "global step=20486144, episodic return=2365.06005859375\n", + "global step=20488192, episodic return=2395.336181640625\n", + "global step=20488192, episodic return=2359.8251953125\n", + "global step=20488192, episodic return=2391.98095703125\n", + "global step=20490240, episodic return=2299.86279296875\n", + "global step=20490240, episodic return=2356.418212890625\n", + "global step=20490240, episodic return=2365.91845703125\n", + "global step=20492288, episodic return=2380.499267578125\n", + "global step=20494336, episodic return=2430.30126953125\n", + "global step=20494336, episodic return=2387.276123046875\n", + "global step=20494336, episodic return=2375.380859375\n", + "global step=20496384, episodic return=2423.156982421875\n", + "global step=20496384, episodic return=2371.509521484375\n", + "global step=20496384, episodic return=2347.06494140625\n", + "global step=20496384, episodic return=2467.686279296875\n", + "global step=20498432, episodic return=2405.801513671875\n", + "global step=20498432, episodic return=2366.257080078125\n", + "global step=20500480, episodic return=2383.80419921875\n", + "global step=20500480, episodic return=2411.423583984375\n", + "global step=20500480, episodic return=2371.364501953125\n", + "global step=20500480, episodic return=2348.235595703125\n", + "global step=20502528, episodic return=2395.85595703125\n", + "global step=20502528, episodic return=2458.40234375\n", + "global step=20502528, episodic return=2396.490478515625\n", + "global step=20506624, episodic return=2394.741455078125\n", + "global step=20506624, episodic return=2365.10400390625\n", + "global step=20508672, episodic return=2443.130859375\n", + "global step=20508672, episodic return=1877.8203125\n", + "global step=20508672, episodic return=2425.0888671875\n", + "global step=20512768, episodic return=2327.029052734375\n", + "global step=20512768, episodic return=2368.565185546875\n", + "global step=20512768, episodic return=2325.048583984375\n", + "global step=20514816, episodic return=2389.455322265625\n", + "global step=20514816, episodic return=2398.311767578125\n", + "global step=20516864, episodic return=2323.512939453125\n", + "global step=20516864, episodic return=2438.291015625\n", + "global step=20516864, episodic return=2445.46044921875\n", + "global step=20523008, episodic return=1320.195556640625\n", + "global step=20523008, episodic return=2226.23388671875\n", + "global step=20523008, episodic return=2368.94189453125\n", + "global step=20523008, episodic return=750.118408203125\n", + "global step=20523008, episodic return=2366.793701171875\n", + "global step=20525056, episodic return=2399.6630859375\n", + "global step=20525056, episodic return=2385.86767578125\n", + "global step=20525056, episodic return=2401.46533203125\n", + "global step=20529152, episodic return=2390.86083984375\n", + "global step=20529152, episodic return=2320.59814453125\n", + "global step=20529152, episodic return=2370.42822265625\n", + "global step=20529152, episodic return=2307.58837890625\n", + "global step=20531200, episodic return=294.43963623046875\n", + "global step=20533248, episodic return=2337.747314453125\n", + "global step=20533248, episodic return=961.6963500976562\n", + "global step=20535296, episodic return=2365.17626953125\n", + "global step=20535296, episodic return=2127.742431640625\n", + "global step=20535296, episodic return=2399.082763671875\n", + "global step=20535296, episodic return=2348.63818359375\n", + "global step=20535296, episodic return=2381.861328125\n", + "global step=20537344, episodic return=1537.375\n", + "global step=20539392, episodic return=2369.77685546875\n", + "global step=20539392, episodic return=2187.895263671875\n", + "global step=20543488, episodic return=1802.3707275390625\n", + "global step=20543488, episodic return=2362.741455078125\n", + "global step=20543488, episodic return=2364.860595703125\n", + "global step=20547584, episodic return=2356.35498046875\n", + "global step=20547584, episodic return=2310.1142578125\n", + "global step=20547584, episodic return=2387.98193359375\n", + "global step=20547584, episodic return=2429.289306640625\n", + "global step=20549632, episodic return=2391.17529296875\n", + "global step=20549632, episodic return=2378.5302734375\n", + "global step=20549632, episodic return=2316.171875\n", + "global step=20549632, episodic return=2437.047607421875\n", + "global step=20551680, episodic return=2368.202880859375\n", + "global step=20551680, episodic return=2381.489013671875\n", + "global step=20551680, episodic return=2372.912353515625\n", + "global step=20551680, episodic return=2424.91943359375\n", + "global step=20551680, episodic return=2394.47900390625\n", + "global step=20553728, episodic return=2398.186767578125\n", + "global step=20553728, episodic return=2352.751708984375\n", + "global step=20553728, episodic return=2311.388916015625\n", + "global step=20553728, episodic return=2400.972900390625\n", + "global step=20553728, episodic return=1250.599853515625\n", + "global step=20555776, episodic return=2325.4443359375\n", + "global step=20555776, episodic return=2419.62744140625\n", + "global step=20557824, episodic return=1002.481201171875\n", + "global step=20557824, episodic return=2397.4970703125\n", + "global step=20557824, episodic return=2355.460205078125\n", + "global step=20557824, episodic return=2232.1279296875\n", + "global step=20557824, episodic return=2383.71923828125\n", + "global step=20557824, episodic return=1592.572509765625\n", + "global step=20557824, episodic return=287.40301513671875\n", + "global step=20559872, episodic return=2355.62158203125\n", + "global step=20559872, episodic return=1371.51123046875\n", + "global step=20559872, episodic return=1414.4002685546875\n", + "global step=20559872, episodic return=2406.31201171875\n", + "global step=20559872, episodic return=1960.4791259765625\n", + "global step=20559872, episodic return=1064.79541015625\n", + "global step=20561920, episodic return=2088.4248046875\n", + "global step=20561920, episodic return=1124.3057861328125\n", + "global step=20561920, episodic return=2384.183349609375\n", + "global step=20561920, episodic return=222.87649536132812\n", + "global step=20563968, episodic return=2351.057373046875\n", + "global step=20563968, episodic return=2415.20361328125\n", + "global step=20566016, episodic return=2334.505126953125\n", + "global step=20568064, episodic return=2366.292724609375\n", + "global step=20568064, episodic return=2340.34521484375\n", + "global step=20568064, episodic return=2356.998046875\n", + "global step=20568064, episodic return=2405.93310546875\n", + "global step=20568064, episodic return=2307.1611328125\n", + "global step=20570112, episodic return=571.187744140625\n", + "global step=20570112, episodic return=2417.990234375\n", + "global step=20570112, episodic return=2420.222412109375\n", + "global step=20570112, episodic return=2401.060546875\n", + "global step=20572160, episodic return=2341.7763671875\n", + "global step=20572160, episodic return=2324.2158203125\n", + "global step=20572160, episodic return=2398.739501953125\n", + "global step=20572160, episodic return=997.9764404296875\n", + "global step=20572160, episodic return=2451.557373046875\n", + "global step=20574208, episodic return=411.5904846191406\n", + "global step=20574208, episodic return=2418.222900390625\n", + "global step=20574208, episodic return=1443.6229248046875\n", + "global step=20576256, episodic return=2373.5126953125\n", + "global step=20576256, episodic return=2305.06884765625\n", + "global step=20578304, episodic return=2378.570556640625\n", + "global step=20578304, episodic return=2329.279541015625\n", + "global step=20580352, episodic return=2285.359375\n", + "global step=20582400, episodic return=2332.276123046875\n", + "global step=20582400, episodic return=2281.38427734375\n", + "global step=20582400, episodic return=2371.35205078125\n", + "global step=20582400, episodic return=2424.812744140625\n", + "global step=20584448, episodic return=2435.12939453125\n", + "global step=20584448, episodic return=927.7200927734375\n", + "global step=20584448, episodic return=1470.3411865234375\n", + "global step=20588544, episodic return=2360.649169921875\n", + "global step=20588544, episodic return=818.2860107421875\n", + "global step=20588544, episodic return=2349.439697265625\n", + "global step=20588544, episodic return=2380.2041015625\n", + "global step=20590592, episodic return=2382.943603515625\n", + "global step=20590592, episodic return=2393.2861328125\n", + "global step=20590592, episodic return=2374.08251953125\n", + "global step=20590592, episodic return=2444.92626953125\n", + "global step=20592640, episodic return=900.8832397460938\n", + "global step=20592640, episodic return=2405.3828125\n", + "global step=20594688, episodic return=2372.820068359375\n", + "global step=20594688, episodic return=1554.9573974609375\n", + "global step=20594688, episodic return=2401.3095703125\n", + "global step=20594688, episodic return=2412.677490234375\n", + "global step=20594688, episodic return=2424.74853515625\n", + "global step=20594688, episodic return=1512.6463623046875\n", + "global step=20596736, episodic return=2356.338134765625\n", + "global step=20596736, episodic return=1272.3270263671875\n", + "global step=20598784, episodic return=2404.24267578125\n", + "global step=20598784, episodic return=2392.003173828125\n", + "global step=20598784, episodic return=1129.6392822265625\n", + "global step=20598784, episodic return=389.7962951660156\n", + "global step=20598784, episodic return=2399.657470703125\n", + "global step=20600832, episodic return=1660.762939453125\n", + "global step=20600832, episodic return=2391.942626953125\n", + "global step=20600832, episodic return=2389.3193359375\n", + "global step=20600832, episodic return=2441.37939453125\n", + "global step=20602880, episodic return=667.0770263671875\n", + "global step=20604928, episodic return=2443.2275390625\n", + "global step=20604928, episodic return=2399.986572265625\n", + "global step=20604928, episodic return=2372.635498046875\n", + "global step=20604928, episodic return=43.049842834472656\n", + "global step=20606976, episodic return=2348.943603515625\n", + "global step=20606976, episodic return=2287.277587890625\n", + "global step=20606976, episodic return=2387.794189453125\n", + "global step=20606976, episodic return=2399.461669921875\n", + "global step=20606976, episodic return=1994.185546875\n", + "global step=20606976, episodic return=2375.18994140625\n", + "global step=20609024, episodic return=2350.755859375\n", + "global step=20609024, episodic return=2389.50341796875\n", + "global step=20611072, episodic return=2445.1328125\n", + "global step=20615168, episodic return=1935.4139404296875\n", + "global step=20615168, episodic return=2397.270263671875\n", + "global step=20615168, episodic return=2396.665283203125\n", + "global step=20617216, episodic return=2368.241943359375\n", + "global step=20617216, episodic return=2340.3974609375\n", + "global step=20617216, episodic return=2407.281982421875\n", + "global step=20617216, episodic return=2400.675048828125\n", + "global step=20619264, episodic return=1916.856689453125\n", + "global step=20619264, episodic return=2456.0517578125\n", + "global step=20621312, episodic return=2403.09814453125\n", + "global step=20621312, episodic return=2369.444580078125\n", + "global step=20621312, episodic return=2380.1494140625\n", + "global step=20623360, episodic return=2351.3349609375\n", + "global step=20623360, episodic return=2330.838623046875\n", + "global step=20623360, episodic return=1949.5059814453125\n", + "global step=20625408, episodic return=2390.2333984375\n", + "global step=20625408, episodic return=2373.025634765625\n", + "global step=20629504, episodic return=2377.431884765625\n", + "global step=20631552, episodic return=2375.699951171875\n", + "global step=20631552, episodic return=1031.15380859375\n", + "global step=20631552, episodic return=2394.38525390625\n", + "global step=20631552, episodic return=2404.8876953125\n", + "global step=20633600, episodic return=2379.19921875\n", + "global step=20633600, episodic return=2366.08740234375\n", + "global step=20633600, episodic return=1087.1453857421875\n", + "global step=20635648, episodic return=1171.8634033203125\n", + "global step=20635648, episodic return=2354.747802734375\n", + "global step=20637696, episodic return=2434.1025390625\n", + "global step=20639744, episodic return=2380.09423828125\n", + "global step=20641792, episodic return=2363.14892578125\n", + "global step=20643840, episodic return=2400.78515625\n", + "global step=20647936, episodic return=2317.658935546875\n", + "global step=20647936, episodic return=1380.58154296875\n", + "global step=20647936, episodic return=2377.43359375\n", + "global step=20647936, episodic return=1333.70458984375\n", + "global step=20647936, episodic return=2308.93603515625\n", + "global step=20647936, episodic return=2377.42724609375\n", + "global step=20649984, episodic return=2387.477294921875\n", + "global step=20649984, episodic return=2422.1142578125\n", + "global step=20649984, episodic return=2374.580322265625\n", + "global step=20654080, episodic return=1808.63720703125\n", + "global step=20654080, episodic return=144.30718994140625\n", + "global step=20656128, episodic return=2323.058349609375\n", + "global step=20656128, episodic return=51.197147369384766\n", + "global step=20660224, episodic return=1686.3521728515625\n", + "global step=20660224, episodic return=2384.056884765625\n", + "global step=20660224, episodic return=2385.091552734375\n", + "global step=20662272, episodic return=2371.1552734375\n", + "global step=20662272, episodic return=2395.082275390625\n", + "global step=20662272, episodic return=171.04080200195312\n", + "global step=20662272, episodic return=2427.46435546875\n", + "global step=20664320, episodic return=2426.8173828125\n", + "global step=20664320, episodic return=2346.103271484375\n", + "global step=20666368, episodic return=2406.0556640625\n", + "global step=20668416, episodic return=2301.64208984375\n", + "global step=20670464, episodic return=2353.289306640625\n", + "global step=20672512, episodic return=485.5450134277344\n", + "global step=20672512, episodic return=2427.652587890625\n", + "global step=20674560, episodic return=2373.74560546875\n", + "global step=20674560, episodic return=2457.45703125\n", + "global step=20674560, episodic return=45.428897857666016\n", + "global step=20676608, episodic return=185.4056396484375\n", + "global step=20676608, episodic return=2409.72314453125\n", + "global step=20676608, episodic return=1602.3876953125\n", + "global step=20676608, episodic return=1129.974365234375\n", + "global step=20676608, episodic return=985.2852783203125\n", + "global step=20678656, episodic return=2398.43505859375\n", + "global step=20678656, episodic return=2426.95703125\n", + "global step=20678656, episodic return=2453.581787109375\n", + "global step=20680704, episodic return=2293.9169921875\n", + "global step=20682752, episodic return=2378.8193359375\n", + "global step=20684800, episodic return=2394.687255859375\n", + "global step=20684800, episodic return=2393.1357421875\n", + "global step=20686848, episodic return=60.81496047973633\n", + "global step=20688896, episodic return=2369.90625\n", + "global step=20688896, episodic return=117.0265121459961\n", + "global step=20690944, episodic return=2385.14599609375\n", + "global step=20692992, episodic return=2391.157470703125\n", + "global step=20692992, episodic return=2408.058837890625\n", + "global step=20692992, episodic return=2332.19140625\n", + "global step=20697088, episodic return=2396.12890625\n", + "global step=20699136, episodic return=2360.50048828125\n", + "global step=20699136, episodic return=716.161376953125\n", + "global step=20699136, episodic return=2426.405029296875\n", + "global step=20701184, episodic return=1038.2723388671875\n", + "global step=20703232, episodic return=2365.11572265625\n", + "global step=20703232, episodic return=2338.067138671875\n", + "global step=20705280, episodic return=2410.193115234375\n", + "global step=20705280, episodic return=2430.568359375\n", + "global step=20705280, episodic return=2323.063232421875\n", + "global step=20707328, episodic return=202.24594116210938\n", + "global step=20707328, episodic return=2377.816650390625\n", + "global step=20707328, episodic return=2391.9521484375\n", + "global step=20709376, episodic return=2400.684326171875\n", + "global step=20709376, episodic return=2338.429443359375\n", + "global step=20711424, episodic return=2389.51513671875\n", + "global step=20713472, episodic return=2423.910400390625\n", + "global step=20713472, episodic return=2411.2138671875\n", + "global step=20717568, episodic return=2342.268310546875\n", + "global step=20717568, episodic return=2406.980224609375\n", + "global step=20717568, episodic return=2374.249267578125\n", + "global step=20717568, episodic return=2278.00048828125\n", + "global step=20719616, episodic return=2430.211181640625\n", + "global step=20719616, episodic return=2421.729248046875\n", + "global step=20719616, episodic return=2335.36181640625\n", + "global step=20719616, episodic return=2351.963623046875\n", + "global step=20719616, episodic return=2388.96630859375\n", + "global step=20719616, episodic return=2425.444091796875\n", + "global step=20719616, episodic return=2381.370361328125\n", + "global step=20721664, episodic return=2416.267578125\n", + "global step=20721664, episodic return=2443.4482421875\n", + "global step=20721664, episodic return=2329.712890625\n", + "global step=20723712, episodic return=2374.984619140625\n", + "global step=20723712, episodic return=2382.46337890625\n", + "global step=20723712, episodic return=2269.147705078125\n", + "global step=20725760, episodic return=675.1951293945312\n", + "global step=20725760, episodic return=2345.87841796875\n", + "global step=20727808, episodic return=2360.013671875\n", + "global step=20727808, episodic return=2348.546142578125\n", + "global step=20727808, episodic return=2455.921875\n", + "global step=20729856, episodic return=2375.225341796875\n", + "global step=20729856, episodic return=2326.51611328125\n", + "global step=20733952, episodic return=2408.724609375\n", + "global step=20733952, episodic return=2373.34326171875\n", + "global step=20733952, episodic return=2330.764892578125\n", + "global step=20733952, episodic return=2347.75048828125\n", + "global step=20738048, episodic return=2337.753662109375\n", + "global step=20738048, episodic return=817.4781494140625\n", + "global step=20738048, episodic return=2393.6884765625\n", + "global step=20740096, episodic return=2370.455078125\n", + "global step=20744192, episodic return=2405.089111328125\n", + "global step=20744192, episodic return=2376.941650390625\n", + "global step=20746240, episodic return=2348.862548828125\n", + "global step=20748288, episodic return=2410.777587890625\n", + "global step=20748288, episodic return=2409.594482421875\n", + "global step=20750336, episodic return=2372.447021484375\n", + "global step=20750336, episodic return=2392.644775390625\n", + "global step=20752384, episodic return=661.4581909179688\n", + "global step=20752384, episodic return=2308.90771484375\n", + "global step=20754432, episodic return=2332.43798828125\n", + "global step=20756480, episodic return=2403.635986328125\n", + "global step=20756480, episodic return=2350.1025390625\n", + "global step=20758528, episodic return=2426.04833984375\n", + "global step=20760576, episodic return=2362.792236328125\n", + "global step=20760576, episodic return=2389.537109375\n", + "global step=20760576, episodic return=2331.73486328125\n", + "global step=20762624, episodic return=2407.39599609375\n", + "global step=20764672, episodic return=2371.83984375\n", + "global step=20764672, episodic return=2354.447021484375\n", + "global step=20764672, episodic return=2363.64794921875\n", + "global step=20764672, episodic return=2358.37744140625\n", + "global step=20764672, episodic return=2366.21044921875\n", + "global step=20766720, episodic return=2393.789794921875\n", + "global step=20766720, episodic return=2362.779052734375\n", + "global step=20768768, episodic return=2398.57177734375\n", + "global step=20770816, episodic return=623.4934692382812\n", + "global step=20772864, episodic return=2371.276611328125\n", + "global step=20772864, episodic return=2382.716796875\n", + "global step=20772864, episodic return=2380.14111328125\n", + "global step=20774912, episodic return=1677.8951416015625\n", + "global step=20774912, episodic return=2374.736572265625\n", + "global step=20776960, episodic return=10.907892227172852\n", + "global step=20779008, episodic return=2405.160400390625\n", + "global step=20781056, episodic return=2349.00146484375\n", + "global step=20783104, episodic return=2371.98876953125\n", + "global step=20783104, episodic return=2401.848876953125\n", + "global step=20785152, episodic return=2397.428955078125\n", + "global step=20785152, episodic return=2396.7431640625\n", + "global step=20785152, episodic return=2378.604248046875\n", + "global step=20787200, episodic return=2391.85986328125\n", + "global step=20787200, episodic return=2422.348876953125\n", + "global step=20789248, episodic return=2400.48681640625\n", + "global step=20789248, episodic return=2336.403076171875\n", + "global step=20791296, episodic return=2413.401611328125\n", + "global step=20791296, episodic return=248.13397216796875\n", + "global step=20793344, episodic return=2377.373291015625\n", + "global step=20793344, episodic return=2405.644287109375\n", + "global step=20795392, episodic return=2405.770263671875\n", + "global step=20795392, episodic return=2416.4033203125\n", + "global step=20795392, episodic return=2384.827392578125\n", + "global step=20797440, episodic return=232.5601806640625\n", + "global step=20797440, episodic return=2364.306396484375\n", + "global step=20797440, episodic return=2373.105712890625\n", + "global step=20797440, episodic return=2310.32177734375\n", + "global step=20797440, episodic return=1676.299072265625\n", + "global step=20799488, episodic return=2408.329833984375\n", + "global step=20799488, episodic return=2462.38818359375\n", + "global step=20801536, episodic return=2354.512451171875\n", + "global step=20801536, episodic return=2411.395751953125\n", + "global step=20801536, episodic return=2378.129150390625\n", + "global step=20801536, episodic return=2336.861083984375\n", + "global step=20803584, episodic return=2388.39501953125\n", + "global step=20803584, episodic return=219.62094116210938\n", + "global step=20805632, episodic return=2348.876220703125\n", + "global step=20805632, episodic return=521.6964721679688\n", + "global step=20805632, episodic return=262.152099609375\n", + "global step=20807680, episodic return=2413.24365234375\n", + "global step=20807680, episodic return=2390.770751953125\n", + "global step=20807680, episodic return=402.1379089355469\n", + "global step=20809728, episodic return=16.067691802978516\n", + "global step=20809728, episodic return=2403.414794921875\n", + "global step=20809728, episodic return=205.69374084472656\n", + "global step=20809728, episodic return=2356.5654296875\n", + "global step=20809728, episodic return=238.29306030273438\n", + "global step=20809728, episodic return=313.6789855957031\n", + "global step=20811776, episodic return=2309.7763671875\n", + "global step=20813824, episodic return=2374.53515625\n", + "global step=20813824, episodic return=2351.98046875\n", + "global step=20813824, episodic return=2402.97314453125\n", + "global step=20813824, episodic return=2362.55322265625\n", + "global step=20815872, episodic return=246.94918823242188\n", + "global step=20815872, episodic return=212.208740234375\n", + "global step=20817920, episodic return=214.2618865966797\n", + "global step=20817920, episodic return=2151.392578125\n", + "global step=20819968, episodic return=2479.575439453125\n", + "global step=20819968, episodic return=2431.773681640625\n", + "global step=20819968, episodic return=256.1258544921875\n", + "global step=20819968, episodic return=2383.252685546875\n", + "global step=20819968, episodic return=2377.326416015625\n", + "global step=20824064, episodic return=2381.89990234375\n", + "global step=20826112, episodic return=260.3075256347656\n", + "global step=20826112, episodic return=204.88314819335938\n", + "global step=20828160, episodic return=2321.92431640625\n", + "global step=20830208, episodic return=237.92791748046875\n", + "global step=20832256, episodic return=2381.264892578125\n", + "global step=20832256, episodic return=234.40628051757812\n", + "global step=20832256, episodic return=2292.19873046875\n", + "global step=20834304, episodic return=2359.8955078125\n", + "global step=20836352, episodic return=2386.491943359375\n", + "global step=20836352, episodic return=217.17257690429688\n", + "global step=20838400, episodic return=2408.9599609375\n", + "global step=20840448, episodic return=321.9284362792969\n", + "global step=20840448, episodic return=2345.54638671875\n", + "global step=20840448, episodic return=219.3147735595703\n", + "global step=20842496, episodic return=2382.63037109375\n", + "global step=20842496, episodic return=2396.54345703125\n", + "global step=20842496, episodic return=2393.936767578125\n", + "global step=20842496, episodic return=216.77386474609375\n", + "global step=20844544, episodic return=29.605363845825195\n", + "global step=20844544, episodic return=2349.888916015625\n", + "global step=20844544, episodic return=2391.539306640625\n", + "global step=20844544, episodic return=2401.315673828125\n", + "global step=20844544, episodic return=2395.537841796875\n", + "global step=20844544, episodic return=2394.507568359375\n", + "global step=20846592, episodic return=313.95733642578125\n", + "global step=20848640, episodic return=2410.267578125\n", + "global step=20848640, episodic return=250.22789001464844\n", + "global step=20850688, episodic return=2357.171142578125\n", + "global step=20850688, episodic return=2046.4903564453125\n", + "global step=20852736, episodic return=339.06890869140625\n", + "global step=20852736, episodic return=1573.4014892578125\n", + "global step=20852736, episodic return=2381.486328125\n", + "global step=20852736, episodic return=2340.035400390625\n", + "global step=20852736, episodic return=253.7847442626953\n", + "global step=20854784, episodic return=2320.0546875\n", + "global step=20854784, episodic return=283.64190673828125\n", + "global step=20854784, episodic return=2379.0869140625\n", + "global step=20856832, episodic return=2399.168701171875\n", + "global step=20856832, episodic return=190.21900939941406\n", + "global step=20856832, episodic return=1821.915283203125\n", + "global step=20856832, episodic return=2402.98828125\n", + "global step=20858880, episodic return=228.4723358154297\n", + "global step=20858880, episodic return=2389.4453125\n", + "global step=20858880, episodic return=231.135009765625\n", + "global step=20858880, episodic return=2014.52099609375\n", + "global step=20858880, episodic return=2397.605224609375\n", + "global step=20860928, episodic return=2386.0478515625\n", + "global step=20860928, episodic return=2369.937744140625\n", + "global step=20860928, episodic return=2390.845703125\n", + "global step=20862976, episodic return=691.6881713867188\n", + "global step=20865024, episodic return=2374.357421875\n", + "global step=20865024, episodic return=244.36561584472656\n", + "global step=20865024, episodic return=2377.069091796875\n", + "global step=20867072, episodic return=2369.51904296875\n", + "global step=20867072, episodic return=2374.90283203125\n", + "global step=20867072, episodic return=2404.7197265625\n", + "global step=20867072, episodic return=2388.59130859375\n", + "global step=20867072, episodic return=557.6975708007812\n", + "global step=20867072, episodic return=2425.470458984375\n", + "global step=20869120, episodic return=2281.16552734375\n", + "global step=20871168, episodic return=588.9694213867188\n", + "global step=20871168, episodic return=2351.56591796875\n", + "global step=20871168, episodic return=2398.805419921875\n", + "global step=20871168, episodic return=1678.1866455078125\n", + "global step=20873216, episodic return=71.45450592041016\n", + "global step=20873216, episodic return=2426.667236328125\n", + "global step=20873216, episodic return=243.70001220703125\n", + "global step=20873216, episodic return=2366.11474609375\n", + "global step=20875264, episodic return=2394.687255859375\n", + "global step=20875264, episodic return=180.50137329101562\n", + "global step=20879360, episodic return=2324.817626953125\n", + "global step=20879360, episodic return=2333.6708984375\n", + "global step=20879360, episodic return=2352.81884765625\n", + "global step=20879360, episodic return=2360.941650390625\n", + "global step=20879360, episodic return=2357.456298828125\n", + "global step=20881408, episodic return=2362.0009765625\n", + "global step=20883456, episodic return=2403.884521484375\n", + "global step=20883456, episodic return=2394.848388671875\n", + "global step=20883456, episodic return=2400.92626953125\n", + "global step=20885504, episodic return=2439.660400390625\n", + "global step=20885504, episodic return=2359.851318359375\n", + "global step=20885504, episodic return=211.0380859375\n", + "global step=20885504, episodic return=2300.42822265625\n", + "global step=20885504, episodic return=2349.589111328125\n", + "global step=20887552, episodic return=2379.160888671875\n", + "global step=20889600, episodic return=2373.909912109375\n", + "global step=20891648, episodic return=2394.675048828125\n", + "global step=20891648, episodic return=431.9023132324219\n", + "global step=20891648, episodic return=2349.060302734375\n", + "global step=20891648, episodic return=1308.59716796875\n", + "global step=20891648, episodic return=2380.3779296875\n", + "global step=20891648, episodic return=2393.015625\n", + "global step=20895744, episodic return=1970.2724609375\n", + "global step=20897792, episodic return=2395.75048828125\n", + "global step=20899840, episodic return=523.7450561523438\n", + "global step=20901888, episodic return=2395.33740234375\n", + "global step=20901888, episodic return=1832.2969970703125\n", + "global step=20901888, episodic return=2380.296630859375\n", + "global step=20903936, episodic return=2345.21240234375\n", + "global step=20905984, episodic return=2376.694091796875\n", + "global step=20905984, episodic return=2346.760009765625\n", + "global step=20905984, episodic return=2391.0478515625\n", + "global step=20905984, episodic return=639.0601806640625\n", + "global step=20905984, episodic return=2370.34814453125\n", + "global step=20905984, episodic return=2396.048828125\n", + "global step=20905984, episodic return=2337.856689453125\n", + "global step=20908032, episodic return=2341.147216796875\n", + "global step=20908032, episodic return=228.4710235595703\n", + "global step=20908032, episodic return=921.7874145507812\n", + "global step=20910080, episodic return=2374.775634765625\n", + "global step=20912128, episodic return=2307.907470703125\n", + "global step=20912128, episodic return=948.0860595703125\n", + "global step=20912128, episodic return=1680.7027587890625\n", + "global step=20912128, episodic return=2351.1083984375\n", + "global step=20912128, episodic return=2378.065673828125\n", + "global step=20912128, episodic return=2401.587890625\n", + "global step=20914176, episodic return=2348.37109375\n", + "global step=20914176, episodic return=2328.4951171875\n", + "global step=20916224, episodic return=2399.192138671875\n", + "global step=20916224, episodic return=2327.37890625\n", + "global step=20918272, episodic return=400.6362609863281\n", + "global step=20918272, episodic return=2377.50439453125\n", + "global step=20918272, episodic return=2349.2109375\n", + "global step=20918272, episodic return=2368.8212890625\n", + "global step=20920320, episodic return=2231.27197265625\n", + "global step=20922368, episodic return=2357.1953125\n", + "global step=20922368, episodic return=1308.4327392578125\n", + "global step=20924416, episodic return=2364.37255859375\n", + "global step=20924416, episodic return=1506.12744140625\n", + "global step=20924416, episodic return=2356.406982421875\n", + "global step=20926464, episodic return=2419.603271484375\n", + "global step=20928512, episodic return=2353.037109375\n", + "global step=20928512, episodic return=2376.17333984375\n", + "global step=20928512, episodic return=2317.861328125\n", + "global step=20930560, episodic return=2363.852294921875\n", + "global step=20932608, episodic return=2357.18115234375\n", + "global step=20932608, episodic return=915.18896484375\n", + "global step=20932608, episodic return=983.9658203125\n", + "global step=20934656, episodic return=2312.603759765625\n", + "global step=20934656, episodic return=286.89056396484375\n", + "global step=20934656, episodic return=2349.76708984375\n", + "global step=20934656, episodic return=2368.95556640625\n", + "global step=20934656, episodic return=749.0955810546875\n", + "global step=20936704, episodic return=1883.1380615234375\n", + "global step=20938752, episodic return=288.8154602050781\n", + "global step=20938752, episodic return=2405.01611328125\n", + "global step=20940800, episodic return=522.5377197265625\n", + "global step=20940800, episodic return=2398.474609375\n", + "global step=20942848, episodic return=1318.6846923828125\n", + "global step=20942848, episodic return=2396.585205078125\n", + "global step=20942848, episodic return=2396.46533203125\n", + "global step=20942848, episodic return=2413.10400390625\n", + "global step=20942848, episodic return=2410.43603515625\n", + "global step=20942848, episodic return=2318.4462890625\n", + "global step=20942848, episodic return=156.72535705566406\n", + "global step=20946944, episodic return=2389.844970703125\n", + "global step=20946944, episodic return=2399.179443359375\n", + "global step=20951040, episodic return=2368.668701171875\n", + "global step=20951040, episodic return=516.3848876953125\n", + "global step=20955136, episodic return=2379.8876953125\n", + "global step=20957184, episodic return=2343.68115234375\n", + "global step=20959232, episodic return=2406.6474609375\n", + "global step=20959232, episodic return=2346.86962890625\n", + "global step=20959232, episodic return=595.8361206054688\n", + "global step=20961280, episodic return=2327.808837890625\n", + "global step=20961280, episodic return=2397.693115234375\n", + "global step=20963328, episodic return=2434.626220703125\n", + "global step=20965376, episodic return=2304.12841796875\n", + "global step=20969472, episodic return=2469.083740234375\n", + "global step=20971520, episodic return=2287.833984375\n", + "global step=20973568, episodic return=2319.608154296875\n", + "global step=20973568, episodic return=2364.6357421875\n", + "global step=20973568, episodic return=2423.70263671875\n", + "global step=20973568, episodic return=2389.72607421875\n", + "global step=20977664, episodic return=2422.61474609375\n", + "global step=20981760, episodic return=210.63987731933594\n", + "global step=20981760, episodic return=192.06814575195312\n", + "global step=20981760, episodic return=2385.8046875\n", + "global step=20987904, episodic return=2393.839111328125\n", + "global step=20987904, episodic return=2309.9765625\n", + "global step=20987904, episodic return=2374.3193359375\n", + "global step=20994048, episodic return=2329.434814453125\n", + "global step=20994048, episodic return=2352.48388671875\n", + "global step=20994048, episodic return=2341.447998046875\n", + "global step=20996096, episodic return=431.0413818359375\n", + "global step=20998144, episodic return=212.5811309814453\n", + "global step=21000192, episodic return=2324.322509765625\n", + "global step=21000192, episodic return=2275.2890625\n", + "global step=21002240, episodic return=2346.394287109375\n", + "global step=21006336, episodic return=2417.320556640625\n", + "global step=21006336, episodic return=2311.477294921875\n", + "global step=21008384, episodic return=1916.02685546875\n", + "global step=21008384, episodic return=59.80447769165039\n", + "global step=21008384, episodic return=2341.444091796875\n", + "global step=21008384, episodic return=748.473388671875\n", + "global step=21010432, episodic return=2270.08837890625\n", + "global step=21010432, episodic return=2328.83642578125\n", + "global step=21012480, episodic return=2392.533935546875\n", + "global step=21012480, episodic return=2344.98974609375\n", + "global step=21012480, episodic return=333.1883850097656\n", + "global step=21012480, episodic return=2421.7080078125\n", + "global step=21014528, episodic return=2376.868896484375\n", + "global step=21014528, episodic return=2367.0751953125\n", + "global step=21018624, episodic return=2320.254638671875\n", + "global step=21018624, episodic return=2324.049072265625\n", + "global step=21018624, episodic return=2387.212646484375\n", + "global step=21018624, episodic return=2001.689453125\n", + "global step=21018624, episodic return=2367.662109375\n", + "global step=21018624, episodic return=2332.42138671875\n", + "global step=21018624, episodic return=239.76048278808594\n", + "global step=21020672, episodic return=2405.90283203125\n", + "global step=21022720, episodic return=2399.620849609375\n", + "global step=21022720, episodic return=2397.94140625\n", + "global step=21024768, episodic return=1253.4171142578125\n", + "global step=21026816, episodic return=181.32815551757812\n", + "global step=21026816, episodic return=199.3770751953125\n", + "global step=21028864, episodic return=2261.62841796875\n", + "global step=21028864, episodic return=2351.471435546875\n", + "global step=21028864, episodic return=245.52442932128906\n", + "global step=21028864, episodic return=2295.22705078125\n", + "global step=21028864, episodic return=2366.442138671875\n", + "global step=21028864, episodic return=2381.840576171875\n", + "global step=21028864, episodic return=2303.354736328125\n", + "global step=21030912, episodic return=2375.096923828125\n", + "global step=21030912, episodic return=2354.287841796875\n", + "global step=21032960, episodic return=204.14515686035156\n", + "global step=21032960, episodic return=2350.9169921875\n", + "global step=21032960, episodic return=2321.6513671875\n", + "global step=21035008, episodic return=2400.1640625\n", + "global step=21035008, episodic return=1483.6171875\n", + "global step=21035008, episodic return=2337.33056640625\n", + "global step=21037056, episodic return=2344.233642578125\n", + "global step=21039104, episodic return=2317.81201171875\n", + "global step=21041152, episodic return=2204.283203125\n", + "global step=21041152, episodic return=1704.690185546875\n", + "global step=21043200, episodic return=364.9150695800781\n", + "global step=21043200, episodic return=526.3555908203125\n", + "global step=21045248, episodic return=2349.092529296875\n", + "global step=21045248, episodic return=2291.258544921875\n", + "global step=21045248, episodic return=2274.59033203125\n", + "global step=21045248, episodic return=2358.549072265625\n", + "global step=21045248, episodic return=1205.481689453125\n", + "global step=21047296, episodic return=2368.7490234375\n", + "global step=21047296, episodic return=2312.586181640625\n", + "global step=21049344, episodic return=2347.376953125\n", + "global step=21049344, episodic return=250.98471069335938\n", + "global step=21049344, episodic return=2310.09375\n", + "global step=21049344, episodic return=219.65914916992188\n", + "global step=21051392, episodic return=2361.0986328125\n", + "global step=21051392, episodic return=2312.229248046875\n", + "global step=21051392, episodic return=2327.8837890625\n", + "global step=21053440, episodic return=1593.670654296875\n", + "global step=21053440, episodic return=2362.41455078125\n", + "global step=21053440, episodic return=2305.84228515625\n", + "global step=21053440, episodic return=455.27752685546875\n", + "global step=21055488, episodic return=195.5442352294922\n", + "global step=21055488, episodic return=2361.809326171875\n", + "global step=21057536, episodic return=201.5096435546875\n", + "global step=21057536, episodic return=2360.955078125\n", + "global step=21057536, episodic return=2301.542236328125\n", + "global step=21059584, episodic return=2401.369384765625\n", + "global step=21059584, episodic return=2346.315673828125\n", + "global step=21063680, episodic return=2345.998046875\n", + "global step=21067776, episodic return=2366.540771484375\n", + "global step=21067776, episodic return=240.33970642089844\n", + "global step=21067776, episodic return=2368.89794921875\n", + "global step=21067776, episodic return=2362.330810546875\n", + "global step=21067776, episodic return=1518.836669921875\n", + "global step=21069824, episodic return=2346.138671875\n", + "global step=21069824, episodic return=2391.828125\n", + "global step=21071872, episodic return=991.5233154296875\n", + "global step=21071872, episodic return=2277.517578125\n", + "global step=21073920, episodic return=48.28025817871094\n", + "global step=21073920, episodic return=2367.613037109375\n", + "global step=21073920, episodic return=222.1314697265625\n", + "global step=21075968, episodic return=2341.625\n", + "global step=21075968, episodic return=2334.112548828125\n", + "global step=21078016, episodic return=2331.493896484375\n", + "global step=21082112, episodic return=446.14813232421875\n", + "global step=21082112, episodic return=2362.87255859375\n", + "global step=21082112, episodic return=2353.216552734375\n", + "global step=21082112, episodic return=2337.936767578125\n", + "global step=21084160, episodic return=1921.1802978515625\n", + "global step=21086208, episodic return=2389.38232421875\n", + "global step=21086208, episodic return=2345.80224609375\n", + "global step=21086208, episodic return=2344.43701171875\n", + "global step=21086208, episodic return=2321.510498046875\n", + "global step=21086208, episodic return=682.5830078125\n", + "global step=21090304, episodic return=2355.4736328125\n", + "global step=21090304, episodic return=2376.314208984375\n", + "global step=21090304, episodic return=2384.240966796875\n", + "global step=21092352, episodic return=2339.57666015625\n", + "global step=21094400, episodic return=2365.660888671875\n", + "global step=21094400, episodic return=2352.787353515625\n", + "global step=21096448, episodic return=1522.6451416015625\n", + "global step=21098496, episodic return=2293.775390625\n", + "global step=21098496, episodic return=1113.801513671875\n", + "global step=21098496, episodic return=2345.36669921875\n", + "global step=21098496, episodic return=2390.8408203125\n", + "global step=21098496, episodic return=2304.85498046875\n", + "global step=21098496, episodic return=2336.4033203125\n", + "global step=21102592, episodic return=2353.643310546875\n", + "global step=21104640, episodic return=2370.45068359375\n", + "global step=21104640, episodic return=2345.65625\n", + "global step=21104640, episodic return=2399.12451171875\n", + "global step=21106688, episodic return=2352.453125\n", + "global step=21108736, episodic return=2339.15966796875\n", + "global step=21108736, episodic return=2333.032958984375\n", + "global step=21108736, episodic return=2374.215087890625\n", + "global step=21108736, episodic return=2339.314697265625\n", + "global step=21108736, episodic return=888.62890625\n", + "global step=21108736, episodic return=2330.41015625\n", + "global step=21110784, episodic return=2381.483154296875\n", + "global step=21112832, episodic return=2320.883056640625\n", + "global step=21112832, episodic return=2351.6083984375\n", + "global step=21112832, episodic return=2344.37109375\n", + "global step=21114880, episodic return=2277.531494140625\n", + "global step=21114880, episodic return=2391.7548828125\n", + "global step=21116928, episodic return=2307.868896484375\n", + "global step=21116928, episodic return=1436.1837158203125\n", + "global step=21116928, episodic return=2339.91357421875\n", + "global step=21116928, episodic return=2381.864013671875\n", + "global step=21118976, episodic return=2224.921630859375\n", + "global step=21118976, episodic return=2307.119140625\n", + "global step=21118976, episodic return=1862.6199951171875\n", + "global step=21121024, episodic return=2397.98193359375\n", + "global step=21121024, episodic return=2315.36376953125\n", + "global step=21125120, episodic return=2342.527587890625\n", + "global step=21125120, episodic return=2319.490966796875\n", + "global step=21125120, episodic return=2326.537841796875\n", + "global step=21125120, episodic return=2326.186767578125\n", + "global step=21127168, episodic return=2361.9599609375\n", + "global step=21127168, episodic return=2351.82373046875\n", + "global step=21127168, episodic return=2299.420166015625\n", + "global step=21129216, episodic return=1368.11328125\n", + "global step=21129216, episodic return=2350.37646484375\n", + "global step=21129216, episodic return=2310.92041015625\n", + "global step=21131264, episodic return=2357.467529296875\n", + "global step=21133312, episodic return=2320.211669921875\n", + "global step=21137408, episodic return=2346.343505859375\n", + "global step=21137408, episodic return=2327.397216796875\n", + "global step=21139456, episodic return=2282.8095703125\n", + "global step=21139456, episodic return=2366.58349609375\n", + "global step=21141504, episodic return=2338.542236328125\n", + "global step=21141504, episodic return=2328.585205078125\n", + "global step=21143552, episodic return=2360.18798828125\n", + "global step=21143552, episodic return=2378.611328125\n", + "global step=21143552, episodic return=2333.504638671875\n", + "global step=21145600, episodic return=2229.688232421875\n", + "global step=21145600, episodic return=2291.736572265625\n", + "global step=21145600, episodic return=2294.06103515625\n", + "global step=21147648, episodic return=2358.910888671875\n", + "global step=21147648, episodic return=2255.519775390625\n", + "global step=21149696, episodic return=602.8124389648438\n", + "global step=21149696, episodic return=2368.305419921875\n", + "global step=21149696, episodic return=2363.362060546875\n", + "global step=21151744, episodic return=2304.8037109375\n", + "global step=21153792, episodic return=2371.46728515625\n", + "global step=21153792, episodic return=2318.366455078125\n", + "global step=21155840, episodic return=2316.83447265625\n", + "global step=21155840, episodic return=217.29954528808594\n", + "global step=21157888, episodic return=522.548583984375\n", + "global step=21157888, episodic return=211.51467895507812\n", + "global step=21159936, episodic return=2299.227294921875\n", + "global step=21159936, episodic return=2316.851806640625\n", + "global step=21159936, episodic return=2388.9052734375\n", + "global step=21159936, episodic return=440.1741943359375\n", + "global step=21161984, episodic return=2346.732666015625\n", + "global step=21161984, episodic return=168.97645568847656\n", + "global step=21164032, episodic return=2209.756103515625\n", + "global step=21164032, episodic return=2305.80224609375\n", + "global step=21166080, episodic return=2354.5947265625\n", + "global step=21168128, episodic return=2311.984375\n", + "global step=21168128, episodic return=2291.72900390625\n", + "global step=21168128, episodic return=154.70675659179688\n", + "global step=21170176, episodic return=2229.261962890625\n", + "global step=21170176, episodic return=2341.4384765625\n", + "global step=21170176, episodic return=2344.565673828125\n", + "global step=21172224, episodic return=1718.5936279296875\n", + "global step=21174272, episodic return=2317.0986328125\n", + "global step=21174272, episodic return=2272.743408203125\n", + "global step=21176320, episodic return=2333.30908203125\n", + "global step=21176320, episodic return=1138.750732421875\n", + "global step=21176320, episodic return=787.2614135742188\n", + "global step=21178368, episodic return=2416.438232421875\n", + "global step=21180416, episodic return=2446.207275390625\n", + "global step=21180416, episodic return=2318.248046875\n", + "global step=21180416, episodic return=2337.540283203125\n", + "global step=21182464, episodic return=2237.385498046875\n", + "global step=21182464, episodic return=184.5092010498047\n", + "global step=21186560, episodic return=2353.34619140625\n", + "global step=21186560, episodic return=2187.475830078125\n", + "global step=21186560, episodic return=2313.846923828125\n", + "global step=21186560, episodic return=2304.79345703125\n", + "global step=21188608, episodic return=2347.26953125\n", + "global step=21188608, episodic return=2285.822265625\n", + "global step=21190656, episodic return=2333.760498046875\n", + "global step=21192704, episodic return=2346.9931640625\n", + "global step=21194752, episodic return=2339.110107421875\n", + "global step=21194752, episodic return=2247.1123046875\n", + "global step=21194752, episodic return=2290.163818359375\n", + "global step=21194752, episodic return=2292.26318359375\n", + "global step=21194752, episodic return=1372.8341064453125\n", + "global step=21196800, episodic return=2032.56884765625\n", + "global step=21198848, episodic return=2313.202880859375\n", + "global step=21198848, episodic return=2345.9482421875\n", + "global step=21198848, episodic return=2332.724365234375\n", + "global step=21198848, episodic return=2354.4580078125\n", + "global step=21198848, episodic return=2317.820556640625\n", + "global step=21200896, episodic return=2056.918701171875\n", + "global step=21200896, episodic return=2319.716796875\n", + "global step=21202944, episodic return=2298.7080078125\n", + "global step=21202944, episodic return=2325.774658203125\n", + "global step=21202944, episodic return=1117.0465087890625\n", + "global step=21204992, episodic return=1416.07861328125\n", + "global step=21207040, episodic return=2335.4228515625\n", + "global step=21207040, episodic return=2429.90576171875\n", + "global step=21207040, episodic return=2355.66455078125\n", + "global step=21207040, episodic return=1243.4742431640625\n", + "global step=21207040, episodic return=2305.928955078125\n", + "global step=21209088, episodic return=2322.87060546875\n", + "global step=21209088, episodic return=2312.320556640625\n", + "global step=21209088, episodic return=2360.112548828125\n", + "global step=21209088, episodic return=2313.8115234375\n", + "global step=21209088, episodic return=2315.96923828125\n", + "global step=21211136, episodic return=334.50421142578125\n", + "global step=21211136, episodic return=2388.770751953125\n", + "global step=21213184, episodic return=625.7804565429688\n", + "global step=21213184, episodic return=2400.058349609375\n", + "global step=21213184, episodic return=2350.79345703125\n", + "global step=21213184, episodic return=2306.084228515625\n", + "global step=21215232, episodic return=2337.843017578125\n", + "global step=21217280, episodic return=1042.222900390625\n", + "global step=21219328, episodic return=2372.69580078125\n", + "global step=21219328, episodic return=2248.601806640625\n", + "global step=21221376, episodic return=2333.143798828125\n", + "global step=21221376, episodic return=2270.197021484375\n", + "global step=21221376, episodic return=2369.515869140625\n", + "global step=21221376, episodic return=2322.92333984375\n", + "global step=21223424, episodic return=2316.928955078125\n", + "global step=21225472, episodic return=2380.558349609375\n", + "global step=21225472, episodic return=2354.703125\n", + "global step=21227520, episodic return=2310.208984375\n", + "global step=21227520, episodic return=2295.819580078125\n", + "global step=21227520, episodic return=2320.64990234375\n", + "global step=21231616, episodic return=2320.857421875\n", + "global step=21231616, episodic return=2190.514892578125\n", + "global step=21231616, episodic return=2389.540283203125\n", + "global step=21231616, episodic return=2355.85546875\n", + "global step=21231616, episodic return=2284.3505859375\n", + "global step=21233664, episodic return=2377.538330078125\n", + "global step=21233664, episodic return=2367.677978515625\n", + "global step=21233664, episodic return=2307.27978515625\n", + "global step=21233664, episodic return=2323.411376953125\n", + "global step=21233664, episodic return=2316.906005859375\n", + "global step=21235712, episodic return=2309.622802734375\n", + "global step=21237760, episodic return=2316.4453125\n", + "global step=21239808, episodic return=2376.80126953125\n", + "global step=21241856, episodic return=2350.599609375\n", + "global step=21241856, episodic return=1277.6217041015625\n", + "global step=21241856, episodic return=2361.989990234375\n", + "global step=21241856, episodic return=194.11126708984375\n", + "global step=21243904, episodic return=2327.849609375\n", + "global step=21245952, episodic return=55.86508560180664\n", + "global step=21245952, episodic return=2363.376953125\n", + "global step=21245952, episodic return=2379.875\n", + "global step=21245952, episodic return=2393.3583984375\n", + "global step=21248000, episodic return=2354.597900390625\n", + "global step=21248000, episodic return=2238.38720703125\n", + "global step=21248000, episodic return=2344.07958984375\n", + "global step=21248000, episodic return=1493.91552734375\n", + "global step=21248000, episodic return=2326.76220703125\n", + "global step=21248000, episodic return=910.20849609375\n", + "global step=21248000, episodic return=2229.996826171875\n", + "global step=21248000, episodic return=2330.658203125\n", + "global step=21248000, episodic return=2321.87158203125\n", + "global step=21250048, episodic return=2341.905029296875\n", + "global step=21250048, episodic return=2289.681396484375\n", + "global step=21252096, episodic return=2347.819580078125\n", + "global step=21252096, episodic return=2353.131103515625\n", + "global step=21254144, episodic return=2348.3095703125\n", + "global step=21254144, episodic return=2366.94921875\n", + "global step=21254144, episodic return=2330.55322265625\n", + "global step=21256192, episodic return=150.94073486328125\n", + "global step=21256192, episodic return=2353.84375\n", + "global step=21258240, episodic return=2214.302001953125\n", + "global step=21258240, episodic return=2347.271484375\n", + "global step=21258240, episodic return=2298.941650390625\n", + "global step=21258240, episodic return=2388.86474609375\n", + "global step=21258240, episodic return=2298.2939453125\n", + "global step=21260288, episodic return=2321.37451171875\n", + "global step=21260288, episodic return=1252.3619384765625\n", + "global step=21260288, episodic return=2330.0966796875\n", + "global step=21262336, episodic return=2350.291748046875\n", + "global step=21262336, episodic return=2346.67529296875\n", + "global step=21264384, episodic return=2340.19677734375\n", + "global step=21264384, episodic return=2390.2294921875\n", + "global step=21266432, episodic return=2320.3291015625\n", + "global step=21266432, episodic return=2387.068115234375\n", + "global step=21266432, episodic return=2359.569580078125\n", + "global step=21266432, episodic return=2259.596923828125\n", + "global step=21266432, episodic return=2327.44873046875\n", + "global step=21268480, episodic return=2325.35107421875\n", + "global step=21268480, episodic return=610.0216064453125\n", + "global step=21268480, episodic return=2361.885498046875\n", + "global step=21268480, episodic return=2388.9990234375\n", + "global step=21272576, episodic return=2386.8466796875\n", + "global step=21272576, episodic return=2288.455810546875\n", + "global step=21274624, episodic return=2390.12744140625\n", + "global step=21274624, episodic return=2374.340087890625\n", + "global step=21274624, episodic return=2334.707763671875\n", + "global step=21274624, episodic return=2307.085693359375\n", + "global step=21276672, episodic return=2352.25439453125\n", + "global step=21276672, episodic return=2372.386474609375\n", + "global step=21278720, episodic return=2369.6376953125\n", + "global step=21278720, episodic return=2334.343505859375\n", + "global step=21278720, episodic return=2368.68701171875\n", + "global step=21280768, episodic return=2340.539306640625\n", + "global step=21280768, episodic return=2348.70166015625\n", + "global step=21280768, episodic return=2323.35791015625\n", + "global step=21280768, episodic return=2367.524169921875\n", + "global step=21280768, episodic return=215.30540466308594\n", + "global step=21280768, episodic return=19.490745544433594\n", + "global step=21282816, episodic return=227.12167358398438\n", + "global step=21282816, episodic return=2360.339111328125\n", + "global step=21284864, episodic return=2410.67236328125\n", + "global step=21284864, episodic return=2345.0556640625\n", + "global step=21284864, episodic return=2342.692138671875\n", + "global step=21284864, episodic return=2252.11767578125\n", + "global step=21284864, episodic return=185.16482543945312\n", + "global step=21286912, episodic return=2390.405517578125\n", + "global step=21286912, episodic return=2367.5869140625\n", + "global step=21286912, episodic return=2277.944580078125\n", + "global step=21286912, episodic return=2337.704345703125\n", + "global step=21286912, episodic return=2315.282958984375\n", + "global step=21286912, episodic return=2370.1455078125\n", + "global step=21288960, episodic return=2319.3173828125\n", + "global step=21288960, episodic return=2398.28369140625\n", + "global step=21291008, episodic return=2341.130126953125\n", + "global step=21291008, episodic return=353.12933349609375\n", + "global step=21291008, episodic return=1959.387939453125\n", + "global step=21293056, episodic return=624.5003662109375\n", + "global step=21295104, episodic return=2244.91748046875\n", + "global step=21295104, episodic return=2334.21337890625\n", + "global step=21295104, episodic return=2303.162353515625\n", + "global step=21295104, episodic return=2324.315185546875\n", + "global step=21295104, episodic return=1850.9617919921875\n", + "global step=21295104, episodic return=2370.197509765625\n", + "global step=21297152, episodic return=2371.01904296875\n", + "global step=21297152, episodic return=2315.6025390625\n", + "global step=21299200, episodic return=2315.531005859375\n", + "global step=21299200, episodic return=2254.63134765625\n", + "global step=21299200, episodic return=2339.8544921875\n", + "global step=21301248, episodic return=2345.125732421875\n", + "global step=21301248, episodic return=2298.01025390625\n", + "global step=21301248, episodic return=2376.626708984375\n", + "global step=21301248, episodic return=2303.224365234375\n", + "global step=21301248, episodic return=2197.984130859375\n", + "global step=21303296, episodic return=2398.886474609375\n", + "global step=21303296, episodic return=2284.1337890625\n", + "global step=21305344, episodic return=2383.7158203125\n", + "global step=21307392, episodic return=2325.646484375\n", + "global step=21307392, episodic return=2377.741943359375\n", + "global step=21307392, episodic return=2320.30224609375\n", + "global step=21307392, episodic return=2370.049072265625\n", + "global step=21307392, episodic return=2296.52392578125\n", + "global step=21309440, episodic return=2367.141357421875\n", + "global step=21309440, episodic return=2353.865966796875\n", + "global step=21309440, episodic return=2413.263916015625\n", + "global step=21311488, episodic return=2323.6455078125\n", + "global step=21311488, episodic return=2326.290771484375\n", + "global step=21311488, episodic return=2290.4775390625\n", + "global step=21313536, episodic return=2377.166259765625\n", + "global step=21313536, episodic return=2398.4775390625\n", + "global step=21313536, episodic return=2334.231201171875\n", + "global step=21317632, episodic return=2319.533203125\n", + "global step=21317632, episodic return=2335.6328125\n", + "global step=21319680, episodic return=1410.941162109375\n", + "global step=21321728, episodic return=2280.174072265625\n", + "global step=21323776, episodic return=2311.701904296875\n", + "global step=21325824, episodic return=2339.807861328125\n", + "global step=21325824, episodic return=2315.873046875\n", + "global step=21325824, episodic return=322.8401794433594\n", + "global step=21327872, episodic return=2357.115478515625\n", + "global step=21329920, episodic return=2341.582763671875\n", + "global step=21329920, episodic return=2300.531982421875\n", + "global step=21329920, episodic return=2361.639404296875\n", + "global step=21331968, episodic return=2334.871337890625\n", + "global step=21336064, episodic return=2285.022705078125\n", + "global step=21336064, episodic return=824.0713500976562\n", + "global step=21338112, episodic return=2289.794921875\n", + "global step=21338112, episodic return=2372.232421875\n", + "global step=21340160, episodic return=2310.51953125\n", + "global step=21340160, episodic return=2387.2724609375\n", + "global step=21340160, episodic return=208.94692993164062\n", + "global step=21344256, episodic return=1361.7362060546875\n", + "global step=21344256, episodic return=2397.648193359375\n", + "global step=21346304, episodic return=2371.20849609375\n", + "global step=21346304, episodic return=2321.885986328125\n", + "global step=21346304, episodic return=2347.502197265625\n", + "global step=21346304, episodic return=1646.7552490234375\n", + "global step=21346304, episodic return=2270.997314453125\n", + "global step=21348352, episodic return=2356.15185546875\n", + "global step=21348352, episodic return=2405.78857421875\n", + "global step=21348352, episodic return=149.79978942871094\n", + "global step=21350400, episodic return=2308.13916015625\n", + "global step=21350400, episodic return=2321.06103515625\n", + "global step=21352448, episodic return=2313.08642578125\n", + "global step=21352448, episodic return=2356.3125\n", + "global step=21354496, episodic return=2384.865234375\n", + "global step=21354496, episodic return=2380.96142578125\n", + "global step=21354496, episodic return=2356.12451171875\n", + "global step=21356544, episodic return=2371.15087890625\n", + "global step=21356544, episodic return=2247.32958984375\n", + "global step=21356544, episodic return=2329.028076171875\n", + "global step=21358592, episodic return=2352.628173828125\n", + "global step=21358592, episodic return=2383.677978515625\n", + "global step=21358592, episodic return=2342.630859375\n", + "global step=21362688, episodic return=192.30755615234375\n", + "global step=21362688, episodic return=2396.443603515625\n", + "global step=21362688, episodic return=2382.507568359375\n", + "global step=21362688, episodic return=2315.87353515625\n", + "global step=21364736, episodic return=1616.294189453125\n", + "global step=21364736, episodic return=937.2373657226562\n", + "global step=21366784, episodic return=979.3591918945312\n", + "global step=21366784, episodic return=2098.148193359375\n", + "global step=21366784, episodic return=538.2362670898438\n", + "global step=21368832, episodic return=2381.2841796875\n", + "global step=21368832, episodic return=2360.041259765625\n", + "global step=21370880, episodic return=2164.70458984375\n", + "global step=21374976, episodic return=2367.13232421875\n", + "global step=21374976, episodic return=585.8805541992188\n", + "global step=21374976, episodic return=2317.64501953125\n", + "global step=21374976, episodic return=2328.07373046875\n", + "global step=21374976, episodic return=2340.942138671875\n", + "global step=21377024, episodic return=2354.470458984375\n", + "global step=21377024, episodic return=2378.532470703125\n", + "global step=21377024, episodic return=2243.83837890625\n", + "global step=21379072, episodic return=2309.6455078125\n", + "global step=21381120, episodic return=2374.446533203125\n", + "global step=21381120, episodic return=123.31884765625\n", + "global step=21385216, episodic return=2382.53369140625\n", + "global step=21385216, episodic return=2386.17822265625\n", + "global step=21385216, episodic return=2370.17431640625\n", + "global step=21385216, episodic return=2279.1474609375\n", + "global step=21387264, episodic return=306.95697021484375\n", + "global step=21387264, episodic return=2316.604248046875\n", + "global step=21387264, episodic return=2349.165283203125\n", + "global step=21389312, episodic return=2340.32470703125\n", + "global step=21391360, episodic return=270.3493957519531\n", + "global step=21391360, episodic return=2312.943359375\n", + "global step=21395456, episodic return=2310.01904296875\n", + "global step=21395456, episodic return=1526.99609375\n", + "global step=21395456, episodic return=199.15367126464844\n", + "global step=21395456, episodic return=2383.06884765625\n", + "global step=21395456, episodic return=2325.673583984375\n", + "global step=21397504, episodic return=2367.808349609375\n", + "global step=21397504, episodic return=241.41766357421875\n", + "global step=21397504, episodic return=442.8360595703125\n", + "global step=21399552, episodic return=2384.433837890625\n", + "global step=21401600, episodic return=185.98011779785156\n", + "global step=21403648, episodic return=2351.455078125\n", + "global step=21403648, episodic return=777.7466430664062\n", + "global step=21403648, episodic return=2372.842041015625\n", + "global step=21405696, episodic return=2268.35986328125\n", + "global step=21407744, episodic return=2342.97119140625\n", + "global step=21407744, episodic return=2261.36279296875\n", + "global step=21407744, episodic return=2333.786376953125\n", + "global step=21407744, episodic return=2358.441162109375\n", + "global step=21409792, episodic return=2323.90380859375\n", + "global step=21409792, episodic return=2369.233154296875\n", + "global step=21411840, episodic return=2381.306396484375\n", + "global step=21411840, episodic return=2289.59765625\n", + "global step=21413888, episodic return=2272.228515625\n", + "global step=21413888, episodic return=2286.356201171875\n", + "global step=21413888, episodic return=2330.580810546875\n", + "global step=21413888, episodic return=2269.5947265625\n", + "global step=21413888, episodic return=2369.43798828125\n", + "global step=21415936, episodic return=2346.093994140625\n", + "global step=21415936, episodic return=360.8583679199219\n", + "global step=21415936, episodic return=2364.9892578125\n", + "global step=21417984, episodic return=2254.224853515625\n", + "global step=21417984, episodic return=2345.260498046875\n", + "global step=21420032, episodic return=2347.89404296875\n", + "global step=21420032, episodic return=2325.663818359375\n", + "global step=21420032, episodic return=2298.10009765625\n", + "global step=21420032, episodic return=2302.498779296875\n", + "global step=21422080, episodic return=2315.23388671875\n", + "global step=21422080, episodic return=2343.014404296875\n", + "global step=21422080, episodic return=2377.7578125\n", + "global step=21422080, episodic return=2382.139404296875\n", + "global step=21424128, episodic return=302.4156799316406\n", + "global step=21426176, episodic return=983.6132202148438\n", + "global step=21428224, episodic return=2212.164306640625\n", + "global step=21428224, episodic return=2291.903564453125\n", + "global step=21428224, episodic return=796.0525512695312\n", + "global step=21432320, episodic return=2355.677978515625\n", + "global step=21432320, episodic return=2305.2783203125\n", + "global step=21434368, episodic return=2383.729736328125\n", + "global step=21434368, episodic return=2352.353759765625\n", + "global step=21434368, episodic return=2296.748046875\n", + "global step=21436416, episodic return=2365.8740234375\n", + "global step=21436416, episodic return=858.1568603515625\n", + "global step=21438464, episodic return=2335.503662109375\n", + "global step=21440512, episodic return=2350.732177734375\n", + "global step=21442560, episodic return=2307.294677734375\n", + "global step=21442560, episodic return=2342.054931640625\n", + "global step=21442560, episodic return=2363.06298828125\n", + "global step=21444608, episodic return=2325.445556640625\n", + "global step=21444608, episodic return=2390.63623046875\n", + "global step=21446656, episodic return=2322.775634765625\n", + "global step=21446656, episodic return=1655.791015625\n", + "global step=21446656, episodic return=2403.08935546875\n", + "global step=21448704, episodic return=2308.3525390625\n", + "global step=21448704, episodic return=2359.292236328125\n", + "global step=21450752, episodic return=2396.987060546875\n", + "global step=21450752, episodic return=2350.184326171875\n", + "global step=21450752, episodic return=2330.9931640625\n", + "global step=21452800, episodic return=2300.63232421875\n", + "global step=21452800, episodic return=2295.239501953125\n", + "global step=21454848, episodic return=2290.939697265625\n", + "global step=21454848, episodic return=1972.1064453125\n", + "global step=21456896, episodic return=2405.5146484375\n", + "global step=21456896, episodic return=2353.10546875\n", + "global step=21458944, episodic return=2305.509521484375\n", + "global step=21460992, episodic return=2373.477783203125\n", + "global step=21460992, episodic return=2382.107666015625\n", + "global step=21463040, episodic return=1594.520263671875\n", + "global step=21463040, episodic return=2311.578369140625\n", + "global step=21467136, episodic return=2381.25830078125\n", + "global step=21469184, episodic return=2327.869140625\n", + "global step=21471232, episodic return=19.667123794555664\n", + "global step=21471232, episodic return=2366.142578125\n", + "global step=21471232, episodic return=2366.056396484375\n", + "global step=21471232, episodic return=2401.20654296875\n", + "global step=21473280, episodic return=2336.960693359375\n", + "global step=21475328, episodic return=2338.078369140625\n", + "global step=21475328, episodic return=1741.4088134765625\n", + "global step=21477376, episodic return=2383.2421875\n", + "global step=21477376, episodic return=2346.471435546875\n", + "global step=21477376, episodic return=2366.978759765625\n", + "global step=21477376, episodic return=761.2440185546875\n", + "global step=21479424, episodic return=2294.96728515625\n", + "global step=21479424, episodic return=2294.10400390625\n", + "global step=21479424, episodic return=2327.783935546875\n", + "global step=21481472, episodic return=2361.463134765625\n", + "global step=21481472, episodic return=2399.244140625\n", + "global step=21481472, episodic return=2361.254150390625\n", + "global step=21483520, episodic return=2414.6630859375\n", + "global step=21485568, episodic return=2411.342041015625\n", + "global step=21485568, episodic return=2344.024658203125\n", + "global step=21485568, episodic return=2325.304443359375\n", + "global step=21487616, episodic return=2339.358154296875\n", + "global step=21487616, episodic return=1117.0406494140625\n", + "global step=21487616, episodic return=2369.846923828125\n", + "global step=21489664, episodic return=2320.32177734375\n", + "global step=21489664, episodic return=2389.628662109375\n", + "global step=21489664, episodic return=1148.511962890625\n", + "global step=21489664, episodic return=2285.3359375\n", + "global step=21493760, episodic return=2345.155029296875\n", + "global step=21495808, episodic return=2333.0048828125\n", + "global step=21495808, episodic return=2344.522705078125\n", + "global step=21495808, episodic return=1049.1815185546875\n", + "global step=21495808, episodic return=2366.52490234375\n", + "global step=21497856, episodic return=2333.261962890625\n", + "global step=21497856, episodic return=2329.10107421875\n", + "global step=21497856, episodic return=223.44927978515625\n", + "global step=21499904, episodic return=2338.0751953125\n", + "global step=21499904, episodic return=2260.834716796875\n", + "global step=21499904, episodic return=1851.87548828125\n", + "global step=21499904, episodic return=2362.01806640625\n", + "global step=21499904, episodic return=2392.267333984375\n", + "global step=21501952, episodic return=2324.70166015625\n", + "global step=21501952, episodic return=2286.22607421875\n", + "global step=21504000, episodic return=2353.403076171875\n", + "global step=21506048, episodic return=2330.0595703125\n", + "global step=21508096, episodic return=2128.68505859375\n", + "global step=21508096, episodic return=2373.816650390625\n", + "global step=21510144, episodic return=2293.132080078125\n", + "global step=21516288, episodic return=2324.09326171875\n", + "global step=21516288, episodic return=2279.656494140625\n", + "global step=21516288, episodic return=2375.20068359375\n", + "global step=21516288, episodic return=2390.4443359375\n", + "global step=21516288, episodic return=2306.697998046875\n", + "global step=21518336, episodic return=2356.05078125\n", + "global step=21518336, episodic return=2037.591552734375\n", + "global step=21520384, episodic return=2243.706787109375\n", + "global step=21522432, episodic return=2090.228759765625\n", + "global step=21522432, episodic return=2380.316162109375\n", + "global step=21524480, episodic return=171.3174591064453\n", + "global step=21524480, episodic return=1574.8763427734375\n", + "global step=21526528, episodic return=2258.85888671875\n", + "global step=21526528, episodic return=1876.954345703125\n", + "global step=21526528, episodic return=2372.95068359375\n", + "global step=21526528, episodic return=2347.697265625\n", + "global step=21528576, episodic return=211.73451232910156\n", + "global step=21530624, episodic return=2386.609619140625\n", + "global step=21530624, episodic return=2381.10400390625\n", + "global step=21532672, episodic return=2394.849853515625\n", + "global step=21532672, episodic return=2326.5361328125\n", + "global step=21532672, episodic return=2407.019287109375\n", + "global step=21536768, episodic return=2364.226318359375\n", + "global step=21536768, episodic return=1936.3883056640625\n", + "global step=21536768, episodic return=2095.140625\n", + "global step=21538816, episodic return=253.29519653320312\n", + "global step=21540864, episodic return=2378.85302734375\n", + "global step=21544960, episodic return=2291.936279296875\n", + "global step=21544960, episodic return=2352.8271484375\n", + "global step=21544960, episodic return=2362.50048828125\n", + "global step=21547008, episodic return=2260.349609375\n", + "global step=21547008, episodic return=2343.08740234375\n", + "global step=21547008, episodic return=2374.2841796875\n", + "global step=21547008, episodic return=1027.3013916015625\n", + "global step=21547008, episodic return=2445.843505859375\n", + "global step=21549056, episodic return=2335.212890625\n", + "global step=21549056, episodic return=2407.66748046875\n", + "global step=21549056, episodic return=1172.102294921875\n", + "global step=21551104, episodic return=2433.11767578125\n", + "global step=21551104, episodic return=2344.6630859375\n", + "global step=21551104, episodic return=2393.131591796875\n", + "global step=21557248, episodic return=1404.2313232421875\n", + "global step=21557248, episodic return=1840.1895751953125\n", + "global step=21557248, episodic return=2391.5888671875\n", + "global step=21557248, episodic return=2327.899658203125\n", + "global step=21561344, episodic return=2327.91796875\n", + "global step=21561344, episodic return=2365.036865234375\n", + "global step=21561344, episodic return=2404.381103515625\n", + "global step=21561344, episodic return=277.3526611328125\n", + "global step=21561344, episodic return=2342.585693359375\n", + "global step=21561344, episodic return=2304.479248046875\n", + "global step=21563392, episodic return=2392.352783203125\n", + "global step=21563392, episodic return=2374.88671875\n", + "global step=21563392, episodic return=2315.6875\n", + "global step=21563392, episodic return=2316.210205078125\n", + "global step=21565440, episodic return=2341.208251953125\n", + "global step=21565440, episodic return=2389.108642578125\n", + "global step=21565440, episodic return=1990.9630126953125\n", + "global step=21567488, episodic return=2308.1435546875\n", + "global step=21567488, episodic return=2281.173828125\n", + "global step=21569536, episodic return=2393.52734375\n", + "global step=21569536, episodic return=2345.083984375\n", + "global step=21571584, episodic return=324.6919860839844\n", + "global step=21573632, episodic return=1382.387939453125\n", + "global step=21573632, episodic return=1180.1021728515625\n", + "global step=21575680, episodic return=271.1750183105469\n", + "global step=21575680, episodic return=2314.92919921875\n", + "global step=21575680, episodic return=2362.015625\n", + "global step=21575680, episodic return=2385.978271484375\n", + "global step=21577728, episodic return=421.5379638671875\n", + "global step=21577728, episodic return=2386.416259765625\n", + "global step=21579776, episodic return=2376.591796875\n", + "global step=21579776, episodic return=2377.3359375\n", + "global step=21579776, episodic return=2384.690185546875\n", + "global step=21581824, episodic return=681.1698608398438\n", + "global step=21581824, episodic return=1969.08447265625\n", + "global step=21581824, episodic return=2322.60986328125\n", + "global step=21583872, episodic return=2344.682861328125\n", + "global step=21583872, episodic return=2354.84814453125\n", + "global step=21583872, episodic return=2261.940185546875\n", + "global step=21583872, episodic return=2304.779052734375\n", + "global step=21585920, episodic return=556.1298217773438\n", + "global step=21585920, episodic return=2248.939697265625\n", + "global step=21585920, episodic return=2321.0283203125\n", + "global step=21585920, episodic return=2363.175048828125\n", + "global step=21587968, episodic return=660.1129760742188\n", + "global step=21587968, episodic return=2386.49072265625\n", + "global step=21590016, episodic return=2400.214599609375\n", + "global step=21590016, episodic return=2360.79931640625\n", + "global step=21590016, episodic return=2305.97998046875\n", + "global step=21592064, episodic return=2380.9052734375\n", + "global step=21592064, episodic return=2350.456787109375\n", + "global step=21594112, episodic return=619.4318237304688\n", + "global step=21594112, episodic return=2351.044189453125\n", + "global step=21596160, episodic return=2382.3173828125\n", + "global step=21596160, episodic return=2341.890625\n", + "global step=21598208, episodic return=2391.66357421875\n", + "global step=21598208, episodic return=2380.108154296875\n", + "global step=21600256, episodic return=2370.297607421875\n", + "global step=21600256, episodic return=263.5502014160156\n", + "global step=21600256, episodic return=2355.480224609375\n", + "global step=21602304, episodic return=2379.588623046875\n", + "global step=21602304, episodic return=2370.814208984375\n", + "global step=21604352, episodic return=367.80450439453125\n", + "global step=21604352, episodic return=2349.62451171875\n", + "global step=21606400, episodic return=1859.7767333984375\n", + "global step=21606400, episodic return=2363.04736328125\n", + "global step=21606400, episodic return=2302.797607421875\n", + "global step=21608448, episodic return=2336.37353515625\n", + "global step=21608448, episodic return=1296.9007568359375\n", + "global step=21608448, episodic return=2345.68798828125\n", + "global step=21608448, episodic return=2335.64453125\n", + "global step=21608448, episodic return=2332.01171875\n", + "global step=21608448, episodic return=2396.8779296875\n", + "global step=21610496, episodic return=2319.2353515625\n", + "global step=21610496, episodic return=2307.9501953125\n", + "global step=21610496, episodic return=2213.61865234375\n", + "global step=21610496, episodic return=2396.27978515625\n", + "global step=21612544, episodic return=2347.71484375\n", + "global step=21612544, episodic return=2341.664794921875\n", + "global step=21612544, episodic return=125.60478973388672\n", + "global step=21614592, episodic return=2361.3369140625\n", + "global step=21614592, episodic return=2330.69482421875\n", + "global step=21614592, episodic return=2351.65234375\n", + "global step=21614592, episodic return=2269.70849609375\n", + "global step=21616640, episodic return=2247.2890625\n", + "global step=21616640, episodic return=2340.409423828125\n", + "global step=21616640, episodic return=63.17838668823242\n", + "global step=21616640, episodic return=2291.06494140625\n", + "global step=21618688, episodic return=2385.71240234375\n", + "global step=21618688, episodic return=1823.392333984375\n", + "global step=21618688, episodic return=310.004638671875\n", + "global step=21618688, episodic return=2299.2919921875\n", + "global step=21620736, episodic return=2350.947998046875\n", + "global step=21620736, episodic return=2328.449951171875\n", + "global step=21622784, episodic return=25.95774269104004\n", + "global step=21622784, episodic return=2374.014892578125\n", + "global step=21622784, episodic return=2391.725830078125\n", + "global step=21622784, episodic return=2385.811279296875\n", + "global step=21624832, episodic return=2332.91455078125\n", + "global step=21624832, episodic return=2314.84130859375\n", + "global step=21624832, episodic return=118.53140258789062\n", + "global step=21626880, episodic return=2324.510986328125\n", + "global step=21626880, episodic return=2356.572265625\n", + "global step=21626880, episodic return=1045.074462890625\n", + "global step=21628928, episodic return=2324.161376953125\n", + "global step=21628928, episodic return=2395.59521484375\n", + "global step=21628928, episodic return=2306.230224609375\n", + "global step=21628928, episodic return=2374.167724609375\n", + "global step=21630976, episodic return=2241.154052734375\n", + "global step=21630976, episodic return=2348.814697265625\n", + "global step=21630976, episodic return=2340.65771484375\n", + "global step=21630976, episodic return=2317.276611328125\n", + "global step=21633024, episodic return=2187.251953125\n", + "global step=21633024, episodic return=2302.353759765625\n", + "global step=21633024, episodic return=2184.361328125\n", + "global step=21633024, episodic return=2016.4423828125\n", + "global step=21635072, episodic return=2342.787841796875\n", + "global step=21635072, episodic return=2180.458251953125\n", + "global step=21635072, episodic return=2350.503173828125\n", + "global step=21637120, episodic return=2360.443115234375\n", + "global step=21637120, episodic return=2333.8662109375\n", + "global step=21637120, episodic return=2206.421142578125\n", + "global step=21639168, episodic return=2360.2265625\n", + "global step=21639168, episodic return=262.4767150878906\n", + "global step=21641216, episodic return=1506.426513671875\n", + "global step=21641216, episodic return=851.5692138671875\n", + "global step=21641216, episodic return=2378.979736328125\n", + "global step=21641216, episodic return=2365.287109375\n", + "global step=21643264, episodic return=2201.0068359375\n", + "global step=21643264, episodic return=2321.667236328125\n", + "global step=21643264, episodic return=2240.4912109375\n", + "global step=21643264, episodic return=2279.77392578125\n", + "global step=21643264, episodic return=2292.504150390625\n", + "global step=21643264, episodic return=2276.937744140625\n", + "global step=21643264, episodic return=2376.282470703125\n", + "global step=21645312, episodic return=2216.748291015625\n", + "global step=21645312, episodic return=2306.7744140625\n", + "global step=21645312, episodic return=2358.11572265625\n", + "global step=21647360, episodic return=2322.3681640625\n", + "global step=21647360, episodic return=2207.814453125\n", + "global step=21647360, episodic return=1780.11669921875\n", + "global step=21647360, episodic return=2319.269287109375\n", + "global step=21647360, episodic return=34.708030700683594\n", + "global step=21647360, episodic return=2332.02490234375\n", + "global step=21649408, episodic return=1422.263427734375\n", + "global step=21649408, episodic return=2341.0380859375\n", + "global step=21649408, episodic return=2357.277099609375\n", + "global step=21649408, episodic return=2300.162841796875\n", + "global step=21651456, episodic return=2389.18896484375\n", + "global step=21651456, episodic return=2371.635009765625\n", + "global step=21653504, episodic return=586.1182250976562\n", + "global step=21653504, episodic return=2298.16455078125\n", + "global step=21653504, episodic return=520.5526733398438\n", + "global step=21655552, episodic return=2321.15625\n", + "global step=21655552, episodic return=270.38262939453125\n", + "global step=21655552, episodic return=2285.16455078125\n", + "global step=21655552, episodic return=1836.557373046875\n", + "global step=21655552, episodic return=2340.030029296875\n", + "global step=21655552, episodic return=2313.513671875\n", + "global step=21657600, episodic return=2341.5224609375\n", + "global step=21657600, episodic return=2196.405517578125\n", + "global step=21657600, episodic return=2396.7978515625\n", + "global step=21657600, episodic return=1465.9112548828125\n", + "global step=21657600, episodic return=2248.000732421875\n", + "global step=21657600, episodic return=2277.7431640625\n", + "global step=21657600, episodic return=2311.38623046875\n", + "global step=21657600, episodic return=2281.602294921875\n", + "global step=21659648, episodic return=2319.560546875\n", + "global step=21659648, episodic return=2302.0888671875\n", + "global step=21661696, episodic return=2213.611572265625\n", + "global step=21661696, episodic return=2223.656494140625\n", + "global step=21661696, episodic return=2240.187255859375\n", + "global step=21663744, episodic return=2348.11962890625\n", + "global step=21663744, episodic return=2359.3271484375\n", + "global step=21665792, episodic return=2296.2119140625\n", + "global step=21665792, episodic return=2343.637451171875\n", + "global step=21667840, episodic return=2345.10986328125\n", + "global step=21667840, episodic return=1171.7237548828125\n", + "global step=21667840, episodic return=2176.260986328125\n", + "global step=21669888, episodic return=412.98443603515625\n", + "global step=21669888, episodic return=199.0742645263672\n", + "global step=21669888, episodic return=1477.6864013671875\n", + "global step=21669888, episodic return=645.9906616210938\n", + "global step=21669888, episodic return=2273.08740234375\n", + "global step=21669888, episodic return=2328.078857421875\n", + "global step=21671936, episodic return=2383.82861328125\n", + "global step=21671936, episodic return=2263.111083984375\n", + "global step=21671936, episodic return=2302.862548828125\n", + "global step=21671936, episodic return=2271.246337890625\n", + "global step=21671936, episodic return=2322.369384765625\n", + "global step=21673984, episodic return=2347.241943359375\n", + "global step=21676032, episodic return=2242.815673828125\n", + "global step=21676032, episodic return=2344.384765625\n", + "global step=21676032, episodic return=2359.797119140625\n", + "global step=21676032, episodic return=2267.514404296875\n", + "global step=21678080, episodic return=2255.427734375\n", + "global step=21678080, episodic return=1635.5704345703125\n", + "global step=21678080, episodic return=2276.01171875\n", + "global step=21678080, episodic return=1265.77685546875\n", + "global step=21680128, episodic return=2237.150146484375\n", + "global step=21680128, episodic return=2176.53076171875\n", + "global step=21682176, episodic return=2330.336181640625\n", + "global step=21684224, episodic return=2380.72802734375\n", + "global step=21684224, episodic return=2012.5653076171875\n", + "global step=21684224, episodic return=1421.4437255859375\n", + "global step=21686272, episodic return=2070.8017578125\n", + "global step=21686272, episodic return=2247.690673828125\n", + "global step=21686272, episodic return=580.3743896484375\n", + "global step=21686272, episodic return=2366.728759765625\n", + "global step=21688320, episodic return=2313.0810546875\n", + "global step=21688320, episodic return=2300.288330078125\n", + "global step=21688320, episodic return=1189.70849609375\n", + "global step=21688320, episodic return=559.0546875\n", + "global step=21688320, episodic return=620.3760375976562\n", + "global step=21690368, episodic return=2311.0185546875\n", + "global step=21690368, episodic return=1308.94482421875\n", + "global step=21690368, episodic return=2311.35693359375\n", + "global step=21690368, episodic return=2329.429931640625\n", + "global step=21690368, episodic return=2326.23046875\n", + "global step=21692416, episodic return=2375.959716796875\n", + "global step=21692416, episodic return=2318.68701171875\n", + "global step=21694464, episodic return=1603.267578125\n", + "global step=21694464, episodic return=2327.237060546875\n", + "global step=21696512, episodic return=2355.86376953125\n", + "global step=21700608, episodic return=2330.0078125\n", + "global step=21700608, episodic return=2324.146728515625\n", + "global step=21700608, episodic return=2331.812255859375\n", + "global step=21702656, episodic return=2281.87255859375\n", + "global step=21702656, episodic return=2342.96044921875\n", + "global step=21702656, episodic return=2296.1142578125\n", + "global step=21702656, episodic return=2304.714111328125\n", + "global step=21704704, episodic return=2332.274169921875\n", + "global step=21706752, episodic return=2302.60888671875\n", + "global step=21706752, episodic return=2214.546142578125\n", + "global step=21706752, episodic return=2310.989990234375\n", + "global step=21706752, episodic return=2346.673828125\n", + "global step=21706752, episodic return=2315.818359375\n", + "global step=21708800, episodic return=2280.252197265625\n", + "global step=21708800, episodic return=2347.72607421875\n", + "global step=21710848, episodic return=1175.045166015625\n", + "global step=21712896, episodic return=2309.16552734375\n", + "global step=21712896, episodic return=2361.9326171875\n", + "global step=21712896, episodic return=2342.562255859375\n", + "global step=21714944, episodic return=2278.546630859375\n", + "global step=21716992, episodic return=2349.693603515625\n", + "global step=21719040, episodic return=1410.728515625\n", + "global step=21719040, episodic return=2283.533203125\n", + "global step=21721088, episodic return=2355.8310546875\n", + "global step=21721088, episodic return=2313.059814453125\n", + "global step=21721088, episodic return=200.77207946777344\n", + "global step=21721088, episodic return=850.7589111328125\n", + "global step=21721088, episodic return=1533.1829833984375\n", + "global step=21723136, episodic return=1792.3604736328125\n", + "global step=21723136, episodic return=1620.5706787109375\n", + "global step=21723136, episodic return=2258.49462890625\n", + "global step=21723136, episodic return=2350.287353515625\n", + "global step=21723136, episodic return=206.4184112548828\n", + "global step=21723136, episodic return=1618.2139892578125\n", + "global step=21723136, episodic return=2293.11328125\n", + "global step=21725184, episodic return=2240.71044921875\n", + "global step=21725184, episodic return=2373.4326171875\n", + "global step=21725184, episodic return=2321.728759765625\n", + "global step=21725184, episodic return=2356.172607421875\n", + "global step=21727232, episodic return=2342.53662109375\n", + "global step=21727232, episodic return=2268.59765625\n", + "global step=21727232, episodic return=731.8959350585938\n", + "global step=21727232, episodic return=2353.154296875\n", + "global step=21729280, episodic return=2372.68212890625\n", + "global step=21729280, episodic return=2376.26611328125\n", + "global step=21729280, episodic return=35.14284896850586\n", + "global step=21731328, episodic return=2335.814697265625\n", + "global step=21731328, episodic return=2265.94287109375\n", + "global step=21731328, episodic return=340.6845703125\n", + "global step=21733376, episodic return=2232.260986328125\n", + "global step=21733376, episodic return=2251.849609375\n", + "global step=21733376, episodic return=74.04684448242188\n", + "global step=21733376, episodic return=2241.287353515625\n", + "global step=21733376, episodic return=2300.560546875\n", + "global step=21735424, episodic return=2328.42626953125\n", + "global step=21735424, episodic return=642.2819213867188\n", + "global step=21735424, episodic return=1288.59375\n", + "global step=21737472, episodic return=442.7029724121094\n", + "global step=21737472, episodic return=2329.45068359375\n", + "global step=21739520, episodic return=2295.64892578125\n", + "global step=21739520, episodic return=2386.886474609375\n", + "global step=21741568, episodic return=2246.24560546875\n", + "global step=21743616, episodic return=2302.28125\n", + "global step=21743616, episodic return=2288.90771484375\n", + "global step=21743616, episodic return=2343.42626953125\n", + "global step=21745664, episodic return=2261.584716796875\n", + "global step=21747712, episodic return=2342.0830078125\n", + "global step=21747712, episodic return=2310.679443359375\n", + "global step=21747712, episodic return=2381.992431640625\n", + "global step=21747712, episodic return=2259.375244140625\n", + "global step=21747712, episodic return=2343.143798828125\n", + "global step=21749760, episodic return=222.38345336914062\n", + "global step=21749760, episodic return=13.279007911682129\n", + "global step=21749760, episodic return=2283.89453125\n", + "global step=21749760, episodic return=2359.513916015625\n", + "global step=21751808, episodic return=2314.529296875\n", + "global step=21751808, episodic return=2315.855712890625\n", + "global step=21751808, episodic return=229.6967010498047\n", + "global step=21751808, episodic return=1719.100830078125\n", + "global step=21751808, episodic return=2338.186279296875\n", + "global step=21753856, episodic return=2317.653564453125\n", + "global step=21753856, episodic return=2303.80908203125\n", + "global step=21755904, episodic return=2278.57080078125\n", + "global step=21755904, episodic return=2334.077392578125\n", + "global step=21755904, episodic return=2256.12841796875\n", + "global step=21755904, episodic return=72.18196868896484\n", + "global step=21755904, episodic return=2348.4599609375\n", + "global step=21757952, episodic return=110.8443603515625\n", + "global step=21762048, episodic return=2243.466552734375\n", + "global step=21762048, episodic return=2342.746337890625\n", + "global step=21764096, episodic return=2338.3876953125\n", + "global step=21764096, episodic return=136.4616241455078\n", + "global step=21766144, episodic return=2314.7646484375\n", + "global step=21766144, episodic return=2293.7314453125\n", + "global step=21766144, episodic return=1362.4580078125\n", + "global step=21768192, episodic return=114.41230010986328\n", + "global step=21770240, episodic return=1724.5411376953125\n", + "global step=21770240, episodic return=2343.26904296875\n", + "global step=21770240, episodic return=2375.130615234375\n", + "global step=21772288, episodic return=2340.278564453125\n", + "global step=21772288, episodic return=1070.4188232421875\n", + "global step=21772288, episodic return=2312.076416015625\n", + "global step=21774336, episodic return=2301.690185546875\n", + "global step=21776384, episodic return=361.41497802734375\n", + "global step=21776384, episodic return=2283.56884765625\n", + "global step=21776384, episodic return=2343.15966796875\n", + "global step=21778432, episodic return=600.1048583984375\n", + "global step=21778432, episodic return=2303.9072265625\n", + "global step=21778432, episodic return=2298.705810546875\n", + "global step=21780480, episodic return=2316.123779296875\n", + "global step=21780480, episodic return=64.07491302490234\n", + "global step=21780480, episodic return=1061.8839111328125\n", + "global step=21782528, episodic return=2284.021240234375\n", + "global step=21782528, episodic return=2346.29052734375\n", + "global step=21782528, episodic return=2336.448974609375\n", + "global step=21782528, episodic return=2337.105712890625\n", + "global step=21784576, episodic return=855.8583374023438\n", + "global step=21784576, episodic return=2326.3466796875\n", + "global step=21784576, episodic return=642.5349731445312\n", + "global step=21786624, episodic return=2424.40380859375\n", + "global step=21786624, episodic return=2295.08740234375\n", + "global step=21788672, episodic return=2156.72119140625\n", + "global step=21788672, episodic return=153.29100036621094\n", + "global step=21788672, episodic return=2378.234375\n", + "global step=21790720, episodic return=2280.83642578125\n", + "global step=21790720, episodic return=2318.1376953125\n", + "global step=21790720, episodic return=2310.86376953125\n", + "global step=21790720, episodic return=2289.985595703125\n", + "global step=21790720, episodic return=2288.284423828125\n", + "global step=21790720, episodic return=2329.71337890625\n", + "global step=21792768, episodic return=2336.589111328125\n", + "global step=21792768, episodic return=2324.874267578125\n", + "global step=21792768, episodic return=2448.712646484375\n", + "global step=21792768, episodic return=2403.625244140625\n", + "global step=21796864, episodic return=1978.658447265625\n", + "global step=21796864, episodic return=2301.242431640625\n", + "global step=21798912, episodic return=2363.318115234375\n", + "global step=21798912, episodic return=433.3641357421875\n", + "global step=21798912, episodic return=139.94851684570312\n", + "global step=21800960, episodic return=673.26123046875\n", + "global step=21800960, episodic return=778.8892211914062\n", + "global step=21800960, episodic return=2291.767333984375\n", + "global step=21800960, episodic return=2349.3115234375\n", + "global step=21800960, episodic return=1029.51611328125\n", + "global step=21800960, episodic return=2310.289794921875\n", + "global step=21800960, episodic return=2256.2626953125\n", + "global step=21803008, episodic return=2297.93896484375\n", + "global step=21803008, episodic return=2370.68212890625\n", + "global step=21803008, episodic return=289.64202880859375\n", + "global step=21805056, episodic return=2312.01806640625\n", + "global step=21807104, episodic return=968.1799926757812\n", + "global step=21809152, episodic return=2038.122314453125\n", + "global step=21809152, episodic return=316.3675537109375\n", + "global step=21811200, episodic return=2356.108154296875\n", + "global step=21811200, episodic return=1036.2222900390625\n", + "global step=21813248, episodic return=2294.57666015625\n", + "global step=21813248, episodic return=2342.693603515625\n", + "global step=21813248, episodic return=2327.892822265625\n", + "global step=21813248, episodic return=2103.673828125\n", + "global step=21815296, episodic return=2387.1318359375\n", + "global step=21815296, episodic return=1529.649658203125\n", + "global step=21815296, episodic return=2311.272216796875\n", + "global step=21815296, episodic return=2066.908935546875\n", + "global step=21815296, episodic return=2381.07177734375\n", + "global step=21817344, episodic return=1666.4442138671875\n", + "global step=21817344, episodic return=2358.71875\n", + "global step=21817344, episodic return=2371.5849609375\n", + "global step=21817344, episodic return=2327.090576171875\n", + "global step=21817344, episodic return=2350.152587890625\n", + "global step=21819392, episodic return=2305.518798828125\n", + "global step=21819392, episodic return=1216.7127685546875\n", + "global step=21819392, episodic return=599.0546264648438\n", + "global step=21821440, episodic return=1612.4368896484375\n", + "global step=21821440, episodic return=2304.682373046875\n", + "global step=21821440, episodic return=2361.259765625\n", + "global step=21823488, episodic return=2267.172119140625\n", + "global step=21823488, episodic return=2276.375\n", + "global step=21823488, episodic return=2324.281982421875\n", + "global step=21823488, episodic return=2376.481689453125\n", + "global step=21823488, episodic return=2280.461669921875\n", + "global step=21825536, episodic return=2324.268310546875\n", + "global step=21827584, episodic return=2326.2265625\n", + "global step=21827584, episodic return=2351.299072265625\n", + "global step=21827584, episodic return=910.2279663085938\n", + "global step=21827584, episodic return=2356.556396484375\n", + "global step=21829632, episodic return=2241.784423828125\n", + "global step=21831680, episodic return=2299.968017578125\n", + "global step=21831680, episodic return=2354.655517578125\n", + "global step=21831680, episodic return=2322.24267578125\n", + "global step=21833728, episodic return=480.4826965332031\n", + "global step=21833728, episodic return=1543.9752197265625\n", + "global step=21835776, episodic return=2283.19189453125\n", + "global step=21835776, episodic return=2359.69873046875\n", + "global step=21835776, episodic return=2308.083740234375\n", + "global step=21835776, episodic return=2362.19775390625\n", + "global step=21837824, episodic return=2316.2099609375\n", + "global step=21837824, episodic return=2294.95654296875\n", + "global step=21837824, episodic return=2386.765380859375\n", + "global step=21837824, episodic return=2255.8955078125\n", + "global step=21837824, episodic return=2307.064697265625\n", + "global step=21839872, episodic return=2330.213134765625\n", + "global step=21839872, episodic return=2288.859130859375\n", + "global step=21839872, episodic return=2349.1513671875\n", + "global step=21839872, episodic return=1613.3629150390625\n", + "global step=21841920, episodic return=2331.40380859375\n", + "global step=21841920, episodic return=1048.445556640625\n", + "global step=21841920, episodic return=2226.001220703125\n", + "global step=21843968, episodic return=2374.43505859375\n", + "global step=21843968, episodic return=2267.1171875\n", + "global step=21843968, episodic return=2322.15234375\n", + "global step=21846016, episodic return=2322.75341796875\n", + "global step=21846016, episodic return=2312.4091796875\n", + "global step=21846016, episodic return=1389.669921875\n", + "global step=21848064, episodic return=2299.803955078125\n", + "global step=21848064, episodic return=2317.9169921875\n", + "global step=21848064, episodic return=2315.569580078125\n", + "global step=21848064, episodic return=2232.041015625\n", + "global step=21848064, episodic return=2336.1591796875\n", + "global step=21850112, episodic return=1820.92041015625\n", + "global step=21850112, episodic return=2327.57568359375\n", + "global step=21850112, episodic return=1070.627685546875\n", + "global step=21850112, episodic return=2370.3984375\n", + "global step=21850112, episodic return=2385.4658203125\n", + "global step=21852160, episodic return=913.4651489257812\n", + "global step=21852160, episodic return=1674.9619140625\n", + "global step=21854208, episodic return=2287.020751953125\n", + "global step=21854208, episodic return=2331.431396484375\n", + "global step=21854208, episodic return=2354.030029296875\n", + "global step=21856256, episodic return=275.98291015625\n", + "global step=21858304, episodic return=1120.2989501953125\n", + "global step=21858304, episodic return=2381.052734375\n", + "global step=21860352, episodic return=2368.44287109375\n", + "global step=21860352, episodic return=1531.5159912109375\n", + "global step=21860352, episodic return=2390.56396484375\n", + "global step=21862400, episodic return=2280.147216796875\n", + "global step=21862400, episodic return=2293.113037109375\n", + "global step=21862400, episodic return=479.55572509765625\n", + "global step=21864448, episodic return=969.1372680664062\n", + "global step=21864448, episodic return=2283.69091796875\n", + "global step=21864448, episodic return=2301.900146484375\n", + "global step=21866496, episodic return=2326.213134765625\n", + "global step=21866496, episodic return=1333.853759765625\n", + "global step=21866496, episodic return=2363.50390625\n", + "global step=21866496, episodic return=932.4880981445312\n", + "global step=21866496, episodic return=2372.062255859375\n", + "global step=21866496, episodic return=2311.998046875\n", + "global step=21868544, episodic return=498.2206115722656\n", + "global step=21868544, episodic return=2356.890625\n", + "global step=21868544, episodic return=2345.393798828125\n", + "global step=21868544, episodic return=2316.006591796875\n", + "global step=21870592, episodic return=2357.14013671875\n", + "global step=21870592, episodic return=2311.707275390625\n", + "global step=21870592, episodic return=2273.739990234375\n", + "global step=21874688, episodic return=2309.684814453125\n", + "global step=21874688, episodic return=2324.2294921875\n", + "global step=21874688, episodic return=2348.58203125\n", + "global step=21874688, episodic return=2343.0283203125\n", + "global step=21878784, episodic return=2287.13623046875\n", + "global step=21880832, episodic return=1149.5189208984375\n", + "global step=21880832, episodic return=2238.72509765625\n", + "global step=21880832, episodic return=1376.6190185546875\n", + "global step=21880832, episodic return=2346.673828125\n", + "global step=21880832, episodic return=807.4266357421875\n", + "global step=21882880, episodic return=2370.083251953125\n", + "global step=21882880, episodic return=2294.260009765625\n", + "global step=21882880, episodic return=2291.759765625\n", + "global step=21884928, episodic return=1477.521728515625\n", + "global step=21884928, episodic return=2339.794677734375\n", + "global step=21886976, episodic return=1666.010986328125\n", + "global step=21886976, episodic return=2359.053955078125\n", + "global step=21889024, episodic return=2172.653076171875\n", + "global step=21889024, episodic return=2412.28515625\n", + "global step=21889024, episodic return=2324.456787109375\n", + "global step=21891072, episodic return=1512.7733154296875\n", + "global step=21891072, episodic return=1735.4404296875\n", + "global step=21891072, episodic return=997.6668701171875\n", + "global step=21891072, episodic return=2209.386962890625\n", + "global step=21893120, episodic return=172.33766174316406\n", + "global step=21893120, episodic return=2216.56982421875\n", + "global step=21895168, episodic return=2311.68603515625\n", + "global step=21895168, episodic return=783.27587890625\n", + "global step=21895168, episodic return=1772.615966796875\n", + "global step=21895168, episodic return=2349.662109375\n", + "global step=21895168, episodic return=2374.82470703125\n", + "global step=21897216, episodic return=2343.14599609375\n", + "global step=21899264, episodic return=1388.7412109375\n", + "global step=21901312, episodic return=2342.86962890625\n", + "global step=21901312, episodic return=874.712646484375\n", + "global step=21901312, episodic return=2288.476806640625\n", + "global step=21901312, episodic return=257.3463134765625\n", + "global step=21903360, episodic return=2306.47900390625\n", + "global step=21903360, episodic return=2298.619384765625\n", + "global step=21905408, episodic return=970.1304321289062\n", + "global step=21905408, episodic return=2358.540771484375\n", + "global step=21905408, episodic return=2350.5029296875\n", + "global step=21905408, episodic return=2277.68212890625\n", + "global step=21907456, episodic return=2295.771240234375\n", + "global step=21907456, episodic return=867.3917846679688\n", + "global step=21907456, episodic return=2284.22900390625\n", + "global step=21907456, episodic return=2404.592529296875\n", + "global step=21907456, episodic return=233.2515411376953\n", + "global step=21907456, episodic return=2326.035400390625\n", + "global step=21909504, episodic return=1784.37060546875\n", + "global step=21909504, episodic return=2276.7177734375\n", + "global step=21909504, episodic return=2298.16015625\n", + "global step=21911552, episodic return=2314.571044921875\n", + "global step=21911552, episodic return=2370.250244140625\n", + "global step=21911552, episodic return=2222.032958984375\n", + "global step=21911552, episodic return=2368.869873046875\n", + "global step=21911552, episodic return=2274.8837890625\n", + "global step=21913600, episodic return=799.6767578125\n", + "global step=21913600, episodic return=1517.2486572265625\n", + "global step=21913600, episodic return=1679.92822265625\n", + "global step=21915648, episodic return=2339.77392578125\n", + "global step=21915648, episodic return=2299.837158203125\n", + "global step=21915648, episodic return=2382.26416015625\n", + "global step=21917696, episodic return=2327.227294921875\n", + "global step=21917696, episodic return=1320.8592529296875\n", + "global step=21919744, episodic return=2017.2086181640625\n", + "global step=21919744, episodic return=2265.849365234375\n", + "global step=21919744, episodic return=2325.759521484375\n", + "global step=21921792, episodic return=2235.896728515625\n", + "global step=21923840, episodic return=474.1780700683594\n", + "global step=21923840, episodic return=2243.98974609375\n", + "global step=21925888, episodic return=872.066162109375\n", + "global step=21925888, episodic return=217.46734619140625\n", + "global step=21925888, episodic return=2298.5537109375\n", + "global step=21927936, episodic return=2182.771484375\n", + "global step=21927936, episodic return=2276.53369140625\n", + "global step=21929984, episodic return=1565.908203125\n", + "global step=21929984, episodic return=2196.810791015625\n", + "global step=21929984, episodic return=1675.783447265625\n", + "global step=21932032, episodic return=2208.777099609375\n", + "global step=21932032, episodic return=2322.361083984375\n", + "global step=21932032, episodic return=2391.0595703125\n", + "global step=21934080, episodic return=2354.04638671875\n", + "global step=21936128, episodic return=1634.2457275390625\n", + "global step=21936128, episodic return=447.7503967285156\n", + "global step=21938176, episodic return=2289.536865234375\n", + "global step=21940224, episodic return=2292.39208984375\n", + "global step=21940224, episodic return=1640.755859375\n", + "global step=21940224, episodic return=2290.96875\n", + "global step=21940224, episodic return=2307.444580078125\n", + "global step=21942272, episodic return=14.86977767944336\n", + "global step=21944320, episodic return=2272.994384765625\n", + "global step=21944320, episodic return=2317.086669921875\n", + "global step=21944320, episodic return=2274.431640625\n", + "global step=21946368, episodic return=1277.90771484375\n", + "global step=21946368, episodic return=19.8738956451416\n", + "global step=21946368, episodic return=69.58537292480469\n", + "global step=21948416, episodic return=2139.052001953125\n", + "global step=21948416, episodic return=14.812789916992188\n", + "global step=21950464, episodic return=2290.63232421875\n", + "global step=21950464, episodic return=2283.534912109375\n", + "global step=21950464, episodic return=2351.388671875\n", + "global step=21952512, episodic return=1768.45703125\n", + "global step=21952512, episodic return=2357.465087890625\n", + "global step=21952512, episodic return=1649.1810302734375\n", + "global step=21956608, episodic return=2290.100341796875\n", + "global step=21956608, episodic return=2320.472900390625\n", + "global step=21958656, episodic return=2232.092529296875\n", + "global step=21958656, episodic return=30.409290313720703\n", + "global step=21958656, episodic return=1093.948486328125\n", + "global step=21960704, episodic return=2358.2392578125\n", + "global step=21960704, episodic return=40.79672622680664\n", + "global step=21960704, episodic return=2285.19091796875\n", + "global step=21962752, episodic return=2255.808349609375\n", + "global step=21962752, episodic return=2334.303955078125\n", + "global step=21962752, episodic return=1474.11474609375\n", + "global step=21962752, episodic return=2317.96240234375\n", + "global step=21964800, episodic return=1580.0643310546875\n", + "global step=21966848, episodic return=2387.52587890625\n", + "global step=21968896, episodic return=2325.664794921875\n", + "global step=21970944, episodic return=2345.2744140625\n", + "global step=21970944, episodic return=2372.150634765625\n", + "global step=21970944, episodic return=2365.711181640625\n", + "global step=21970944, episodic return=2336.968505859375\n", + "global step=21972992, episodic return=2290.916015625\n", + "global step=21972992, episodic return=2358.5\n", + "global step=21975040, episodic return=2326.927490234375\n", + "global step=21975040, episodic return=2330.69140625\n", + "global step=21975040, episodic return=1483.4420166015625\n", + "global step=21977088, episodic return=1950.3646240234375\n", + "global step=21979136, episodic return=2279.546142578125\n", + "global step=21979136, episodic return=2352.13818359375\n", + "global step=21979136, episodic return=2343.86474609375\n", + "global step=21981184, episodic return=2284.582275390625\n", + "global step=21983232, episodic return=555.2550048828125\n", + "global step=21985280, episodic return=119.6841812133789\n", + "global step=21985280, episodic return=798.293701171875\n", + "global step=21985280, episodic return=2290.7333984375\n", + "global step=21987328, episodic return=2336.419189453125\n", + "global step=21987328, episodic return=1147.639892578125\n", + "global step=21987328, episodic return=2283.53466796875\n", + "global step=21987328, episodic return=2274.658203125\n", + "global step=21989376, episodic return=2346.839599609375\n", + "global step=21989376, episodic return=2337.0419921875\n", + "global step=21991424, episodic return=1855.9102783203125\n", + "global step=21995520, episodic return=2238.134033203125\n", + "global step=21995520, episodic return=376.35137939453125\n", + "global step=21995520, episodic return=2346.775390625\n", + "global step=21997568, episodic return=2406.50537109375\n", + "global step=22001664, episodic return=1408.66455078125\n", + "global step=22001664, episodic return=2396.59423828125\n", + "global step=22001664, episodic return=2309.160400390625\n", + "global step=22003712, episodic return=2264.37841796875\n", + "global step=22003712, episodic return=2260.775390625\n", + "global step=22005760, episodic return=1729.3187255859375\n", + "global step=22005760, episodic return=2324.590087890625\n", + "global step=22007808, episodic return=289.263671875\n", + "global step=22011904, episodic return=286.0742492675781\n", + "global step=22011904, episodic return=1665.9713134765625\n", + "global step=22013952, episodic return=2331.365234375\n", + "global step=22013952, episodic return=1040.4022216796875\n", + "global step=22013952, episodic return=2348.3828125\n", + "global step=22016000, episodic return=402.8662109375\n", + "global step=22016000, episodic return=2352.927978515625\n", + "global step=22018048, episodic return=2331.611328125\n", + "global step=22020096, episodic return=2322.96533203125\n", + "global step=22020096, episodic return=2262.251953125\n", + "global step=22020096, episodic return=2333.469482421875\n", + "global step=22020096, episodic return=1280.2347412109375\n", + "global step=22020096, episodic return=2301.22900390625\n", + "global step=22022144, episodic return=209.59397888183594\n", + "global step=22022144, episodic return=2387.6201171875\n", + "global step=22022144, episodic return=2360.442138671875\n", + "global step=22022144, episodic return=237.89649963378906\n", + "global step=22024192, episodic return=2303.831298828125\n", + "global step=22026240, episodic return=2349.952392578125\n", + "global step=22026240, episodic return=2376.323486328125\n", + "global step=22028288, episodic return=2344.9052734375\n", + "global step=22028288, episodic return=2327.19677734375\n", + "global step=22028288, episodic return=672.8944091796875\n", + "global step=22030336, episodic return=700.177490234375\n", + "global step=22030336, episodic return=2333.135009765625\n", + "global step=22030336, episodic return=2329.37109375\n", + "global step=22032384, episodic return=2398.081787109375\n", + "global step=22036480, episodic return=2321.717041015625\n", + "global step=22036480, episodic return=2322.187255859375\n", + "global step=22038528, episodic return=2284.48291015625\n", + "global step=22040576, episodic return=342.1693115234375\n", + "global step=22040576, episodic return=2310.06787109375\n", + "global step=22040576, episodic return=2384.83984375\n", + "global step=22042624, episodic return=2352.2998046875\n", + "global step=22044672, episodic return=297.5192565917969\n", + "global step=22044672, episodic return=2309.764404296875\n", + "global step=22046720, episodic return=2295.5234375\n", + "global step=22046720, episodic return=2358.677490234375\n", + "global step=22048768, episodic return=466.3985290527344\n", + "global step=22048768, episodic return=2397.8291015625\n", + "global step=22048768, episodic return=2385.7060546875\n", + "global step=22050816, episodic return=2360.98486328125\n", + "global step=22050816, episodic return=2400.54052734375\n", + "global step=22050816, episodic return=2394.59326171875\n", + "global step=22050816, episodic return=2340.870361328125\n", + "global step=22050816, episodic return=2357.550048828125\n", + "global step=22052864, episodic return=2393.826904296875\n", + "global step=22052864, episodic return=2410.924072265625\n", + "global step=22052864, episodic return=1733.0430908203125\n", + "global step=22052864, episodic return=194.80682373046875\n", + "global step=22052864, episodic return=2333.032470703125\n", + "global step=22054912, episodic return=2305.391845703125\n", + "global step=22054912, episodic return=2327.595703125\n", + "global step=22054912, episodic return=2298.82763671875\n", + "global step=22054912, episodic return=2319.09619140625\n", + "global step=22056960, episodic return=2340.079833984375\n", + "global step=22056960, episodic return=2270.49072265625\n", + "global step=22056960, episodic return=2344.862548828125\n", + "global step=22059008, episodic return=1263.1943359375\n", + "global step=22059008, episodic return=917.1607666015625\n", + "global step=22061056, episodic return=2311.89990234375\n", + "global step=22061056, episodic return=1818.69970703125\n", + "global step=22063104, episodic return=2334.566650390625\n", + "global step=22063104, episodic return=2303.6240234375\n", + "global step=22065152, episodic return=1890.89794921875\n", + "global step=22065152, episodic return=944.8522338867188\n", + "global step=22067200, episodic return=2357.307861328125\n", + "global step=22067200, episodic return=268.052001953125\n", + "global step=22067200, episodic return=2315.237060546875\n", + "global step=22069248, episodic return=2336.812255859375\n", + "global step=22071296, episodic return=2390.195068359375\n", + "global step=22075392, episodic return=2309.46044921875\n", + "global step=22075392, episodic return=2178.3125\n", + "global step=22075392, episodic return=641.9820556640625\n", + "global step=22075392, episodic return=2348.739990234375\n", + "global step=22075392, episodic return=2334.434326171875\n", + "global step=22077440, episodic return=2353.674560546875\n", + "global step=22079488, episodic return=456.2093200683594\n", + "global step=22079488, episodic return=2371.76025390625\n", + "global step=22081536, episodic return=2349.75\n", + "global step=22081536, episodic return=172.38658142089844\n", + "global step=22081536, episodic return=2330.430419921875\n", + "global step=22085632, episodic return=2334.530517578125\n", + "global step=22085632, episodic return=2326.1923828125\n", + "global step=22087680, episodic return=2318.437744140625\n", + "global step=22087680, episodic return=2359.182861328125\n", + "global step=22087680, episodic return=2348.317626953125\n", + "global step=22089728, episodic return=2368.6806640625\n", + "global step=22089728, episodic return=2414.105712890625\n", + "global step=22089728, episodic return=2358.376953125\n", + "global step=22091776, episodic return=2322.16650390625\n", + "global step=22091776, episodic return=2319.325439453125\n", + "global step=22091776, episodic return=1331.3046875\n", + "global step=22091776, episodic return=2367.51513671875\n", + "global step=22091776, episodic return=2308.932861328125\n", + "global step=22091776, episodic return=2340.2119140625\n", + "global step=22093824, episodic return=2403.744873046875\n", + "global step=22095872, episodic return=2331.528564453125\n", + "global step=22097920, episodic return=1231.3851318359375\n", + "global step=22099968, episodic return=2356.645751953125\n", + "global step=22099968, episodic return=557.2042236328125\n", + "global step=22099968, episodic return=2377.23095703125\n", + "global step=22102016, episodic return=836.072265625\n", + "global step=22102016, episodic return=1312.425048828125\n", + "global step=22102016, episodic return=2396.74169921875\n", + "global step=22102016, episodic return=2341.090576171875\n", + "global step=22102016, episodic return=211.63702392578125\n", + "global step=22106112, episodic return=1904.83056640625\n", + "global step=22106112, episodic return=1309.5400390625\n", + "global step=22106112, episodic return=1991.619873046875\n", + "global step=22106112, episodic return=2382.830078125\n", + "global step=22106112, episodic return=2384.82568359375\n", + "global step=22108160, episodic return=390.0831604003906\n", + "global step=22108160, episodic return=206.7544403076172\n", + "global step=22108160, episodic return=1726.3603515625\n", + "global step=22110208, episodic return=170.99191284179688\n", + "global step=22110208, episodic return=2296.26123046875\n", + "global step=22110208, episodic return=262.4919128417969\n", + "global step=22112256, episodic return=2277.169677734375\n", + "global step=22114304, episodic return=2381.82080078125\n", + "global step=22118400, episodic return=244.8730010986328\n", + "global step=22120448, episodic return=2348.596435546875\n", + "global step=22120448, episodic return=2287.1611328125\n", + "global step=22120448, episodic return=2311.33203125\n", + "global step=22122496, episodic return=2344.121826171875\n", + "global step=22122496, episodic return=30.56501007080078\n", + "global step=22122496, episodic return=2332.264404296875\n", + "global step=22122496, episodic return=2342.026611328125\n", + "global step=22122496, episodic return=509.7961730957031\n", + "global step=22124544, episodic return=2380.919677734375\n", + "global step=22126592, episodic return=2314.701416015625\n", + "global step=22126592, episodic return=2362.144287109375\n", + "global step=22126592, episodic return=232.2031707763672\n", + "global step=22126592, episodic return=599.8744506835938\n", + "global step=22126592, episodic return=2328.520263671875\n", + "global step=22128640, episodic return=703.4553833007812\n", + "global step=22130688, episodic return=237.1904296875\n", + "global step=22130688, episodic return=2363.442138671875\n", + "global step=22130688, episodic return=1829.6793212890625\n", + "global step=22130688, episodic return=2345.124267578125\n", + "global step=22132736, episodic return=1828.7392578125\n", + "global step=22132736, episodic return=231.99241638183594\n", + "global step=22134784, episodic return=2325.17236328125\n", + "global step=22134784, episodic return=2415.005126953125\n", + "global step=22134784, episodic return=2268.217529296875\n", + "global step=22136832, episodic return=2331.206298828125\n", + "global step=22136832, episodic return=2326.203369140625\n", + "global step=22136832, episodic return=2405.949951171875\n", + "global step=22138880, episodic return=238.9536895751953\n", + "global step=22138880, episodic return=1143.5177001953125\n", + "global step=22138880, episodic return=1474.713623046875\n", + "global step=22140928, episodic return=2316.3212890625\n", + "global step=22140928, episodic return=2315.61376953125\n", + "global step=22140928, episodic return=231.151611328125\n", + "global step=22140928, episodic return=240.55926513671875\n", + "global step=22142976, episodic return=1829.2674560546875\n", + "global step=22145024, episodic return=1268.7772216796875\n", + "global step=22145024, episodic return=1001.3012084960938\n", + "global step=22145024, episodic return=1275.7535400390625\n", + "global step=22147072, episodic return=2368.84130859375\n", + "global step=22149120, episodic return=2330.27294921875\n", + "global step=22151168, episodic return=2162.24951171875\n", + "global step=22151168, episodic return=2364.919189453125\n", + "global step=22151168, episodic return=2005.3819580078125\n", + "global step=22153216, episodic return=2340.811279296875\n", + "global step=22153216, episodic return=1684.77294921875\n", + "global step=22153216, episodic return=2359.280029296875\n", + "global step=22155264, episodic return=833.2413330078125\n", + "global step=22155264, episodic return=2340.14892578125\n", + "global step=22155264, episodic return=1617.0941162109375\n", + "global step=22157312, episodic return=990.9341430664062\n", + "global step=22157312, episodic return=213.4946746826172\n", + "global step=22159360, episodic return=2279.301025390625\n", + "global step=22159360, episodic return=2222.456298828125\n", + "global step=22159360, episodic return=1082.5509033203125\n", + "global step=22161408, episodic return=2404.730712890625\n", + "global step=22161408, episodic return=2258.274658203125\n", + "global step=22161408, episodic return=2304.468505859375\n", + "global step=22161408, episodic return=2381.2314453125\n", + "global step=22163456, episodic return=2306.6796875\n", + "global step=22165504, episodic return=2349.1611328125\n", + "global step=22165504, episodic return=2247.39990234375\n", + "global step=22167552, episodic return=2340.42236328125\n", + "global step=22167552, episodic return=2340.825927734375\n", + "global step=22169600, episodic return=2363.4599609375\n", + "global step=22169600, episodic return=2289.449951171875\n", + "global step=22171648, episodic return=2378.797607421875\n", + "global step=22171648, episodic return=2358.68310546875\n", + "global step=22171648, episodic return=2354.357421875\n", + "global step=22173696, episodic return=2057.48828125\n", + "global step=22175744, episodic return=2398.669921875\n", + "global step=22175744, episodic return=2358.1298828125\n", + "global step=22175744, episodic return=2370.500244140625\n", + "global step=22177792, episodic return=741.652099609375\n", + "global step=22177792, episodic return=2417.633056640625\n", + "global step=22177792, episodic return=2369.857666015625\n", + "global step=22179840, episodic return=2367.327880859375\n", + "global step=22179840, episodic return=530.0382080078125\n", + "global step=22181888, episodic return=479.88275146484375\n", + "global step=22181888, episodic return=1771.02587890625\n", + "global step=22185984, episodic return=2364.779296875\n", + "global step=22185984, episodic return=2288.081298828125\n", + "global step=22185984, episodic return=1248.5623779296875\n", + "global step=22188032, episodic return=908.9522705078125\n", + "global step=22190080, episodic return=2308.291259765625\n", + "global step=22190080, episodic return=2435.330078125\n", + "global step=22190080, episodic return=2411.19677734375\n", + "global step=22192128, episodic return=2327.17919921875\n", + "global step=22194176, episodic return=2351.44873046875\n", + "global step=22194176, episodic return=311.4376525878906\n", + "global step=22196224, episodic return=2312.375732421875\n", + "global step=22198272, episodic return=870.3514404296875\n", + "global step=22198272, episodic return=242.5828857421875\n", + "global step=22200320, episodic return=2325.329833984375\n", + "global step=22200320, episodic return=237.8096160888672\n", + "global step=22204416, episodic return=958.7429809570312\n", + "global step=22206464, episodic return=2362.988525390625\n", + "global step=22206464, episodic return=2370.459716796875\n", + "global step=22206464, episodic return=2175.44384765625\n", + "global step=22206464, episodic return=811.7601318359375\n", + "global step=22206464, episodic return=2322.0634765625\n", + "global step=22208512, episodic return=2347.455078125\n", + "global step=22208512, episodic return=841.5198364257812\n", + "global step=22208512, episodic return=2315.031494140625\n", + "global step=22210560, episodic return=631.4213256835938\n", + "global step=22212608, episodic return=231.93435668945312\n", + "global step=22214656, episodic return=1655.33935546875\n", + "global step=22214656, episodic return=2303.017578125\n", + "global step=22214656, episodic return=2326.36572265625\n", + "global step=22214656, episodic return=2423.027099609375\n", + "global step=22216704, episodic return=2364.1796875\n", + "global step=22216704, episodic return=550.41015625\n", + "global step=22216704, episodic return=2278.90283203125\n", + "global step=22216704, episodic return=2362.68310546875\n", + "global step=22218752, episodic return=372.50604248046875\n", + "global step=22218752, episodic return=2379.321533203125\n", + "global step=22218752, episodic return=2400.718017578125\n", + "global step=22218752, episodic return=2374.0712890625\n", + "global step=22220800, episodic return=1914.072509765625\n", + "global step=22222848, episodic return=1194.039794921875\n", + "global step=22224896, episodic return=2308.046875\n", + "global step=22226944, episodic return=1060.494384765625\n", + "global step=22226944, episodic return=1202.337890625\n", + "global step=22231040, episodic return=236.9511260986328\n", + "global step=22233088, episodic return=408.3072509765625\n", + "global step=22233088, episodic return=1266.737060546875\n", + "global step=22235136, episodic return=2330.24658203125\n", + "global step=22235136, episodic return=2280.075439453125\n", + "global step=22235136, episodic return=140.85951232910156\n", + "global step=22237184, episodic return=2322.572998046875\n", + "global step=22241280, episodic return=2347.690185546875\n", + "global step=22243328, episodic return=2337.6611328125\n", + "global step=22245376, episodic return=2270.313232421875\n", + "global step=22245376, episodic return=2381.2197265625\n", + "global step=22247424, episodic return=2389.7412109375\n", + "global step=22247424, episodic return=2361.197021484375\n", + "global step=22249472, episodic return=2350.27734375\n", + "global step=22251520, episodic return=760.6416625976562\n", + "global step=22253568, episodic return=2248.260498046875\n", + "global step=22253568, episodic return=2336.33349609375\n", + "global step=22255616, episodic return=2317.2841796875\n", + "global step=22255616, episodic return=2351.0986328125\n", + "global step=22259712, episodic return=2293.8359375\n", + "global step=22259712, episodic return=2332.85791015625\n", + "global step=22259712, episodic return=2375.830322265625\n", + "global step=22259712, episodic return=1009.7446899414062\n", + "global step=22263808, episodic return=2380.236083984375\n", + "global step=22263808, episodic return=2414.07861328125\n", + "global step=22263808, episodic return=566.27978515625\n", + "global step=22265856, episodic return=797.021484375\n", + "global step=22265856, episodic return=2316.93017578125\n", + "global step=22265856, episodic return=661.537353515625\n", + "global step=22267904, episodic return=1999.689453125\n", + "global step=22269952, episodic return=2371.903564453125\n", + "global step=22269952, episodic return=2356.6640625\n", + "global step=22272000, episodic return=2404.290771484375\n", + "global step=22272000, episodic return=609.7706298828125\n", + "global step=22274048, episodic return=952.9720458984375\n", + "global step=22276096, episodic return=2369.863037109375\n", + "global step=22276096, episodic return=2337.192626953125\n", + "global step=22280192, episodic return=1820.0760498046875\n", + "global step=22280192, episodic return=2399.30712890625\n", + "global step=22280192, episodic return=2375.732421875\n", + "global step=22280192, episodic return=2435.7822265625\n", + "global step=22280192, episodic return=2361.5302734375\n", + "global step=22280192, episodic return=2173.79443359375\n", + "global step=22282240, episodic return=2315.721923828125\n", + "global step=22284288, episodic return=1640.2674560546875\n", + "global step=22284288, episodic return=2325.48828125\n", + "global step=22284288, episodic return=2243.275146484375\n", + "global step=22286336, episodic return=2355.510498046875\n", + "global step=22286336, episodic return=2317.10791015625\n", + "global step=22286336, episodic return=2251.1728515625\n", + "global step=22286336, episodic return=2348.01904296875\n", + "global step=22286336, episodic return=2388.12744140625\n", + "global step=22288384, episodic return=2368.5888671875\n", + "global step=22288384, episodic return=2378.072998046875\n", + "global step=22288384, episodic return=2403.259521484375\n", + "global step=22292480, episodic return=2330.49853515625\n", + "global step=22294528, episodic return=2392.3798828125\n", + "global step=22294528, episodic return=2309.10302734375\n", + "global step=22294528, episodic return=2364.107666015625\n", + "global step=22296576, episodic return=167.2606964111328\n", + "global step=22296576, episodic return=2358.3173828125\n", + "global step=22298624, episodic return=2344.009765625\n", + "global step=22298624, episodic return=2390.97607421875\n", + "global step=22298624, episodic return=1127.4215087890625\n", + "global step=22304768, episodic return=2312.206787109375\n", + "global step=22304768, episodic return=2366.46875\n", + "global step=22308864, episodic return=2401.107666015625\n", + "global step=22308864, episodic return=2358.419189453125\n", + "global step=22310912, episodic return=2350.265869140625\n", + "global step=22310912, episodic return=2428.8828125\n", + "global step=22312960, episodic return=2351.170166015625\n", + "global step=22312960, episodic return=2360.201904296875\n", + "global step=22312960, episodic return=2391.7099609375\n", + "global step=22315008, episodic return=2414.09130859375\n", + "global step=22317056, episodic return=782.6559448242188\n", + "global step=22319104, episodic return=2348.601318359375\n", + "global step=22321152, episodic return=2362.8525390625\n", + "global step=22321152, episodic return=2365.0048828125\n", + "global step=22323200, episodic return=2409.723876953125\n", + "global step=22323200, episodic return=2389.458251953125\n", + "global step=22325248, episodic return=2350.12841796875\n", + "global step=22327296, episodic return=2344.080078125\n", + "global step=22327296, episodic return=2362.5556640625\n", + "global step=22329344, episodic return=2320.744873046875\n", + "global step=22329344, episodic return=2327.943115234375\n", + "global step=22329344, episodic return=203.7626953125\n", + "global step=22331392, episodic return=2396.474609375\n", + "global step=22333440, episodic return=2308.24951171875\n", + "global step=22335488, episodic return=2369.801513671875\n", + "global step=22335488, episodic return=2402.45654296875\n", + "global step=22335488, episodic return=2327.308349609375\n", + "global step=22337536, episodic return=2353.18212890625\n", + "global step=22341632, episodic return=2359.064208984375\n", + "global step=22341632, episodic return=2391.124267578125\n", + "global step=22341632, episodic return=2414.121826171875\n", + "global step=22345728, episodic return=2387.522216796875\n", + "global step=22345728, episodic return=2397.151123046875\n", + "global step=22345728, episodic return=2376.3359375\n", + "global step=22345728, episodic return=2382.26708984375\n", + "global step=22345728, episodic return=2385.94677734375\n", + "global step=22345728, episodic return=2366.562255859375\n", + "global step=22349824, episodic return=2370.877685546875\n", + "global step=22351872, episodic return=2358.12841796875\n", + "global step=22351872, episodic return=2273.413818359375\n", + "global step=22353920, episodic return=2383.914306640625\n", + "global step=22353920, episodic return=2380.85205078125\n", + "global step=22353920, episodic return=2353.258544921875\n", + "global step=22358016, episodic return=2366.674072265625\n", + "global step=22360064, episodic return=2393.338623046875\n", + "global step=22360064, episodic return=2365.578125\n", + "global step=22362112, episodic return=2308.91015625\n", + "global step=22362112, episodic return=2384.927001953125\n", + "global step=22362112, episodic return=2379.989501953125\n", + "global step=22362112, episodic return=2382.34326171875\n", + "global step=22362112, episodic return=2378.939697265625\n", + "global step=22362112, episodic return=2379.0556640625\n", + "global step=22364160, episodic return=2425.332763671875\n", + "global step=22364160, episodic return=2376.22900390625\n", + "global step=22364160, episodic return=2352.570556640625\n", + "global step=22364160, episodic return=2372.671875\n", + "global step=22366208, episodic return=2355.14453125\n", + "global step=22366208, episodic return=2426.9619140625\n", + "global step=22366208, episodic return=2362.283935546875\n", + "global step=22368256, episodic return=2396.117919921875\n", + "global step=22368256, episodic return=2340.15966796875\n", + "global step=22368256, episodic return=2366.88037109375\n", + "global step=22368256, episodic return=2382.727783203125\n", + "global step=22370304, episodic return=1609.2647705078125\n", + "global step=22370304, episodic return=2359.184814453125\n", + "global step=22370304, episodic return=2396.78173828125\n", + "global step=22370304, episodic return=2317.5537109375\n", + "global step=22370304, episodic return=2372.465087890625\n", + "global step=22370304, episodic return=2356.32421875\n", + "global step=22372352, episodic return=2398.654052734375\n", + "global step=22372352, episodic return=2332.967529296875\n", + "global step=22374400, episodic return=2415.84423828125\n", + "global step=22374400, episodic return=511.97503662109375\n", + "global step=22374400, episodic return=2384.75048828125\n", + "global step=22374400, episodic return=2393.58447265625\n", + "global step=22376448, episodic return=188.72923278808594\n", + "global step=22376448, episodic return=2355.43896484375\n", + "global step=22376448, episodic return=2390.20654296875\n", + "global step=22378496, episodic return=2319.67236328125\n", + "global step=22378496, episodic return=2365.951171875\n", + "global step=22378496, episodic return=1010.7449951171875\n", + "global step=22380544, episodic return=2411.320068359375\n", + "global step=22382592, episodic return=238.9364013671875\n", + "global step=22382592, episodic return=428.53857421875\n", + "global step=22382592, episodic return=252.3022918701172\n", + "global step=22384640, episodic return=2293.890869140625\n", + "global step=22386688, episodic return=570.6392822265625\n", + "global step=22388736, episodic return=2374.538818359375\n", + "global step=22390784, episodic return=2358.2119140625\n", + "global step=22390784, episodic return=2378.00439453125\n", + "global step=22390784, episodic return=2400.217041015625\n", + "global step=22390784, episodic return=21.081655502319336\n", + "global step=22392832, episodic return=2360.91162109375\n", + "global step=22392832, episodic return=2219.0498046875\n", + "global step=22394880, episodic return=2409.119384765625\n", + "global step=22394880, episodic return=199.37472534179688\n", + "global step=22396928, episodic return=2416.76025390625\n", + "global step=22396928, episodic return=2383.422119140625\n", + "global step=22396928, episodic return=2357.180908203125\n", + "global step=22396928, episodic return=2256.135498046875\n", + "global step=22398976, episodic return=2377.07080078125\n", + "global step=22398976, episodic return=2417.781005859375\n", + "global step=22398976, episodic return=2318.852294921875\n", + "global step=22398976, episodic return=2357.213134765625\n", + "global step=22401024, episodic return=1230.1309814453125\n", + "global step=22401024, episodic return=1061.3521728515625\n", + "global step=22403072, episodic return=2399.85693359375\n", + "global step=22403072, episodic return=2388.3251953125\n", + "global step=22407168, episodic return=2411.2607421875\n", + "global step=22407168, episodic return=2445.150634765625\n", + "global step=22407168, episodic return=294.24755859375\n", + "global step=22409216, episodic return=2389.866943359375\n", + "global step=22409216, episodic return=1446.1597900390625\n", + "global step=22411264, episodic return=2441.53271484375\n", + "global step=22411264, episodic return=2371.1611328125\n", + "global step=22413312, episodic return=2360.876220703125\n", + "global step=22415360, episodic return=2403.78564453125\n", + "global step=22415360, episodic return=2339.918701171875\n", + "global step=22417408, episodic return=2365.295654296875\n", + "global step=22419456, episodic return=2370.4013671875\n", + "global step=22419456, episodic return=2462.829833984375\n", + "global step=22419456, episodic return=2355.745361328125\n", + "global step=22419456, episodic return=2305.063720703125\n", + "global step=22419456, episodic return=2417.2197265625\n", + "global step=22421504, episodic return=93.26761627197266\n", + "global step=22421504, episodic return=2374.531982421875\n", + "global step=22421504, episodic return=2357.708251953125\n", + "global step=22423552, episodic return=2374.241943359375\n", + "global step=22423552, episodic return=222.91587829589844\n", + "global step=22423552, episodic return=2371.59814453125\n", + "global step=22425600, episodic return=1380.0006103515625\n", + "global step=22427648, episodic return=2380.447998046875\n", + "global step=22429696, episodic return=2362.58447265625\n", + "global step=22429696, episodic return=2365.96728515625\n", + "global step=22431744, episodic return=2360.23876953125\n", + "global step=22431744, episodic return=2377.694580078125\n", + "global step=22431744, episodic return=584.0150146484375\n", + "global step=22431744, episodic return=2394.393310546875\n", + "global step=22433792, episodic return=234.03884887695312\n", + "global step=22433792, episodic return=2402.140869140625\n", + "global step=22435840, episodic return=2420.857177734375\n", + "global step=22435840, episodic return=2358.884521484375\n", + "global step=22437888, episodic return=2388.08935546875\n", + "global step=22437888, episodic return=2408.827880859375\n", + "global step=22437888, episodic return=2417.544189453125\n", + "global step=22437888, episodic return=2369.381103515625\n", + "global step=22441984, episodic return=2393.12109375\n", + "global step=22444032, episodic return=2401.20947265625\n", + "global step=22446080, episodic return=1325.36865234375\n", + "global step=22448128, episodic return=2384.889404296875\n", + "global step=22448128, episodic return=2368.853759765625\n", + "global step=22452224, episodic return=2358.8740234375\n", + "global step=22454272, episodic return=2360.2353515625\n", + "global step=22454272, episodic return=246.77734375\n", + "global step=22454272, episodic return=2334.439208984375\n", + "global step=22456320, episodic return=2397.5869140625\n", + "global step=22456320, episodic return=2367.73681640625\n", + "global step=22456320, episodic return=2337.935791015625\n", + "global step=22458368, episodic return=2373.867919921875\n", + "global step=22460416, episodic return=551.624267578125\n", + "global step=22460416, episodic return=2290.25732421875\n", + "global step=22460416, episodic return=2379.9189453125\n", + "global step=22460416, episodic return=2334.2900390625\n", + "global step=22464512, episodic return=2386.836669921875\n", + "global step=22464512, episodic return=2403.60498046875\n", + "global step=22464512, episodic return=2438.230224609375\n", + "global step=22464512, episodic return=555.2705078125\n", + "global step=22466560, episodic return=2422.9931640625\n", + "global step=22466560, episodic return=2382.03173828125\n", + "global step=22468608, episodic return=2374.68017578125\n", + "global step=22468608, episodic return=2346.5908203125\n", + "global step=22470656, episodic return=2403.5400390625\n", + "global step=22470656, episodic return=2360.99462890625\n", + "global step=22472704, episodic return=2328.8349609375\n", + "global step=22472704, episodic return=2388.62890625\n", + "global step=22474752, episodic return=2342.1728515625\n", + "global step=22474752, episodic return=2357.203369140625\n", + "global step=22476800, episodic return=2422.91552734375\n", + "global step=22476800, episodic return=2416.904541015625\n", + "global step=22476800, episodic return=2386.478271484375\n", + "global step=22476800, episodic return=2316.53662109375\n", + "global step=22478848, episodic return=2385.35205078125\n", + "global step=22478848, episodic return=2347.977294921875\n", + "global step=22478848, episodic return=2330.548095703125\n", + "global step=22478848, episodic return=2387.97705078125\n", + "global step=22484992, episodic return=2394.40478515625\n", + "global step=22484992, episodic return=2374.269287109375\n", + "global step=22487040, episodic return=2358.85986328125\n", + "global step=22489088, episodic return=2284.876220703125\n", + "global step=22489088, episodic return=2348.636474609375\n", + "global step=22491136, episodic return=2366.858642578125\n", + "global step=22491136, episodic return=2369.942138671875\n", + "global step=22493184, episodic return=2391.283447265625\n", + "global step=22495232, episodic return=2422.765869140625\n", + "global step=22495232, episodic return=2376.3505859375\n", + "global step=22495232, episodic return=2356.620361328125\n", + "global step=22495232, episodic return=2393.548828125\n", + "global step=22497280, episodic return=2385.32080078125\n", + "global step=22497280, episodic return=2377.658447265625\n", + "global step=22497280, episodic return=2357.171630859375\n", + "global step=22499328, episodic return=2396.651611328125\n", + "global step=22501376, episodic return=2380.332275390625\n", + "global step=22503424, episodic return=2392.416259765625\n", + "global step=22503424, episodic return=2381.945068359375\n", + "global step=22505472, episodic return=2316.93603515625\n", + "global step=22505472, episodic return=2386.672607421875\n", + "global step=22505472, episodic return=2376.968017578125\n", + "global step=22507520, episodic return=2301.81640625\n", + "global step=22507520, episodic return=2403.58837890625\n", + "global step=22509568, episodic return=2358.856201171875\n", + "global step=22509568, episodic return=2346.838623046875\n", + "global step=22511616, episodic return=2341.558349609375\n", + "global step=22511616, episodic return=2400.76708984375\n", + "global step=22513664, episodic return=2388.175048828125\n", + "global step=22513664, episodic return=2344.939697265625\n", + "global step=22515712, episodic return=2302.779052734375\n", + "global step=22515712, episodic return=1110.34228515625\n", + "global step=22517760, episodic return=2417.838623046875\n", + "global step=22517760, episodic return=2415.16650390625\n", + "global step=22519808, episodic return=2385.342041015625\n", + "global step=22521856, episodic return=2378.8515625\n", + "global step=22521856, episodic return=2367.207275390625\n", + "global step=22521856, episodic return=2377.988037109375\n", + "global step=22521856, episodic return=2390.8642578125\n", + "global step=22523904, episodic return=2388.034423828125\n", + "global step=22523904, episodic return=2385.531005859375\n", + "global step=22525952, episodic return=2364.751953125\n", + "global step=22525952, episodic return=500.12811279296875\n", + "global step=22525952, episodic return=2353.35107421875\n", + "global step=22528000, episodic return=2436.63037109375\n", + "global step=22528000, episodic return=2408.6455078125\n", + "global step=22528000, episodic return=2384.743408203125\n", + "global step=22528000, episodic return=2374.665771484375\n", + "global step=22528000, episodic return=194.58908081054688\n", + "global step=22530048, episodic return=2359.20751953125\n", + "global step=22530048, episodic return=2411.992431640625\n", + "global step=22532096, episodic return=2385.78466796875\n", + "global step=22534144, episodic return=2394.8779296875\n", + "global step=22536192, episodic return=2391.956298828125\n", + "global step=22538240, episodic return=2262.858154296875\n", + "global step=22538240, episodic return=2294.5\n", + "global step=22540288, episodic return=2380.082763671875\n", + "global step=22542336, episodic return=2384.432373046875\n", + "global step=22544384, episodic return=2345.017822265625\n", + "global step=22544384, episodic return=1520.2708740234375\n", + "global step=22546432, episodic return=2337.638427734375\n", + "global step=22546432, episodic return=2456.494873046875\n", + "global step=22548480, episodic return=2350.2197265625\n", + "global step=22548480, episodic return=2374.595703125\n", + "global step=22550528, episodic return=2339.966064453125\n", + "global step=22554624, episodic return=2402.64306640625\n", + "global step=22556672, episodic return=2379.889404296875\n", + "global step=22556672, episodic return=2398.426025390625\n", + "global step=22560768, episodic return=2334.9375\n", + "global step=22560768, episodic return=823.855224609375\n", + "global step=22560768, episodic return=1775.8004150390625\n", + "global step=22562816, episodic return=2334.95703125\n", + "global step=22562816, episodic return=2353.052490234375\n", + "global step=22564864, episodic return=2426.539794921875\n", + "global step=22564864, episodic return=2326.32568359375\n", + "global step=22564864, episodic return=827.4017333984375\n", + "global step=22566912, episodic return=1134.4888916015625\n", + "global step=22568960, episodic return=2041.6654052734375\n", + "global step=22571008, episodic return=2314.735107421875\n", + "global step=22571008, episodic return=2388.686767578125\n", + "global step=22573056, episodic return=2389.88427734375\n", + "global step=22573056, episodic return=2365.77685546875\n", + "global step=22573056, episodic return=218.37831115722656\n", + "global step=22573056, episodic return=2392.753662109375\n", + "global step=22575104, episodic return=796.8065795898438\n", + "global step=22577152, episodic return=2356.038330078125\n", + "global step=22577152, episodic return=2421.13916015625\n", + "global step=22579200, episodic return=2347.470947265625\n", + "global step=22581248, episodic return=2354.25048828125\n", + "global step=22581248, episodic return=669.9882202148438\n", + "global step=22583296, episodic return=2387.7109375\n", + "global step=22583296, episodic return=749.94873046875\n", + "global step=22583296, episodic return=2345.390380859375\n", + "global step=22585344, episodic return=2362.96533203125\n", + "global step=22585344, episodic return=892.85498046875\n", + "global step=22587392, episodic return=2399.548583984375\n", + "global step=22587392, episodic return=2367.087646484375\n", + "global step=22591488, episodic return=237.69839477539062\n", + "global step=22595584, episodic return=2419.079833984375\n", + "global step=22595584, episodic return=2307.2080078125\n", + "global step=22595584, episodic return=2405.0625\n", + "global step=22597632, episodic return=1219.484619140625\n", + "global step=22597632, episodic return=1883.130859375\n", + "global step=22597632, episodic return=2261.100341796875\n", + "global step=22597632, episodic return=2384.16748046875\n", + "global step=22597632, episodic return=2363.46630859375\n", + "global step=22599680, episodic return=2345.82958984375\n", + "global step=22599680, episodic return=2364.54931640625\n", + "global step=22599680, episodic return=2342.38037109375\n", + "global step=22599680, episodic return=2318.106201171875\n", + "global step=22599680, episodic return=240.24270629882812\n", + "global step=22601728, episodic return=2393.698486328125\n", + "global step=22601728, episodic return=2442.16796875\n", + "global step=22601728, episodic return=2355.6259765625\n", + "global step=22601728, episodic return=2329.0888671875\n", + "global step=22603776, episodic return=2368.859375\n", + "global step=22603776, episodic return=2376.063720703125\n", + "global step=22605824, episodic return=2344.445556640625\n", + "global step=22605824, episodic return=2429.75634765625\n", + "global step=22605824, episodic return=2390.387939453125\n", + "global step=22605824, episodic return=2362.370849609375\n", + "global step=22605824, episodic return=2397.4208984375\n", + "global step=22607872, episodic return=703.5228881835938\n", + "global step=22607872, episodic return=1839.0318603515625\n", + "global step=22607872, episodic return=2339.575927734375\n", + "global step=22607872, episodic return=830.5956420898438\n", + "global step=22607872, episodic return=2278.1123046875\n", + "global step=22609920, episodic return=188.19732666015625\n", + "global step=22609920, episodic return=2360.210693359375\n", + "global step=22611968, episodic return=2401.322998046875\n", + "global step=22614016, episodic return=1273.6358642578125\n", + "global step=22614016, episodic return=2424.258056640625\n", + "global step=22614016, episodic return=203.4248809814453\n", + "global step=22614016, episodic return=205.19015502929688\n", + "global step=22616064, episodic return=2378.8310546875\n", + "global step=22616064, episodic return=2382.298095703125\n", + "global step=22616064, episodic return=2453.474365234375\n", + "global step=22616064, episodic return=2326.721923828125\n", + "global step=22618112, episodic return=2381.017822265625\n", + "global step=22618112, episodic return=2316.669677734375\n", + "global step=22618112, episodic return=2307.095703125\n", + "global step=22618112, episodic return=2360.51025390625\n", + "global step=22620160, episodic return=2387.923095703125\n", + "global step=22620160, episodic return=2256.555419921875\n", + "global step=22620160, episodic return=2378.483154296875\n", + "global step=22622208, episodic return=195.84042358398438\n", + "global step=22622208, episodic return=14.936861038208008\n", + "global step=22622208, episodic return=2375.801513671875\n", + "global step=22624256, episodic return=2364.84326171875\n", + "global step=22624256, episodic return=990.6307983398438\n", + "global step=22624256, episodic return=2324.9599609375\n", + "global step=22626304, episodic return=2441.1015625\n", + "global step=22626304, episodic return=2419.044189453125\n", + "global step=22626304, episodic return=207.618896484375\n", + "global step=22630400, episodic return=2417.787841796875\n", + "global step=22630400, episodic return=204.4775848388672\n", + "global step=22630400, episodic return=2395.383544921875\n", + "global step=22630400, episodic return=2348.04296875\n", + "global step=22630400, episodic return=2379.792236328125\n", + "global step=22632448, episodic return=16.14257049560547\n", + "global step=22632448, episodic return=2345.279052734375\n", + "global step=22636544, episodic return=2314.32568359375\n", + "global step=22636544, episodic return=2385.536865234375\n", + "global step=22636544, episodic return=2380.66064453125\n", + "global step=22636544, episodic return=1061.870849609375\n", + "global step=22638592, episodic return=2368.604736328125\n", + "global step=22638592, episodic return=2384.852783203125\n", + "global step=22638592, episodic return=2280.30908203125\n", + "global step=22638592, episodic return=240.17518615722656\n", + "global step=22638592, episodic return=2210.57958984375\n", + "global step=22640640, episodic return=180.70281982421875\n", + "global step=22640640, episodic return=2303.633544921875\n", + "global step=22642688, episodic return=2314.77880859375\n", + "global step=22642688, episodic return=2424.9912109375\n", + "global step=22642688, episodic return=925.3146362304688\n", + "global step=22642688, episodic return=2362.595458984375\n", + "global step=22644736, episodic return=2380.238525390625\n", + "global step=22644736, episodic return=2360.44970703125\n", + "global step=22646784, episodic return=2334.63330078125\n", + "global step=22646784, episodic return=2410.340087890625\n", + "global step=22646784, episodic return=2411.135498046875\n", + "global step=22646784, episodic return=2281.84130859375\n", + "global step=22648832, episodic return=527.4630737304688\n", + "global step=22648832, episodic return=2313.86767578125\n", + "global step=22648832, episodic return=401.4062805175781\n", + "global step=22650880, episodic return=2409.383056640625\n", + "global step=22652928, episodic return=2411.11962890625\n", + "global step=22652928, episodic return=2385.057861328125\n", + "global step=22652928, episodic return=2434.900146484375\n", + "global step=22654976, episodic return=1336.159912109375\n", + "global step=22654976, episodic return=2299.591552734375\n", + "global step=22654976, episodic return=2359.4453125\n", + "global step=22654976, episodic return=2378.806884765625\n", + "global step=22657024, episodic return=2402.101318359375\n", + "global step=22657024, episodic return=2363.743408203125\n", + "global step=22659072, episodic return=252.4300079345703\n", + "global step=22659072, episodic return=2359.36083984375\n", + "global step=22663168, episodic return=2398.7724609375\n", + "global step=22663168, episodic return=2382.63330078125\n", + "global step=22663168, episodic return=2282.261474609375\n", + "global step=22665216, episodic return=2113.465576171875\n", + "global step=22665216, episodic return=2337.73583984375\n", + "global step=22665216, episodic return=2367.963623046875\n", + "global step=22667264, episodic return=2320.142333984375\n", + "global step=22667264, episodic return=370.2874450683594\n", + "global step=22669312, episodic return=2416.86376953125\n", + "global step=22669312, episodic return=2413.99462890625\n", + "global step=22669312, episodic return=2289.874755859375\n", + "global step=22671360, episodic return=2294.765869140625\n", + "global step=22673408, episodic return=2362.9296875\n", + "global step=22673408, episodic return=202.74644470214844\n", + "global step=22673408, episodic return=2377.878662109375\n", + "global step=22677504, episodic return=2393.1875\n", + "global step=22679552, episodic return=2407.8271484375\n", + "global step=22679552, episodic return=2408.067626953125\n", + "global step=22679552, episodic return=2294.611083984375\n", + "global step=22679552, episodic return=2322.072509765625\n", + "global step=22681600, episodic return=790.02490234375\n", + "global step=22681600, episodic return=2394.12060546875\n", + "global step=22681600, episodic return=2383.768310546875\n", + "global step=22681600, episodic return=2383.223388671875\n", + "global step=22683648, episodic return=2338.260009765625\n", + "global step=22685696, episodic return=2328.958740234375\n", + "global step=22687744, episodic return=2155.241943359375\n", + "global step=22689792, episodic return=2332.619384765625\n", + "global step=22695936, episodic return=2426.38671875\n", + "global step=22695936, episodic return=2362.29638671875\n", + "global step=22695936, episodic return=2319.379638671875\n", + "global step=22695936, episodic return=2304.984130859375\n", + "global step=22697984, episodic return=2348.72705078125\n", + "global step=22697984, episodic return=2321.1171875\n", + "global step=22697984, episodic return=2351.96484375\n", + "global step=22702080, episodic return=2353.269287109375\n", + "global step=22702080, episodic return=2374.4287109375\n", + "global step=22704128, episodic return=2363.58935546875\n", + "global step=22704128, episodic return=2337.26220703125\n", + "global step=22708224, episodic return=2428.130126953125\n", + "global step=22708224, episodic return=248.44186401367188\n", + "global step=22708224, episodic return=2343.05712890625\n", + "global step=22710272, episodic return=2382.18359375\n", + "global step=22710272, episodic return=2282.74658203125\n", + "global step=22710272, episodic return=2367.16064453125\n", + "global step=22710272, episodic return=2376.494140625\n", + "global step=22712320, episodic return=244.32159423828125\n", + "global step=22712320, episodic return=2345.208740234375\n", + "global step=22712320, episodic return=2350.959716796875\n", + "global step=22718464, episodic return=2303.663818359375\n", + "global step=22720512, episodic return=2336.61669921875\n", + "global step=22720512, episodic return=2394.63525390625\n", + "global step=22722560, episodic return=2380.90966796875\n", + "global step=22722560, episodic return=2370.23876953125\n", + "global step=22722560, episodic return=2370.509765625\n", + "global step=22724608, episodic return=2376.9111328125\n", + "global step=22724608, episodic return=2362.364990234375\n", + "global step=22724608, episodic return=2431.461181640625\n", + "global step=22724608, episodic return=2354.408203125\n", + "global step=22724608, episodic return=2395.427734375\n", + "global step=22726656, episodic return=2356.23046875\n", + "global step=22726656, episodic return=2361.99462890625\n", + "global step=22726656, episodic return=2335.82275390625\n", + "global step=22728704, episodic return=2415.4775390625\n", + "global step=22730752, episodic return=2348.973876953125\n", + "global step=22732800, episodic return=2386.178955078125\n", + "global step=22732800, episodic return=2336.070068359375\n", + "global step=22734848, episodic return=2339.18798828125\n", + "global step=22736896, episodic return=506.2772216796875\n", + "global step=22736896, episodic return=2374.287841796875\n", + "global step=22736896, episodic return=2375.60986328125\n", + "global step=22740992, episodic return=2309.68896484375\n", + "global step=22740992, episodic return=2392.126220703125\n", + "global step=22740992, episodic return=2285.717529296875\n", + "global step=22740992, episodic return=1678.0860595703125\n", + "global step=22745088, episodic return=2411.829345703125\n", + "global step=22747136, episodic return=2378.353271484375\n", + "global step=22749184, episodic return=2313.19921875\n", + "global step=22751232, episodic return=360.7916259765625\n", + "global step=22753280, episodic return=2387.54931640625\n", + "global step=22753280, episodic return=2242.906982421875\n", + "global step=22753280, episodic return=2330.03369140625\n", + "global step=22755328, episodic return=2319.0087890625\n", + "global step=22755328, episodic return=2407.34521484375\n", + "global step=22755328, episodic return=2369.537841796875\n", + "global step=22757376, episodic return=2437.77197265625\n", + "global step=22761472, episodic return=2361.843505859375\n", + "global step=22765568, episodic return=2297.969970703125\n", + "global step=22765568, episodic return=2312.51904296875\n", + "global step=22765568, episodic return=2334.366455078125\n", + "global step=22765568, episodic return=2358.26904296875\n", + "global step=22767616, episodic return=2425.694091796875\n", + "global step=22767616, episodic return=2396.369873046875\n", + "global step=22767616, episodic return=2358.621826171875\n", + "global step=22767616, episodic return=2422.549560546875\n", + "global step=22767616, episodic return=2300.961181640625\n", + "global step=22767616, episodic return=2309.974609375\n", + "global step=22769664, episodic return=2359.555419921875\n", + "global step=22769664, episodic return=2372.238037109375\n", + "global step=22769664, episodic return=2299.316650390625\n", + "global step=22769664, episodic return=2217.148193359375\n", + "global step=22771712, episodic return=2233.936279296875\n", + "global step=22771712, episodic return=2353.269287109375\n", + "global step=22773760, episodic return=2293.871337890625\n", + "global step=22775808, episodic return=2340.60986328125\n", + "global step=22775808, episodic return=2355.640869140625\n", + "global step=22777856, episodic return=23.417449951171875\n", + "global step=22777856, episodic return=587.9854125976562\n", + "global step=22777856, episodic return=2365.212646484375\n", + "global step=22777856, episodic return=2357.141845703125\n", + "global step=22781952, episodic return=2271.70166015625\n", + "global step=22781952, episodic return=2321.69775390625\n", + "global step=22784000, episodic return=187.2447509765625\n", + "global step=22784000, episodic return=30.36532211303711\n", + "global step=22788096, episodic return=1094.0108642578125\n", + "global step=22788096, episodic return=993.1731567382812\n", + "global step=22792192, episodic return=2331.01611328125\n", + "global step=22792192, episodic return=2192.6640625\n", + "global step=22794240, episodic return=2426.689453125\n", + "global step=22796288, episodic return=2336.88134765625\n", + "global step=22796288, episodic return=2390.321044921875\n", + "global step=22798336, episodic return=470.4189147949219\n", + "global step=22798336, episodic return=2388.601806640625\n", + "global step=22800384, episodic return=2311.07177734375\n", + "global step=22800384, episodic return=657.5604858398438\n", + "global step=22802432, episodic return=2170.65283203125\n", + "global step=22802432, episodic return=217.99600219726562\n", + "global step=22804480, episodic return=2329.625\n", + "global step=22804480, episodic return=2327.609375\n", + "global step=22806528, episodic return=2378.936279296875\n", + "global step=22808576, episodic return=2233.80712890625\n", + "global step=22808576, episodic return=2324.099853515625\n", + "global step=22808576, episodic return=2278.136474609375\n", + "global step=22810624, episodic return=2453.347412109375\n", + "global step=22812672, episodic return=2291.55029296875\n", + "global step=22812672, episodic return=2325.672119140625\n", + "global step=22812672, episodic return=2283.0322265625\n", + "global step=22812672, episodic return=2417.791259765625\n", + "global step=22814720, episodic return=1895.330810546875\n", + "global step=22814720, episodic return=2390.503173828125\n", + "global step=22816768, episodic return=2284.202392578125\n", + "global step=22818816, episodic return=2308.517822265625\n", + "global step=22820864, episodic return=2380.27880859375\n", + "global step=22820864, episodic return=2400.982666015625\n", + "global step=22822912, episodic return=2200.536865234375\n", + "global step=22824960, episodic return=23.369388580322266\n", + "global step=22824960, episodic return=2310.60595703125\n", + "global step=22827008, episodic return=2355.35888671875\n", + "global step=22829056, episodic return=788.0631103515625\n", + "global step=22829056, episodic return=2337.83544921875\n", + "global step=22829056, episodic return=42.66127014160156\n", + "global step=22831104, episodic return=43.403907775878906\n", + "global step=22831104, episodic return=2330.6044921875\n", + "global step=22833152, episodic return=2381.67626953125\n", + "global step=22833152, episodic return=2307.778076171875\n", + "global step=22837248, episodic return=2263.30615234375\n", + "global step=22839296, episodic return=2296.812744140625\n", + "global step=22843392, episodic return=2391.021728515625\n", + "global step=22843392, episodic return=2278.878662109375\n", + "global step=22845440, episodic return=2324.513427734375\n", + "global step=22845440, episodic return=2280.315673828125\n", + "global step=22845440, episodic return=2284.41552734375\n", + "global step=22845440, episodic return=2067.83349609375\n", + "global step=22845440, episodic return=2378.475830078125\n", + "global step=22847488, episodic return=2435.447265625\n", + "global step=22849536, episodic return=2435.769287109375\n", + "global step=22849536, episodic return=2321.364501953125\n", + "global step=22851584, episodic return=2311.080810546875\n", + "global step=22851584, episodic return=1140.9398193359375\n", + "global step=22851584, episodic return=2464.82421875\n", + "global step=22853632, episodic return=2367.8193359375\n", + "global step=22853632, episodic return=2414.60498046875\n", + "global step=22853632, episodic return=2358.85888671875\n", + "global step=22855680, episodic return=2311.55419921875\n", + "global step=22857728, episodic return=2341.667724609375\n", + "global step=22857728, episodic return=2323.598876953125\n", + "global step=22857728, episodic return=2393.41845703125\n", + "global step=22857728, episodic return=2333.29296875\n", + "global step=22859776, episodic return=2313.637451171875\n", + "global step=22861824, episodic return=2328.71728515625\n", + "global step=22861824, episodic return=2366.334228515625\n", + "global step=22861824, episodic return=2344.6650390625\n", + "global step=22861824, episodic return=2333.927978515625\n", + "global step=22863872, episodic return=2363.904541015625\n", + "global step=22865920, episodic return=2363.93017578125\n", + "global step=22865920, episodic return=2297.34814453125\n", + "global step=22865920, episodic return=163.2802734375\n", + "global step=22867968, episodic return=2286.869873046875\n", + "global step=22867968, episodic return=2449.884765625\n", + "global step=22867968, episodic return=2342.8076171875\n", + "global step=22867968, episodic return=2386.665771484375\n", + "global step=22867968, episodic return=2360.900390625\n", + "global step=22872064, episodic return=2413.53125\n", + "global step=22874112, episodic return=2345.94873046875\n", + "global step=22876160, episodic return=2342.333740234375\n", + "global step=22878208, episodic return=2295.92138671875\n", + "global step=22878208, episodic return=228.70608520507812\n", + "global step=22880256, episodic return=2338.736572265625\n", + "global step=22880256, episodic return=2322.90771484375\n", + "global step=22882304, episodic return=339.3927307128906\n", + "global step=22882304, episodic return=2250.41845703125\n", + "global step=22884352, episodic return=2393.15673828125\n", + "global step=22884352, episodic return=2221.511962890625\n", + "global step=22886400, episodic return=2442.927734375\n", + "global step=22888448, episodic return=2306.53515625\n", + "global step=22888448, episodic return=2319.0146484375\n", + "global step=22888448, episodic return=2351.741455078125\n", + "global step=22890496, episodic return=2411.044189453125\n", + "global step=22890496, episodic return=2302.895263671875\n", + "global step=22890496, episodic return=2338.2646484375\n", + "global step=22890496, episodic return=2318.022705078125\n", + "global step=22890496, episodic return=40.14178466796875\n", + "global step=22892544, episodic return=2248.14892578125\n", + "global step=22892544, episodic return=2316.322998046875\n", + "global step=22892544, episodic return=2405.9853515625\n", + "global step=22892544, episodic return=2295.6337890625\n", + "global step=22892544, episodic return=2297.6796875\n", + "global step=22892544, episodic return=2362.70458984375\n", + "global step=22894592, episodic return=2242.20703125\n", + "global step=22896640, episodic return=2336.870849609375\n", + "global step=22896640, episodic return=21.583494186401367\n", + "global step=22896640, episodic return=1227.2357177734375\n", + "global step=22898688, episodic return=2334.562744140625\n", + "global step=22898688, episodic return=2340.65380859375\n", + "global step=22900736, episodic return=2333.95654296875\n", + "global step=22900736, episodic return=2290.4375\n", + "global step=22900736, episodic return=2406.606201171875\n", + "global step=22900736, episodic return=2366.932373046875\n", + "global step=22900736, episodic return=2292.808349609375\n", + "global step=22902784, episodic return=2324.674560546875\n", + "global step=22902784, episodic return=2357.768310546875\n", + "global step=22902784, episodic return=2322.39892578125\n", + "global step=22904832, episodic return=2371.12841796875\n", + "global step=22904832, episodic return=2308.204833984375\n", + "global step=22906880, episodic return=2335.4541015625\n", + "global step=22906880, episodic return=2301.549072265625\n", + "global step=22906880, episodic return=2351.19482421875\n", + "global step=22906880, episodic return=2321.3662109375\n", + "global step=22908928, episodic return=2321.0927734375\n", + "global step=22908928, episodic return=107.65692138671875\n", + "global step=22908928, episodic return=2341.5625\n", + "global step=22910976, episodic return=2213.9091796875\n", + "global step=22913024, episodic return=17.450702667236328\n", + "global step=22913024, episodic return=2341.386962890625\n", + "global step=22913024, episodic return=171.3895721435547\n", + "global step=22913024, episodic return=2365.362548828125\n", + "global step=22915072, episodic return=2356.56640625\n", + "global step=22915072, episodic return=2289.8447265625\n", + "global step=22915072, episodic return=2381.967041015625\n", + "global step=22915072, episodic return=2367.3203125\n", + "global step=22915072, episodic return=2421.037841796875\n", + "global step=22917120, episodic return=2249.50341796875\n", + "global step=22919168, episodic return=2312.477294921875\n", + "global step=22919168, episodic return=2311.373291015625\n", + "global step=22919168, episodic return=2360.499267578125\n", + "global step=22921216, episodic return=2342.44140625\n", + "global step=22921216, episodic return=2299.86474609375\n", + "global step=22921216, episodic return=1625.966552734375\n", + "global step=22921216, episodic return=2313.322998046875\n", + "global step=22921216, episodic return=2309.091552734375\n", + "global step=22923264, episodic return=2338.199462890625\n", + "global step=22923264, episodic return=2309.078369140625\n", + "global step=22923264, episodic return=214.7684326171875\n", + "global step=22927360, episodic return=2369.53515625\n", + "global step=22927360, episodic return=2381.95703125\n", + "global step=22927360, episodic return=2387.096923828125\n", + "global step=22927360, episodic return=2403.214111328125\n", + "global step=22927360, episodic return=2239.302001953125\n", + "global step=22931456, episodic return=2386.542724609375\n", + "global step=22931456, episodic return=2269.593505859375\n", + "global step=22931456, episodic return=2346.501220703125\n", + "global step=22933504, episodic return=2360.4716796875\n", + "global step=22933504, episodic return=2309.265869140625\n", + "global step=22933504, episodic return=269.9659118652344\n", + "global step=22933504, episodic return=2327.328125\n", + "global step=22933504, episodic return=14.719287872314453\n", + "global step=22933504, episodic return=2409.492919921875\n", + "global step=22935552, episodic return=2412.525634765625\n", + "global step=22937600, episodic return=314.9670104980469\n", + "global step=22937600, episodic return=2363.701416015625\n", + "global step=22939648, episodic return=2434.1064453125\n", + "global step=22939648, episodic return=2316.255126953125\n", + "global step=22939648, episodic return=2330.7255859375\n", + "global step=22939648, episodic return=2355.198486328125\n", + "global step=22939648, episodic return=2400.346923828125\n", + "global step=22943744, episodic return=2292.957275390625\n", + "global step=22945792, episodic return=2376.00927734375\n", + "global step=22947840, episodic return=2310.573974609375\n", + "global step=22949888, episodic return=2409.39453125\n", + "global step=22949888, episodic return=2358.496337890625\n", + "global step=22951936, episodic return=2333.486572265625\n", + "global step=22953984, episodic return=2334.35791015625\n", + "global step=22953984, episodic return=2311.653564453125\n", + "global step=22953984, episodic return=2412.3896484375\n", + "global step=22953984, episodic return=2365.595703125\n", + "global step=22953984, episodic return=2410.82763671875\n", + "global step=22953984, episodic return=2271.991943359375\n", + "global step=22956032, episodic return=2314.53662109375\n", + "global step=22956032, episodic return=2307.779541015625\n", + "global step=22958080, episodic return=2375.97705078125\n", + "global step=22960128, episodic return=399.0666809082031\n", + "global step=22960128, episodic return=2416.341796875\n", + "global step=22960128, episodic return=2344.347412109375\n", + "global step=22960128, episodic return=2359.226806640625\n", + "global step=22960128, episodic return=2340.63330078125\n", + "global step=22960128, episodic return=2268.61279296875\n", + "global step=22962176, episodic return=2301.587890625\n", + "global step=22964224, episodic return=2398.667724609375\n", + "global step=22964224, episodic return=305.9837646484375\n", + "global step=22966272, episodic return=2288.3017578125\n", + "global step=22966272, episodic return=2394.234375\n", + "global step=22966272, episodic return=2363.22216796875\n", + "global step=22968320, episodic return=2397.812255859375\n", + "global step=22970368, episodic return=2323.716796875\n", + "global step=22972416, episodic return=2304.9208984375\n", + "global step=22972416, episodic return=2314.223876953125\n", + "global step=22972416, episodic return=2380.222900390625\n", + "global step=22974464, episodic return=2410.445556640625\n", + "global step=22980608, episodic return=2385.79248046875\n", + "global step=22980608, episodic return=2334.28564453125\n", + "global step=22980608, episodic return=2298.246826171875\n", + "global step=22982656, episodic return=2410.554931640625\n", + "global step=22982656, episodic return=2303.11279296875\n", + "global step=22982656, episodic return=2315.542236328125\n", + "global step=22982656, episodic return=2321.78369140625\n", + "global step=22986752, episodic return=2378.93212890625\n", + "global step=22988800, episodic return=2275.162841796875\n", + "global step=22988800, episodic return=2286.502685546875\n", + "global step=22990848, episodic return=2460.373291015625\n", + "global step=22990848, episodic return=260.9270935058594\n", + "global step=22990848, episodic return=2238.864990234375\n", + "global step=22990848, episodic return=2211.53955078125\n", + "global step=22990848, episodic return=2353.33349609375\n", + "global step=22990848, episodic return=2315.598876953125\n", + "global step=22994944, episodic return=2338.685546875\n", + "global step=22994944, episodic return=221.77369689941406\n", + "global step=22994944, episodic return=1378.3272705078125\n", + "global step=22996992, episodic return=35.52619934082031\n", + "global step=22999040, episodic return=2367.154296875\n", + "global step=22999040, episodic return=2387.464599609375\n", + "global step=23003136, episodic return=2310.414306640625\n", + "global step=23003136, episodic return=217.2490234375\n", + "global step=23005184, episodic return=2331.46240234375\n", + "global step=23007232, episodic return=2213.38623046875\n", + "global step=23007232, episodic return=2333.755126953125\n", + "global step=23009280, episodic return=2313.9736328125\n", + "global step=23009280, episodic return=2343.159423828125\n", + "global step=23011328, episodic return=2294.491455078125\n", + "global step=23013376, episodic return=2331.201904296875\n", + "global step=23013376, episodic return=161.7638702392578\n", + "global step=23017472, episodic return=2309.083984375\n", + "global step=23021568, episodic return=2388.370849609375\n", + "global step=23021568, episodic return=2384.915283203125\n", + "global step=23021568, episodic return=2357.6943359375\n", + "global step=23021568, episodic return=2334.30029296875\n", + "global step=23023616, episodic return=312.19720458984375\n", + "global step=23025664, episodic return=2337.206787109375\n", + "global step=23029760, episodic return=2259.693115234375\n", + "global step=23035904, episodic return=2331.821044921875\n", + "global step=23035904, episodic return=2326.52392578125\n", + "global step=23035904, episodic return=2386.605224609375\n", + "global step=23042048, episodic return=2367.681884765625\n", + "global step=23042048, episodic return=2300.25048828125\n", + "global step=23042048, episodic return=2300.44189453125\n", + "global step=23046144, episodic return=2396.523193359375\n", + "global step=23050240, episodic return=1127.82666015625\n", + "global step=23050240, episodic return=2387.840576171875\n", + "global step=23052288, episodic return=199.59832763671875\n", + "global step=23054336, episodic return=2362.013427734375\n", + "global step=23056384, episodic return=2406.124267578125\n", + "global step=23056384, episodic return=2432.969482421875\n", + "global step=23056384, episodic return=2428.523681640625\n", + "global step=23056384, episodic return=2401.66259765625\n", + "global step=23058432, episodic return=1175.1236572265625\n", + "global step=23060480, episodic return=2381.681396484375\n", + "global step=23060480, episodic return=2386.79541015625\n", + "global step=23062528, episodic return=2391.708984375\n", + "global step=23066624, episodic return=2383.252685546875\n", + "global step=23066624, episodic return=2347.056884765625\n", + "global step=23066624, episodic return=2403.07275390625\n", + "global step=23066624, episodic return=2402.598876953125\n", + "global step=23066624, episodic return=2392.330810546875\n", + "global step=23068672, episodic return=2410.12451171875\n", + "global step=23070720, episodic return=2264.653564453125\n", + "global step=23070720, episodic return=1979.303466796875\n", + "global step=23072768, episodic return=561.3653564453125\n", + "global step=23074816, episodic return=173.04351806640625\n", + "global step=23074816, episodic return=1377.9019775390625\n", + "global step=23076864, episodic return=1271.318115234375\n", + "global step=23076864, episodic return=2286.996826171875\n", + "global step=23076864, episodic return=2368.7939453125\n", + "global step=23076864, episodic return=2306.298095703125\n", + "global step=23076864, episodic return=2377.66748046875\n", + "global step=23076864, episodic return=2436.622314453125\n", + "global step=23076864, episodic return=2397.364990234375\n", + "global step=23076864, episodic return=2331.75\n", + "global step=23078912, episodic return=2290.62841796875\n", + "global step=23078912, episodic return=1343.869140625\n", + "global step=23078912, episodic return=2357.841796875\n", + "global step=23080960, episodic return=2330.957275390625\n", + "global step=23080960, episodic return=2402.962158203125\n", + "global step=23083008, episodic return=2328.39208984375\n", + "global step=23083008, episodic return=1714.0157470703125\n", + "global step=23083008, episodic return=685.4364013671875\n", + "global step=23083008, episodic return=2377.458740234375\n", + "global step=23083008, episodic return=2388.181640625\n", + "global step=23085056, episodic return=2358.561279296875\n", + "global step=23087104, episodic return=491.7293395996094\n", + "global step=23087104, episodic return=2341.97216796875\n", + "global step=23089152, episodic return=2377.879638671875\n", + "global step=23091200, episodic return=2276.439453125\n", + "global step=23091200, episodic return=2360.478759765625\n", + "global step=23093248, episodic return=823.7689819335938\n", + "global step=23093248, episodic return=2399.247802734375\n", + "global step=23093248, episodic return=2255.67626953125\n", + "global step=23093248, episodic return=2388.984619140625\n", + "global step=23093248, episodic return=2392.9677734375\n", + "global step=23095296, episodic return=2391.566162109375\n", + "global step=23095296, episodic return=2370.58740234375\n", + "global step=23095296, episodic return=1904.8251953125\n", + "global step=23097344, episodic return=2327.0673828125\n", + "global step=23097344, episodic return=2340.947509765625\n", + "global step=23097344, episodic return=2403.684326171875\n", + "global step=23099392, episodic return=2371.826904296875\n", + "global step=23099392, episodic return=2404.576171875\n", + "global step=23099392, episodic return=2354.35986328125\n", + "global step=23101440, episodic return=2353.922607421875\n", + "global step=23103488, episodic return=326.6628112792969\n", + "global step=23103488, episodic return=2363.811767578125\n", + "global step=23105536, episodic return=2384.919921875\n", + "global step=23105536, episodic return=2378.92138671875\n", + "global step=23105536, episodic return=2400.65283203125\n", + "global step=23107584, episodic return=2402.7421875\n", + "global step=23107584, episodic return=2352.893310546875\n", + "global step=23111680, episodic return=2335.83447265625\n", + "global step=23115776, episodic return=2378.035888671875\n", + "global step=23115776, episodic return=2314.39697265625\n", + "global step=23115776, episodic return=2289.891357421875\n", + "global step=23117824, episodic return=2336.24951171875\n", + "global step=23117824, episodic return=417.48150634765625\n", + "global step=23117824, episodic return=2299.537353515625\n", + "global step=23121920, episodic return=2342.866943359375\n", + "global step=23121920, episodic return=1210.5611572265625\n", + "global step=23121920, episodic return=2360.208984375\n", + "global step=23121920, episodic return=22.923709869384766\n", + "global step=23123968, episodic return=2351.80859375\n", + "global step=23123968, episodic return=2356.56591796875\n", + "global step=23123968, episodic return=489.6491394042969\n", + "global step=23126016, episodic return=1349.984619140625\n", + "global step=23130112, episodic return=1245.6602783203125\n", + "global step=23130112, episodic return=2304.7099609375\n", + "global step=23130112, episodic return=2338.628662109375\n", + "global step=23132160, episodic return=2307.143310546875\n", + "global step=23134208, episodic return=2416.91552734375\n", + "global step=23134208, episodic return=2290.940185546875\n", + "global step=23138304, episodic return=520.1397705078125\n", + "global step=23138304, episodic return=2437.833984375\n", + "global step=23138304, episodic return=2346.14013671875\n", + "global step=23142400, episodic return=2333.089111328125\n", + "global step=23142400, episodic return=2359.19970703125\n", + "global step=23144448, episodic return=442.6433410644531\n", + "global step=23146496, episodic return=2407.94921875\n", + "global step=23146496, episodic return=2348.775634765625\n", + "global step=23146496, episodic return=2388.635498046875\n", + "global step=23146496, episodic return=2414.3837890625\n", + "global step=23146496, episodic return=2307.449462890625\n", + "global step=23146496, episodic return=2364.63671875\n", + "global step=23148544, episodic return=184.18051147460938\n", + "global step=23150592, episodic return=2368.821533203125\n", + "global step=23152640, episodic return=2378.364013671875\n", + "global step=23152640, episodic return=2350.200439453125\n", + "global step=23152640, episodic return=2397.015625\n", + "global step=23154688, episodic return=2395.943603515625\n", + "global step=23156736, episodic return=2368.944580078125\n", + "global step=23156736, episodic return=2351.7509765625\n", + "global step=23156736, episodic return=2269.8388671875\n", + "global step=23156736, episodic return=2367.28369140625\n", + "global step=23156736, episodic return=2298.08056640625\n", + "global step=23156736, episodic return=2336.2197265625\n", + "global step=23158784, episodic return=2325.5693359375\n", + "global step=23160832, episodic return=2366.81591796875\n", + "global step=23160832, episodic return=2398.396484375\n", + "global step=23160832, episodic return=2368.098876953125\n", + "global step=23162880, episodic return=2317.4482421875\n", + "global step=23162880, episodic return=2346.839111328125\n", + "global step=23164928, episodic return=2378.072998046875\n", + "global step=23164928, episodic return=2424.4150390625\n", + "global step=23164928, episodic return=2296.61279296875\n", + "global step=23164928, episodic return=2349.635498046875\n", + "global step=23164928, episodic return=2335.926025390625\n", + "global step=23166976, episodic return=2439.01318359375\n", + "global step=23166976, episodic return=2250.239013671875\n", + "global step=23166976, episodic return=2408.023681640625\n", + "global step=23169024, episodic return=2277.97021484375\n", + "global step=23169024, episodic return=1777.44677734375\n", + "global step=23173120, episodic return=2371.54833984375\n", + "global step=23173120, episodic return=2386.2490234375\n", + "global step=23175168, episodic return=2441.28271484375\n", + "global step=23175168, episodic return=2392.36279296875\n", + "global step=23175168, episodic return=2462.93408203125\n", + "global step=23177216, episodic return=2352.0107421875\n", + "global step=23177216, episodic return=2338.015380859375\n", + "global step=23181312, episodic return=2407.065673828125\n", + "global step=23185408, episodic return=2364.225830078125\n", + "global step=23185408, episodic return=2350.177978515625\n", + "global step=23187456, episodic return=1518.341064453125\n", + "global step=23187456, episodic return=2319.65673828125\n", + "global step=23189504, episodic return=2387.150390625\n", + "global step=23189504, episodic return=2333.066162109375\n", + "global step=23191552, episodic return=2395.0595703125\n", + "global step=23191552, episodic return=2341.18212890625\n", + "global step=23193600, episodic return=2293.6083984375\n", + "global step=23193600, episodic return=2359.97216796875\n", + "global step=23193600, episodic return=2237.98046875\n", + "global step=23195648, episodic return=2248.0322265625\n", + "global step=23195648, episodic return=2297.125\n", + "global step=23197696, episodic return=2329.68994140625\n", + "global step=23197696, episodic return=2405.87744140625\n", + "global step=23197696, episodic return=2362.327880859375\n", + "global step=23199744, episodic return=2367.037841796875\n", + "global step=23201792, episodic return=2342.4697265625\n", + "global step=23201792, episodic return=2356.6689453125\n", + "global step=23203840, episodic return=2442.10498046875\n", + "global step=23205888, episodic return=1073.121337890625\n", + "global step=23205888, episodic return=2371.411865234375\n", + "global step=23205888, episodic return=2397.087158203125\n", + "global step=23207936, episodic return=2408.4111328125\n", + "global step=23207936, episodic return=2357.321044921875\n", + "global step=23209984, episodic return=2282.967529296875\n", + "global step=23209984, episodic return=612.35791015625\n", + "global step=23212032, episodic return=2306.41845703125\n", + "global step=23212032, episodic return=2332.4033203125\n", + "global step=23214080, episodic return=2367.036865234375\n", + "global step=23216128, episodic return=2349.925048828125\n", + "global step=23216128, episodic return=2243.0947265625\n", + "global step=23218176, episodic return=2234.713134765625\n", + "global step=23218176, episodic return=2422.355224609375\n", + "global step=23218176, episodic return=2366.93408203125\n", + "global step=23220224, episodic return=2358.21826171875\n", + "global step=23220224, episodic return=1105.65576171875\n", + "global step=23222272, episodic return=2387.001953125\n", + "global step=23222272, episodic return=2275.530029296875\n", + "global step=23224320, episodic return=2299.243896484375\n", + "global step=23224320, episodic return=2388.076416015625\n", + "global step=23224320, episodic return=2108.244873046875\n", + "global step=23224320, episodic return=2351.396728515625\n", + "global step=23228416, episodic return=2384.001220703125\n", + "global step=23228416, episodic return=2397.31640625\n", + "global step=23230464, episodic return=2394.600830078125\n", + "global step=23234560, episodic return=2258.7685546875\n", + "global step=23234560, episodic return=2262.41552734375\n", + "global step=23234560, episodic return=1612.918212890625\n", + "global step=23236608, episodic return=2345.104248046875\n", + "global step=23236608, episodic return=1703.6158447265625\n", + "global step=23236608, episodic return=2335.2216796875\n", + "global step=23238656, episodic return=2369.295654296875\n", + "global step=23240704, episodic return=2306.6767578125\n", + "global step=23242752, episodic return=2346.0390625\n", + "global step=23242752, episodic return=2367.032470703125\n", + "global step=23242752, episodic return=2338.046875\n", + "global step=23242752, episodic return=2289.935791015625\n", + "global step=23242752, episodic return=51.62147903442383\n", + "global step=23244800, episodic return=1707.1954345703125\n", + "global step=23244800, episodic return=2376.605224609375\n", + "global step=23244800, episodic return=219.4086456298828\n", + "global step=23246848, episodic return=2367.621826171875\n", + "global step=23246848, episodic return=488.45697021484375\n", + "global step=23246848, episodic return=2311.2041015625\n", + "global step=23246848, episodic return=2313.84375\n", + "global step=23246848, episodic return=442.56439208984375\n", + "global step=23246848, episodic return=2391.8095703125\n", + "global step=23248896, episodic return=2360.461669921875\n", + "global step=23248896, episodic return=2326.41064453125\n", + "global step=23248896, episodic return=783.7034912109375\n", + "global step=23248896, episodic return=421.5608215332031\n", + "global step=23250944, episodic return=2374.70458984375\n", + "global step=23250944, episodic return=2229.856201171875\n", + "global step=23250944, episodic return=2362.861572265625\n", + "global step=23252992, episodic return=2354.834228515625\n", + "global step=23252992, episodic return=253.45318603515625\n", + "global step=23255040, episodic return=2356.27001953125\n", + "global step=23255040, episodic return=2424.609130859375\n", + "global step=23255040, episodic return=42.23416519165039\n", + "global step=23255040, episodic return=2418.54638671875\n", + "global step=23255040, episodic return=2351.071044921875\n", + "global step=23255040, episodic return=2006.2613525390625\n", + "global step=23257088, episodic return=212.892822265625\n", + "global step=23257088, episodic return=2349.85888671875\n", + "global step=23257088, episodic return=2404.217529296875\n", + "global step=23257088, episodic return=2321.68359375\n", + "global step=23257088, episodic return=112.18235778808594\n", + "global step=23257088, episodic return=2407.45458984375\n", + "global step=23257088, episodic return=2402.96142578125\n", + "global step=23259136, episodic return=2304.87548828125\n", + "global step=23259136, episodic return=157.3673095703125\n", + "global step=23259136, episodic return=2328.44873046875\n", + "global step=23261184, episodic return=2292.874267578125\n", + "global step=23261184, episodic return=2331.281494140625\n", + "global step=23261184, episodic return=2316.117431640625\n", + "global step=23261184, episodic return=2345.71240234375\n", + "global step=23261184, episodic return=142.44276428222656\n", + "global step=23263232, episodic return=2325.4755859375\n", + "global step=23267328, episodic return=2397.71875\n", + "global step=23267328, episodic return=881.7587280273438\n", + "global step=23269376, episodic return=2398.912353515625\n", + "global step=23269376, episodic return=2427.868896484375\n", + "global step=23269376, episodic return=2347.516357421875\n", + "global step=23269376, episodic return=2398.113037109375\n", + "global step=23271424, episodic return=2376.57421875\n", + "global step=23273472, episodic return=2384.977294921875\n", + "global step=23273472, episodic return=2192.247802734375\n", + "global step=23275520, episodic return=2402.012939453125\n", + "global step=23275520, episodic return=2374.095947265625\n", + "global step=23277568, episodic return=988.045166015625\n", + "global step=23279616, episodic return=2139.051513671875\n", + "global step=23279616, episodic return=1935.7139892578125\n", + "global step=23279616, episodic return=2440.53466796875\n", + "global step=23279616, episodic return=2324.18212890625\n", + "global step=23281664, episodic return=2229.2431640625\n", + "global step=23281664, episodic return=2371.5302734375\n", + "global step=23281664, episodic return=2320.7861328125\n", + "global step=23281664, episodic return=2347.966064453125\n", + "global step=23281664, episodic return=2370.927001953125\n", + "global step=23281664, episodic return=200.19775390625\n", + "global step=23283712, episodic return=1697.428466796875\n", + "global step=23283712, episodic return=2436.913330078125\n", + "global step=23285760, episodic return=25.25779914855957\n", + "global step=23285760, episodic return=2301.119384765625\n", + "global step=23287808, episodic return=2364.89501953125\n", + "global step=23289856, episodic return=2285.8447265625\n", + "global step=23289856, episodic return=2411.823486328125\n", + "global step=23289856, episodic return=2363.077880859375\n", + "global step=23289856, episodic return=2379.809814453125\n", + "global step=23289856, episodic return=751.1406860351562\n", + "global step=23289856, episodic return=27.478233337402344\n", + "global step=23291904, episodic return=2330.11181640625\n", + "global step=23293952, episodic return=2372.02294921875\n", + "global step=23296000, episodic return=2284.661376953125\n", + "global step=23296000, episodic return=2322.5986328125\n", + "global step=23296000, episodic return=2399.93505859375\n", + "global step=23296000, episodic return=2310.570068359375\n", + "global step=23296000, episodic return=2396.745849609375\n", + "global step=23296000, episodic return=2381.68994140625\n", + "global step=23296000, episodic return=2247.55126953125\n", + "global step=23296000, episodic return=2347.57373046875\n", + "global step=23298048, episodic return=2313.591796875\n", + "global step=23298048, episodic return=2328.15625\n", + "global step=23300096, episodic return=2298.181884765625\n", + "global step=23300096, episodic return=2257.901611328125\n", + "global step=23302144, episodic return=2305.56298828125\n", + "global step=23302144, episodic return=2391.994873046875\n", + "global step=23302144, episodic return=2415.11376953125\n", + "global step=23304192, episodic return=2320.5927734375\n", + "global step=23304192, episodic return=2324.951904296875\n", + "global step=23306240, episodic return=2326.06787109375\n", + "global step=23306240, episodic return=2323.98876953125\n", + "global step=23306240, episodic return=180.39720153808594\n", + "global step=23306240, episodic return=2395.83544921875\n", + "global step=23306240, episodic return=2385.529052734375\n", + "global step=23308288, episodic return=2326.69970703125\n", + "global step=23308288, episodic return=996.6406860351562\n", + "global step=23308288, episodic return=2328.33642578125\n", + "global step=23312384, episodic return=2394.049072265625\n", + "global step=23312384, episodic return=2301.94921875\n", + "global step=23314432, episodic return=2353.12451171875\n", + "global step=23314432, episodic return=2303.15869140625\n", + "global step=23314432, episodic return=2321.939453125\n", + "global step=23314432, episodic return=2378.627197265625\n", + "global step=23314432, episodic return=2355.8984375\n", + "global step=23316480, episodic return=443.0570373535156\n", + "global step=23316480, episodic return=2356.18701171875\n", + "global step=23316480, episodic return=2353.955322265625\n", + "global step=23316480, episodic return=2395.191162109375\n", + "global step=23316480, episodic return=2306.614990234375\n", + "global step=23320576, episodic return=2414.881591796875\n", + "global step=23322624, episodic return=2332.796630859375\n", + "global step=23322624, episodic return=2327.02685546875\n", + "global step=23324672, episodic return=2388.171630859375\n", + "global step=23324672, episodic return=2294.8486328125\n", + "global step=23326720, episodic return=2367.2197265625\n", + "global step=23326720, episodic return=2433.328369140625\n", + "global step=23328768, episodic return=2363.852783203125\n", + "global step=23328768, episodic return=2384.232421875\n", + "global step=23328768, episodic return=2399.84619140625\n", + "global step=23328768, episodic return=2291.2333984375\n", + "global step=23328768, episodic return=490.3327941894531\n", + "global step=23328768, episodic return=2326.2861328125\n", + "global step=23328768, episodic return=2356.372314453125\n", + "global step=23330816, episodic return=2273.529541015625\n", + "global step=23330816, episodic return=2369.9765625\n", + "global step=23332864, episodic return=1003.87744140625\n", + "global step=23332864, episodic return=2224.9541015625\n", + "global step=23332864, episodic return=2242.255859375\n", + "global step=23332864, episodic return=2376.658447265625\n", + "global step=23332864, episodic return=2338.949951171875\n", + "global step=23334912, episodic return=2305.295166015625\n", + "global step=23334912, episodic return=2332.61767578125\n", + "global step=23334912, episodic return=2328.2197265625\n", + "global step=23334912, episodic return=2338.0927734375\n", + "global step=23334912, episodic return=2378.487060546875\n", + "global step=23336960, episodic return=2370.15478515625\n", + "global step=23336960, episodic return=2340.573486328125\n", + "global step=23339008, episodic return=2382.321533203125\n", + "global step=23339008, episodic return=2372.236328125\n", + "global step=23339008, episodic return=894.18408203125\n", + "global step=23341056, episodic return=2360.618896484375\n", + "global step=23343104, episodic return=2350.776611328125\n", + "global step=23343104, episodic return=2339.270751953125\n", + "global step=23343104, episodic return=2291.25\n", + "global step=23343104, episodic return=2288.814697265625\n", + "global step=23343104, episodic return=2361.112548828125\n", + "global step=23343104, episodic return=2403.6982421875\n", + "global step=23345152, episodic return=158.7292022705078\n", + "global step=23345152, episodic return=164.54820251464844\n", + "global step=23345152, episodic return=2379.974609375\n", + "global step=23345152, episodic return=2402.0810546875\n", + "global step=23347200, episodic return=2294.115966796875\n", + "global step=23347200, episodic return=2359.05029296875\n", + "global step=23347200, episodic return=2252.386962890625\n", + "global step=23349248, episodic return=2330.272705078125\n", + "global step=23349248, episodic return=2349.0078125\n", + "global step=23349248, episodic return=1398.1986083984375\n", + "global step=23349248, episodic return=2329.69091796875\n", + "global step=23349248, episodic return=2346.59716796875\n", + "global step=23351296, episodic return=2388.554443359375\n", + "global step=23351296, episodic return=2384.315673828125\n", + "global step=23353344, episodic return=2249.2578125\n", + "global step=23355392, episodic return=2345.5576171875\n", + "global step=23355392, episodic return=2355.27978515625\n", + "global step=23355392, episodic return=2335.560302734375\n", + "global step=23355392, episodic return=938.7086791992188\n", + "global step=23355392, episodic return=2395.203369140625\n", + "global step=23357440, episodic return=2233.3076171875\n", + "global step=23357440, episodic return=2379.539306640625\n", + "global step=23357440, episodic return=2432.60888671875\n", + "global step=23359488, episodic return=2405.0361328125\n", + "global step=23359488, episodic return=2403.94580078125\n", + "global step=23359488, episodic return=1732.4263916015625\n", + "global step=23361536, episodic return=2249.365966796875\n", + "global step=23361536, episodic return=2319.53662109375\n", + "global step=23363584, episodic return=1383.319091796875\n", + "global step=23365632, episodic return=524.5487670898438\n", + "global step=23365632, episodic return=2317.87744140625\n", + "global step=23367680, episodic return=2348.79052734375\n", + "global step=23367680, episodic return=505.2290954589844\n", + "global step=23369728, episodic return=2355.739990234375\n", + "global step=23371776, episodic return=2380.10791015625\n", + "global step=23373824, episodic return=2306.322509765625\n", + "global step=23373824, episodic return=2379.0322265625\n", + "global step=23375872, episodic return=33.2909049987793\n", + "global step=23375872, episodic return=2435.640380859375\n", + "global step=23377920, episodic return=2363.864501953125\n", + "global step=23377920, episodic return=2361.205810546875\n", + "global step=23377920, episodic return=2378.641357421875\n", + "global step=23379968, episodic return=2426.5634765625\n", + "global step=23384064, episodic return=2346.343994140625\n", + "global step=23384064, episodic return=2285.5234375\n", + "global step=23386112, episodic return=2410.38916015625\n", + "global step=23388160, episodic return=2392.417724609375\n", + "global step=23388160, episodic return=2380.22802734375\n", + "global step=23392256, episodic return=2429.62890625\n", + "global step=23392256, episodic return=802.9188232421875\n", + "global step=23394304, episodic return=2388.510009765625\n", + "global step=23394304, episodic return=1101.3367919921875\n", + "global step=23394304, episodic return=2423.5361328125\n", + "global step=23394304, episodic return=2317.836669921875\n", + "global step=23396352, episodic return=2339.133056640625\n", + "global step=23396352, episodic return=2352.20263671875\n", + "global step=23398400, episodic return=2304.319580078125\n", + "global step=23398400, episodic return=2340.605712890625\n", + "global step=23400448, episodic return=2334.67236328125\n", + "global step=23400448, episodic return=2220.560546875\n", + "global step=23400448, episodic return=163.40086364746094\n", + "global step=23400448, episodic return=2192.8251953125\n", + "global step=23400448, episodic return=1622.7860107421875\n", + "global step=23402496, episodic return=2403.347900390625\n", + "global step=23402496, episodic return=2336.055419921875\n", + "global step=23402496, episodic return=2379.5400390625\n", + "global step=23402496, episodic return=137.04217529296875\n", + "global step=23404544, episodic return=2361.729248046875\n", + "global step=23404544, episodic return=1685.260498046875\n", + "global step=23404544, episodic return=2364.920166015625\n", + "global step=23404544, episodic return=2277.189453125\n", + "global step=23406592, episodic return=107.6137466430664\n", + "global step=23408640, episodic return=180.41029357910156\n", + "global step=23410688, episodic return=2314.662841796875\n", + "global step=23410688, episodic return=2363.989013671875\n", + "global step=23410688, episodic return=2071.872802734375\n", + "global step=23410688, episodic return=2365.807861328125\n", + "global step=23410688, episodic return=697.374267578125\n", + "global step=23412736, episodic return=2339.987060546875\n", + "global step=23412736, episodic return=2341.2998046875\n", + "global step=23414784, episodic return=2357.109375\n", + "global step=23414784, episodic return=2334.82421875\n", + "global step=23416832, episodic return=2425.236328125\n", + "global step=23416832, episodic return=2442.973876953125\n", + "global step=23416832, episodic return=200.34335327148438\n", + "global step=23418880, episodic return=2346.888671875\n", + "global step=23420928, episodic return=130.48098754882812\n", + "global step=23422976, episodic return=2359.43603515625\n", + "global step=23422976, episodic return=2361.37109375\n", + "global step=23422976, episodic return=2283.476806640625\n", + "global step=23422976, episodic return=2418.398681640625\n", + "global step=23422976, episodic return=2372.122802734375\n", + "global step=23425024, episodic return=2403.20849609375\n", + "global step=23425024, episodic return=2384.67529296875\n", + "global step=23425024, episodic return=2369.56494140625\n", + "global step=23427072, episodic return=2345.830322265625\n", + "global step=23429120, episodic return=2338.925048828125\n", + "global step=23429120, episodic return=2343.073974609375\n", + "global step=23431168, episodic return=657.5614013671875\n", + "global step=23433216, episodic return=2357.6787109375\n", + "global step=23433216, episodic return=2375.551025390625\n", + "global step=23433216, episodic return=2347.910400390625\n", + "global step=23435264, episodic return=2317.9580078125\n", + "global step=23435264, episodic return=2326.206298828125\n", + "global step=23439360, episodic return=2442.5361328125\n", + "global step=23439360, episodic return=2349.808837890625\n", + "global step=23443456, episodic return=2357.8896484375\n", + "global step=23443456, episodic return=2398.272705078125\n", + "global step=23443456, episodic return=2341.265625\n", + "global step=23443456, episodic return=2378.16357421875\n", + "global step=23443456, episodic return=2409.926513671875\n", + "global step=23445504, episodic return=2278.70947265625\n", + "global step=23445504, episodic return=2380.551513671875\n", + "global step=23445504, episodic return=2365.391357421875\n", + "global step=23447552, episodic return=2359.271484375\n", + "global step=23449600, episodic return=2357.417236328125\n", + "global step=23451648, episodic return=2329.85986328125\n", + "global step=23451648, episodic return=2276.825439453125\n", + "global step=23451648, episodic return=2489.469482421875\n", + "global step=23453696, episodic return=2364.768798828125\n", + "global step=23455744, episodic return=2329.0546875\n", + "global step=23455744, episodic return=2373.961669921875\n", + "global step=23455744, episodic return=2323.71826171875\n", + "global step=23457792, episodic return=2329.44775390625\n", + "global step=23459840, episodic return=2415.323486328125\n", + "global step=23459840, episodic return=2345.31494140625\n", + "global step=23461888, episodic return=2331.20361328125\n", + "global step=23461888, episodic return=319.2347412109375\n", + "global step=23461888, episodic return=2342.958740234375\n", + "global step=23461888, episodic return=2308.4072265625\n", + "global step=23461888, episodic return=2314.616943359375\n", + "global step=23461888, episodic return=2346.065185546875\n", + "global step=23461888, episodic return=174.26278686523438\n", + "global step=23463936, episodic return=2303.786376953125\n", + "global step=23463936, episodic return=2353.122314453125\n", + "global step=23463936, episodic return=2372.2626953125\n", + "global step=23468032, episodic return=2362.84423828125\n", + "global step=23468032, episodic return=2332.98779296875\n", + "global step=23468032, episodic return=2293.92138671875\n", + "global step=23468032, episodic return=2417.81787109375\n", + "global step=23470080, episodic return=2392.4375\n", + "global step=23470080, episodic return=2353.632080078125\n", + "global step=23472128, episodic return=2331.335693359375\n", + "global step=23476224, episodic return=2212.385986328125\n", + "global step=23476224, episodic return=2363.245849609375\n", + "global step=23476224, episodic return=2417.122802734375\n", + "global step=23476224, episodic return=2138.018310546875\n", + "global step=23480320, episodic return=2421.630126953125\n", + "global step=23480320, episodic return=2375.9052734375\n", + "global step=23482368, episodic return=2346.249755859375\n", + "global step=23482368, episodic return=2333.263671875\n", + "global step=23482368, episodic return=2263.031982421875\n", + "global step=23484416, episodic return=2369.5146484375\n", + "global step=23484416, episodic return=2413.05517578125\n", + "global step=23488512, episodic return=2389.717529296875\n", + "global step=23490560, episodic return=2340.19775390625\n", + "global step=23490560, episodic return=1131.77294921875\n", + "global step=23490560, episodic return=302.5587158203125\n", + "global step=23490560, episodic return=2385.632080078125\n", + "global step=23490560, episodic return=1428.6361083984375\n", + "global step=23492608, episodic return=448.2149658203125\n", + "global step=23494656, episodic return=2372.491455078125\n", + "global step=23496704, episodic return=2310.762451171875\n", + "global step=23498752, episodic return=2282.5322265625\n", + "global step=23498752, episodic return=2322.999755859375\n", + "global step=23500800, episodic return=2341.099609375\n", + "global step=23500800, episodic return=2051.400146484375\n", + "global step=23500800, episodic return=2352.66015625\n", + "global step=23502848, episodic return=2403.7197265625\n", + "global step=23502848, episodic return=930.0145874023438\n", + "global step=23502848, episodic return=2353.498046875\n", + "global step=23504896, episodic return=2327.962890625\n", + "global step=23504896, episodic return=1729.1973876953125\n", + "global step=23504896, episodic return=2159.145263671875\n", + "global step=23506944, episodic return=2345.62353515625\n", + "global step=23508992, episodic return=2299.46728515625\n", + "global step=23511040, episodic return=2383.474609375\n", + "global step=23511040, episodic return=2381.092041015625\n", + "global step=23513088, episodic return=525.4269409179688\n", + "global step=23515136, episodic return=1347.132568359375\n", + "global step=23519232, episodic return=2345.7041015625\n", + "global step=23519232, episodic return=2303.890625\n", + "global step=23519232, episodic return=2364.676513671875\n", + "global step=23521280, episodic return=2337.069091796875\n", + "global step=23523328, episodic return=2251.32080078125\n", + "global step=23523328, episodic return=2321.643798828125\n", + "global step=23523328, episodic return=1086.1744384765625\n", + "global step=23525376, episodic return=1953.7017822265625\n", + "global step=23525376, episodic return=2452.622802734375\n", + "global step=23525376, episodic return=61.19028091430664\n", + "global step=23525376, episodic return=2320.793212890625\n", + "global step=23527424, episodic return=2384.45458984375\n", + "global step=23527424, episodic return=2357.2041015625\n", + "global step=23527424, episodic return=2358.830078125\n", + "global step=23529472, episodic return=2302.13037109375\n", + "global step=23529472, episodic return=2263.408447265625\n", + "global step=23529472, episodic return=2349.71826171875\n", + "global step=23531520, episodic return=2312.744140625\n", + "global step=23531520, episodic return=465.7668151855469\n", + "global step=23533568, episodic return=2409.915771484375\n", + "global step=23535616, episodic return=2387.34765625\n", + "global step=23535616, episodic return=2380.47265625\n", + "global step=23537664, episodic return=2374.064208984375\n", + "global step=23537664, episodic return=2286.4189453125\n", + "global step=23537664, episodic return=2322.182373046875\n", + "global step=23537664, episodic return=2382.694091796875\n", + "global step=23539712, episodic return=1556.4710693359375\n", + "global step=23539712, episodic return=2042.318603515625\n", + "global step=23541760, episodic return=833.7171020507812\n", + "global step=23541760, episodic return=1730.4398193359375\n", + "global step=23543808, episodic return=2367.006591796875\n", + "global step=23543808, episodic return=2274.198974609375\n", + "global step=23543808, episodic return=2357.843505859375\n", + "global step=23543808, episodic return=2410.4541015625\n", + "global step=23545856, episodic return=2309.416259765625\n", + "global step=23545856, episodic return=2019.820556640625\n", + "global step=23545856, episodic return=2325.2802734375\n", + "global step=23547904, episodic return=2341.57421875\n", + "global step=23547904, episodic return=2418.66015625\n", + "global step=23547904, episodic return=2405.671875\n", + "global step=23547904, episodic return=179.02218627929688\n", + "global step=23547904, episodic return=2286.144287109375\n", + "global step=23547904, episodic return=2356.672119140625\n", + "global step=23549952, episodic return=2353.9677734375\n", + "global step=23549952, episodic return=1576.629638671875\n", + "global step=23552000, episodic return=2308.665283203125\n", + "global step=23552000, episodic return=1084.41015625\n", + "global step=23554048, episodic return=2239.006103515625\n", + "global step=23556096, episodic return=2257.611083984375\n", + "global step=23556096, episodic return=229.2828826904297\n", + "global step=23556096, episodic return=28.271198272705078\n", + "global step=23556096, episodic return=207.785888671875\n", + "global step=23556096, episodic return=2446.912841796875\n", + "global step=23558144, episodic return=2320.34423828125\n", + "global step=23558144, episodic return=1152.86279296875\n", + "global step=23564288, episodic return=2356.02880859375\n", + "global step=23564288, episodic return=250.47189331054688\n", + "global step=23564288, episodic return=2228.376708984375\n", + "global step=23564288, episodic return=1352.9798583984375\n", + "global step=23564288, episodic return=1424.4976806640625\n", + "global step=23564288, episodic return=2400.02099609375\n", + "global step=23564288, episodic return=2446.909423828125\n", + "global step=23566336, episodic return=1676.8719482421875\n", + "global step=23566336, episodic return=2306.927490234375\n", + "global step=23566336, episodic return=2423.3271484375\n", + "global step=23568384, episodic return=2327.944091796875\n", + "global step=23570432, episodic return=2296.0048828125\n", + "global step=23570432, episodic return=228.97727966308594\n", + "global step=23570432, episodic return=2292.7958984375\n", + "global step=23572480, episodic return=2284.796630859375\n", + "global step=23574528, episodic return=244.46080017089844\n", + "global step=23574528, episodic return=2430.41064453125\n", + "global step=23574528, episodic return=2323.158447265625\n", + "global step=23574528, episodic return=2299.757080078125\n", + "global step=23574528, episodic return=2200.479248046875\n", + "global step=23576576, episodic return=38.9952507019043\n", + "global step=23576576, episodic return=2344.446533203125\n", + "global step=23578624, episodic return=223.667724609375\n", + "global step=23578624, episodic return=48.6289176940918\n", + "global step=23578624, episodic return=2247.752685546875\n", + "global step=23580672, episodic return=2341.09765625\n", + "global step=23580672, episodic return=2308.99853515625\n", + "global step=23580672, episodic return=2242.877197265625\n", + "global step=23580672, episodic return=2340.283935546875\n", + "global step=23584768, episodic return=2256.924560546875\n", + "global step=23584768, episodic return=2330.9423828125\n", + "global step=23584768, episodic return=2353.67626953125\n", + "global step=23592960, episodic return=2339.827880859375\n", + "global step=23595008, episodic return=2295.350341796875\n", + "global step=23595008, episodic return=2366.8984375\n", + "global step=23595008, episodic return=2371.48974609375\n", + "global step=23595008, episodic return=2247.742919921875\n", + "global step=23595008, episodic return=2288.887939453125\n", + "global step=23595008, episodic return=2334.96240234375\n", + "global step=23597056, episodic return=2354.1787109375\n", + "global step=23597056, episodic return=2330.085693359375\n", + "global step=23599104, episodic return=325.7300109863281\n", + "global step=23599104, episodic return=2343.843017578125\n", + "global step=23599104, episodic return=2395.702392578125\n", + "global step=23599104, episodic return=2232.78076171875\n", + "global step=23603200, episodic return=217.2630157470703\n", + "global step=23605248, episodic return=270.2795104980469\n", + "global step=23605248, episodic return=2361.68017578125\n", + "global step=23609344, episodic return=2285.0849609375\n", + "global step=23609344, episodic return=2307.960205078125\n", + "global step=23609344, episodic return=2305.517822265625\n", + "global step=23609344, episodic return=2318.633544921875\n", + "global step=23611392, episodic return=2383.676025390625\n", + "global step=23611392, episodic return=2375.235107421875\n", + "global step=23613440, episodic return=2043.5335693359375\n", + "global step=23613440, episodic return=2349.43359375\n", + "global step=23615488, episodic return=33.376068115234375\n", + "global step=23615488, episodic return=2371.300537109375\n", + "global step=23615488, episodic return=2349.613037109375\n", + "global step=23615488, episodic return=214.5890655517578\n", + "global step=23617536, episodic return=2390.238525390625\n", + "global step=23619584, episodic return=2341.5048828125\n", + "global step=23621632, episodic return=2359.186767578125\n", + "global step=23621632, episodic return=2350.392333984375\n", + "global step=23623680, episodic return=2440.30224609375\n", + "global step=23623680, episodic return=2245.1787109375\n", + "global step=23623680, episodic return=2316.140380859375\n", + "global step=23623680, episodic return=2346.506103515625\n", + "global step=23625728, episodic return=2378.80126953125\n", + "global step=23625728, episodic return=613.0865478515625\n", + "global step=23625728, episodic return=2306.380126953125\n", + "global step=23627776, episodic return=2352.2509765625\n", + "global step=23627776, episodic return=2341.257080078125\n", + "global step=23627776, episodic return=2395.476318359375\n", + "global step=23629824, episodic return=2341.583984375\n", + "global step=23629824, episodic return=256.92791748046875\n", + "global step=23629824, episodic return=2348.9580078125\n", + "global step=23629824, episodic return=2433.395751953125\n", + "global step=23631872, episodic return=2356.717041015625\n", + "global step=23631872, episodic return=2342.607421875\n", + "global step=23631872, episodic return=2104.715576171875\n", + "global step=23631872, episodic return=146.8745880126953\n", + "global step=23631872, episodic return=2339.7412109375\n", + "global step=23633920, episodic return=2349.1708984375\n", + "global step=23633920, episodic return=2326.017822265625\n", + "global step=23633920, episodic return=2386.810546875\n", + "global step=23635968, episodic return=2312.58984375\n", + "global step=23635968, episodic return=2342.9921875\n", + "global step=23638016, episodic return=2349.374755859375\n", + "global step=23638016, episodic return=1359.812255859375\n", + "global step=23638016, episodic return=2341.107421875\n", + "global step=23638016, episodic return=2266.4150390625\n", + "global step=23640064, episodic return=271.0581970214844\n", + "global step=23640064, episodic return=2260.261962890625\n", + "global step=23640064, episodic return=2351.3564453125\n", + "global step=23640064, episodic return=703.2781982421875\n", + "global step=23640064, episodic return=257.8712158203125\n", + "global step=23640064, episodic return=24.457374572753906\n", + "global step=23642112, episodic return=2336.3662109375\n", + "global step=23644160, episodic return=301.7908020019531\n", + "global step=23644160, episodic return=217.99386596679688\n", + "global step=23644160, episodic return=2253.0712890625\n", + "global step=23644160, episodic return=769.7689819335938\n", + "global step=23646208, episodic return=2365.528076171875\n", + "global step=23646208, episodic return=1730.453369140625\n", + "global step=23646208, episodic return=71.68488311767578\n", + "global step=23648256, episodic return=2222.249267578125\n", + "global step=23648256, episodic return=2353.2060546875\n", + "global step=23648256, episodic return=2295.95361328125\n", + "global step=23648256, episodic return=2165.154296875\n", + "global step=23650304, episodic return=2293.44091796875\n", + "global step=23650304, episodic return=2384.849609375\n", + "global step=23652352, episodic return=2299.66650390625\n", + "global step=23652352, episodic return=278.044677734375\n", + "global step=23654400, episodic return=2370.123779296875\n", + "global step=23654400, episodic return=2395.69287109375\n", + "global step=23654400, episodic return=2406.59619140625\n", + "global step=23656448, episodic return=2200.935791015625\n", + "global step=23656448, episodic return=2220.479248046875\n", + "global step=23656448, episodic return=2286.5185546875\n", + "global step=23656448, episodic return=2433.79736328125\n", + "global step=23656448, episodic return=2331.595458984375\n", + "global step=23656448, episodic return=2367.882080078125\n", + "global step=23658496, episodic return=2346.2216796875\n", + "global step=23658496, episodic return=2348.580322265625\n", + "global step=23658496, episodic return=2348.223876953125\n", + "global step=23658496, episodic return=2332.0732421875\n", + "global step=23660544, episodic return=2368.31689453125\n", + "global step=23662592, episodic return=2192.430908203125\n", + "global step=23662592, episodic return=2353.906494140625\n", + "global step=23662592, episodic return=2161.40478515625\n", + "global step=23662592, episodic return=2355.337890625\n", + "global step=23664640, episodic return=2365.26171875\n", + "global step=23664640, episodic return=356.765380859375\n", + "global step=23664640, episodic return=2398.46435546875\n", + "global step=23664640, episodic return=2399.517333984375\n", + "global step=23666688, episodic return=542.65869140625\n", + "global step=23666688, episodic return=2373.08935546875\n", + "global step=23666688, episodic return=2333.342529296875\n", + "global step=23668736, episodic return=2250.245361328125\n", + "global step=23668736, episodic return=1047.8878173828125\n", + "global step=23668736, episodic return=2370.5283203125\n", + "global step=23670784, episodic return=2267.210693359375\n", + "global step=23670784, episodic return=2298.39111328125\n", + "global step=23670784, episodic return=2314.79150390625\n", + "global step=23670784, episodic return=2216.97705078125\n", + "global step=23672832, episodic return=2328.83935546875\n", + "global step=23672832, episodic return=2346.06494140625\n", + "global step=23672832, episodic return=2343.892578125\n", + "global step=23674880, episodic return=2371.722412109375\n", + "global step=23676928, episodic return=2379.371337890625\n", + "global step=23676928, episodic return=2243.459228515625\n", + "global step=23676928, episodic return=2319.294677734375\n", + "global step=23676928, episodic return=2203.118896484375\n", + "global step=23678976, episodic return=2250.8251953125\n", + "global step=23678976, episodic return=2260.172119140625\n", + "global step=23678976, episodic return=2368.06787109375\n", + "global step=23678976, episodic return=2354.486083984375\n", + "global step=23681024, episodic return=2279.423095703125\n", + "global step=23681024, episodic return=2268.817626953125\n", + "global step=23681024, episodic return=2332.86572265625\n", + "global step=23683072, episodic return=248.97021484375\n", + "global step=23683072, episodic return=2324.571533203125\n", + "global step=23683072, episodic return=2347.24755859375\n", + "global step=23683072, episodic return=2375.05517578125\n", + "global step=23683072, episodic return=351.4616394042969\n", + "global step=23685120, episodic return=2333.876708984375\n", + "global step=23685120, episodic return=2348.151611328125\n", + "global step=23685120, episodic return=2326.03369140625\n", + "global step=23687168, episodic return=2282.78662109375\n", + "global step=23687168, episodic return=1227.734619140625\n", + "global step=23689216, episodic return=2282.154541015625\n", + "global step=23689216, episodic return=2364.72412109375\n", + "global step=23689216, episodic return=2275.254150390625\n", + "global step=23691264, episodic return=2302.592041015625\n", + "global step=23691264, episodic return=2305.89501953125\n", + "global step=23691264, episodic return=2275.552734375\n", + "global step=23691264, episodic return=2320.2255859375\n", + "global step=23691264, episodic return=2311.53564453125\n", + "global step=23691264, episodic return=2307.322265625\n", + "global step=23693312, episodic return=2247.91259765625\n", + "global step=23693312, episodic return=2384.994140625\n", + "global step=23693312, episodic return=2344.640380859375\n", + "global step=23695360, episodic return=2342.905517578125\n", + "global step=23695360, episodic return=665.1018676757812\n", + "global step=23695360, episodic return=2367.9462890625\n", + "global step=23695360, episodic return=2327.155029296875\n", + "global step=23695360, episodic return=2308.776123046875\n", + "global step=23695360, episodic return=2226.480224609375\n", + "global step=23697408, episodic return=2383.037109375\n", + "global step=23697408, episodic return=2395.593017578125\n", + "global step=23697408, episodic return=615.8232421875\n", + "global step=23697408, episodic return=2378.583251953125\n", + "global step=23699456, episodic return=2317.114013671875\n", + "global step=23699456, episodic return=2314.044677734375\n", + "global step=23701504, episodic return=880.0848999023438\n", + "global step=23701504, episodic return=2269.840087890625\n", + "global step=23701504, episodic return=2367.802001953125\n", + "global step=23703552, episodic return=2278.204345703125\n", + "global step=23703552, episodic return=2340.657958984375\n", + "global step=23703552, episodic return=2407.507568359375\n", + "global step=23705600, episodic return=2386.9404296875\n", + "global step=23705600, episodic return=2315.363525390625\n", + "global step=23705600, episodic return=2357.78466796875\n", + "global step=23705600, episodic return=2350.310791015625\n", + "global step=23705600, episodic return=2289.681884765625\n", + "global step=23705600, episodic return=2280.591064453125\n", + "global step=23705600, episodic return=2368.1708984375\n", + "global step=23707648, episodic return=2347.304931640625\n", + "global step=23709696, episodic return=2353.1787109375\n", + "global step=23709696, episodic return=2374.136962890625\n", + "global step=23709696, episodic return=2388.314453125\n", + "global step=23711744, episodic return=205.91726684570312\n", + "global step=23711744, episodic return=2348.5517578125\n", + "global step=23711744, episodic return=182.1356658935547\n", + "global step=23711744, episodic return=2368.12548828125\n", + "global step=23713792, episodic return=2266.30322265625\n", + "global step=23713792, episodic return=536.4337768554688\n", + "global step=23713792, episodic return=2154.20458984375\n", + "global step=23715840, episodic return=2330.93212890625\n", + "global step=23715840, episodic return=2362.546142578125\n", + "global step=23715840, episodic return=2326.5849609375\n", + "global step=23717888, episodic return=2304.061279296875\n", + "global step=23717888, episodic return=2307.240234375\n", + "global step=23717888, episodic return=2302.251953125\n", + "global step=23717888, episodic return=2401.685791015625\n", + "global step=23717888, episodic return=2401.06005859375\n", + "global step=23717888, episodic return=2331.99609375\n", + "global step=23719936, episodic return=2340.724853515625\n", + "global step=23719936, episodic return=2302.077880859375\n", + "global step=23719936, episodic return=2369.3349609375\n", + "global step=23719936, episodic return=2411.56005859375\n", + "global step=23719936, episodic return=1050.186279296875\n", + "global step=23721984, episodic return=2333.4384765625\n", + "global step=23724032, episodic return=2329.47900390625\n", + "global step=23724032, episodic return=237.76266479492188\n", + "global step=23724032, episodic return=2353.732666015625\n", + "global step=23724032, episodic return=2307.682861328125\n", + "global step=23724032, episodic return=2314.15234375\n", + "global step=23726080, episodic return=2365.52490234375\n", + "global step=23726080, episodic return=2381.294189453125\n", + "global step=23728128, episodic return=2213.434814453125\n", + "global step=23728128, episodic return=2002.068603515625\n", + "global step=23728128, episodic return=2388.9150390625\n", + "global step=23730176, episodic return=155.53439331054688\n", + "global step=23730176, episodic return=252.6091766357422\n", + "global step=23730176, episodic return=2296.372802734375\n", + "global step=23732224, episodic return=2333.011962890625\n", + "global step=23732224, episodic return=2240.076904296875\n", + "global step=23732224, episodic return=2295.131103515625\n", + "global step=23734272, episodic return=2359.136962890625\n", + "global step=23734272, episodic return=2332.7275390625\n", + "global step=23734272, episodic return=2355.174560546875\n", + "global step=23736320, episodic return=2379.061279296875\n", + "global step=23736320, episodic return=2337.857666015625\n", + "global step=23736320, episodic return=2221.72705078125\n", + "global step=23736320, episodic return=2265.771728515625\n", + "global step=23736320, episodic return=2161.462646484375\n", + "global step=23738368, episodic return=643.013671875\n", + "global step=23738368, episodic return=2258.9326171875\n", + "global step=23738368, episodic return=2248.2763671875\n", + "global step=23738368, episodic return=2292.69287109375\n", + "global step=23738368, episodic return=2308.750732421875\n", + "global step=23740416, episodic return=2410.991943359375\n", + "global step=23740416, episodic return=261.7979736328125\n", + "global step=23740416, episodic return=1008.6962280273438\n", + "global step=23740416, episodic return=2280.316162109375\n", + "global step=23742464, episodic return=2339.18994140625\n", + "global step=23744512, episodic return=2374.55859375\n", + "global step=23748608, episodic return=2311.458251953125\n", + "global step=23748608, episodic return=2158.1220703125\n", + "global step=23748608, episodic return=2346.591064453125\n", + "global step=23750656, episodic return=2272.597900390625\n", + "global step=23750656, episodic return=2338.8046875\n", + "global step=23754752, episodic return=2350.055908203125\n", + "global step=23754752, episodic return=2364.068603515625\n", + "global step=23754752, episodic return=2351.3134765625\n", + "global step=23754752, episodic return=2346.208251953125\n", + "global step=23756800, episodic return=2224.3427734375\n", + "global step=23756800, episodic return=1436.8792724609375\n", + "global step=23756800, episodic return=2286.577880859375\n", + "global step=23760896, episodic return=2368.065673828125\n", + "global step=23760896, episodic return=2359.834716796875\n", + "global step=23762944, episodic return=2250.875244140625\n", + "global step=23764992, episodic return=2364.121337890625\n", + "global step=23767040, episodic return=2310.701416015625\n", + "global step=23767040, episodic return=2316.876220703125\n", + "global step=23769088, episodic return=2307.53125\n", + "global step=23769088, episodic return=2374.32958984375\n", + "global step=23769088, episodic return=2266.08056640625\n", + "global step=23769088, episodic return=2365.17529296875\n", + "global step=23769088, episodic return=2377.715087890625\n", + "global step=23771136, episodic return=2328.87451171875\n", + "global step=23771136, episodic return=2370.485107421875\n", + "global step=23771136, episodic return=766.5133666992188\n", + "global step=23771136, episodic return=2365.27587890625\n", + "global step=23771136, episodic return=2358.74560546875\n", + "global step=23771136, episodic return=2310.938720703125\n", + "global step=23771136, episodic return=2358.0576171875\n", + "global step=23773184, episodic return=2387.015625\n", + "global step=23773184, episodic return=286.4347229003906\n", + "global step=23773184, episodic return=2334.88916015625\n", + "global step=23773184, episodic return=2305.63330078125\n", + "global step=23773184, episodic return=2311.89111328125\n", + "global step=23775232, episodic return=2053.713134765625\n", + "global step=23775232, episodic return=2237.948974609375\n", + "global step=23775232, episodic return=2213.05419921875\n", + "global step=23779328, episodic return=2263.3994140625\n", + "global step=23781376, episodic return=2375.205322265625\n", + "global step=23781376, episodic return=2362.77001953125\n", + "global step=23781376, episodic return=2321.8984375\n", + "global step=23781376, episodic return=2277.951416015625\n", + "global step=23781376, episodic return=2335.284423828125\n", + "global step=23783424, episodic return=2392.122802734375\n", + "global step=23783424, episodic return=2294.362060546875\n", + "global step=23785472, episodic return=1910.220703125\n", + "global step=23785472, episodic return=2338.39404296875\n", + "global step=23787520, episodic return=2366.2666015625\n", + "global step=23787520, episodic return=2204.581298828125\n", + "global step=23787520, episodic return=640.5115356445312\n", + "global step=23789568, episodic return=2309.8798828125\n", + "global step=23791616, episodic return=2357.732666015625\n", + "global step=23791616, episodic return=2376.4736328125\n", + "global step=23791616, episodic return=2282.022216796875\n", + "global step=23793664, episodic return=1128.747314453125\n", + "global step=23795712, episodic return=2326.035400390625\n", + "global step=23795712, episodic return=2318.39306640625\n", + "global step=23795712, episodic return=2267.3291015625\n", + "global step=23795712, episodic return=2358.242431640625\n", + "global step=23795712, episodic return=953.4678955078125\n", + "global step=23795712, episodic return=2115.8271484375\n", + "global step=23797760, episodic return=2304.31103515625\n", + "global step=23797760, episodic return=2353.94970703125\n", + "global step=23797760, episodic return=2298.260009765625\n", + "global step=23799808, episodic return=2327.24951171875\n", + "global step=23799808, episodic return=2247.528076171875\n", + "global step=23799808, episodic return=2300.3818359375\n", + "global step=23799808, episodic return=397.758056640625\n", + "global step=23799808, episodic return=2307.747802734375\n", + "global step=23801856, episodic return=2409.270751953125\n", + "global step=23801856, episodic return=2244.444091796875\n", + "global step=23803904, episodic return=2248.32373046875\n", + "global step=23803904, episodic return=2374.762939453125\n", + "global step=23803904, episodic return=2315.240234375\n", + "global step=23803904, episodic return=2390.96337890625\n", + "global step=23803904, episodic return=2365.56884765625\n", + "global step=23805952, episodic return=2285.861083984375\n", + "global step=23805952, episodic return=466.5612487792969\n", + "global step=23808000, episodic return=631.5759887695312\n", + "global step=23810048, episodic return=2379.228515625\n", + "global step=23812096, episodic return=2355.98046875\n", + "global step=23812096, episodic return=2392.022705078125\n", + "global step=23814144, episodic return=2291.430908203125\n", + "global step=23814144, episodic return=2418.198974609375\n", + "global step=23814144, episodic return=2277.552490234375\n", + "global step=23816192, episodic return=2300.126220703125\n", + "global step=23818240, episodic return=2170.894287109375\n", + "global step=23818240, episodic return=2378.89013671875\n", + "global step=23820288, episodic return=2331.585205078125\n", + "global step=23820288, episodic return=2312.976318359375\n", + "global step=23820288, episodic return=2349.32080078125\n", + "global step=23824384, episodic return=2386.0009765625\n", + "global step=23824384, episodic return=2349.09130859375\n", + "global step=23824384, episodic return=2218.687255859375\n", + "global step=23826432, episodic return=2313.335205078125\n", + "global step=23828480, episodic return=2383.522216796875\n", + "global step=23828480, episodic return=2322.933349609375\n", + "global step=23828480, episodic return=2254.279541015625\n", + "global step=23830528, episodic return=2254.226318359375\n", + "global step=23830528, episodic return=2314.878173828125\n", + "global step=23830528, episodic return=2302.667724609375\n", + "global step=23830528, episodic return=2355.924560546875\n", + "global step=23832576, episodic return=2369.137451171875\n", + "global step=23832576, episodic return=2385.1201171875\n", + "global step=23832576, episodic return=967.2301635742188\n", + "global step=23832576, episodic return=2353.89306640625\n", + "global step=23832576, episodic return=551.4461669921875\n", + "global step=23834624, episodic return=2376.090087890625\n", + "global step=23834624, episodic return=2360.182373046875\n", + "global step=23834624, episodic return=660.0324096679688\n", + "global step=23836672, episodic return=2333.303466796875\n", + "global step=23836672, episodic return=2442.85107421875\n", + "global step=23836672, episodic return=2358.854248046875\n", + "global step=23838720, episodic return=2304.156982421875\n", + "global step=23838720, episodic return=2242.220947265625\n", + "global step=23838720, episodic return=2344.479248046875\n", + "global step=23838720, episodic return=2378.2197265625\n", + "global step=23840768, episodic return=2369.27978515625\n", + "global step=23840768, episodic return=2335.684814453125\n", + "global step=23840768, episodic return=2392.834716796875\n", + "global step=23844864, episodic return=2353.444580078125\n", + "global step=23846912, episodic return=2335.335205078125\n", + "global step=23846912, episodic return=2367.46826171875\n", + "global step=23846912, episodic return=44.90005111694336\n", + "global step=23846912, episodic return=2285.541015625\n", + "global step=23848960, episodic return=2291.189697265625\n", + "global step=23848960, episodic return=2302.48876953125\n", + "global step=23848960, episodic return=2392.37109375\n", + "global step=23848960, episodic return=2311.00146484375\n", + "global step=23848960, episodic return=2342.558349609375\n", + "global step=23848960, episodic return=2328.509033203125\n", + "global step=23848960, episodic return=2302.39013671875\n", + "global step=23851008, episodic return=2287.03271484375\n", + "global step=23851008, episodic return=2326.44140625\n", + "global step=23851008, episodic return=2403.418701171875\n", + "global step=23853056, episodic return=2400.197998046875\n", + "global step=23855104, episodic return=2306.04345703125\n", + "global step=23855104, episodic return=190.69845581054688\n", + "global step=23857152, episodic return=2373.901611328125\n", + "global step=23857152, episodic return=2279.902099609375\n", + "global step=23857152, episodic return=1210.5653076171875\n", + "global step=23859200, episodic return=2333.61767578125\n", + "global step=23859200, episodic return=2370.551025390625\n", + "global step=23861248, episodic return=2264.516357421875\n", + "global step=23861248, episodic return=2353.39892578125\n", + "global step=23863296, episodic return=2335.69140625\n", + "global step=23863296, episodic return=2300.02880859375\n", + "global step=23863296, episodic return=2344.9853515625\n", + "global step=23863296, episodic return=1572.3018798828125\n", + "global step=23863296, episodic return=25.44623565673828\n", + "global step=23863296, episodic return=2359.815185546875\n", + "global step=23863296, episodic return=2337.524658203125\n", + "global step=23865344, episodic return=2384.883544921875\n", + "global step=23865344, episodic return=2399.1318359375\n", + "global step=23865344, episodic return=2304.4716796875\n", + "global step=23865344, episodic return=2297.13427734375\n", + "global step=23867392, episodic return=2325.549560546875\n", + "global step=23867392, episodic return=2420.67041015625\n", + "global step=23869440, episodic return=2292.869873046875\n", + "global step=23871488, episodic return=2317.61767578125\n", + "global step=23871488, episodic return=2244.369140625\n", + "global step=23871488, episodic return=2309.785888671875\n", + "global step=23871488, episodic return=2321.267333984375\n", + "global step=23873536, episodic return=2385.128662109375\n", + "global step=23875584, episodic return=2359.33154296875\n", + "global step=23875584, episodic return=2390.362060546875\n", + "global step=23875584, episodic return=2226.339599609375\n", + "global step=23877632, episodic return=2295.62939453125\n", + "global step=23879680, episodic return=341.18670654296875\n", + "global step=23879680, episodic return=535.4440307617188\n", + "global step=23879680, episodic return=2329.86083984375\n", + "global step=23879680, episodic return=2375.889404296875\n", + "global step=23881728, episodic return=2320.355224609375\n", + "global step=23883776, episodic return=2351.778076171875\n", + "global step=23883776, episodic return=2390.027099609375\n", + "global step=23883776, episodic return=2319.141845703125\n", + "global step=23883776, episodic return=2353.36572265625\n", + "global step=23885824, episodic return=2276.798828125\n", + "global step=23885824, episodic return=2337.21826171875\n", + "global step=23885824, episodic return=2347.719482421875\n", + "global step=23885824, episodic return=2254.541015625\n", + "global step=23887872, episodic return=2327.076416015625\n", + "global step=23887872, episodic return=2297.346435546875\n", + "global step=23889920, episodic return=1607.2064208984375\n", + "global step=23889920, episodic return=2363.330322265625\n", + "global step=23889920, episodic return=2329.947998046875\n", + "global step=23891968, episodic return=2323.60009765625\n", + "global step=23891968, episodic return=2216.77099609375\n", + "global step=23891968, episodic return=2366.03271484375\n", + "global step=23894016, episodic return=2269.964111328125\n", + "global step=23894016, episodic return=2372.76025390625\n", + "global step=23896064, episodic return=2382.57666015625\n", + "global step=23896064, episodic return=2300.618896484375\n", + "global step=23896064, episodic return=2318.864013671875\n", + "global step=23896064, episodic return=2379.966552734375\n", + "global step=23898112, episodic return=2216.79443359375\n", + "global step=23898112, episodic return=2276.3203125\n", + "global step=23898112, episodic return=2375.24072265625\n", + "global step=23898112, episodic return=2237.807373046875\n", + "global step=23900160, episodic return=1043.8353271484375\n", + "global step=23900160, episodic return=2319.534912109375\n", + "global step=23900160, episodic return=2392.91015625\n", + "global step=23902208, episodic return=2383.701904296875\n", + "global step=23902208, episodic return=2301.76171875\n", + "global step=23902208, episodic return=521.1707763671875\n", + "global step=23902208, episodic return=2312.056640625\n", + "global step=23904256, episodic return=2298.76806640625\n", + "global step=23906304, episodic return=2209.2158203125\n", + "global step=23908352, episodic return=2322.129638671875\n", + "global step=23908352, episodic return=2342.96630859375\n", + "global step=23910400, episodic return=2400.67041015625\n", + "global step=23910400, episodic return=2264.23779296875\n", + "global step=23910400, episodic return=2406.22802734375\n", + "global step=23912448, episodic return=2355.76904296875\n", + "global step=23912448, episodic return=2257.901611328125\n", + "global step=23914496, episodic return=2286.20556640625\n", + "global step=23914496, episodic return=2327.192626953125\n", + "global step=23914496, episodic return=2412.054443359375\n", + "global step=23914496, episodic return=2258.333740234375\n", + "global step=23916544, episodic return=2325.4853515625\n", + "global step=23916544, episodic return=2256.715576171875\n", + "global step=23916544, episodic return=2342.127685546875\n", + "global step=23916544, episodic return=2318.766845703125\n", + "global step=23918592, episodic return=2209.171142578125\n", + "global step=23918592, episodic return=2294.97509765625\n", + "global step=23922688, episodic return=2264.374267578125\n", + "global step=23922688, episodic return=2329.9306640625\n", + "global step=23922688, episodic return=2152.089111328125\n", + "global step=23922688, episodic return=2347.329345703125\n", + "global step=23922688, episodic return=1767.1033935546875\n", + "global step=23928832, episodic return=2259.05517578125\n", + "global step=23928832, episodic return=2334.76123046875\n", + "global step=23928832, episodic return=2292.689453125\n", + "global step=23930880, episodic return=2341.1337890625\n", + "global step=23930880, episodic return=2392.22900390625\n", + "global step=23930880, episodic return=1231.5736083984375\n", + "global step=23932928, episodic return=2313.271728515625\n", + "global step=23932928, episodic return=2338.2119140625\n", + "global step=23934976, episodic return=2349.26611328125\n", + "global step=23934976, episodic return=2421.629150390625\n", + "global step=23939072, episodic return=1054.9830322265625\n", + "global step=23939072, episodic return=2334.035888671875\n", + "global step=23939072, episodic return=2326.185791015625\n", + "global step=23939072, episodic return=2283.198486328125\n", + "global step=23939072, episodic return=2377.029052734375\n", + "global step=23941120, episodic return=2292.00048828125\n", + "global step=23941120, episodic return=2276.84716796875\n", + "global step=23943168, episodic return=2245.55908203125\n", + "global step=23943168, episodic return=2121.908447265625\n", + "global step=23943168, episodic return=2202.01953125\n", + "global step=23945216, episodic return=1845.2911376953125\n", + "global step=23945216, episodic return=2194.976318359375\n", + "global step=23947264, episodic return=1722.10986328125\n", + "global step=23947264, episodic return=2335.458984375\n", + "global step=23949312, episodic return=2374.251708984375\n", + "global step=23949312, episodic return=1136.6549072265625\n", + "global step=23949312, episodic return=2331.120361328125\n", + "global step=23949312, episodic return=2285.123046875\n", + "global step=23951360, episodic return=2349.29345703125\n", + "global step=23951360, episodic return=2266.200439453125\n", + "global step=23953408, episodic return=1627.5233154296875\n", + "global step=23953408, episodic return=2368.298583984375\n", + "global step=23953408, episodic return=2335.771728515625\n", + "global step=23955456, episodic return=2314.718017578125\n", + "global step=23955456, episodic return=2350.986572265625\n", + "global step=23955456, episodic return=2297.209716796875\n", + "global step=23955456, episodic return=2242.7705078125\n", + "global step=23957504, episodic return=2309.833740234375\n", + "global step=23957504, episodic return=2333.944580078125\n", + "global step=23957504, episodic return=2310.122314453125\n", + "global step=23959552, episodic return=2275.223876953125\n", + "global step=23959552, episodic return=2238.38330078125\n", + "global step=23959552, episodic return=2184.62646484375\n", + "global step=23959552, episodic return=2319.371826171875\n", + "global step=23959552, episodic return=2245.34130859375\n", + "global step=23959552, episodic return=194.13209533691406\n", + "global step=23961600, episodic return=2358.4169921875\n", + "global step=23961600, episodic return=2259.264404296875\n", + "global step=23961600, episodic return=2384.670166015625\n", + "global step=23963648, episodic return=2295.1123046875\n", + "global step=23963648, episodic return=2359.555908203125\n", + "global step=23963648, episodic return=2339.693603515625\n", + "global step=23965696, episodic return=2381.6962890625\n", + "global step=23965696, episodic return=2366.3251953125\n", + "global step=23967744, episodic return=2335.90625\n", + "global step=23967744, episodic return=2265.845458984375\n", + "global step=23967744, episodic return=954.49755859375\n", + "global step=23967744, episodic return=2375.981201171875\n", + "global step=23971840, episodic return=1044.8040771484375\n", + "global step=23973888, episodic return=2189.3857421875\n", + "global step=23973888, episodic return=1638.647216796875\n", + "global step=23973888, episodic return=2337.6025390625\n", + "global step=23975936, episodic return=2290.007080078125\n", + "global step=23975936, episodic return=604.0670166015625\n", + "global step=23975936, episodic return=2316.787841796875\n", + "global step=23977984, episodic return=2324.4248046875\n", + "global step=23977984, episodic return=278.7662658691406\n", + "global step=23977984, episodic return=1168.661865234375\n", + "global step=23980032, episodic return=2350.4501953125\n", + "global step=23980032, episodic return=2310.424072265625\n", + "global step=23982080, episodic return=2296.5654296875\n", + "global step=23984128, episodic return=2141.25048828125\n", + "global step=23984128, episodic return=2111.788818359375\n", + "global step=23986176, episodic return=665.7208251953125\n", + "global step=23986176, episodic return=2310.716796875\n", + "global step=23988224, episodic return=2268.987548828125\n", + "global step=23988224, episodic return=2350.823486328125\n", + "global step=23988224, episodic return=2202.3642578125\n", + "global step=23988224, episodic return=2309.31494140625\n", + "global step=23990272, episodic return=844.8779907226562\n", + "global step=23990272, episodic return=2198.558349609375\n", + "global step=23992320, episodic return=569.4237670898438\n", + "global step=23992320, episodic return=2193.740478515625\n", + "global step=23992320, episodic return=2283.674560546875\n", + "global step=23992320, episodic return=2334.4453125\n", + "global step=23992320, episodic return=2349.671875\n", + "global step=23994368, episodic return=2302.0830078125\n", + "global step=23994368, episodic return=2300.76708984375\n", + "global step=23994368, episodic return=2330.699951171875\n", + "global step=23996416, episodic return=2349.802001953125\n", + "global step=23996416, episodic return=2259.2373046875\n", + "global step=23996416, episodic return=211.06817626953125\n", + "global step=23996416, episodic return=531.7959594726562\n", + "global step=23998464, episodic return=1386.29296875\n", + "global step=23998464, episodic return=2340.54150390625\n", + "global step=23998464, episodic return=2313.86767578125\n", + "global step=23998464, episodic return=833.8137817382812\n", + "global step=23998464, episodic return=2412.24365234375\n", + "global step=24000512, episodic return=2346.032958984375\n", + "global step=24000512, episodic return=2259.89501953125\n", + "global step=24000512, episodic return=2327.283935546875\n", + "global step=24002560, episodic return=982.9859619140625\n", + "global step=24004608, episodic return=2347.919677734375\n", + "global step=24004608, episodic return=2321.46533203125\n", + "global step=24006656, episodic return=2427.6767578125\n", + "global step=24006656, episodic return=2340.33349609375\n", + "global step=24006656, episodic return=2325.48779296875\n", + "global step=24008704, episodic return=2293.00244140625\n", + "global step=24008704, episodic return=2301.152099609375\n", + "global step=24008704, episodic return=2336.381103515625\n", + "global step=24010752, episodic return=2287.98193359375\n", + "global step=24010752, episodic return=2319.0927734375\n", + "global step=24010752, episodic return=2243.613037109375\n", + "global step=24010752, episodic return=1543.22314453125\n", + "global step=24012800, episodic return=2145.533203125\n", + "global step=24014848, episodic return=2384.493408203125\n", + "global step=24016896, episodic return=469.1459655761719\n", + "global step=24016896, episodic return=2327.533203125\n", + "global step=24018944, episodic return=2296.66455078125\n", + "global step=24018944, episodic return=2182.50537109375\n", + "global step=24018944, episodic return=633.9589233398438\n", + "global step=24018944, episodic return=2346.15283203125\n", + "global step=24020992, episodic return=2317.131103515625\n", + "global step=24020992, episodic return=1133.974609375\n", + "global step=24020992, episodic return=2229.40771484375\n", + "global step=24023040, episodic return=2277.40625\n", + "global step=24023040, episodic return=2295.554931640625\n", + "global step=24023040, episodic return=2356.910400390625\n", + "global step=24025088, episodic return=1583.3642578125\n", + "global step=24025088, episodic return=221.12857055664062\n", + "global step=24025088, episodic return=2369.501953125\n", + "global step=24025088, episodic return=1211.9598388671875\n", + "global step=24027136, episodic return=2283.9619140625\n", + "global step=24027136, episodic return=2376.60498046875\n", + "global step=24027136, episodic return=2414.117431640625\n", + "global step=24029184, episodic return=2267.673583984375\n", + "global step=24031232, episodic return=2284.5302734375\n", + "global step=24031232, episodic return=2101.687255859375\n", + "global step=24033280, episodic return=2420.682373046875\n", + "global step=24033280, episodic return=2311.50927734375\n", + "global step=24033280, episodic return=2281.295654296875\n", + "global step=24035328, episodic return=2358.66748046875\n", + "global step=24035328, episodic return=2397.01806640625\n", + "global step=24035328, episodic return=2328.33154296875\n", + "global step=24037376, episodic return=2385.3876953125\n", + "global step=24037376, episodic return=1173.2073974609375\n", + "global step=24037376, episodic return=1960.291259765625\n", + "global step=24037376, episodic return=2328.360107421875\n", + "global step=24039424, episodic return=2381.038330078125\n", + "global step=24041472, episodic return=1035.614013671875\n", + "global step=24043520, episodic return=2375.899658203125\n", + "global step=24043520, episodic return=2349.4501953125\n", + "global step=24043520, episodic return=1800.84228515625\n", + "global step=24045568, episodic return=2331.884765625\n", + "global step=24047616, episodic return=1106.0533447265625\n", + "global step=24049664, episodic return=2223.671630859375\n", + "global step=24049664, episodic return=2364.488037109375\n", + "global step=24051712, episodic return=2340.129150390625\n", + "global step=24051712, episodic return=1039.0650634765625\n", + "global step=24051712, episodic return=2317.91064453125\n", + "global step=24053760, episodic return=2233.602294921875\n", + "global step=24053760, episodic return=1409.8282470703125\n", + "global step=24053760, episodic return=2325.980224609375\n", + "global step=24055808, episodic return=579.07763671875\n", + "global step=24055808, episodic return=2283.938232421875\n", + "global step=24059904, episodic return=2288.4697265625\n", + "global step=24059904, episodic return=2296.414794921875\n", + "global step=24059904, episodic return=322.316162109375\n", + "global step=24061952, episodic return=2358.05126953125\n", + "global step=24061952, episodic return=157.2930450439453\n", + "global step=24061952, episodic return=2176.08984375\n", + "global step=24061952, episodic return=2205.98486328125\n", + "global step=24061952, episodic return=589.3331298828125\n", + "global step=24064000, episodic return=2418.4140625\n", + "global step=24064000, episodic return=2335.096435546875\n", + "global step=24066048, episodic return=2404.06787109375\n", + "global step=24068096, episodic return=2362.7421875\n", + "global step=24068096, episodic return=2210.83984375\n", + "global step=24068096, episodic return=2297.45703125\n", + "global step=24068096, episodic return=2377.878173828125\n", + "global step=24068096, episodic return=2332.3056640625\n", + "global step=24070144, episodic return=2338.9619140625\n", + "global step=24070144, episodic return=2296.909423828125\n", + "global step=24070144, episodic return=2333.71923828125\n", + "global step=24070144, episodic return=2304.628662109375\n", + "global step=24070144, episodic return=1355.580322265625\n", + "global step=24072192, episodic return=2311.36083984375\n", + "global step=24074240, episodic return=2370.04541015625\n", + "global step=24076288, episodic return=2250.944580078125\n", + "global step=24078336, episodic return=2340.211669921875\n", + "global step=24078336, episodic return=2238.131591796875\n", + "global step=24078336, episodic return=2351.26416015625\n", + "global step=24078336, episodic return=1087.515380859375\n", + "global step=24080384, episodic return=2402.712646484375\n", + "global step=24080384, episodic return=1030.2086181640625\n", + "global step=24084480, episodic return=2320.2001953125\n", + "global step=24084480, episodic return=777.5134887695312\n", + "global step=24084480, episodic return=2322.59423828125\n", + "global step=24084480, episodic return=1835.8909912109375\n", + "global step=24086528, episodic return=2231.025634765625\n", + "global step=24088576, episodic return=2365.44921875\n", + "global step=24088576, episodic return=2364.259033203125\n", + "global step=24088576, episodic return=2022.1905517578125\n", + "global step=24090624, episodic return=1914.660888671875\n", + "global step=24090624, episodic return=1673.4144287109375\n", + "global step=24090624, episodic return=2197.619384765625\n", + "global step=24092672, episodic return=185.5617218017578\n", + "global step=24092672, episodic return=2317.114501953125\n", + "global step=24092672, episodic return=2346.27978515625\n", + "global step=24094720, episodic return=2303.4111328125\n", + "global step=24094720, episodic return=2142.4951171875\n", + "global step=24096768, episodic return=2214.443603515625\n", + "global step=24096768, episodic return=2304.95654296875\n", + "global step=24096768, episodic return=2340.7119140625\n", + "global step=24098816, episodic return=2360.286865234375\n", + "global step=24098816, episodic return=2281.83154296875\n", + "global step=24098816, episodic return=2335.902587890625\n", + "global step=24098816, episodic return=2295.587158203125\n", + "global step=24098816, episodic return=2373.506591796875\n", + "global step=24100864, episodic return=2179.15576171875\n", + "global step=24100864, episodic return=2277.567138671875\n", + "global step=24100864, episodic return=2328.776611328125\n", + "global step=24102912, episodic return=2304.6630859375\n", + "global step=24102912, episodic return=2357.920166015625\n", + "global step=24102912, episodic return=233.91253662109375\n", + "global step=24102912, episodic return=2218.646728515625\n", + "global step=24104960, episodic return=2363.192138671875\n", + "global step=24104960, episodic return=2358.32177734375\n", + "global step=24107008, episodic return=2268.240234375\n", + "global step=24107008, episodic return=2359.498046875\n", + "global step=24109056, episodic return=53.77091979980469\n", + "global step=24109056, episodic return=2349.94482421875\n", + "global step=24111104, episodic return=2344.7275390625\n", + "global step=24111104, episodic return=2401.4482421875\n", + "global step=24113152, episodic return=1321.5350341796875\n", + "global step=24113152, episodic return=2349.871826171875\n", + "global step=24115200, episodic return=2369.589111328125\n", + "global step=24115200, episodic return=2313.172119140625\n", + "global step=24117248, episodic return=2361.322998046875\n", + "global step=24119296, episodic return=2275.522705078125\n", + "global step=24121344, episodic return=251.71316528320312\n", + "global step=24121344, episodic return=2209.50341796875\n", + "global step=24123392, episodic return=2233.7705078125\n", + "global step=24123392, episodic return=2383.17236328125\n", + "global step=24123392, episodic return=2264.54345703125\n", + "global step=24123392, episodic return=948.4158935546875\n", + "global step=24123392, episodic return=2270.458251953125\n", + "global step=24125440, episodic return=2273.899658203125\n", + "global step=24127488, episodic return=2292.163818359375\n", + "global step=24127488, episodic return=2318.412841796875\n", + "global step=24129536, episodic return=2399.591064453125\n", + "global step=24129536, episodic return=2222.243408203125\n", + "global step=24129536, episodic return=2343.3271484375\n", + "global step=24131584, episodic return=1909.9697265625\n", + "global step=24133632, episodic return=2019.7816162109375\n", + "global step=24133632, episodic return=2307.948974609375\n", + "global step=24133632, episodic return=2373.427001953125\n", + "global step=24135680, episodic return=2364.904296875\n", + "global step=24135680, episodic return=142.71424865722656\n", + "global step=24135680, episodic return=1397.3436279296875\n", + "global step=24135680, episodic return=2183.65234375\n", + "global step=24135680, episodic return=108.12858581542969\n", + "global step=24135680, episodic return=2379.74609375\n", + "global step=24137728, episodic return=1337.5421142578125\n", + "global step=24137728, episodic return=2355.654052734375\n", + "global step=24137728, episodic return=2255.012451171875\n", + "global step=24139776, episodic return=2305.97900390625\n", + "global step=24139776, episodic return=255.86602783203125\n", + "global step=24139776, episodic return=2343.907958984375\n", + "global step=24139776, episodic return=2223.76904296875\n", + "global step=24139776, episodic return=2284.035400390625\n", + "global step=24139776, episodic return=2202.16455078125\n", + "global step=24141824, episodic return=2331.931396484375\n", + "global step=24141824, episodic return=463.4000549316406\n", + "global step=24143872, episodic return=2281.014404296875\n", + "global step=24145920, episodic return=849.7241821289062\n", + "global step=24145920, episodic return=2298.4462890625\n", + "global step=24147968, episodic return=2374.125244140625\n", + "global step=24147968, episodic return=2387.939453125\n", + "global step=24147968, episodic return=705.5891723632812\n", + "global step=24147968, episodic return=2330.96142578125\n", + "global step=24150016, episodic return=2315.637939453125\n", + "global step=24150016, episodic return=2346.282470703125\n", + "global step=24150016, episodic return=2326.56591796875\n", + "global step=24150016, episodic return=2302.140380859375\n", + "global step=24154112, episodic return=2427.811767578125\n", + "global step=24154112, episodic return=2380.9033203125\n", + "global step=24154112, episodic return=2311.65966796875\n", + "global step=24154112, episodic return=2325.34814453125\n", + "global step=24154112, episodic return=2327.172607421875\n", + "global step=24156160, episodic return=2210.202392578125\n", + "global step=24156160, episodic return=1045.7265625\n", + "global step=24156160, episodic return=2277.63671875\n", + "global step=24156160, episodic return=2391.357421875\n", + "global step=24158208, episodic return=2340.478759765625\n", + "global step=24158208, episodic return=2413.973876953125\n", + "global step=24160256, episodic return=2356.018798828125\n", + "global step=24160256, episodic return=1410.0721435546875\n", + "global step=24162304, episodic return=2365.36767578125\n", + "global step=24168448, episodic return=2358.130859375\n", + "global step=24168448, episodic return=2298.634521484375\n", + "global step=24168448, episodic return=2356.56787109375\n", + "global step=24170496, episodic return=2322.428955078125\n", + "global step=24170496, episodic return=2224.333984375\n", + "global step=24170496, episodic return=2351.74169921875\n", + "global step=24170496, episodic return=2383.7763671875\n", + "global step=24172544, episodic return=74.93467712402344\n", + "global step=24174592, episodic return=33.840755462646484\n", + "global step=24174592, episodic return=2371.72216796875\n", + "global step=24174592, episodic return=2410.795654296875\n", + "global step=24174592, episodic return=2370.96533203125\n", + "global step=24174592, episodic return=2279.840087890625\n", + "global step=24174592, episodic return=2367.21875\n", + "global step=24176640, episodic return=2334.542236328125\n", + "global step=24178688, episodic return=2281.92626953125\n", + "global step=24178688, episodic return=2296.651123046875\n", + "global step=24178688, episodic return=1850.111083984375\n", + "global step=24178688, episodic return=91.236572265625\n", + "global step=24178688, episodic return=2359.330322265625\n", + "global step=24180736, episodic return=2405.0849609375\n", + "global step=24182784, episodic return=2382.50244140625\n", + "global step=24182784, episodic return=2336.438720703125\n", + "global step=24182784, episodic return=936.303466796875\n", + "global step=24182784, episodic return=2302.468994140625\n", + "global step=24184832, episodic return=2311.440673828125\n", + "global step=24184832, episodic return=2337.638671875\n", + "global step=24184832, episodic return=2317.496337890625\n", + "global step=24186880, episodic return=2328.81884765625\n", + "global step=24188928, episodic return=2255.118896484375\n", + "global step=24188928, episodic return=2362.649169921875\n", + "global step=24188928, episodic return=2251.74658203125\n", + "global step=24188928, episodic return=2260.974365234375\n", + "global step=24188928, episodic return=2389.498779296875\n", + "global step=24190976, episodic return=2399.953125\n", + "global step=24193024, episodic return=2384.88818359375\n", + "global step=24193024, episodic return=2247.913818359375\n", + "global step=24195072, episodic return=2401.400146484375\n", + "global step=24197120, episodic return=2326.292724609375\n", + "global step=24197120, episodic return=1862.0977783203125\n", + "global step=24199168, episodic return=2197.076416015625\n", + "global step=24199168, episodic return=2313.449462890625\n", + "global step=24199168, episodic return=2317.394775390625\n", + "global step=24201216, episodic return=2371.51025390625\n", + "global step=24201216, episodic return=2327.671142578125\n", + "global step=24203264, episodic return=140.65306091308594\n", + "global step=24203264, episodic return=2374.056884765625\n", + "global step=24203264, episodic return=2280.283935546875\n", + "global step=24203264, episodic return=2331.251953125\n", + "global step=24205312, episodic return=2320.974609375\n", + "global step=24205312, episodic return=2337.472412109375\n", + "global step=24205312, episodic return=1131.87060546875\n", + "global step=24207360, episodic return=2325.148681640625\n", + "global step=24207360, episodic return=2374.500244140625\n", + "global step=24207360, episodic return=32.44887924194336\n", + "global step=24209408, episodic return=2391.768798828125\n", + "global step=24209408, episodic return=2358.18359375\n", + "global step=24209408, episodic return=1456.0606689453125\n", + "global step=24209408, episodic return=2396.03662109375\n", + "global step=24211456, episodic return=197.0102081298828\n", + "global step=24211456, episodic return=133.36341857910156\n", + "global step=24211456, episodic return=2338.58984375\n", + "global step=24213504, episodic return=2403.218017578125\n", + "global step=24213504, episodic return=2321.7822265625\n", + "global step=24213504, episodic return=161.9115753173828\n", + "global step=24215552, episodic return=2337.752685546875\n", + "global step=24215552, episodic return=2367.82470703125\n", + "global step=24217600, episodic return=2411.807373046875\n", + "global step=24217600, episodic return=2312.2001953125\n", + "global step=24219648, episodic return=2275.723388671875\n", + "global step=24219648, episodic return=2340.4462890625\n", + "global step=24219648, episodic return=2224.37255859375\n", + "global step=24221696, episodic return=2372.125732421875\n", + "global step=24221696, episodic return=759.7175903320312\n", + "global step=24223744, episodic return=711.7203369140625\n", + "global step=24223744, episodic return=2377.466796875\n", + "global step=24223744, episodic return=2294.25537109375\n", + "global step=24223744, episodic return=2308.78125\n", + "global step=24225792, episodic return=2447.1533203125\n", + "global step=24225792, episodic return=2272.908935546875\n", + "global step=24225792, episodic return=35.71225357055664\n", + "global step=24225792, episodic return=2235.766357421875\n", + "global step=24227840, episodic return=566.1966552734375\n", + "global step=24227840, episodic return=2323.307373046875\n", + "global step=24229888, episodic return=2267.228515625\n", + "global step=24229888, episodic return=2346.11376953125\n", + "global step=24233984, episodic return=2231.661376953125\n", + "global step=24233984, episodic return=2358.562255859375\n", + "global step=24233984, episodic return=2360.904296875\n", + "global step=24236032, episodic return=2305.180908203125\n", + "global step=24236032, episodic return=22.876407623291016\n", + "global step=24238080, episodic return=2358.024658203125\n", + "global step=24238080, episodic return=2419.609619140625\n", + "global step=24238080, episodic return=2257.34716796875\n", + "global step=24240128, episodic return=2325.62646484375\n", + "global step=24242176, episodic return=2403.837158203125\n", + "global step=24242176, episodic return=1457.0692138671875\n", + "global step=24242176, episodic return=2253.154052734375\n", + "global step=24244224, episodic return=199.6018524169922\n", + "global step=24244224, episodic return=1819.6549072265625\n", + "global step=24246272, episodic return=2326.471435546875\n", + "global step=24246272, episodic return=2341.114990234375\n", + "global step=24248320, episodic return=2343.989013671875\n", + "global step=24248320, episodic return=2353.906494140625\n", + "global step=24250368, episodic return=2112.573486328125\n", + "global step=24252416, episodic return=981.3326416015625\n", + "global step=24252416, episodic return=2266.18408203125\n", + "global step=24254464, episodic return=2351.721923828125\n", + "global step=24254464, episodic return=2343.85791015625\n", + "global step=24254464, episodic return=2236.547607421875\n", + "global step=24254464, episodic return=2305.322265625\n", + "global step=24254464, episodic return=2292.787353515625\n", + "global step=24256512, episodic return=2314.328369140625\n", + "global step=24256512, episodic return=1120.8865966796875\n", + "global step=24256512, episodic return=2410.50439453125\n", + "global step=24256512, episodic return=1933.5155029296875\n", + "global step=24256512, episodic return=871.23876953125\n", + "global step=24256512, episodic return=2224.40283203125\n", + "global step=24258560, episodic return=2313.23828125\n", + "global step=24260608, episodic return=2377.839599609375\n", + "global step=24262656, episodic return=2241.517333984375\n", + "global step=24262656, episodic return=2416.145751953125\n", + "global step=24262656, episodic return=2365.1533203125\n", + "global step=24264704, episodic return=2319.773681640625\n", + "global step=24264704, episodic return=2314.697998046875\n", + "global step=24264704, episodic return=2369.118896484375\n", + "global step=24266752, episodic return=2303.363525390625\n", + "global step=24266752, episodic return=2293.020263671875\n", + "global step=24266752, episodic return=2279.4697265625\n", + "global step=24266752, episodic return=2302.983642578125\n", + "global step=24268800, episodic return=2372.708740234375\n", + "global step=24270848, episodic return=2290.076904296875\n", + "global step=24272896, episodic return=1735.1051025390625\n", + "global step=24274944, episodic return=2294.549072265625\n", + "global step=24274944, episodic return=2402.03759765625\n", + "global step=24276992, episodic return=127.80056762695312\n", + "global step=24276992, episodic return=475.6141357421875\n", + "global step=24279040, episodic return=2388.145263671875\n", + "global step=24281088, episodic return=2293.696533203125\n", + "global step=24281088, episodic return=1064.349853515625\n", + "global step=24281088, episodic return=2268.57373046875\n", + "global step=24283136, episodic return=2337.447265625\n", + "global step=24283136, episodic return=2386.34326171875\n", + "global step=24283136, episodic return=24.47395896911621\n", + "global step=24283136, episodic return=2399.516845703125\n", + "global step=24285184, episodic return=2424.8388671875\n", + "global step=24287232, episodic return=828.6747436523438\n", + "global step=24289280, episodic return=2355.9453125\n", + "global step=24291328, episodic return=2326.024658203125\n", + "global step=24293376, episodic return=2360.218017578125\n", + "global step=24293376, episodic return=2326.3173828125\n", + "global step=24295424, episodic return=264.6612854003906\n", + "global step=24295424, episodic return=2409.3681640625\n", + "global step=24295424, episodic return=590.2120971679688\n", + "global step=24295424, episodic return=2250.0458984375\n", + "global step=24297472, episodic return=2330.3017578125\n", + "global step=24299520, episodic return=2329.4765625\n", + "global step=24301568, episodic return=2388.395263671875\n", + "global step=24301568, episodic return=2237.461181640625\n", + "global step=24303616, episodic return=2246.966796875\n", + "global step=24303616, episodic return=2327.558349609375\n", + "global step=24305664, episodic return=64.13064575195312\n", + "global step=24307712, episodic return=2319.217041015625\n", + "global step=24307712, episodic return=2321.60009765625\n", + "global step=24307712, episodic return=1620.528076171875\n", + "global step=24309760, episodic return=1810.646484375\n", + "global step=24311808, episodic return=2361.266845703125\n", + "global step=24311808, episodic return=2356.92919921875\n", + "global step=24311808, episodic return=2385.336669921875\n", + "global step=24313856, episodic return=2340.913330078125\n", + "global step=24313856, episodic return=2323.934814453125\n", + "global step=24313856, episodic return=2350.2373046875\n", + "global step=24313856, episodic return=1576.9967041015625\n", + "global step=24315904, episodic return=2283.111328125\n", + "global step=24317952, episodic return=2297.819091796875\n", + "global step=24317952, episodic return=2271.94580078125\n", + "global step=24320000, episodic return=2359.554443359375\n", + "global step=24320000, episodic return=2362.29931640625\n", + "global step=24322048, episodic return=2367.5244140625\n", + "global step=24324096, episodic return=1834.5777587890625\n", + "global step=24324096, episodic return=2319.311279296875\n", + "global step=24324096, episodic return=2342.08740234375\n", + "global step=24326144, episodic return=510.6466369628906\n", + "global step=24328192, episodic return=2257.2109375\n", + "global step=24328192, episodic return=1625.1103515625\n", + "global step=24328192, episodic return=2246.154052734375\n", + "global step=24328192, episodic return=2334.6025390625\n", + "global step=24328192, episodic return=2369.7314453125\n", + "global step=24330240, episodic return=397.2870788574219\n", + "global step=24332288, episodic return=2336.407958984375\n", + "global step=24332288, episodic return=2318.934326171875\n", + "global step=24334336, episodic return=2373.01025390625\n", + "global step=24334336, episodic return=200.87332153320312\n", + "global step=24334336, episodic return=1306.6595458984375\n", + "global step=24334336, episodic return=2272.838623046875\n", + "global step=24334336, episodic return=2344.755859375\n", + "global step=24334336, episodic return=2377.502197265625\n", + "global step=24336384, episodic return=2394.22998046875\n", + "global step=24336384, episodic return=2404.818603515625\n", + "global step=24336384, episodic return=1970.2781982421875\n", + "global step=24340480, episodic return=2388.83349609375\n", + "global step=24342528, episodic return=2405.712646484375\n", + "global step=24342528, episodic return=2354.99853515625\n", + "global step=24342528, episodic return=2368.4619140625\n", + "global step=24344576, episodic return=2393.819580078125\n", + "global step=24346624, episodic return=2400.1337890625\n", + "global step=24346624, episodic return=2394.24951171875\n", + "global step=24346624, episodic return=2400.00537109375\n", + "global step=24350720, episodic return=160.1942596435547\n", + "global step=24352768, episodic return=2382.76416015625\n", + "global step=24352768, episodic return=735.5123901367188\n", + "global step=24352768, episodic return=2295.324951171875\n", + "global step=24356864, episodic return=2337.389892578125\n", + "global step=24356864, episodic return=2402.862060546875\n", + "global step=24358912, episodic return=2389.4150390625\n", + "global step=24360960, episodic return=2377.84814453125\n", + "global step=24360960, episodic return=2393.675048828125\n", + "global step=24360960, episodic return=2403.496826171875\n", + "global step=24363008, episodic return=2357.116455078125\n", + "global step=24363008, episodic return=292.4032897949219\n", + "global step=24365056, episodic return=2373.214599609375\n", + "global step=24369152, episodic return=2337.91064453125\n", + "global step=24369152, episodic return=1643.9254150390625\n", + "global step=24373248, episodic return=735.1851196289062\n", + "global step=24375296, episodic return=2327.114013671875\n", + "global step=24375296, episodic return=1204.3275146484375\n", + "global step=24375296, episodic return=2299.955078125\n", + "global step=24377344, episodic return=2370.941650390625\n", + "global step=24377344, episodic return=2384.52001953125\n", + "global step=24377344, episodic return=893.4447021484375\n", + "global step=24379392, episodic return=2243.895263671875\n", + "global step=24381440, episodic return=2375.95654296875\n", + "global step=24383488, episodic return=2204.979248046875\n", + "global step=24383488, episodic return=2220.63427734375\n", + "global step=24383488, episodic return=2353.8310546875\n", + "global step=24389632, episodic return=2342.69873046875\n", + "global step=24389632, episodic return=2347.0283203125\n", + "global step=24389632, episodic return=2324.47314453125\n", + "global step=24393728, episodic return=2387.10595703125\n", + "global step=24393728, episodic return=2326.0830078125\n", + "global step=24393728, episodic return=2381.510986328125\n", + "global step=24393728, episodic return=231.303955078125\n", + "global step=24397824, episodic return=2328.10205078125\n", + "global step=24399872, episodic return=1707.85302734375\n", + "global step=24399872, episodic return=2315.8623046875\n", + "global step=24399872, episodic return=2360.064208984375\n", + "global step=24399872, episodic return=2283.07666015625\n", + "global step=24401920, episodic return=2338.75146484375\n", + "global step=24401920, episodic return=2377.344482421875\n", + "global step=24406016, episodic return=2313.043212890625\n", + "global step=24408064, episodic return=2386.127197265625\n", + "global step=24408064, episodic return=2353.990478515625\n", + "global step=24410112, episodic return=579.9033203125\n", + "global step=24410112, episodic return=2372.255859375\n", + "global step=24410112, episodic return=2311.685302734375\n", + "global step=24412160, episodic return=2338.203857421875\n", + "global step=24412160, episodic return=2380.341552734375\n", + "global step=24412160, episodic return=2339.34423828125\n", + "global step=24414208, episodic return=2386.318603515625\n", + "global step=24414208, episodic return=1781.6033935546875\n", + "global step=24414208, episodic return=2354.8994140625\n", + "global step=24416256, episodic return=301.2070617675781\n", + "global step=24416256, episodic return=2360.6181640625\n", + "global step=24416256, episodic return=2311.9951171875\n", + "global step=24416256, episodic return=2339.47998046875\n", + "global step=24418304, episodic return=700.4390869140625\n", + "global step=24418304, episodic return=2266.92578125\n", + "global step=24418304, episodic return=2328.794189453125\n", + "global step=24418304, episodic return=2374.867919921875\n", + "global step=24418304, episodic return=214.06076049804688\n", + "global step=24418304, episodic return=2348.780029296875\n", + "global step=24420352, episodic return=388.4531555175781\n", + "global step=24420352, episodic return=1631.255615234375\n", + "global step=24420352, episodic return=2342.99365234375\n", + "global step=24422400, episodic return=2281.5478515625\n", + "global step=24422400, episodic return=1701.9703369140625\n", + "global step=24422400, episodic return=961.1839599609375\n", + "global step=24422400, episodic return=2390.2099609375\n", + "global step=24422400, episodic return=2272.907470703125\n", + "global step=24424448, episodic return=2408.891357421875\n", + "global step=24424448, episodic return=2342.252685546875\n", + "global step=24424448, episodic return=2216.08544921875\n", + "global step=24426496, episodic return=2371.46533203125\n", + "global step=24426496, episodic return=2316.222412109375\n", + "global step=24428544, episodic return=254.33578491210938\n", + "global step=24430592, episodic return=2348.289306640625\n", + "global step=24432640, episodic return=2320.0625\n", + "global step=24434688, episodic return=2365.21923828125\n", + "global step=24434688, episodic return=289.6156921386719\n", + "global step=24436736, episodic return=2350.76611328125\n", + "global step=24438784, episodic return=2338.14892578125\n", + "global step=24438784, episodic return=2355.37451171875\n", + "global step=24438784, episodic return=2350.076904296875\n", + "global step=24440832, episodic return=2368.593994140625\n", + "global step=24440832, episodic return=2345.973876953125\n", + "global step=24442880, episodic return=2372.641357421875\n", + "global step=24444928, episodic return=2335.04541015625\n", + "global step=24444928, episodic return=2319.127685546875\n", + "global step=24444928, episodic return=1724.956787109375\n", + "global step=24444928, episodic return=2381.759765625\n", + "global step=24446976, episodic return=2331.8642578125\n", + "global step=24446976, episodic return=2343.02099609375\n", + "global step=24449024, episodic return=2415.69921875\n", + "global step=24449024, episodic return=2356.927001953125\n", + "global step=24451072, episodic return=2334.9814453125\n", + "global step=24451072, episodic return=2377.48974609375\n", + "global step=24453120, episodic return=189.4660186767578\n", + "global step=24455168, episodic return=2329.799072265625\n", + "global step=24455168, episodic return=2408.865234375\n", + "global step=24457216, episodic return=2365.02099609375\n", + "global step=24459264, episodic return=2373.9296875\n", + "global step=24459264, episodic return=2334.153564453125\n", + "global step=24463360, episodic return=2329.006103515625\n", + "global step=24463360, episodic return=2398.354736328125\n", + "global step=24465408, episodic return=186.86297607421875\n", + "global step=24467456, episodic return=2382.385986328125\n", + "global step=24467456, episodic return=2414.467041015625\n", + "global step=24467456, episodic return=2384.359375\n", + "global step=24467456, episodic return=2370.50537109375\n", + "global step=24467456, episodic return=2400.2978515625\n", + "global step=24467456, episodic return=153.82431030273438\n", + "global step=24469504, episodic return=2417.67138671875\n", + "global step=24469504, episodic return=2416.871337890625\n", + "global step=24469504, episodic return=2366.691162109375\n", + "global step=24471552, episodic return=2360.983154296875\n", + "global step=24471552, episodic return=2356.29150390625\n", + "global step=24471552, episodic return=444.29345703125\n", + "global step=24471552, episodic return=2371.560302734375\n", + "global step=24473600, episodic return=2292.962646484375\n", + "global step=24473600, episodic return=199.7186737060547\n", + "global step=24475648, episodic return=2349.945068359375\n", + "global step=24477696, episodic return=2389.22021484375\n", + "global step=24477696, episodic return=2267.90869140625\n", + "global step=24477696, episodic return=523.800048828125\n", + "global step=24479744, episodic return=2373.831787109375\n", + "global step=24479744, episodic return=2364.562255859375\n", + "global step=24479744, episodic return=2349.640625\n", + "global step=24479744, episodic return=2335.36083984375\n", + "global step=24481792, episodic return=2333.73388671875\n", + "global step=24481792, episodic return=2350.07421875\n", + "global step=24483840, episodic return=2345.64013671875\n", + "global step=24483840, episodic return=2326.6044921875\n", + "global step=24485888, episodic return=2366.714111328125\n", + "global step=24485888, episodic return=2327.953369140625\n", + "global step=24487936, episodic return=328.0203552246094\n", + "global step=24487936, episodic return=52.38548278808594\n", + "global step=24489984, episodic return=2381.98779296875\n", + "global step=24492032, episodic return=2365.469970703125\n", + "global step=24494080, episodic return=2419.31982421875\n", + "global step=24496128, episodic return=2439.353759765625\n", + "global step=24496128, episodic return=2378.45849609375\n", + "global step=24500224, episodic return=2425.1904296875\n", + "global step=24502272, episodic return=2318.23291015625\n", + "global step=24502272, episodic return=2362.770263671875\n", + "global step=24502272, episodic return=2296.9208984375\n", + "global step=24502272, episodic return=209.93809509277344\n", + "global step=24504320, episodic return=2355.1279296875\n", + "global step=24504320, episodic return=2374.447998046875\n", + "global step=24508416, episodic return=2352.98974609375\n", + "global step=24508416, episodic return=2436.832763671875\n", + "global step=24508416, episodic return=2317.59521484375\n", + "global step=24510464, episodic return=414.4590148925781\n", + "global step=24510464, episodic return=37.381290435791016\n", + "global step=24512512, episodic return=2417.097900390625\n", + "global step=24512512, episodic return=2419.71728515625\n", + "global step=24512512, episodic return=2321.905029296875\n", + "global step=24512512, episodic return=2335.09423828125\n", + "global step=24516608, episodic return=2354.53271484375\n", + "global step=24516608, episodic return=2380.141357421875\n", + "global step=24518656, episodic return=2380.02001953125\n", + "global step=24518656, episodic return=2385.411376953125\n", + "global step=24518656, episodic return=346.3194580078125\n", + "global step=24520704, episodic return=2411.283447265625\n", + "global step=24522752, episodic return=2372.626220703125\n", + "global step=24522752, episodic return=730.2247314453125\n", + "global step=24522752, episodic return=2323.022216796875\n", + "global step=24524800, episodic return=2395.35595703125\n", + "global step=24524800, episodic return=2354.107666015625\n", + "global step=24524800, episodic return=2354.244873046875\n", + "global step=24524800, episodic return=2403.691162109375\n", + "global step=24526848, episodic return=2395.209228515625\n", + "global step=24526848, episodic return=2405.801513671875\n", + "global step=24526848, episodic return=2347.448486328125\n", + "global step=24526848, episodic return=2402.41845703125\n", + "global step=24532992, episodic return=2366.05126953125\n", + "global step=24532992, episodic return=2347.431884765625\n", + "global step=24535040, episodic return=2423.2802734375\n", + "global step=24537088, episodic return=2371.116943359375\n", + "global step=24537088, episodic return=2407.957763671875\n", + "global step=24539136, episodic return=2370.878173828125\n", + "global step=24539136, episodic return=2395.217041015625\n", + "global step=24541184, episodic return=433.50872802734375\n", + "global step=24541184, episodic return=2430.375244140625\n", + "global step=24543232, episodic return=2402.196044921875\n", + "global step=24543232, episodic return=2165.9111328125\n", + "global step=24543232, episodic return=2396.045654296875\n", + "global step=24543232, episodic return=2317.18408203125\n", + "global step=24543232, episodic return=2303.39208984375\n", + "global step=24545280, episodic return=2314.746337890625\n", + "global step=24545280, episodic return=2313.012939453125\n", + "global step=24545280, episodic return=2387.677978515625\n", + "global step=24549376, episodic return=2385.6669921875\n", + "global step=24551424, episodic return=2434.759765625\n", + "global step=24553472, episodic return=2409.93408203125\n", + "global step=24553472, episodic return=2328.45361328125\n", + "global step=24553472, episodic return=2244.750732421875\n", + "global step=24555520, episodic return=2330.30810546875\n", + "global step=24557568, episodic return=2353.791015625\n", + "global step=24559616, episodic return=2386.492919921875\n", + "global step=24559616, episodic return=2353.98876953125\n", + "global step=24561664, episodic return=2415.465087890625\n", + "global step=24561664, episodic return=2425.7890625\n", + "global step=24563712, episodic return=2340.156005859375\n", + "global step=24563712, episodic return=2380.4892578125\n", + "global step=24565760, episodic return=2392.466552734375\n", + "global step=24567808, episodic return=2358.30615234375\n", + "global step=24569856, episodic return=2368.9775390625\n", + "global step=24569856, episodic return=2364.802001953125\n", + "global step=24569856, episodic return=2361.4306640625\n", + "global step=24571904, episodic return=453.0698547363281\n", + "global step=24571904, episodic return=2389.238525390625\n", + "global step=24573952, episodic return=2370.905517578125\n", + "global step=24573952, episodic return=2394.045654296875\n", + "global step=24573952, episodic return=2403.359375\n", + "global step=24576000, episodic return=2413.640380859375\n", + "global step=24576000, episodic return=2349.30712890625\n", + "global step=24576000, episodic return=2387.987060546875\n", + "global step=24578048, episodic return=2308.336181640625\n", + "global step=24580096, episodic return=2385.265625\n", + "global step=24582144, episodic return=2399.450927734375\n", + "global step=24584192, episodic return=800.0931396484375\n", + "global step=24586240, episodic return=2343.339111328125\n", + "global step=24586240, episodic return=2351.67041015625\n", + "global step=24588288, episodic return=2379.7431640625\n", + "global step=24590336, episodic return=2361.001220703125\n", + "global step=24590336, episodic return=653.8425903320312\n", + "global step=24592384, episodic return=2300.33203125\n", + "global step=24594432, episodic return=2372.11376953125\n", + "global step=24594432, episodic return=2380.71630859375\n", + "global step=24594432, episodic return=1899.3814697265625\n", + "global step=24596480, episodic return=2423.6357421875\n", + "global step=24598528, episodic return=2390.218994140625\n", + "global step=24602624, episodic return=2353.964111328125\n", + "global step=24604672, episodic return=2400.723876953125\n", + "global step=24608768, episodic return=2361.014404296875\n", + "global step=24608768, episodic return=2322.288330078125\n", + "global step=24610816, episodic return=2376.994873046875\n", + "global step=24610816, episodic return=2419.267333984375\n", + "global step=24612864, episodic return=2385.666259765625\n", + "global step=24612864, episodic return=2381.512451171875\n", + "global step=24612864, episodic return=2339.09033203125\n", + "global step=24619008, episodic return=2397.740966796875\n", + "global step=24619008, episodic return=2039.200439453125\n", + "global step=24621056, episodic return=2414.347412109375\n", + "global step=24621056, episodic return=2312.180419921875\n", + "global step=24621056, episodic return=2394.921875\n", + "global step=24623104, episodic return=2318.049072265625\n", + "global step=24625152, episodic return=2362.333984375\n", + "global step=24625152, episodic return=2418.7978515625\n", + "global step=24627200, episodic return=2316.0546875\n", + "global step=24627200, episodic return=589.2034301757812\n", + "global step=24629248, episodic return=2382.469970703125\n", + "global step=24629248, episodic return=2290.086181640625\n", + "global step=24629248, episodic return=458.7760009765625\n", + "global step=24631296, episodic return=492.97149658203125\n", + "global step=24631296, episodic return=2395.906494140625\n", + "global step=24631296, episodic return=2385.239990234375\n", + "global step=24631296, episodic return=2271.4970703125\n", + "global step=24633344, episodic return=2321.35400390625\n", + "global step=24635392, episodic return=2379.079833984375\n", + "global step=24635392, episodic return=2379.555908203125\n", + "global step=24635392, episodic return=73.18081665039062\n", + "global step=24639488, episodic return=864.9212646484375\n", + "global step=24639488, episodic return=2384.2333984375\n", + "global step=24643584, episodic return=2385.704345703125\n", + "global step=24643584, episodic return=2408.3271484375\n", + "global step=24645632, episodic return=2298.4052734375\n", + "global step=24645632, episodic return=2357.080078125\n", + "global step=24645632, episodic return=2390.7412109375\n", + "global step=24645632, episodic return=2343.795166015625\n", + "global step=24645632, episodic return=2388.343017578125\n", + "global step=24647680, episodic return=2377.48681640625\n", + "global step=24647680, episodic return=2405.403564453125\n", + "global step=24647680, episodic return=2365.5224609375\n", + "global step=24647680, episodic return=2356.291259765625\n", + "global step=24647680, episodic return=520.1414794921875\n", + "global step=24647680, episodic return=2389.068115234375\n", + "global step=24649728, episodic return=2269.222900390625\n", + "global step=24649728, episodic return=2336.693603515625\n", + "global step=24649728, episodic return=2370.400634765625\n", + "global step=24649728, episodic return=2074.486083984375\n", + "global step=24649728, episodic return=2350.270751953125\n", + "global step=24651776, episodic return=2360.29736328125\n", + "global step=24653824, episodic return=2335.90478515625\n", + "global step=24653824, episodic return=2342.89599609375\n", + "global step=24653824, episodic return=2185.190185546875\n", + "global step=24655872, episodic return=182.141845703125\n", + "global step=24655872, episodic return=2375.701904296875\n", + "global step=24655872, episodic return=2284.06201171875\n", + "global step=24655872, episodic return=1771.4349365234375\n", + "global step=24655872, episodic return=2387.681884765625\n", + "global step=24655872, episodic return=899.9508666992188\n", + "global step=24657920, episodic return=2380.229736328125\n", + "global step=24657920, episodic return=2374.71240234375\n", + "global step=24659968, episodic return=2347.99072265625\n", + "global step=24662016, episodic return=2374.973876953125\n", + "global step=24662016, episodic return=2311.282470703125\n", + "global step=24664064, episodic return=2342.739990234375\n", + "global step=24664064, episodic return=2370.44580078125\n", + "global step=24664064, episodic return=2352.65234375\n", + "global step=24664064, episodic return=2411.11376953125\n", + "global step=24666112, episodic return=2383.429443359375\n", + "global step=24666112, episodic return=2326.327880859375\n", + "global step=24666112, episodic return=2368.07666015625\n", + "global step=24666112, episodic return=2290.576904296875\n", + "global step=24666112, episodic return=309.2754211425781\n", + "global step=24668160, episodic return=2408.71728515625\n", + "global step=24668160, episodic return=2383.155029296875\n", + "global step=24668160, episodic return=2357.986572265625\n", + "global step=24668160, episodic return=656.4804077148438\n", + "global step=24670208, episodic return=2374.8330078125\n", + "global step=24670208, episodic return=2372.65625\n", + "global step=24670208, episodic return=2401.843994140625\n", + "global step=24672256, episodic return=2369.1376953125\n", + "global step=24672256, episodic return=2361.3662109375\n", + "global step=24672256, episodic return=2426.1806640625\n", + "global step=24674304, episodic return=2400.97607421875\n", + "global step=24674304, episodic return=2374.22802734375\n", + "global step=24676352, episodic return=895.2835693359375\n", + "global step=24678400, episodic return=2344.387939453125\n", + "global step=24678400, episodic return=2329.323974609375\n", + "global step=24678400, episodic return=2421.531982421875\n", + "global step=24678400, episodic return=2374.94482421875\n", + "global step=24678400, episodic return=268.75299072265625\n", + "global step=24678400, episodic return=2391.077880859375\n", + "global step=24680448, episodic return=2408.754150390625\n", + "global step=24684544, episodic return=2337.37744140625\n", + "global step=24684544, episodic return=2385.153076171875\n", + "global step=24686592, episodic return=2326.5654296875\n", + "global step=24686592, episodic return=2330.881103515625\n", + "global step=24686592, episodic return=2317.858642578125\n", + "global step=24688640, episodic return=2378.2763671875\n", + "global step=24690688, episodic return=2375.854248046875\n", + "global step=24690688, episodic return=2320.551513671875\n", + "global step=24690688, episodic return=2360.527587890625\n", + "global step=24692736, episodic return=2369.72509765625\n", + "global step=24692736, episodic return=1790.6151123046875\n", + "global step=24692736, episodic return=2283.806396484375\n", + "global step=24694784, episodic return=2362.008544921875\n", + "global step=24694784, episodic return=2313.77490234375\n", + "global step=24694784, episodic return=2400.38232421875\n", + "global step=24694784, episodic return=2352.388671875\n", + "global step=24696832, episodic return=2325.2998046875\n", + "global step=24698880, episodic return=2278.139892578125\n", + "global step=24700928, episodic return=2407.734375\n", + "global step=24700928, episodic return=933.1482543945312\n", + "global step=24700928, episodic return=2375.2119140625\n", + "global step=24700928, episodic return=2385.73486328125\n", + "global step=24702976, episodic return=2365.917724609375\n", + "global step=24702976, episodic return=2434.860595703125\n", + "global step=24702976, episodic return=2354.18115234375\n", + "global step=24702976, episodic return=2317.801025390625\n", + "global step=24705024, episodic return=2409.32861328125\n", + "global step=24705024, episodic return=2353.02880859375\n", + "global step=24707072, episodic return=2449.606201171875\n", + "global step=24711168, episodic return=2393.765869140625\n", + "global step=24711168, episodic return=2348.114013671875\n", + "global step=24711168, episodic return=2389.71630859375\n", + "global step=24713216, episodic return=2333.7509765625\n", + "global step=24713216, episodic return=2243.8515625\n", + "global step=24713216, episodic return=2343.7578125\n", + "global step=24715264, episodic return=2376.66162109375\n", + "global step=24715264, episodic return=2353.78515625\n", + "global step=24715264, episodic return=63.3934326171875\n", + "global step=24717312, episodic return=2302.78466796875\n", + "global step=24717312, episodic return=2367.8642578125\n", + "global step=24719360, episodic return=2393.095458984375\n", + "global step=24721408, episodic return=2347.40673828125\n", + "global step=24721408, episodic return=2352.497802734375\n", + "global step=24723456, episodic return=202.17529296875\n", + "global step=24725504, episodic return=2326.974853515625\n", + "global step=24727552, episodic return=2358.976806640625\n", + "global step=24727552, episodic return=2398.28271484375\n", + "global step=24729600, episodic return=892.67431640625\n", + "global step=24729600, episodic return=2394.26708984375\n", + "global step=24729600, episodic return=2394.582275390625\n", + "global step=24729600, episodic return=2326.7119140625\n", + "global step=24729600, episodic return=2375.524658203125\n", + "global step=24733696, episodic return=2359.164794921875\n", + "global step=24735744, episodic return=2414.489501953125\n", + "global step=24737792, episodic return=2309.488525390625\n", + "global step=24743936, episodic return=2351.438232421875\n", + "global step=24743936, episodic return=2315.405517578125\n", + "global step=24743936, episodic return=75.275146484375\n", + "global step=24743936, episodic return=2302.441162109375\n", + "global step=24743936, episodic return=2334.520263671875\n", + "global step=24745984, episodic return=2356.648193359375\n", + "global step=24745984, episodic return=2339.6201171875\n", + "global step=24745984, episodic return=41.85648727416992\n", + "global step=24745984, episodic return=2373.397216796875\n", + "global step=24750080, episodic return=2316.400390625\n", + "global step=24752128, episodic return=2342.696044921875\n", + "global step=24752128, episodic return=2410.376708984375\n", + "global step=24756224, episodic return=2307.01513671875\n", + "global step=24756224, episodic return=2312.609130859375\n", + "global step=24758272, episodic return=2362.376708984375\n", + "global step=24758272, episodic return=2353.0283203125\n", + "global step=24758272, episodic return=948.325927734375\n", + "global step=24760320, episodic return=2373.840576171875\n", + "global step=24760320, episodic return=2304.6484375\n", + "global step=24760320, episodic return=620.4461059570312\n", + "global step=24760320, episodic return=2331.255126953125\n", + "global step=24764416, episodic return=2101.111572265625\n", + "global step=24764416, episodic return=199.974853515625\n", + "global step=24768512, episodic return=2277.064453125\n", + "global step=24768512, episodic return=2411.365234375\n", + "global step=24770560, episodic return=2342.613525390625\n", + "global step=24770560, episodic return=2352.542236328125\n", + "global step=24770560, episodic return=2387.211669921875\n", + "global step=24772608, episodic return=2350.789306640625\n", + "global step=24772608, episodic return=2383.917724609375\n", + "global step=24772608, episodic return=2367.699462890625\n", + "global step=24772608, episodic return=2380.50048828125\n", + "global step=24774656, episodic return=882.16845703125\n", + "global step=24774656, episodic return=2380.898681640625\n", + "global step=24774656, episodic return=2377.949462890625\n", + "global step=24774656, episodic return=2316.282958984375\n", + "global step=24776704, episodic return=2335.099853515625\n", + "global step=24776704, episodic return=2097.168701171875\n", + "global step=24778752, episodic return=2387.7783203125\n", + "global step=24780800, episodic return=2298.5107421875\n", + "global step=24780800, episodic return=2361.8564453125\n", + "global step=24784896, episodic return=2337.804443359375\n", + "global step=24784896, episodic return=2374.483154296875\n", + "global step=24784896, episodic return=2359.493896484375\n", + "global step=24788992, episodic return=2314.480712890625\n", + "global step=24788992, episodic return=2398.271484375\n", + "global step=24788992, episodic return=2366.570068359375\n", + "global step=24793088, episodic return=2433.42626953125\n", + "global step=24801280, episodic return=996.5654907226562\n", + "global step=24801280, episodic return=2374.598876953125\n", + "global step=24803328, episodic return=2318.46826171875\n", + "global step=24803328, episodic return=2396.01904296875\n", + "global step=24809472, episodic return=2348.293701171875\n", + "global step=24813568, episodic return=2376.205810546875\n", + "global step=24813568, episodic return=2442.015869140625\n", + "global step=24813568, episodic return=2336.1640625\n", + "global step=24813568, episodic return=2352.447021484375\n", + "global step=24815616, episodic return=2391.58203125\n", + "global step=24815616, episodic return=2452.78173828125\n", + "global step=24815616, episodic return=2366.31884765625\n", + "global step=24815616, episodic return=547.5086059570312\n", + "global step=24815616, episodic return=2410.910888671875\n", + "global step=24815616, episodic return=2393.80419921875\n", + "global step=24815616, episodic return=2385.594482421875\n", + "global step=24817664, episodic return=2435.06005859375\n", + "global step=24817664, episodic return=2380.987548828125\n", + "global step=24817664, episodic return=2371.366943359375\n", + "global step=24819712, episodic return=2364.685791015625\n", + "global step=24819712, episodic return=2376.71533203125\n", + "global step=24823808, episodic return=2361.498779296875\n", + "global step=24825856, episodic return=2382.366943359375\n", + "global step=24825856, episodic return=2400.8505859375\n", + "global step=24825856, episodic return=2396.82861328125\n", + "global step=24825856, episodic return=2308.14697265625\n", + "global step=24829952, episodic return=620.1256103515625\n", + "global step=24832000, episodic return=2366.688720703125\n", + "global step=24834048, episodic return=1919.3067626953125\n", + "global step=24836096, episodic return=2382.073974609375\n", + "global step=24838144, episodic return=1871.6876220703125\n", + "global step=24840192, episodic return=1877.323486328125\n", + "global step=24840192, episodic return=2386.04150390625\n", + "global step=24840192, episodic return=2354.353271484375\n", + "global step=24842240, episodic return=2381.59521484375\n", + "global step=24844288, episodic return=872.1962890625\n", + "global step=24844288, episodic return=2391.237060546875\n", + "global step=24846336, episodic return=2390.802978515625\n", + "global step=24848384, episodic return=2373.68798828125\n", + "global step=24848384, episodic return=2450.41064453125\n", + "global step=24850432, episodic return=204.16580200195312\n", + "global step=24850432, episodic return=2334.176513671875\n", + "global step=24852480, episodic return=2349.80615234375\n", + "global step=24854528, episodic return=2411.801025390625\n", + "global step=24856576, episodic return=2348.9912109375\n", + "global step=24856576, episodic return=2369.22119140625\n", + "global step=24856576, episodic return=2394.19384765625\n", + "global step=24858624, episodic return=2293.600830078125\n", + "global step=24858624, episodic return=339.237060546875\n", + "global step=24860672, episodic return=2412.412353515625\n", + "global step=24860672, episodic return=220.05316162109375\n", + "global step=24860672, episodic return=2375.258544921875\n", + "global step=24860672, episodic return=2321.6748046875\n", + "global step=24860672, episodic return=2360.05322265625\n", + "global step=24862720, episodic return=2334.955322265625\n", + "global step=24862720, episodic return=2363.482421875\n", + "global step=24864768, episodic return=2365.706787109375\n", + "global step=24866816, episodic return=2397.707763671875\n", + "global step=24868864, episodic return=2345.843017578125\n", + "global step=24868864, episodic return=758.5347900390625\n", + "global step=24868864, episodic return=2315.306884765625\n", + "global step=24870912, episodic return=2152.9609375\n", + "global step=24870912, episodic return=2317.524169921875\n", + "global step=24870912, episodic return=2063.3525390625\n", + "global step=24872960, episodic return=528.6619262695312\n", + "global step=24872960, episodic return=2299.633056640625\n", + "global step=24872960, episodic return=2287.694091796875\n", + "global step=24875008, episodic return=2350.875244140625\n", + "global step=24877056, episodic return=114.64962768554688\n", + "global step=24877056, episodic return=2403.6630859375\n", + "global step=24877056, episodic return=2451.75634765625\n", + "global step=24877056, episodic return=29.667327880859375\n", + "global step=24877056, episodic return=2419.2939453125\n", + "global step=24879104, episodic return=163.61680603027344\n", + "global step=24879104, episodic return=2387.05029296875\n", + "global step=24881152, episodic return=2373.02880859375\n", + "global step=24881152, episodic return=2368.1767578125\n", + "global step=24885248, episodic return=1318.6976318359375\n", + "global step=24887296, episodic return=980.9220581054688\n", + "global step=24887296, episodic return=2333.66455078125\n", + "global step=24889344, episodic return=1273.626220703125\n", + "global step=24891392, episodic return=2289.679931640625\n", + "global step=24891392, episodic return=66.1820297241211\n", + "global step=24893440, episodic return=2361.3115234375\n", + "global step=24893440, episodic return=2373.8779296875\n", + "global step=24895488, episodic return=2385.621826171875\n", + "global step=24897536, episodic return=2350.16357421875\n", + "global step=24897536, episodic return=2341.72021484375\n", + "global step=24899584, episodic return=2279.5537109375\n", + "global step=24899584, episodic return=1422.76806640625\n", + "global step=24901632, episodic return=2420.35595703125\n", + "global step=24901632, episodic return=2347.6806640625\n", + "global step=24901632, episodic return=143.52464294433594\n", + "global step=24903680, episodic return=168.3885955810547\n", + "global step=24903680, episodic return=2329.41259765625\n", + "global step=24903680, episodic return=2364.08251953125\n", + "global step=24905728, episodic return=2390.376708984375\n", + "global step=24905728, episodic return=2345.677490234375\n", + "global step=24905728, episodic return=2364.695068359375\n", + "global step=24909824, episodic return=2325.8916015625\n", + "global step=24909824, episodic return=1074.3465576171875\n", + "global step=24909824, episodic return=2287.00439453125\n", + "global step=24909824, episodic return=2425.3017578125\n", + "global step=24909824, episodic return=2335.285400390625\n", + "global step=24911872, episodic return=2299.057373046875\n", + "global step=24913920, episodic return=2464.05615234375\n", + "global step=24913920, episodic return=2379.57958984375\n", + "global step=24915968, episodic return=2347.771484375\n", + "global step=24915968, episodic return=2353.370849609375\n", + "global step=24915968, episodic return=2345.0869140625\n", + "global step=24918016, episodic return=2141.049560546875\n", + "global step=24920064, episodic return=2298.971435546875\n", + "global step=24922112, episodic return=37.22787094116211\n", + "global step=24924160, episodic return=1400.116943359375\n", + "global step=24924160, episodic return=2375.9423828125\n", + "global step=24926208, episodic return=2410.43701171875\n", + "global step=24926208, episodic return=133.6486053466797\n", + "global step=24926208, episodic return=1222.357177734375\n", + "global step=24926208, episodic return=1540.6669921875\n", + "global step=24926208, episodic return=213.92446899414062\n", + "global step=24926208, episodic return=2278.72314453125\n", + "global step=24928256, episodic return=2384.311767578125\n", + "global step=24928256, episodic return=1397.881103515625\n", + "global step=24928256, episodic return=2361.2314453125\n", + "global step=24930304, episodic return=1283.6695556640625\n", + "global step=24930304, episodic return=420.4759521484375\n", + "global step=24930304, episodic return=2388.822998046875\n", + "global step=24932352, episodic return=2365.01513671875\n", + "global step=24932352, episodic return=2380.3984375\n", + "global step=24934400, episodic return=1754.6439208984375\n", + "global step=24934400, episodic return=2417.345947265625\n", + "global step=24936448, episodic return=2397.930419921875\n", + "global step=24936448, episodic return=2348.733642578125\n", + "global step=24936448, episodic return=279.6766052246094\n", + "global step=24936448, episodic return=2435.32958984375\n", + "global step=24938496, episodic return=536.3397216796875\n", + "global step=24938496, episodic return=2349.1484375\n", + "global step=24938496, episodic return=2360.435302734375\n", + "global step=24938496, episodic return=2329.8046875\n", + "global step=24938496, episodic return=2286.618896484375\n", + "global step=24938496, episodic return=2375.6650390625\n", + "global step=24940544, episodic return=2372.326416015625\n", + "global step=24940544, episodic return=2358.329833984375\n", + "global step=24940544, episodic return=2428.0703125\n", + "global step=24940544, episodic return=2378.711181640625\n", + "global step=24940544, episodic return=1144.2484130859375\n", + "global step=24942592, episodic return=2352.024658203125\n", + "global step=24942592, episodic return=1811.522216796875\n", + "global step=24942592, episodic return=1456.9248046875\n", + "global step=24944640, episodic return=1049.013671875\n", + "global step=24944640, episodic return=2430.857421875\n", + "global step=24944640, episodic return=2427.74169921875\n", + "global step=24944640, episodic return=1243.457275390625\n", + "global step=24946688, episodic return=559.261962890625\n", + "global step=24946688, episodic return=2404.50390625\n", + "global step=24946688, episodic return=1408.920166015625\n", + "global step=24946688, episodic return=2337.23583984375\n", + "global step=24948736, episodic return=2432.528076171875\n", + "global step=24948736, episodic return=2414.352783203125\n", + "global step=24948736, episodic return=2454.5634765625\n", + "global step=24948736, episodic return=2379.130615234375\n", + "global step=24950784, episodic return=2350.2578125\n", + "global step=24950784, episodic return=2261.279541015625\n", + "global step=24950784, episodic return=2353.078125\n", + "global step=24952832, episodic return=2363.025390625\n", + "global step=24952832, episodic return=2355.3681640625\n", + "global step=24954880, episodic return=2372.984619140625\n", + "global step=24954880, episodic return=2354.216796875\n", + "global step=24954880, episodic return=2352.76318359375\n", + "global step=24954880, episodic return=2430.974609375\n", + "global step=24956928, episodic return=2283.193115234375\n", + "global step=24956928, episodic return=2341.96240234375\n", + "global step=24958976, episodic return=776.4772338867188\n", + "global step=24958976, episodic return=1001.38916015625\n", + "global step=24958976, episodic return=2361.966552734375\n", + "global step=24958976, episodic return=79.8934326171875\n", + "global step=24961024, episodic return=2343.086181640625\n", + "global step=24961024, episodic return=2350.091064453125\n", + "global step=24961024, episodic return=2424.623291015625\n", + "global step=24961024, episodic return=2194.158447265625\n", + "global step=24961024, episodic return=2385.2431640625\n", + "global step=24963072, episodic return=2404.70361328125\n", + "global step=24963072, episodic return=1273.048828125\n", + "global step=24963072, episodic return=2302.719482421875\n", + "global step=24967168, episodic return=2455.618896484375\n", + "global step=24967168, episodic return=2407.758056640625\n", + "global step=24967168, episodic return=2418.4990234375\n", + "global step=24967168, episodic return=41.36516571044922\n", + "global step=24969216, episodic return=2373.349609375\n", + "global step=24969216, episodic return=2450.79833984375\n", + "global step=24969216, episodic return=1645.671142578125\n", + "global step=24969216, episodic return=2437.715576171875\n", + "global step=24969216, episodic return=2391.972412109375\n", + "global step=24971264, episodic return=1619.745849609375\n", + "global step=24971264, episodic return=2349.097900390625\n", + "global step=24971264, episodic return=1829.2457275390625\n", + "global step=24971264, episodic return=1338.1844482421875\n", + "global step=24973312, episodic return=1162.0423583984375\n", + "global step=24975360, episodic return=2392.5576171875\n", + "global step=24975360, episodic return=2270.6669921875\n", + "global step=24975360, episodic return=2360.567138671875\n", + "global step=24979456, episodic return=2356.70751953125\n", + "global step=24981504, episodic return=2361.961181640625\n", + "global step=24981504, episodic return=2372.549072265625\n", + "global step=24981504, episodic return=2392.26220703125\n", + "global step=24981504, episodic return=2404.57470703125\n", + "global step=24985600, episodic return=2403.065673828125\n", + "global step=24987648, episodic return=2404.491943359375\n", + "global step=24987648, episodic return=2384.57421875\n", + "global step=24987648, episodic return=2433.42041015625\n", + "global step=24987648, episodic return=2417.654541015625\n", + "global step=24991744, episodic return=2343.64013671875\n", + "global step=24993792, episodic return=1793.4111328125\n", + "global step=24995840, episodic return=872.644775390625\n", + "global step=24995840, episodic return=2316.828125\n", + "global step=24995840, episodic return=1380.3175048828125\n", + "global step=24997888, episodic return=2315.546630859375\n", + "global step=24997888, episodic return=2407.749755859375\n", + "global step=24999936, episodic return=742.142333984375\n", + "global step=24999936, episodic return=2410.474365234375\n", + "global step=24999936, episodic return=2216.179443359375\n", + "global step=25001984, episodic return=2387.68115234375\n", + "global step=25001984, episodic return=2382.509033203125\n", + "global step=25001984, episodic return=2411.660888671875\n", + "global step=25001984, episodic return=2414.526123046875\n", + "global step=25001984, episodic return=2304.489013671875\n", + "global step=25004032, episodic return=2324.419677734375\n", + "global step=25004032, episodic return=2322.653564453125\n", + "global step=25006080, episodic return=2308.50390625\n", + "global step=25006080, episodic return=878.0675659179688\n", + "global step=25008128, episodic return=2392.03662109375\n", + "global step=25008128, episodic return=2331.386474609375\n", + "global step=25008128, episodic return=2404.954833984375\n", + "global step=25008128, episodic return=2415.474365234375\n", + "global step=25010176, episodic return=2385.80908203125\n", + "global step=25012224, episodic return=2398.95947265625\n", + "global step=25014272, episodic return=2391.989990234375\n", + "global step=25016320, episodic return=2442.826171875\n", + "global step=25018368, episodic return=2391.419921875\n", + "global step=25020416, episodic return=2337.548828125\n", + "global step=25020416, episodic return=2435.257080078125\n", + "global step=25020416, episodic return=2420.048095703125\n", + "global step=25020416, episodic return=296.99481201171875\n", + "global step=25022464, episodic return=2346.1923828125\n", + "global step=25022464, episodic return=963.8660278320312\n", + "global step=25024512, episodic return=226.1273956298828\n", + "global step=25026560, episodic return=1329.9150390625\n", + "global step=25028608, episodic return=2426.21337890625\n", + "global step=25028608, episodic return=2367.83984375\n", + "global step=25030656, episodic return=2410.281982421875\n", + "global step=25030656, episodic return=2441.5947265625\n", + "global step=25030656, episodic return=2249.743896484375\n", + "global step=25032704, episodic return=1995.647216796875\n", + "global step=25034752, episodic return=1688.1065673828125\n", + "global step=25034752, episodic return=2399.914794921875\n", + "global step=25034752, episodic return=1571.401123046875\n", + "global step=25036800, episodic return=2376.28515625\n", + "global step=25038848, episodic return=2426.581787109375\n", + "global step=25038848, episodic return=2427.07080078125\n", + "global step=25038848, episodic return=2439.11962890625\n", + "global step=25038848, episodic return=2353.522705078125\n", + "global step=25038848, episodic return=2428.219970703125\n", + "global step=25038848, episodic return=2442.62646484375\n", + "global step=25042944, episodic return=2410.494384765625\n", + "global step=25042944, episodic return=2373.710205078125\n", + "global step=25044992, episodic return=1732.4117431640625\n", + "global step=25044992, episodic return=2420.987060546875\n", + "global step=25047040, episodic return=2431.119873046875\n", + "global step=25051136, episodic return=2376.18359375\n", + "global step=25051136, episodic return=2358.198486328125\n", + "global step=25051136, episodic return=2002.73388671875\n", + "global step=25053184, episodic return=2375.2412109375\n", + "global step=25055232, episodic return=618.3231811523438\n", + "global step=25055232, episodic return=2286.57275390625\n", + "global step=25055232, episodic return=2403.385498046875\n", + "global step=25055232, episodic return=675.5713500976562\n", + "global step=25055232, episodic return=1509.92822265625\n", + "global step=25055232, episodic return=2396.322021484375\n", + "global step=25057280, episodic return=2389.856689453125\n", + "global step=25057280, episodic return=1508.64599609375\n", + "global step=25057280, episodic return=2400.77734375\n", + "global step=25059328, episodic return=1947.030517578125\n", + "global step=25059328, episodic return=1519.5570068359375\n", + "global step=25059328, episodic return=660.2521362304688\n", + "global step=25061376, episodic return=2367.5107421875\n", + "global step=25061376, episodic return=2401.51171875\n", + "global step=25063424, episodic return=1340.245361328125\n", + "global step=25069568, episodic return=1548.5687255859375\n", + "global step=25069568, episodic return=2405.562744140625\n", + "global step=25069568, episodic return=2441.029052734375\n", + "global step=25069568, episodic return=2383.62255859375\n", + "global step=25071616, episodic return=2396.45263671875\n", + "global step=25071616, episodic return=713.052490234375\n", + "global step=25073664, episodic return=199.90830993652344\n", + "global step=25073664, episodic return=1415.676513671875\n", + "global step=25073664, episodic return=1088.9395751953125\n", + "global step=25079808, episodic return=192.3946075439453\n", + "global step=25083904, episodic return=2479.5341796875\n", + "global step=25083904, episodic return=2286.532958984375\n", + "global step=25083904, episodic return=2417.571533203125\n", + "global step=25083904, episodic return=2324.154052734375\n", + "global step=25083904, episodic return=2321.74365234375\n", + "global step=25085952, episodic return=2035.6201171875\n", + "global step=25090048, episodic return=2356.047119140625\n", + "global step=25090048, episodic return=2390.819091796875\n", + "global step=25090048, episodic return=2404.133056640625\n", + "global step=25090048, episodic return=1376.56201171875\n", + "global step=25090048, episodic return=206.91455078125\n", + "global step=25092096, episodic return=1320.6536865234375\n", + "global step=25092096, episodic return=880.4854736328125\n", + "global step=25094144, episodic return=2366.2109375\n", + "global step=25096192, episodic return=1187.841064453125\n", + "global step=25098240, episodic return=1156.9268798828125\n", + "global step=25098240, episodic return=2490.034423828125\n", + "global step=25098240, episodic return=866.8945922851562\n", + "global step=25102336, episodic return=2366.768310546875\n", + "global step=25104384, episodic return=2421.942138671875\n", + "global step=25104384, episodic return=419.8363952636719\n", + "global step=25106432, episodic return=2382.597412109375\n", + "global step=25108480, episodic return=2466.119384765625\n", + "global step=25110528, episodic return=2378.675048828125\n", + "global step=25114624, episodic return=2367.029296875\n", + "global step=25114624, episodic return=2295.58154296875\n", + "global step=25114624, episodic return=2404.66748046875\n", + "global step=25114624, episodic return=400.3480224609375\n", + "global step=25114624, episodic return=2370.609375\n", + "global step=25114624, episodic return=2377.7392578125\n", + "global step=25114624, episodic return=1143.075927734375\n", + "global step=25116672, episodic return=2366.852294921875\n", + "global step=25116672, episodic return=2457.992919921875\n", + "global step=25118720, episodic return=2382.630126953125\n", + "global step=25118720, episodic return=1470.9010009765625\n", + "global step=25120768, episodic return=2364.042236328125\n", + "global step=25122816, episodic return=2427.343994140625\n", + "global step=25124864, episodic return=2349.631103515625\n", + "global step=25124864, episodic return=2459.252197265625\n", + "global step=25124864, episodic return=2342.341796875\n", + "global step=25124864, episodic return=2386.4912109375\n", + "global step=25124864, episodic return=2372.733154296875\n", + "global step=25124864, episodic return=2453.170654296875\n", + "global step=25124864, episodic return=2394.96435546875\n", + "global step=25126912, episodic return=2318.624267578125\n", + "global step=25126912, episodic return=1913.30029296875\n", + "global step=25126912, episodic return=2398.00634765625\n", + "global step=25126912, episodic return=174.2860870361328\n", + "global step=25128960, episodic return=2349.126708984375\n", + "global step=25128960, episodic return=2338.225830078125\n", + "global step=25128960, episodic return=2263.324462890625\n", + "global step=25128960, episodic return=180.68475341796875\n", + "global step=25131008, episodic return=2403.72119140625\n", + "global step=25131008, episodic return=2377.67919921875\n", + "global step=25131008, episodic return=2361.58203125\n", + "global step=25131008, episodic return=2419.86572265625\n", + "global step=25131008, episodic return=2370.10693359375\n", + "global step=25133056, episodic return=2350.458740234375\n", + "global step=25133056, episodic return=2005.487060546875\n", + "global step=25135104, episodic return=2465.400390625\n", + "global step=25135104, episodic return=2392.3916015625\n", + "global step=25135104, episodic return=746.3823852539062\n", + "global step=25137152, episodic return=2319.912109375\n", + "global step=25137152, episodic return=195.1302490234375\n", + "global step=25139200, episodic return=2423.95556640625\n", + "global step=25139200, episodic return=1830.206298828125\n", + "global step=25139200, episodic return=897.753662109375\n", + "global step=25141248, episodic return=2401.492431640625\n", + "global step=25141248, episodic return=2327.809814453125\n", + "global step=25141248, episodic return=211.7234649658203\n", + "global step=25141248, episodic return=2424.489501953125\n", + "global step=25141248, episodic return=2357.905517578125\n", + "global step=25141248, episodic return=2391.26220703125\n", + "global step=25143296, episodic return=2326.88232421875\n", + "global step=25143296, episodic return=2337.336181640625\n", + "global step=25143296, episodic return=2421.5439453125\n", + "global step=25143296, episodic return=2417.82470703125\n", + "global step=25143296, episodic return=27.266937255859375\n", + "global step=25145344, episodic return=2398.2412109375\n", + "global step=25147392, episodic return=2403.74658203125\n", + "global step=25147392, episodic return=2317.18505859375\n", + "global step=25147392, episodic return=1335.8037109375\n", + "global step=25147392, episodic return=1397.6617431640625\n", + "global step=25149440, episodic return=2424.044677734375\n", + "global step=25151488, episodic return=2446.16552734375\n", + "global step=25151488, episodic return=2462.619140625\n", + "global step=25151488, episodic return=1165.3414306640625\n", + "global step=25153536, episodic return=2401.76220703125\n", + "global step=25157632, episodic return=224.12985229492188\n", + "global step=25157632, episodic return=1704.22998046875\n", + "global step=25159680, episodic return=849.5358276367188\n", + "global step=25159680, episodic return=472.6976623535156\n", + "global step=25161728, episodic return=234.40728759765625\n", + "global step=25161728, episodic return=1999.8873291015625\n", + "global step=25161728, episodic return=1569.5614013671875\n", + "global step=25163776, episodic return=2433.03173828125\n", + "global step=25163776, episodic return=2406.76318359375\n", + "global step=25163776, episodic return=2422.5234375\n", + "global step=25163776, episodic return=2301.698974609375\n", + "global step=25165824, episodic return=204.0257568359375\n", + "global step=25165824, episodic return=2429.100830078125\n", + "global step=25165824, episodic return=434.7633056640625\n", + "global step=25165824, episodic return=2253.40771484375\n", + "global step=25167872, episodic return=317.010498046875\n", + "global step=25169920, episodic return=2315.556884765625\n", + "global step=25169920, episodic return=1950.07470703125\n", + "global step=25169920, episodic return=166.51556396484375\n", + "global step=25169920, episodic return=2371.258056640625\n", + "global step=25171968, episodic return=2420.50439453125\n", + "global step=25174016, episodic return=2426.650390625\n", + "global step=25176064, episodic return=1411.560302734375\n", + "global step=25178112, episodic return=2444.522216796875\n", + "global step=25178112, episodic return=589.3198852539062\n", + "global step=25180160, episodic return=616.7265625\n", + "global step=25180160, episodic return=2404.86279296875\n", + "global step=25182208, episodic return=175.4826202392578\n", + "global step=25182208, episodic return=2329.85791015625\n", + "global step=25184256, episodic return=1784.1351318359375\n", + "global step=25184256, episodic return=527.7178955078125\n", + "global step=25184256, episodic return=294.9178161621094\n", + "global step=25184256, episodic return=346.51324462890625\n", + "global step=25186304, episodic return=2391.0439453125\n", + "global step=25186304, episodic return=26.398273468017578\n", + "global step=25186304, episodic return=2211.35986328125\n", + "global step=25186304, episodic return=2418.63134765625\n", + "global step=25190400, episodic return=2420.68212890625\n", + "global step=25194496, episodic return=2342.66748046875\n", + "global step=25194496, episodic return=2370.37255859375\n", + "global step=25194496, episodic return=2379.840087890625\n", + "global step=25194496, episodic return=2439.246337890625\n", + "global step=25194496, episodic return=2359.93798828125\n", + "global step=25196544, episodic return=2404.392578125\n", + "global step=25196544, episodic return=1503.0006103515625\n", + "global step=25196544, episodic return=201.1077423095703\n", + "global step=25198592, episodic return=1351.7796630859375\n", + "global step=25200640, episodic return=2411.56591796875\n", + "global step=25200640, episodic return=2355.211181640625\n", + "global step=25200640, episodic return=191.53903198242188\n", + "global step=25200640, episodic return=404.1084289550781\n", + "global step=25204736, episodic return=2413.486083984375\n", + "global step=25204736, episodic return=2344.1708984375\n", + "global step=25204736, episodic return=2351.128173828125\n", + "global step=25204736, episodic return=2474.57763671875\n", + "global step=25206784, episodic return=2448.45068359375\n", + "global step=25208832, episodic return=2333.184814453125\n", + "global step=25208832, episodic return=1326.032958984375\n", + "global step=25208832, episodic return=2378.84521484375\n", + "global step=25208832, episodic return=2415.310302734375\n", + "global step=25210880, episodic return=2435.745849609375\n", + "global step=25210880, episodic return=2469.030517578125\n", + "global step=25212928, episodic return=2362.428955078125\n", + "global step=25212928, episodic return=2350.94384765625\n", + "global step=25212928, episodic return=1784.2406005859375\n", + "global step=25212928, episodic return=2435.420166015625\n", + "global step=25212928, episodic return=159.53648376464844\n", + "global step=25212928, episodic return=168.91329956054688\n", + "global step=25212928, episodic return=2446.47705078125\n", + "global step=25214976, episodic return=1194.3870849609375\n", + "global step=25214976, episodic return=189.31272888183594\n", + "global step=25214976, episodic return=2408.67626953125\n", + "global step=25214976, episodic return=2389.7490234375\n", + "global step=25214976, episodic return=1772.597900390625\n", + "global step=25214976, episodic return=2376.05078125\n", + "global step=25217024, episodic return=2419.039794921875\n", + "global step=25217024, episodic return=228.34906005859375\n", + "global step=25217024, episodic return=849.30615234375\n", + "global step=25217024, episodic return=2165.461181640625\n", + "global step=25219072, episodic return=180.96327209472656\n", + "global step=25221120, episodic return=1694.8818359375\n", + "global step=25221120, episodic return=2443.406005859375\n", + "global step=25221120, episodic return=2407.322021484375\n", + "global step=25223168, episodic return=1496.145263671875\n", + "global step=25223168, episodic return=1136.5794677734375\n", + "global step=25223168, episodic return=223.7325439453125\n", + "global step=25223168, episodic return=2376.202880859375\n", + "global step=25223168, episodic return=2374.86279296875\n", + "global step=25223168, episodic return=2474.00146484375\n", + "global step=25225216, episodic return=2460.703369140625\n", + "global step=25225216, episodic return=2420.491943359375\n", + "global step=25227264, episodic return=1389.7340087890625\n", + "global step=25231360, episodic return=1630.95458984375\n", + "global step=25231360, episodic return=258.6778869628906\n", + "global step=25233408, episodic return=753.1270751953125\n", + "global step=25233408, episodic return=1496.764404296875\n", + "global step=25233408, episodic return=204.1733856201172\n", + "global step=25233408, episodic return=2386.703369140625\n", + "global step=25233408, episodic return=188.62185668945312\n", + "global step=25235456, episodic return=2413.512939453125\n", + "global step=25237504, episodic return=2208.93115234375\n", + "global step=25237504, episodic return=2394.49365234375\n", + "global step=25239552, episodic return=2389.74755859375\n", + "global step=25241600, episodic return=1851.7069091796875\n", + "global step=25241600, episodic return=2325.12060546875\n", + "global step=25241600, episodic return=2372.369140625\n", + "global step=25243648, episodic return=1868.3858642578125\n", + "global step=25245696, episodic return=1147.2198486328125\n", + "global step=25245696, episodic return=2409.490966796875\n", + "global step=25245696, episodic return=2377.9609375\n", + "global step=25247744, episodic return=2375.951904296875\n", + "global step=25249792, episodic return=2397.86376953125\n", + "global step=25251840, episodic return=2396.18115234375\n", + "global step=25253888, episodic return=1841.4422607421875\n", + "global step=25253888, episodic return=2375.2998046875\n", + "global step=25253888, episodic return=2355.750732421875\n", + "global step=25253888, episodic return=2286.99169921875\n", + "global step=25255936, episodic return=2373.3037109375\n", + "global step=25255936, episodic return=199.47317504882812\n", + "global step=25255936, episodic return=2330.733154296875\n", + "global step=25257984, episodic return=2391.00927734375\n", + "global step=25257984, episodic return=2391.248046875\n", + "global step=25257984, episodic return=1808.826171875\n", + "global step=25260032, episodic return=2448.4150390625\n", + "global step=25260032, episodic return=2315.221923828125\n", + "global step=25264128, episodic return=2423.910400390625\n", + "global step=25266176, episodic return=2415.816162109375\n", + "global step=25266176, episodic return=2380.905517578125\n", + "global step=25266176, episodic return=2379.4140625\n", + "global step=25268224, episodic return=39.84810256958008\n", + "global step=25268224, episodic return=2243.76416015625\n", + "global step=25270272, episodic return=224.40850830078125\n", + "global step=25270272, episodic return=1612.7791748046875\n", + "global step=25270272, episodic return=2417.170166015625\n", + "global step=25272320, episodic return=2427.395263671875\n", + "global step=25272320, episodic return=2379.397216796875\n", + "global step=25276416, episodic return=2397.016357421875\n", + "global step=25276416, episodic return=2323.562744140625\n", + "global step=25278464, episodic return=623.4109497070312\n", + "global step=25280512, episodic return=264.2361755371094\n", + "global step=25282560, episodic return=2376.685546875\n", + "global step=25282560, episodic return=2414.631103515625\n", + "global step=25282560, episodic return=2385.703125\n", + "global step=25284608, episodic return=2404.140869140625\n", + "global step=25284608, episodic return=2431.266845703125\n", + "global step=25286656, episodic return=2369.8984375\n", + "global step=25288704, episodic return=2293.399658203125\n", + "global step=25290752, episodic return=2314.580322265625\n", + "global step=25290752, episodic return=2445.14990234375\n", + "global step=25290752, episodic return=1774.7783203125\n", + "global step=25290752, episodic return=2420.074462890625\n", + "global step=25292800, episodic return=2270.281005859375\n", + "global step=25292800, episodic return=2254.28564453125\n", + "global step=25292800, episodic return=2300.919189453125\n", + "global step=25294848, episodic return=2417.228271484375\n", + "global step=25294848, episodic return=2411.70166015625\n", + "global step=25294848, episodic return=2418.803955078125\n", + "global step=25294848, episodic return=2342.352294921875\n", + "global step=25296896, episodic return=2410.713623046875\n", + "global step=25296896, episodic return=2277.333251953125\n", + "global step=25296896, episodic return=2395.2802734375\n", + "global step=25296896, episodic return=2379.24658203125\n", + "global step=25298944, episodic return=2378.87255859375\n", + "global step=25298944, episodic return=2371.2099609375\n", + "global step=25300992, episodic return=2462.244873046875\n", + "global step=25300992, episodic return=2362.443115234375\n", + "global step=25300992, episodic return=228.2218017578125\n", + "global step=25303040, episodic return=2307.10400390625\n", + "global step=25303040, episodic return=2428.724365234375\n", + "global step=25303040, episodic return=2394.487060546875\n", + "global step=25303040, episodic return=2273.07470703125\n", + "global step=25303040, episodic return=2425.382080078125\n", + "global step=25303040, episodic return=1009.979736328125\n", + "global step=25305088, episodic return=2438.72021484375\n", + "global step=25305088, episodic return=2409.39892578125\n", + "global step=25305088, episodic return=2370.9033203125\n", + "global step=25305088, episodic return=2380.198486328125\n", + "global step=25305088, episodic return=2319.505859375\n", + "global step=25307136, episodic return=2441.6748046875\n", + "global step=25307136, episodic return=2385.968017578125\n", + "global step=25309184, episodic return=2382.962646484375\n", + "global step=25309184, episodic return=2354.92529296875\n", + "global step=25315328, episodic return=2379.7626953125\n", + "global step=25315328, episodic return=323.9561767578125\n", + "global step=25315328, episodic return=2381.93212890625\n", + "global step=25317376, episodic return=2367.201416015625\n", + "global step=25317376, episodic return=2355.167724609375\n", + "global step=25319424, episodic return=2411.528564453125\n", + "global step=25319424, episodic return=2006.784912109375\n", + "global step=25321472, episodic return=59.036285400390625\n", + "global step=25323520, episodic return=2446.845703125\n", + "global step=25323520, episodic return=1397.9921875\n", + "global step=25325568, episodic return=2381.87255859375\n", + "global step=25327616, episodic return=2434.041748046875\n", + "global step=25327616, episodic return=2358.909912109375\n", + "global step=25327616, episodic return=2299.35888671875\n", + "global step=25329664, episodic return=2179.01904296875\n", + "global step=25329664, episodic return=2460.3427734375\n", + "global step=25329664, episodic return=2345.34130859375\n", + "global step=25329664, episodic return=64.9263687133789\n", + "global step=25329664, episodic return=2379.0966796875\n", + "global step=25329664, episodic return=2367.560546875\n", + "global step=25329664, episodic return=2398.718505859375\n", + "global step=25329664, episodic return=2364.542236328125\n", + "global step=25331712, episodic return=2429.54296875\n", + "global step=25333760, episodic return=2384.279296875\n", + "global step=25333760, episodic return=2435.9921875\n", + "global step=25335808, episodic return=2403.072998046875\n", + "global step=25337856, episodic return=2379.504638671875\n", + "global step=25337856, episodic return=2403.593017578125\n", + "global step=25337856, episodic return=2406.638916015625\n", + "global step=25337856, episodic return=2420.037841796875\n", + "global step=25337856, episodic return=2291.347900390625\n", + "global step=25337856, episodic return=2381.15771484375\n", + "global step=25339904, episodic return=1974.299560546875\n", + "global step=25339904, episodic return=2385.026611328125\n", + "global step=25344000, episodic return=2396.592041015625\n", + "global step=25344000, episodic return=2390.5224609375\n", + "global step=25344000, episodic return=2389.464111328125\n", + "global step=25344000, episodic return=531.353515625\n", + "global step=25344000, episodic return=2290.150146484375\n", + "global step=25344000, episodic return=2385.047119140625\n", + "global step=25344000, episodic return=2438.57373046875\n", + "global step=25344000, episodic return=2420.65673828125\n", + "global step=25346048, episodic return=2432.69677734375\n", + "global step=25346048, episodic return=848.4171142578125\n", + "global step=25348096, episodic return=1601.99267578125\n", + "global step=25348096, episodic return=2382.789794921875\n", + "global step=25348096, episodic return=2433.177001953125\n", + "global step=25350144, episodic return=1960.7183837890625\n", + "global step=25350144, episodic return=2409.796875\n", + "global step=25352192, episodic return=353.0318603515625\n", + "global step=25354240, episodic return=2310.679443359375\n", + "global step=25354240, episodic return=2427.980712890625\n", + "global step=25354240, episodic return=2441.033203125\n", + "global step=25354240, episodic return=2446.05126953125\n", + "global step=25354240, episodic return=2407.231689453125\n", + "global step=25360384, episodic return=2266.32861328125\n", + "global step=25360384, episodic return=2405.389404296875\n", + "global step=25360384, episodic return=2135.134521484375\n", + "global step=25360384, episodic return=213.3906707763672\n", + "global step=25362432, episodic return=2397.092529296875\n", + "global step=25362432, episodic return=2401.47412109375\n", + "global step=25362432, episodic return=2446.512451171875\n", + "global step=25362432, episodic return=2378.2783203125\n", + "global step=25364480, episodic return=2405.61669921875\n", + "global step=25364480, episodic return=2455.802734375\n", + "global step=25364480, episodic return=2376.064208984375\n", + "global step=25364480, episodic return=2294.047119140625\n", + "global step=25368576, episodic return=284.0048828125\n", + "global step=25368576, episodic return=2362.229736328125\n", + "global step=25370624, episodic return=1845.186279296875\n", + "global step=25372672, episodic return=2346.2109375\n", + "global step=25372672, episodic return=2359.804931640625\n", + "global step=25374720, episodic return=2427.541748046875\n", + "global step=25374720, episodic return=2361.194580078125\n", + "global step=25376768, episodic return=2348.75927734375\n", + "global step=25376768, episodic return=2400.793212890625\n", + "global step=25376768, episodic return=2382.95068359375\n", + "global step=25376768, episodic return=2376.394287109375\n", + "global step=25378816, episodic return=274.4342346191406\n", + "global step=25380864, episodic return=2345.409912109375\n", + "global step=25380864, episodic return=2381.413818359375\n", + "global step=25380864, episodic return=2353.281494140625\n", + "global step=25380864, episodic return=2371.5830078125\n", + "global step=25380864, episodic return=2296.4453125\n", + "global step=25382912, episodic return=2387.302490234375\n", + "global step=25382912, episodic return=2378.4921875\n", + "global step=25382912, episodic return=2396.97802734375\n", + "global step=25384960, episodic return=2381.645263671875\n", + "global step=25384960, episodic return=2433.138427734375\n", + "global step=25387008, episodic return=2390.029296875\n", + "global step=25387008, episodic return=2342.558349609375\n", + "global step=25387008, episodic return=2450.019287109375\n", + "global step=25389056, episodic return=2322.947265625\n", + "global step=25391104, episodic return=2429.3466796875\n", + "global step=25391104, episodic return=2335.048583984375\n", + "global step=25391104, episodic return=2418.22216796875\n", + "global step=25391104, episodic return=2306.5068359375\n", + "global step=25391104, episodic return=2355.573974609375\n", + "global step=25391104, episodic return=2439.22021484375\n", + "global step=25393152, episodic return=2397.9716796875\n", + "global step=25393152, episodic return=2277.5458984375\n", + "global step=25393152, episodic return=2372.931884765625\n", + "global step=25393152, episodic return=2242.757080078125\n", + "global step=25395200, episodic return=1698.9422607421875\n", + "global step=25395200, episodic return=2402.68603515625\n", + "global step=25395200, episodic return=2416.939208984375\n", + "global step=25395200, episodic return=1179.0704345703125\n", + "global step=25397248, episodic return=2337.957763671875\n", + "global step=25397248, episodic return=2376.16455078125\n", + "global step=25397248, episodic return=2445.215576171875\n", + "global step=25397248, episodic return=2410.988037109375\n", + "global step=25397248, episodic return=1356.927978515625\n", + "global step=25397248, episodic return=2450.641845703125\n", + "global step=25399296, episodic return=2421.370361328125\n", + "global step=25399296, episodic return=340.8169250488281\n", + "global step=25399296, episodic return=2252.76025390625\n", + "global step=25401344, episodic return=2352.906494140625\n", + "global step=25401344, episodic return=2350.2294921875\n", + "global step=25403392, episodic return=2449.007568359375\n", + "global step=25403392, episodic return=2397.408203125\n", + "global step=25403392, episodic return=2380.9111328125\n", + "global step=25405440, episodic return=468.0295715332031\n", + "global step=25405440, episodic return=2373.609130859375\n", + "global step=25405440, episodic return=2383.22705078125\n", + "global step=25407488, episodic return=993.6149291992188\n", + "global step=25407488, episodic return=2411.7138671875\n", + "global step=25407488, episodic return=2412.459716796875\n", + "global step=25411584, episodic return=2372.025146484375\n", + "global step=25413632, episodic return=2208.942626953125\n", + "global step=25413632, episodic return=2360.904541015625\n", + "global step=25415680, episodic return=2421.011474609375\n", + "global step=25417728, episodic return=2277.787109375\n", + "global step=25419776, episodic return=2338.203857421875\n", + "global step=25421824, episodic return=2387.884033203125\n", + "global step=25423872, episodic return=2368.44287109375\n", + "global step=25423872, episodic return=1351.9422607421875\n", + "global step=25423872, episodic return=2420.530517578125\n", + "global step=25425920, episodic return=2392.823974609375\n", + "global step=25425920, episodic return=228.7355499267578\n", + "global step=25425920, episodic return=2381.531005859375\n", + "global step=25425920, episodic return=2395.933349609375\n", + "global step=25427968, episodic return=2339.060302734375\n", + "global step=25430016, episodic return=227.33221435546875\n", + "global step=25432064, episodic return=2367.32861328125\n", + "global step=25432064, episodic return=2377.1337890625\n", + "global step=25436160, episodic return=2401.067626953125\n", + "global step=25438208, episodic return=1257.861572265625\n", + "global step=25440256, episodic return=2392.334716796875\n", + "global step=25440256, episodic return=2402.02734375\n", + "global step=25440256, episodic return=2087.2626953125\n", + "global step=25442304, episodic return=2408.14306640625\n", + "global step=25442304, episodic return=2395.40380859375\n", + "global step=25444352, episodic return=1227.4334716796875\n", + "global step=25444352, episodic return=2352.769287109375\n", + "global step=25446400, episodic return=2358.67138671875\n", + "global step=25446400, episodic return=2370.307861328125\n", + "global step=25448448, episodic return=2318.589111328125\n", + "global step=25448448, episodic return=2401.713623046875\n", + "global step=25448448, episodic return=2344.448974609375\n", + "global step=25450496, episodic return=2277.142578125\n", + "global step=25450496, episodic return=2389.80322265625\n", + "global step=25450496, episodic return=2421.53076171875\n", + "global step=25450496, episodic return=1947.751220703125\n", + "global step=25450496, episodic return=2411.7041015625\n", + "global step=25452544, episodic return=27.967742919921875\n", + "global step=25452544, episodic return=52.631351470947266\n", + "global step=25452544, episodic return=2399.91162109375\n", + "global step=25452544, episodic return=2319.07275390625\n", + "global step=25454592, episodic return=2303.749755859375\n", + "global step=25456640, episodic return=2404.9580078125\n", + "global step=25458688, episodic return=60.34783935546875\n", + "global step=25458688, episodic return=2271.6552734375\n", + "global step=25458688, episodic return=2314.70654296875\n", + "global step=25458688, episodic return=2440.57421875\n", + "global step=25458688, episodic return=2408.6376953125\n", + "global step=25460736, episodic return=1692.2039794921875\n", + "global step=25460736, episodic return=2333.52294921875\n", + "global step=25460736, episodic return=2364.68603515625\n", + "global step=25462784, episodic return=2407.489990234375\n", + "global step=25462784, episodic return=2401.049072265625\n", + "global step=25464832, episodic return=2339.255859375\n", + "global step=25464832, episodic return=2380.111572265625\n", + "global step=25466880, episodic return=2281.481201171875\n", + "global step=25468928, episodic return=2342.836669921875\n", + "global step=25470976, episodic return=2373.760009765625\n", + "global step=25470976, episodic return=2345.121337890625\n", + "global step=25470976, episodic return=2429.0\n", + "global step=25470976, episodic return=2350.41162109375\n", + "global step=25473024, episodic return=1690.33251953125\n", + "global step=25473024, episodic return=2308.001953125\n", + "global step=25473024, episodic return=2386.716064453125\n", + "global step=25475072, episodic return=2385.147705078125\n", + "global step=25477120, episodic return=313.85015869140625\n", + "global step=25477120, episodic return=2399.341796875\n", + "global step=25479168, episodic return=2428.33251953125\n", + "global step=25481216, episodic return=2385.736328125\n", + "global step=25481216, episodic return=2342.76025390625\n", + "global step=25481216, episodic return=2402.348876953125\n", + "global step=25483264, episodic return=2342.9404296875\n", + "global step=25483264, episodic return=2303.174560546875\n", + "global step=25487360, episodic return=2090.293212890625\n", + "global step=25487360, episodic return=2322.33837890625\n", + "global step=25491456, episodic return=2396.881591796875\n", + "global step=25491456, episodic return=2429.135498046875\n", + "global step=25491456, episodic return=2377.28759765625\n", + "global step=25493504, episodic return=2409.4541015625\n", + "global step=25493504, episodic return=2400.637451171875\n", + "global step=25495552, episodic return=250.29156494140625\n", + "global step=25495552, episodic return=2157.520751953125\n", + "global step=25497600, episodic return=2494.662109375\n", + "global step=25499648, episodic return=2381.60888671875\n", + "global step=25499648, episodic return=2413.96435546875\n", + "global step=25499648, episodic return=2035.8385009765625\n", + "global step=25501696, episodic return=2288.20556640625\n", + "global step=25503744, episodic return=2394.51318359375\n", + "global step=25505792, episodic return=51.53548049926758\n", + "global step=25505792, episodic return=2363.405517578125\n", + "global step=25507840, episodic return=2384.079833984375\n", + "global step=25507840, episodic return=2354.209716796875\n", + "global step=25507840, episodic return=2241.290771484375\n", + "global step=25509888, episodic return=2378.970458984375\n", + "global step=25509888, episodic return=2394.54736328125\n", + "global step=25509888, episodic return=2425.7734375\n", + "global step=25509888, episodic return=2411.79248046875\n", + "global step=25509888, episodic return=2352.198974609375\n", + "global step=25509888, episodic return=2379.75390625\n", + "global step=25509888, episodic return=2340.435546875\n", + "global step=25511936, episodic return=2311.378173828125\n", + "global step=25511936, episodic return=2421.167724609375\n", + "global step=25511936, episodic return=2390.1220703125\n", + "global step=25516032, episodic return=2319.62744140625\n", + "global step=25516032, episodic return=2242.894287109375\n", + "global step=25516032, episodic return=2305.011962890625\n", + "global step=25518080, episodic return=2327.26220703125\n", + "global step=25518080, episodic return=2394.3203125\n", + "global step=25524224, episodic return=2350.52197265625\n", + "global step=25524224, episodic return=2406.5302734375\n", + "global step=25524224, episodic return=2367.017578125\n", + "global step=25528320, episodic return=2393.85107421875\n", + "global step=25528320, episodic return=2039.539794921875\n", + "global step=25530368, episodic return=604.7131958007812\n", + "global step=25530368, episodic return=2337.4130859375\n", + "global step=25530368, episodic return=1605.2020263671875\n", + "global step=25530368, episodic return=2426.701171875\n", + "global step=25530368, episodic return=2442.55859375\n", + "global step=25532416, episodic return=2452.383056640625\n", + "global step=25532416, episodic return=2341.01806640625\n", + "global step=25536512, episodic return=24.345420837402344\n", + "global step=25536512, episodic return=2351.6982421875\n", + "global step=25538560, episodic return=2312.495849609375\n", + "global step=25538560, episodic return=2317.171875\n", + "global step=25538560, episodic return=2401.94384765625\n", + "global step=25538560, episodic return=2408.82958984375\n", + "global step=25538560, episodic return=2300.151123046875\n", + "global step=25540608, episodic return=2311.12109375\n", + "global step=25546752, episodic return=2241.00634765625\n", + "global step=25546752, episodic return=1550.8121337890625\n", + "global step=25548800, episodic return=2360.454833984375\n", + "global step=25548800, episodic return=2291.796875\n", + "global step=25548800, episodic return=1332.5670166015625\n", + "global step=25550848, episodic return=2385.48876953125\n", + "global step=25550848, episodic return=2022.77392578125\n", + "global step=25550848, episodic return=2259.518798828125\n", + "global step=25550848, episodic return=2376.080322265625\n", + "global step=25550848, episodic return=2270.803466796875\n", + "global step=25552896, episodic return=2332.594482421875\n", + "global step=25552896, episodic return=2300.29736328125\n", + "global step=25552896, episodic return=2339.573974609375\n", + "global step=25552896, episodic return=2092.05029296875\n", + "global step=25554944, episodic return=2389.239013671875\n", + "global step=25556992, episodic return=2303.4384765625\n", + "global step=25559040, episodic return=2381.094482421875\n", + "global step=25559040, episodic return=2370.161865234375\n", + "global step=25561088, episodic return=2450.857666015625\n", + "global step=25565184, episodic return=1906.6685791015625\n", + "global step=25567232, episodic return=2430.158203125\n", + "global step=25567232, episodic return=2425.8134765625\n", + "global step=25569280, episodic return=2380.78173828125\n", + "global step=25571328, episodic return=2414.579345703125\n", + "global step=25571328, episodic return=2412.630615234375\n", + "global step=25571328, episodic return=2432.664306640625\n", + "global step=25573376, episodic return=2338.604736328125\n", + "global step=25573376, episodic return=2395.05810546875\n", + "global step=25573376, episodic return=532.751220703125\n", + "global step=25573376, episodic return=2343.3486328125\n", + "global step=25575424, episodic return=2415.935546875\n", + "global step=25575424, episodic return=2320.17138671875\n", + "global step=25577472, episodic return=2394.9462890625\n", + "global step=25577472, episodic return=2322.1591796875\n", + "global step=25579520, episodic return=2360.297119140625\n", + "global step=25579520, episodic return=2356.41796875\n", + "global step=25581568, episodic return=843.910888671875\n", + "global step=25581568, episodic return=2330.554931640625\n", + "global step=25583616, episodic return=2283.025146484375\n", + "global step=25583616, episodic return=2405.71142578125\n", + "global step=25585664, episodic return=2341.3564453125\n", + "global step=25585664, episodic return=2378.253662109375\n", + "global step=25585664, episodic return=2401.542236328125\n", + "global step=25585664, episodic return=751.0542602539062\n", + "global step=25585664, episodic return=2350.84765625\n", + "global step=25587712, episodic return=2064.0068359375\n", + "global step=25587712, episodic return=2379.445068359375\n", + "global step=25589760, episodic return=2402.15869140625\n", + "global step=25589760, episodic return=2405.752197265625\n", + "global step=25591808, episodic return=490.8644104003906\n", + "global step=25591808, episodic return=2374.025634765625\n", + "global step=25591808, episodic return=2401.176513671875\n", + "global step=25591808, episodic return=2396.614501953125\n", + "global step=25593856, episodic return=2405.136962890625\n", + "global step=25593856, episodic return=2280.665283203125\n", + "global step=25593856, episodic return=2316.825439453125\n", + "global step=25595904, episodic return=2390.39892578125\n", + "global step=25595904, episodic return=2455.718017578125\n", + "global step=25595904, episodic return=2367.5888671875\n", + "global step=25595904, episodic return=2452.641357421875\n", + "global step=25595904, episodic return=2350.87451171875\n", + "global step=25595904, episodic return=2372.71875\n", + "global step=25597952, episodic return=2377.423828125\n", + "global step=25597952, episodic return=2408.6611328125\n", + "global step=25600000, episodic return=2296.24169921875\n", + "global step=25602048, episodic return=2426.340087890625\n", + "global step=25604096, episodic return=2340.956787109375\n", + "global step=25604096, episodic return=2385.31494140625\n", + "global step=25604096, episodic return=1997.4803466796875\n", + "global step=25604096, episodic return=2453.2255859375\n", + "global step=25604096, episodic return=2405.454345703125\n", + "global step=25606144, episodic return=721.7755126953125\n", + "global step=25606144, episodic return=2381.905029296875\n", + "global step=25606144, episodic return=1786.9722900390625\n", + "global step=25606144, episodic return=2391.508056640625\n", + "global step=25612288, episodic return=2233.62353515625\n", + "global step=25612288, episodic return=2389.915771484375\n", + "global step=25612288, episodic return=2409.497314453125\n", + "global step=25612288, episodic return=2327.419921875\n", + "global step=25612288, episodic return=2420.499755859375\n", + "global step=25614336, episodic return=2370.7197265625\n", + "global step=25614336, episodic return=2361.58642578125\n", + "global step=25616384, episodic return=2266.46875\n", + "global step=25618432, episodic return=2368.410400390625\n", + "global step=25620480, episodic return=2328.253173828125\n", + "global step=25622528, episodic return=2415.223388671875\n", + "global step=25622528, episodic return=242.04476928710938\n", + "global step=25622528, episodic return=2383.331298828125\n", + "global step=25622528, episodic return=2255.19140625\n", + "global step=25624576, episodic return=2383.307861328125\n", + "global step=25624576, episodic return=2380.245361328125\n", + "global step=25626624, episodic return=2407.22509765625\n", + "global step=25626624, episodic return=2337.3203125\n", + "global step=25626624, episodic return=2461.58837890625\n", + "global step=25628672, episodic return=2325.423828125\n", + "global step=25628672, episodic return=2380.082763671875\n", + "global step=25628672, episodic return=2316.4384765625\n", + "global step=25628672, episodic return=2327.9677734375\n", + "global step=25632768, episodic return=2411.35595703125\n", + "global step=25632768, episodic return=2431.383056640625\n", + "global step=25632768, episodic return=2428.342041015625\n", + "global step=25632768, episodic return=423.8802490234375\n", + "global step=25636864, episodic return=1502.813720703125\n", + "global step=25640960, episodic return=2366.092041015625\n", + "global step=25643008, episodic return=2384.083251953125\n", + "global step=25643008, episodic return=2374.048095703125\n", + "global step=25643008, episodic return=2340.697509765625\n", + "global step=25643008, episodic return=2274.05517578125\n", + "global step=25643008, episodic return=2354.980224609375\n", + "global step=25643008, episodic return=2383.30029296875\n", + "global step=25645056, episodic return=2432.3173828125\n", + "global step=25645056, episodic return=253.8773193359375\n", + "global step=25645056, episodic return=2455.653564453125\n", + "global step=25647104, episodic return=320.8396911621094\n", + "global step=25647104, episodic return=2453.842041015625\n", + "global step=25647104, episodic return=2324.626708984375\n", + "global step=25647104, episodic return=2420.621826171875\n", + "global step=25651200, episodic return=2472.8095703125\n", + "global step=25653248, episodic return=2391.212890625\n", + "global step=25653248, episodic return=2368.1142578125\n", + "global step=25655296, episodic return=1970.1905517578125\n", + "global step=25657344, episodic return=2390.130126953125\n", + "global step=25657344, episodic return=2492.748046875\n", + "global step=25657344, episodic return=2390.996337890625\n", + "global step=25659392, episodic return=1881.1036376953125\n", + "global step=25663488, episodic return=2441.57568359375\n", + "global step=25663488, episodic return=2335.057373046875\n", + "global step=25669632, episodic return=343.09857177734375\n", + "global step=25669632, episodic return=2347.387451171875\n", + "global step=25671680, episodic return=2348.31298828125\n", + "global step=25671680, episodic return=761.884033203125\n", + "global step=25671680, episodic return=897.9945678710938\n", + "global step=25671680, episodic return=2396.071533203125\n", + "global step=25671680, episodic return=2416.2158203125\n", + "global step=25673728, episodic return=2346.843994140625\n", + "global step=25673728, episodic return=2416.791259765625\n", + "global step=25675776, episodic return=2433.321533203125\n", + "global step=25675776, episodic return=2348.83154296875\n", + "global step=25677824, episodic return=2365.650146484375\n", + "global step=25677824, episodic return=2254.8212890625\n", + "global step=25677824, episodic return=2417.808349609375\n", + "global step=25679872, episodic return=2407.02490234375\n", + "global step=25679872, episodic return=2503.168701171875\n", + "global step=25679872, episodic return=2380.824462890625\n", + "global step=25681920, episodic return=2464.982177734375\n", + "global step=25681920, episodic return=2399.589599609375\n", + "global step=25681920, episodic return=2375.827392578125\n", + "global step=25683968, episodic return=27.50386619567871\n", + "global step=25683968, episodic return=218.17623901367188\n", + "global step=25683968, episodic return=2360.985595703125\n", + "global step=25683968, episodic return=2365.59326171875\n", + "global step=25686016, episodic return=2211.306640625\n", + "global step=25686016, episodic return=2388.021484375\n", + "global step=25686016, episodic return=2397.77783203125\n", + "global step=25688064, episodic return=2353.2177734375\n", + "global step=25688064, episodic return=2419.738037109375\n", + "global step=25688064, episodic return=2396.408447265625\n", + "global step=25688064, episodic return=2392.24560546875\n", + "global step=25688064, episodic return=2427.41357421875\n", + "global step=25690112, episodic return=2299.668701171875\n", + "global step=25692160, episodic return=190.82228088378906\n", + "global step=25692160, episodic return=2336.2470703125\n", + "global step=25692160, episodic return=2412.24365234375\n", + "global step=25692160, episodic return=2412.051025390625\n", + "global step=25694208, episodic return=2408.26123046875\n", + "global step=25694208, episodic return=2415.88720703125\n", + "global step=25694208, episodic return=2439.326171875\n", + "global step=25696256, episodic return=2390.155029296875\n", + "global step=25696256, episodic return=2352.8662109375\n", + "global step=25696256, episodic return=2387.910888671875\n", + "global step=25698304, episodic return=2310.638671875\n", + "global step=25698304, episodic return=2426.309814453125\n", + "global step=25700352, episodic return=2370.07763671875\n", + "global step=25700352, episodic return=2307.20947265625\n", + "global step=25702400, episodic return=2401.043212890625\n", + "global step=25702400, episodic return=2287.89501953125\n", + "global step=25702400, episodic return=2394.263427734375\n", + "global step=25702400, episodic return=100.88984680175781\n", + "global step=25704448, episodic return=467.9676513671875\n", + "global step=25704448, episodic return=1230.4486083984375\n", + "global step=25704448, episodic return=2388.2578125\n", + "global step=25704448, episodic return=1456.4058837890625\n", + "global step=25704448, episodic return=2456.62646484375\n", + "global step=25704448, episodic return=2359.457275390625\n", + "global step=25704448, episodic return=825.6453857421875\n", + "global step=25704448, episodic return=2375.403564453125\n", + "global step=25704448, episodic return=2381.608642578125\n", + "global step=25704448, episodic return=2385.186279296875\n", + "global step=25706496, episodic return=2390.77490234375\n", + "global step=25706496, episodic return=2414.01025390625\n", + "global step=25706496, episodic return=2411.46728515625\n", + "global step=25708544, episodic return=2410.24560546875\n", + "global step=25710592, episodic return=2190.5869140625\n", + "global step=25710592, episodic return=2400.167724609375\n", + "global step=25710592, episodic return=2413.8837890625\n", + "global step=25710592, episodic return=2285.436767578125\n", + "global step=25710592, episodic return=2416.474853515625\n", + "global step=25710592, episodic return=130.28176879882812\n", + "global step=25712640, episodic return=2362.961181640625\n", + "global step=25712640, episodic return=2321.753662109375\n", + "global step=25712640, episodic return=2335.392578125\n", + "global step=25714688, episodic return=2435.784423828125\n", + "global step=25714688, episodic return=2429.65625\n", + "global step=25716736, episodic return=2412.018310546875\n", + "global step=25716736, episodic return=2397.93359375\n", + "global step=25716736, episodic return=2367.499755859375\n", + "global step=25718784, episodic return=2379.8642578125\n", + "global step=25718784, episodic return=2410.9296875\n", + "global step=25720832, episodic return=601.446044921875\n", + "global step=25720832, episodic return=2431.528564453125\n", + "global step=25720832, episodic return=2249.461181640625\n", + "global step=25720832, episodic return=2323.64990234375\n", + "global step=25720832, episodic return=2404.68994140625\n", + "global step=25722880, episodic return=1430.56689453125\n", + "global step=25722880, episodic return=78.50262451171875\n", + "global step=25722880, episodic return=2449.979248046875\n", + "global step=25724928, episodic return=2300.313232421875\n", + "global step=25724928, episodic return=2397.69384765625\n", + "global step=25726976, episodic return=2306.117919921875\n", + "global step=25726976, episodic return=2406.306396484375\n", + "global step=25726976, episodic return=2407.30078125\n", + "global step=25726976, episodic return=2308.901611328125\n", + "global step=25729024, episodic return=2399.0380859375\n", + "global step=25729024, episodic return=2346.55615234375\n", + "global step=25731072, episodic return=2352.537109375\n", + "global step=25731072, episodic return=375.7813415527344\n", + "global step=25731072, episodic return=2419.700439453125\n", + "global step=25731072, episodic return=2394.237060546875\n", + "global step=25731072, episodic return=2419.056884765625\n", + "global step=25731072, episodic return=2434.7802734375\n", + "global step=25733120, episodic return=2385.71630859375\n", + "global step=25733120, episodic return=2374.289306640625\n", + "global step=25735168, episodic return=54.51475524902344\n", + "global step=25735168, episodic return=2384.01171875\n", + "global step=25737216, episodic return=2422.21142578125\n", + "global step=25737216, episodic return=2456.126953125\n", + "global step=25737216, episodic return=2383.957763671875\n", + "global step=25739264, episodic return=2381.26025390625\n", + "global step=25739264, episodic return=2324.343505859375\n", + "global step=25739264, episodic return=2471.142822265625\n", + "global step=25739264, episodic return=2338.1455078125\n", + "global step=25739264, episodic return=2423.97900390625\n", + "global step=25741312, episodic return=2349.660400390625\n", + "global step=25741312, episodic return=2412.2421875\n", + "global step=25743360, episodic return=2391.043212890625\n", + "global step=25743360, episodic return=2370.2861328125\n", + "global step=25743360, episodic return=2349.270263671875\n", + "global step=25743360, episodic return=2415.701416015625\n", + "global step=25743360, episodic return=2321.07763671875\n", + "global step=25743360, episodic return=2404.899658203125\n", + "global step=25745408, episodic return=2309.074951171875\n", + "global step=25745408, episodic return=2220.708740234375\n", + "global step=25745408, episodic return=748.6754150390625\n", + "global step=25745408, episodic return=2426.7294921875\n", + "global step=25745408, episodic return=204.68885803222656\n", + "global step=25745408, episodic return=2373.586669921875\n", + "global step=25747456, episodic return=2349.709716796875\n", + "global step=25747456, episodic return=2468.34912109375\n", + "global step=25749504, episodic return=2349.1962890625\n", + "global step=25751552, episodic return=2453.74853515625\n", + "global step=25751552, episodic return=2351.0615234375\n", + "global step=25751552, episodic return=2446.530029296875\n", + "global step=25753600, episodic return=2420.586669921875\n", + "global step=25753600, episodic return=2397.240478515625\n", + "global step=25753600, episodic return=2392.24609375\n", + "global step=25753600, episodic return=2431.061767578125\n", + "global step=25753600, episodic return=2320.866455078125\n", + "global step=25757696, episodic return=2378.355224609375\n", + "global step=25757696, episodic return=2358.15771484375\n", + "global step=25757696, episodic return=545.3099975585938\n", + "global step=25757696, episodic return=2439.068603515625\n", + "global step=25759744, episodic return=2455.038330078125\n", + "global step=25761792, episodic return=194.72152709960938\n", + "global step=25761792, episodic return=2358.6767578125\n", + "global step=25761792, episodic return=501.4093322753906\n", + "global step=25761792, episodic return=2413.0224609375\n", + "global step=25761792, episodic return=2217.878173828125\n", + "global step=25763840, episodic return=2335.740478515625\n", + "global step=25763840, episodic return=2325.82861328125\n", + "global step=25763840, episodic return=2429.07666015625\n", + "global step=25765888, episodic return=2450.76708984375\n", + "global step=25765888, episodic return=2411.55517578125\n", + "global step=25765888, episodic return=2426.034423828125\n", + "global step=25765888, episodic return=2384.1162109375\n", + "global step=25765888, episodic return=2475.36865234375\n", + "global step=25767936, episodic return=2374.26220703125\n", + "global step=25767936, episodic return=2397.6630859375\n", + "global step=25767936, episodic return=2374.786376953125\n", + "global step=25767936, episodic return=2386.7490234375\n", + "global step=25767936, episodic return=2255.244873046875\n", + "global step=25769984, episodic return=2421.98388671875\n", + "global step=25772032, episodic return=2418.09912109375\n", + "global step=25772032, episodic return=2406.895263671875\n", + "global step=25772032, episodic return=2406.896728515625\n", + "global step=25772032, episodic return=2384.728271484375\n", + "global step=25772032, episodic return=121.83907318115234\n", + "global step=25772032, episodic return=2407.75927734375\n", + "global step=25774080, episodic return=2352.448974609375\n", + "global step=25776128, episodic return=2430.261962890625\n", + "global step=25776128, episodic return=2412.7109375\n", + "global step=25778176, episodic return=2383.495361328125\n", + "global step=25778176, episodic return=2396.368896484375\n", + "global step=25778176, episodic return=2410.91064453125\n", + "global step=25780224, episodic return=2405.984130859375\n", + "global step=25780224, episodic return=2410.360595703125\n", + "global step=25780224, episodic return=854.2042236328125\n", + "global step=25782272, episodic return=2382.655517578125\n", + "global step=25782272, episodic return=2349.72998046875\n", + "global step=25784320, episodic return=2353.560302734375\n", + "global step=25784320, episodic return=2456.463623046875\n", + "global step=25784320, episodic return=2369.775146484375\n", + "global step=25784320, episodic return=2392.6328125\n", + "global step=25786368, episodic return=2418.728271484375\n", + "global step=25786368, episodic return=2376.06591796875\n", + "global step=25786368, episodic return=2417.492919921875\n", + "global step=25786368, episodic return=2427.167236328125\n", + "global step=25786368, episodic return=2298.915771484375\n", + "global step=25788416, episodic return=2349.419921875\n", + "global step=25788416, episodic return=2350.792724609375\n", + "global step=25788416, episodic return=2387.138916015625\n", + "global step=25790464, episodic return=2414.166748046875\n", + "global step=25790464, episodic return=1991.157470703125\n", + "global step=25792512, episodic return=2422.472900390625\n", + "global step=25796608, episodic return=2409.698974609375\n", + "global step=25796608, episodic return=2382.245361328125\n", + "global step=25796608, episodic return=2252.972412109375\n", + "global step=25798656, episodic return=2202.4833984375\n", + "global step=25798656, episodic return=2380.6240234375\n", + "global step=25798656, episodic return=2348.5771484375\n", + "global step=25800704, episodic return=1373.4014892578125\n", + "global step=25802752, episodic return=2392.183349609375\n", + "global step=25802752, episodic return=481.786865234375\n", + "global step=25802752, episodic return=2375.37353515625\n", + "global step=25804800, episodic return=2450.7587890625\n", + "global step=25804800, episodic return=2366.19580078125\n", + "global step=25808896, episodic return=2344.634765625\n", + "global step=25808896, episodic return=2396.225341796875\n", + "global step=25808896, episodic return=2372.11572265625\n", + "global step=25812992, episodic return=2297.207763671875\n", + "global step=25815040, episodic return=2394.984375\n", + "global step=25817088, episodic return=2379.39208984375\n", + "global step=25817088, episodic return=2365.256103515625\n", + "global step=25817088, episodic return=2405.088134765625\n", + "global step=25817088, episodic return=2394.04345703125\n", + "global step=25817088, episodic return=2471.735595703125\n", + "global step=25819136, episodic return=2439.545166015625\n", + "global step=25819136, episodic return=2434.6748046875\n", + "global step=25819136, episodic return=2417.755615234375\n", + "global step=25819136, episodic return=2353.929443359375\n", + "global step=25819136, episodic return=2344.62548828125\n", + "global step=25821184, episodic return=2389.5341796875\n", + "global step=25821184, episodic return=2345.566162109375\n", + "global step=25821184, episodic return=863.8273315429688\n", + "global step=25821184, episodic return=40.397483825683594\n", + "global step=25821184, episodic return=2451.741455078125\n", + "global step=25821184, episodic return=72.49249267578125\n", + "global step=25823232, episodic return=2331.03076171875\n", + "global step=25823232, episodic return=2378.798828125\n", + "global step=25823232, episodic return=2412.75830078125\n", + "global step=25825280, episodic return=1735.215087890625\n", + "global step=25829376, episodic return=2444.52880859375\n", + "global step=25829376, episodic return=2442.142578125\n", + "global step=25829376, episodic return=2260.09326171875\n", + "global step=25831424, episodic return=2348.071533203125\n", + "global step=25833472, episodic return=2410.168701171875\n", + "global step=25833472, episodic return=2409.44970703125\n", + "global step=25835520, episodic return=2415.1728515625\n", + "global step=25835520, episodic return=2474.791259765625\n", + "global step=25835520, episodic return=2361.123291015625\n", + "global step=25837568, episodic return=2382.97900390625\n", + "global step=25839616, episodic return=2399.952880859375\n", + "global step=25839616, episodic return=2337.291748046875\n", + "global step=25841664, episodic return=2394.0244140625\n", + "global step=25843712, episodic return=2437.91650390625\n", + "global step=25843712, episodic return=2393.58935546875\n", + "global step=25843712, episodic return=2365.2509765625\n", + "global step=25843712, episodic return=2441.894775390625\n", + "global step=25845760, episodic return=2409.29296875\n", + "global step=25845760, episodic return=2374.317626953125\n", + "global step=25845760, episodic return=1503.40576171875\n", + "global step=25845760, episodic return=2464.98486328125\n", + "global step=25847808, episodic return=2429.94677734375\n", + "global step=25847808, episodic return=2350.364013671875\n", + "global step=25847808, episodic return=2352.46728515625\n", + "global step=25847808, episodic return=2379.62451171875\n", + "global step=25847808, episodic return=2437.703369140625\n", + "global step=25849856, episodic return=2440.476806640625\n", + "global step=25849856, episodic return=668.769287109375\n", + "global step=25849856, episodic return=2449.011962890625\n", + "global step=25849856, episodic return=585.06787109375\n", + "global step=25851904, episodic return=2478.59912109375\n", + "global step=25851904, episodic return=2408.1123046875\n", + "global step=25851904, episodic return=2259.2568359375\n", + "global step=25851904, episodic return=2415.560302734375\n", + "global step=25853952, episodic return=2425.236083984375\n", + "global step=25853952, episodic return=2412.55029296875\n", + "global step=25858048, episodic return=149.55984497070312\n", + "global step=25858048, episodic return=2447.0966796875\n", + "global step=25858048, episodic return=54.45112609863281\n", + "global step=25860096, episodic return=1693.6064453125\n", + "global step=25860096, episodic return=2346.108154296875\n", + "global step=25862144, episodic return=2398.051025390625\n", + "global step=25864192, episodic return=1333.6923828125\n", + "global step=25864192, episodic return=2438.449462890625\n", + "global step=25866240, episodic return=2434.12109375\n", + "global step=25866240, episodic return=2444.509521484375\n", + "global step=25868288, episodic return=2325.68359375\n", + "global step=25868288, episodic return=2350.751708984375\n", + "global step=25870336, episodic return=2083.231689453125\n", + "global step=25870336, episodic return=488.4349365234375\n", + "global step=25870336, episodic return=1314.1571044921875\n", + "global step=25872384, episodic return=2391.217529296875\n", + "global step=25872384, episodic return=2408.5244140625\n", + "global step=25872384, episodic return=2464.21484375\n", + "global step=25874432, episodic return=2461.57080078125\n", + "global step=25876480, episodic return=2444.531494140625\n", + "global step=25876480, episodic return=2334.744384765625\n", + "global step=25876480, episodic return=2438.81494140625\n", + "global step=25878528, episodic return=2447.844482421875\n", + "global step=25878528, episodic return=2437.041259765625\n", + "global step=25878528, episodic return=2409.8486328125\n", + "global step=25878528, episodic return=2399.070556640625\n", + "global step=25880576, episodic return=2441.812744140625\n", + "global step=25880576, episodic return=2321.661865234375\n", + "global step=25880576, episodic return=2503.05810546875\n", + "global step=25882624, episodic return=2438.34423828125\n", + "global step=25882624, episodic return=2415.893310546875\n", + "global step=25882624, episodic return=2424.33984375\n", + "global step=25884672, episodic return=2438.5703125\n", + "global step=25884672, episodic return=2476.089111328125\n", + "global step=25886720, episodic return=2429.728759765625\n", + "global step=25886720, episodic return=2421.70166015625\n", + "global step=25886720, episodic return=2364.897216796875\n", + "global step=25888768, episodic return=2445.970703125\n", + "global step=25888768, episodic return=2333.52490234375\n", + "global step=25892864, episodic return=2326.525390625\n", + "global step=25894912, episodic return=2365.003173828125\n", + "global step=25894912, episodic return=2378.76708984375\n", + "global step=25894912, episodic return=2423.6474609375\n", + "global step=25894912, episodic return=2508.207275390625\n", + "global step=25896960, episodic return=2344.79345703125\n", + "global step=25896960, episodic return=2383.73486328125\n", + "global step=25896960, episodic return=2331.3525390625\n", + "global step=25896960, episodic return=2417.168212890625\n", + "global step=25896960, episodic return=2407.137939453125\n", + "global step=25896960, episodic return=2433.449462890625\n", + "global step=25896960, episodic return=2454.157958984375\n", + "global step=25899008, episodic return=2409.18994140625\n", + "global step=25899008, episodic return=2443.70654296875\n", + "global step=25903104, episodic return=2400.294921875\n", + "global step=25903104, episodic return=2478.53076171875\n", + "global step=25905152, episodic return=2411.395751953125\n", + "global step=25905152, episodic return=2373.655517578125\n", + "global step=25905152, episodic return=2389.892578125\n", + "global step=25907200, episodic return=2284.025390625\n", + "global step=25909248, episodic return=2475.120361328125\n", + "global step=25909248, episodic return=2416.142822265625\n", + "global step=25909248, episodic return=901.2696533203125\n", + "global step=25911296, episodic return=2397.079345703125\n", + "global step=25911296, episodic return=2416.0703125\n", + "global step=25911296, episodic return=410.5194091796875\n", + "global step=25911296, episodic return=2432.886962890625\n", + "global step=25911296, episodic return=2444.119873046875\n", + "global step=25911296, episodic return=2401.166748046875\n", + "global step=25911296, episodic return=2399.2138671875\n", + "global step=25913344, episodic return=2408.748046875\n", + "global step=25913344, episodic return=2330.56298828125\n", + "global step=25913344, episodic return=2506.3994140625\n", + "global step=25915392, episodic return=2431.42041015625\n", + "global step=25919488, episodic return=2392.583740234375\n", + "global step=25919488, episodic return=424.2415466308594\n", + "global step=25919488, episodic return=2435.414306640625\n", + "global step=25919488, episodic return=2453.417236328125\n", + "global step=25921536, episodic return=2446.614501953125\n", + "global step=25923584, episodic return=2445.75927734375\n", + "global step=25923584, episodic return=2330.52978515625\n", + "global step=25923584, episodic return=2386.07373046875\n", + "global step=25925632, episodic return=2385.37939453125\n", + "global step=25927680, episodic return=2492.451171875\n", + "global step=25927680, episodic return=2419.80224609375\n", + "global step=25927680, episodic return=2413.565673828125\n", + "global step=25927680, episodic return=2414.236572265625\n", + "global step=25929728, episodic return=2416.400634765625\n", + "global step=25929728, episodic return=433.59423828125\n", + "global step=25931776, episodic return=2455.70703125\n", + "global step=25931776, episodic return=2426.530517578125\n", + "global step=25931776, episodic return=2407.982177734375\n", + "global step=25933824, episodic return=2279.108642578125\n", + "global step=25933824, episodic return=2405.690185546875\n", + "global step=25933824, episodic return=2462.042236328125\n", + "global step=25935872, episodic return=2367.554443359375\n", + "global step=25937920, episodic return=2476.9140625\n", + "global step=25937920, episodic return=2448.583984375\n", + "global step=25937920, episodic return=2394.47998046875\n", + "global step=25939968, episodic return=2446.037109375\n", + "global step=25939968, episodic return=2440.496826171875\n", + "global step=25939968, episodic return=2358.525146484375\n", + "global step=25942016, episodic return=793.6862182617188\n", + "global step=25942016, episodic return=2188.5908203125\n", + "global step=25942016, episodic return=2432.587646484375\n", + "global step=25944064, episodic return=811.9376220703125\n", + "global step=25944064, episodic return=2354.37353515625\n", + "global step=25944064, episodic return=2413.412353515625\n", + "global step=25944064, episodic return=2399.6376953125\n", + "global step=25944064, episodic return=2520.5048828125\n", + "global step=25946112, episodic return=2454.818603515625\n", + "global step=25946112, episodic return=2325.064697265625\n", + "global step=25946112, episodic return=2440.727783203125\n", + "global step=25946112, episodic return=2383.29736328125\n", + "global step=25948160, episodic return=2337.64111328125\n", + "global step=25948160, episodic return=2452.635986328125\n", + "global step=25948160, episodic return=2362.555908203125\n", + "global step=25950208, episodic return=2394.78662109375\n", + "global step=25950208, episodic return=2295.22705078125\n", + "global step=25950208, episodic return=2330.093505859375\n", + "global step=25952256, episodic return=2384.955078125\n", + "global step=25954304, episodic return=2408.58984375\n", + "global step=25956352, episodic return=2453.90380859375\n", + "global step=25956352, episodic return=2413.98388671875\n", + "global step=25956352, episodic return=2046.003173828125\n", + "global step=25958400, episodic return=2390.107666015625\n", + "global step=25960448, episodic return=2382.435302734375\n", + "global step=25962496, episodic return=2436.697021484375\n", + "global step=25962496, episodic return=2403.284912109375\n", + "global step=25962496, episodic return=2486.410888671875\n", + "global step=25964544, episodic return=2436.8095703125\n", + "global step=25964544, episodic return=2389.047119140625\n", + "global step=25964544, episodic return=2375.519287109375\n", + "global step=25966592, episodic return=1484.621826171875\n", + "global step=25970688, episodic return=2478.147216796875\n", + "global step=25970688, episodic return=2349.16943359375\n", + "global step=25970688, episodic return=2411.169921875\n", + "global step=25970688, episodic return=2420.678955078125\n", + "global step=25970688, episodic return=2375.727294921875\n", + "global step=25976832, episodic return=2394.604248046875\n", + "global step=25976832, episodic return=2423.501220703125\n", + "global step=25976832, episodic return=1816.9180908203125\n", + "global step=25976832, episodic return=2410.634521484375\n", + "global step=25978880, episodic return=2335.453369140625\n", + "global step=25978880, episodic return=2358.862060546875\n", + "global step=25978880, episodic return=2414.091064453125\n", + "global step=25980928, episodic return=2498.548828125\n", + "global step=25982976, episodic return=2432.25\n", + "global step=25987072, episodic return=2392.925537109375\n", + "global step=25987072, episodic return=2477.141357421875\n", + "global step=25987072, episodic return=2427.71826171875\n", + "global step=25987072, episodic return=2437.597412109375\n", + "global step=25989120, episodic return=2496.350341796875\n", + "global step=25989120, episodic return=2317.688720703125\n", + "global step=25991168, episodic return=2459.346923828125\n", + "global step=25991168, episodic return=1739.2508544921875\n", + "global step=25991168, episodic return=2430.459716796875\n", + "global step=25993216, episodic return=2437.114501953125\n", + "global step=25993216, episodic return=1966.5753173828125\n", + "global step=25995264, episodic return=296.1745300292969\n", + "global step=25995264, episodic return=2370.967529296875\n", + "global step=25997312, episodic return=2424.37646484375\n", + "global step=25997312, episodic return=2368.14111328125\n", + "global step=25997312, episodic return=2305.62841796875\n", + "global step=25997312, episodic return=2417.255126953125\n", + "global step=25999360, episodic return=2268.935546875\n", + "global step=26001408, episodic return=2421.692138671875\n", + "global step=26001408, episodic return=2411.667724609375\n", + "global step=26001408, episodic return=2401.393798828125\n", + "global step=26003456, episodic return=2390.6025390625\n", + "global step=26003456, episodic return=2508.68310546875\n", + "global step=26003456, episodic return=2482.264892578125\n", + "global step=26003456, episodic return=2422.488525390625\n", + "global step=26005504, episodic return=2438.59912109375\n", + "global step=26005504, episodic return=2464.682861328125\n", + "global step=26005504, episodic return=2441.63330078125\n", + "global step=26005504, episodic return=1947.2088623046875\n", + "global step=26007552, episodic return=2397.19091796875\n", + "global step=26007552, episodic return=2419.639892578125\n", + "global step=26007552, episodic return=2424.2607421875\n", + "global step=26007552, episodic return=2440.75927734375\n", + "global step=26007552, episodic return=2383.057861328125\n", + "global step=26009600, episodic return=2269.582763671875\n", + "global step=26009600, episodic return=2114.28271484375\n", + "global step=26009600, episodic return=2403.98291015625\n", + "global step=26011648, episodic return=2442.8896484375\n", + "global step=26013696, episodic return=209.77853393554688\n", + "global step=26013696, episodic return=2486.524169921875\n", + "global step=26013696, episodic return=2482.02587890625\n", + "global step=26015744, episodic return=2406.414306640625\n", + "global step=26015744, episodic return=2346.789794921875\n", + "global step=26015744, episodic return=2425.743408203125\n", + "global step=26019840, episodic return=1144.7918701171875\n", + "global step=26021888, episodic return=2461.86181640625\n", + "global step=26021888, episodic return=2064.898193359375\n", + "global step=26021888, episodic return=2401.15673828125\n", + "global step=26023936, episodic return=2424.16943359375\n", + "global step=26023936, episodic return=2390.913330078125\n", + "global step=26023936, episodic return=2507.925537109375\n", + "global step=26025984, episodic return=2359.498779296875\n", + "global step=26025984, episodic return=2404.175537109375\n", + "global step=26025984, episodic return=282.732421875\n", + "global step=26025984, episodic return=2386.765625\n", + "global step=26025984, episodic return=2365.813232421875\n", + "global step=26028032, episodic return=2401.29248046875\n", + "global step=26028032, episodic return=2420.437255859375\n", + "global step=26030080, episodic return=2286.52734375\n", + "global step=26032128, episodic return=2416.332275390625\n", + "global step=26032128, episodic return=271.9117736816406\n", + "global step=26032128, episodic return=2431.23828125\n", + "global step=26034176, episodic return=2395.642578125\n", + "global step=26034176, episodic return=1941.2481689453125\n", + "global step=26034176, episodic return=1924.1990966796875\n", + "global step=26034176, episodic return=2431.4248046875\n", + "global step=26034176, episodic return=1906.6514892578125\n", + "global step=26036224, episodic return=2471.99755859375\n", + "global step=26036224, episodic return=2341.706298828125\n", + "global step=26036224, episodic return=2317.365234375\n", + "global step=26036224, episodic return=2426.063720703125\n", + "global step=26038272, episodic return=2383.621337890625\n", + "global step=26038272, episodic return=2412.34423828125\n", + "global step=26040320, episodic return=2412.416259765625\n", + "global step=26040320, episodic return=2483.73486328125\n", + "global step=26040320, episodic return=2456.167236328125\n", + "global step=26042368, episodic return=2406.630859375\n", + "global step=26042368, episodic return=2434.693359375\n", + "global step=26044416, episodic return=2369.925048828125\n", + "global step=26044416, episodic return=2387.176025390625\n", + "global step=26044416, episodic return=2391.235595703125\n", + "global step=26044416, episodic return=228.54934692382812\n", + "global step=26046464, episodic return=185.0985565185547\n", + "global step=26046464, episodic return=205.0735321044922\n", + "global step=26046464, episodic return=2380.28125\n", + "global step=26046464, episodic return=2470.341552734375\n", + "global step=26046464, episodic return=2392.3740234375\n", + "global step=26046464, episodic return=2426.967041015625\n", + "global step=26046464, episodic return=2395.018310546875\n", + "global step=26048512, episodic return=323.0729064941406\n", + "global step=26048512, episodic return=803.9783325195312\n", + "global step=26048512, episodic return=2282.905517578125\n", + "global step=26048512, episodic return=2428.34716796875\n", + "global step=26052608, episodic return=2428.3388671875\n", + "global step=26052608, episodic return=2418.245361328125\n", + "global step=26054656, episodic return=2399.74755859375\n", + "global step=26054656, episodic return=2497.41845703125\n", + "global step=26056704, episodic return=2434.304443359375\n", + "global step=26056704, episodic return=177.697998046875\n", + "global step=26056704, episodic return=2386.967041015625\n", + "global step=26056704, episodic return=2389.87744140625\n", + "global step=26056704, episodic return=880.0250244140625\n", + "global step=26058752, episodic return=2465.932373046875\n", + "global step=26058752, episodic return=2477.038818359375\n", + "global step=26058752, episodic return=2413.60400390625\n", + "global step=26058752, episodic return=2444.877685546875\n", + "global step=26060800, episodic return=2466.494140625\n", + "global step=26062848, episodic return=2476.64208984375\n", + "global step=26062848, episodic return=264.8400573730469\n", + "global step=26064896, episodic return=2302.451904296875\n", + "global step=26064896, episodic return=2376.41650390625\n", + "global step=26066944, episodic return=2446.932861328125\n", + "global step=26066944, episodic return=254.5917510986328\n", + "global step=26066944, episodic return=2468.6513671875\n", + "global step=26066944, episodic return=636.9156494140625\n", + "global step=26066944, episodic return=2456.5166015625\n", + "global step=26068992, episodic return=2429.02294921875\n", + "global step=26068992, episodic return=2446.522705078125\n", + "global step=26071040, episodic return=2427.861328125\n", + "global step=26071040, episodic return=177.1610107421875\n", + "global step=26071040, episodic return=219.11444091796875\n", + "global step=26073088, episodic return=2353.656494140625\n", + "global step=26073088, episodic return=2360.194580078125\n", + "global step=26073088, episodic return=2419.773193359375\n", + "global step=26075136, episodic return=222.6824493408203\n", + "global step=26075136, episodic return=2450.43701171875\n", + "global step=26075136, episodic return=2380.249267578125\n", + "global step=26075136, episodic return=2386.7802734375\n", + "global step=26077184, episodic return=1837.4415283203125\n", + "global step=26077184, episodic return=2407.7392578125\n", + "global step=26077184, episodic return=2270.852783203125\n", + "global step=26079232, episodic return=2420.5380859375\n", + "global step=26079232, episodic return=2392.341796875\n", + "global step=26083328, episodic return=2400.938232421875\n", + "global step=26083328, episodic return=67.23925018310547\n", + "global step=26083328, episodic return=2445.905029296875\n", + "global step=26083328, episodic return=2399.018310546875\n", + "global step=26085376, episodic return=180.06265258789062\n", + "global step=26085376, episodic return=2485.19384765625\n", + "global step=26085376, episodic return=2434.117919921875\n", + "global step=26087424, episodic return=2460.103271484375\n", + "global step=26089472, episodic return=188.03646850585938\n", + "global step=26089472, episodic return=2485.41259765625\n", + "global step=26089472, episodic return=168.4213409423828\n", + "global step=26091520, episodic return=2442.80615234375\n", + "global step=26091520, episodic return=2453.33740234375\n", + "global step=26093568, episodic return=592.2943115234375\n", + "global step=26095616, episodic return=2376.0439453125\n", + "global step=26097664, episodic return=2444.921142578125\n", + "global step=26097664, episodic return=1965.625244140625\n", + "global step=26097664, episodic return=2456.34326171875\n", + "global step=26101760, episodic return=2431.116943359375\n", + "global step=26103808, episodic return=2328.6201171875\n", + "global step=26103808, episodic return=2371.757568359375\n", + "global step=26103808, episodic return=1486.00390625\n", + "global step=26103808, episodic return=211.77162170410156\n", + "global step=26103808, episodic return=739.38232421875\n", + "global step=26105856, episodic return=291.6630554199219\n", + "global step=26107904, episodic return=254.196044921875\n", + "global step=26107904, episodic return=2479.846435546875\n", + "global step=26107904, episodic return=2314.815185546875\n", + "global step=26109952, episodic return=2425.257568359375\n", + "global step=26109952, episodic return=2437.896728515625\n", + "global step=26109952, episodic return=2415.676513671875\n", + "global step=26109952, episodic return=2453.2080078125\n", + "global step=26112000, episodic return=2440.61083984375\n", + "global step=26114048, episodic return=2404.531494140625\n", + "global step=26114048, episodic return=179.64825439453125\n", + "global step=26114048, episodic return=825.2454833984375\n", + "global step=26116096, episodic return=2439.64990234375\n", + "global step=26116096, episodic return=2471.16845703125\n", + "global step=26116096, episodic return=2437.12646484375\n", + "global step=26116096, episodic return=2469.689453125\n", + "global step=26116096, episodic return=2483.96435546875\n", + "global step=26118144, episodic return=2442.47216796875\n", + "global step=26118144, episodic return=2451.2568359375\n", + "global step=26118144, episodic return=2460.15087890625\n", + "global step=26118144, episodic return=2356.938232421875\n", + "global step=26118144, episodic return=2465.129150390625\n", + "global step=26120192, episodic return=207.47442626953125\n", + "global step=26120192, episodic return=2239.58154296875\n", + "global step=26122240, episodic return=2424.510986328125\n", + "global step=26122240, episodic return=2037.702392578125\n", + "global step=26124288, episodic return=187.21548461914062\n", + "global step=26126336, episodic return=178.72784423828125\n", + "global step=26126336, episodic return=2424.08544921875\n", + "global step=26126336, episodic return=2439.302490234375\n", + "global step=26128384, episodic return=2446.705322265625\n", + "global step=26130432, episodic return=36.93926239013672\n", + "global step=26132480, episodic return=2506.55712890625\n", + "global step=26132480, episodic return=2483.33740234375\n", + "global step=26132480, episodic return=2447.18896484375\n", + "global step=26134528, episodic return=2386.5439453125\n", + "global step=26136576, episodic return=39.793766021728516\n", + "global step=26136576, episodic return=2386.478759765625\n", + "global step=26136576, episodic return=2388.518310546875\n", + "global step=26138624, episodic return=2422.447998046875\n", + "global step=26138624, episodic return=222.959716796875\n", + "global step=26138624, episodic return=2365.87890625\n", + "global step=26140672, episodic return=2438.16845703125\n", + "global step=26140672, episodic return=2402.75732421875\n", + "global step=26142720, episodic return=179.3457794189453\n", + "global step=26142720, episodic return=1975.945556640625\n", + "global step=26142720, episodic return=2434.4052734375\n", + "global step=26142720, episodic return=2392.789306640625\n", + "global step=26144768, episodic return=185.24925231933594\n", + "global step=26144768, episodic return=2327.077392578125\n", + "global step=26144768, episodic return=2448.51904296875\n", + "global step=26144768, episodic return=2365.759521484375\n", + "global step=26144768, episodic return=1691.30712890625\n", + "global step=26146816, episodic return=2282.5830078125\n", + "global step=26146816, episodic return=2419.274169921875\n", + "global step=26146816, episodic return=1645.9580078125\n", + "global step=26146816, episodic return=2471.69970703125\n", + "global step=26148864, episodic return=2451.552978515625\n", + "global step=26148864, episodic return=2391.801513671875\n", + "global step=26148864, episodic return=2359.300537109375\n", + "global step=26148864, episodic return=1382.131103515625\n", + "global step=26150912, episodic return=225.06581115722656\n", + "global step=26150912, episodic return=2458.546875\n", + "global step=26150912, episodic return=2495.95458984375\n", + "global step=26150912, episodic return=2346.742919921875\n", + "global step=26150912, episodic return=2391.535400390625\n", + "global step=26152960, episodic return=231.66175842285156\n", + "global step=26152960, episodic return=2454.112548828125\n", + "global step=26152960, episodic return=2490.6162109375\n", + "global step=26152960, episodic return=429.0631103515625\n", + "global step=26152960, episodic return=52.952720642089844\n", + "global step=26155008, episodic return=2408.385498046875\n", + "global step=26157056, episodic return=2439.079833984375\n", + "global step=26157056, episodic return=2345.789794921875\n", + "global step=26157056, episodic return=2416.162841796875\n", + "global step=26159104, episodic return=2427.26171875\n", + "global step=26159104, episodic return=2385.565185546875\n", + "global step=26161152, episodic return=2440.344970703125\n", + "global step=26161152, episodic return=2448.085693359375\n", + "global step=26163200, episodic return=2425.794921875\n", + "global step=26163200, episodic return=779.4722290039062\n", + "global step=26163200, episodic return=2437.667236328125\n", + "global step=26165248, episodic return=2442.26953125\n", + "global step=26169344, episodic return=2434.09814453125\n", + "global step=26169344, episodic return=1690.951904296875\n", + "global step=26169344, episodic return=2473.79541015625\n", + "global step=26171392, episodic return=2458.792236328125\n", + "global step=26171392, episodic return=52.43937301635742\n", + "global step=26171392, episodic return=2431.359619140625\n", + "global step=26173440, episodic return=2445.211181640625\n", + "global step=26173440, episodic return=548.4264526367188\n", + "global step=26175488, episodic return=37.68198013305664\n", + "global step=26175488, episodic return=2467.47265625\n", + "global step=26175488, episodic return=2453.56201171875\n", + "global step=26177536, episodic return=221.4351806640625\n", + "global step=26177536, episodic return=2382.998046875\n", + "global step=26177536, episodic return=2449.542236328125\n", + "global step=26177536, episodic return=2436.122314453125\n", + "global step=26179584, episodic return=2390.017578125\n", + "global step=26181632, episodic return=2445.145263671875\n", + "global step=26181632, episodic return=2374.63916015625\n", + "global step=26181632, episodic return=2413.47412109375\n", + "global step=26183680, episodic return=2336.579833984375\n", + "global step=26183680, episodic return=2476.091552734375\n", + "global step=26183680, episodic return=2450.40283203125\n", + "global step=26183680, episodic return=2361.375732421875\n", + "global step=26183680, episodic return=2382.7314453125\n", + "global step=26185728, episodic return=2411.34375\n", + "global step=26185728, episodic return=2384.489501953125\n", + "global step=26187776, episodic return=2419.07275390625\n", + "global step=26187776, episodic return=336.0167236328125\n", + "global step=26187776, episodic return=37.83680725097656\n", + "global step=26187776, episodic return=2434.671142578125\n", + "global step=26187776, episodic return=2433.78759765625\n", + "global step=26187776, episodic return=2463.889892578125\n", + "global step=26187776, episodic return=2500.1962890625\n", + "global step=26189824, episodic return=2438.810791015625\n", + "global step=26189824, episodic return=2410.740478515625\n", + "global step=26193920, episodic return=2399.77880859375\n", + "global step=26193920, episodic return=2470.2841796875\n", + "global step=26195968, episodic return=2452.361328125\n", + "global step=26195968, episodic return=2490.25\n", + "global step=26195968, episodic return=2432.174560546875\n", + "global step=26195968, episodic return=2410.740234375\n", + "global step=26198016, episodic return=2484.569580078125\n", + "global step=26198016, episodic return=2410.313232421875\n", + "global step=26198016, episodic return=2424.59912109375\n", + "global step=26198016, episodic return=2513.02099609375\n", + "global step=26202112, episodic return=2428.7919921875\n", + "global step=26202112, episodic return=2328.75244140625\n", + "global step=26202112, episodic return=2404.79248046875\n", + "global step=26202112, episodic return=2391.4189453125\n", + "global step=26202112, episodic return=2487.630859375\n", + "global step=26204160, episodic return=2444.377685546875\n", + "global step=26204160, episodic return=2276.939697265625\n", + "global step=26204160, episodic return=2426.466064453125\n", + "global step=26204160, episodic return=2403.127685546875\n", + "global step=26206208, episodic return=2451.1484375\n", + "global step=26208256, episodic return=2443.913818359375\n", + "global step=26208256, episodic return=2414.8662109375\n", + "global step=26208256, episodic return=1352.9609375\n", + "global step=26210304, episodic return=2398.504150390625\n", + "global step=26212352, episodic return=861.4893188476562\n", + "global step=26216448, episodic return=2430.239990234375\n", + "global step=26216448, episodic return=2302.145751953125\n", + "global step=26216448, episodic return=2361.753173828125\n", + "global step=26218496, episodic return=2494.512939453125\n", + "global step=26218496, episodic return=2428.60400390625\n", + "global step=26218496, episodic return=2413.46533203125\n", + "global step=26218496, episodic return=2425.432373046875\n", + "global step=26220544, episodic return=1380.35595703125\n", + "global step=26222592, episodic return=2438.839599609375\n", + "global step=26222592, episodic return=2364.212158203125\n", + "global step=26222592, episodic return=963.9078979492188\n", + "global step=26222592, episodic return=2371.9794921875\n", + "global step=26222592, episodic return=2394.107421875\n", + "global step=26222592, episodic return=2464.314208984375\n", + "global step=26224640, episodic return=2400.15625\n", + "global step=26224640, episodic return=2393.879150390625\n", + "global step=26226688, episodic return=2455.144287109375\n", + "global step=26226688, episodic return=2423.064208984375\n", + "global step=26226688, episodic return=2420.657470703125\n", + "global step=26226688, episodic return=2391.350830078125\n", + "global step=26228736, episodic return=2449.8369140625\n", + "global step=26230784, episodic return=2452.817138671875\n", + "global step=26230784, episodic return=2432.136962890625\n", + "global step=26230784, episodic return=2405.080810546875\n", + "global step=26232832, episodic return=2474.35205078125\n", + "global step=26232832, episodic return=2286.366455078125\n", + "global step=26234880, episodic return=2376.4140625\n", + "global step=26236928, episodic return=1490.7174072265625\n", + "global step=26236928, episodic return=2408.16015625\n", + "global step=26236928, episodic return=2365.406494140625\n", + "global step=26236928, episodic return=2449.806396484375\n", + "global step=26238976, episodic return=2475.3984375\n", + "global step=26241024, episodic return=1312.1202392578125\n", + "global step=26241024, episodic return=2444.10107421875\n", + "global step=26241024, episodic return=2413.327880859375\n", + "global step=26243072, episodic return=2379.902587890625\n", + "global step=26245120, episodic return=2465.718505859375\n", + "global step=26247168, episodic return=2451.74658203125\n", + "global step=26247168, episodic return=2374.53955078125\n", + "global step=26249216, episodic return=2321.007080078125\n", + "global step=26251264, episodic return=2461.201904296875\n", + "global step=26251264, episodic return=2471.012939453125\n", + "global step=26251264, episodic return=2440.97607421875\n", + "global step=26253312, episodic return=2390.867431640625\n", + "global step=26253312, episodic return=2464.499755859375\n", + "global step=26255360, episodic return=2415.058837890625\n", + "global step=26255360, episodic return=2426.207763671875\n", + "global step=26255360, episodic return=2409.913818359375\n", + "global step=26257408, episodic return=2035.3311767578125\n", + "global step=26257408, episodic return=2477.668701171875\n", + "global step=26257408, episodic return=2425.6435546875\n", + "global step=26257408, episodic return=2416.232177734375\n", + "global step=26259456, episodic return=2414.11474609375\n", + "global step=26259456, episodic return=2433.85693359375\n", + "global step=26259456, episodic return=1227.1514892578125\n", + "global step=26261504, episodic return=2392.853271484375\n", + "global step=26261504, episodic return=660.463623046875\n", + "global step=26261504, episodic return=2226.40966796875\n", + "global step=26263552, episodic return=2437.728515625\n", + "global step=26263552, episodic return=2363.121337890625\n", + "global step=26263552, episodic return=2482.783447265625\n", + "global step=26265600, episodic return=2354.830322265625\n", + "global step=26267648, episodic return=2434.81591796875\n", + "global step=26269696, episodic return=2466.74755859375\n", + "global step=26271744, episodic return=2402.558837890625\n", + "global step=26271744, episodic return=2497.7265625\n", + "global step=26271744, episodic return=2333.15869140625\n", + "global step=26271744, episodic return=2442.973876953125\n", + "global step=26273792, episodic return=2331.54296875\n", + "global step=26273792, episodic return=2399.116455078125\n", + "global step=26275840, episodic return=2456.345458984375\n", + "global step=26277888, episodic return=1798.1951904296875\n", + "global step=26277888, episodic return=2418.30029296875\n", + "global step=26277888, episodic return=2479.13916015625\n", + "global step=26277888, episodic return=1507.4068603515625\n", + "global step=26279936, episodic return=48.72869110107422\n", + "global step=26281984, episodic return=2405.57275390625\n", + "global step=26281984, episodic return=2394.236328125\n", + "global step=26281984, episodic return=2369.553466796875\n", + "global step=26284032, episodic return=2450.829345703125\n", + "global step=26284032, episodic return=2363.13916015625\n", + "global step=26286080, episodic return=2472.640869140625\n", + "global step=26286080, episodic return=2522.84521484375\n", + "global step=26288128, episodic return=2424.331298828125\n", + "global step=26290176, episodic return=2456.26513671875\n", + "global step=26292224, episodic return=2293.466552734375\n", + "global step=26294272, episodic return=2238.428955078125\n", + "global step=26296320, episodic return=2418.451171875\n", + "global step=26296320, episodic return=2443.8955078125\n", + "global step=26298368, episodic return=2408.326904296875\n", + "global step=26300416, episodic return=2391.951416015625\n", + "global step=26300416, episodic return=2422.13427734375\n", + "global step=26302464, episodic return=2446.24560546875\n", + "global step=26302464, episodic return=2419.001708984375\n", + "global step=26302464, episodic return=2364.355712890625\n", + "global step=26304512, episodic return=2361.0986328125\n", + "global step=26304512, episodic return=2457.640625\n", + "global step=26304512, episodic return=1734.5137939453125\n", + "global step=26304512, episodic return=2449.307861328125\n", + "global step=26306560, episodic return=2498.75341796875\n", + "global step=26308608, episodic return=2386.2060546875\n", + "global step=26310656, episodic return=2483.982177734375\n", + "global step=26310656, episodic return=2472.52099609375\n", + "global step=26310656, episodic return=2440.040283203125\n", + "global step=26312704, episodic return=2423.32861328125\n", + "global step=26312704, episodic return=2450.943603515625\n", + "global step=26312704, episodic return=2462.1318359375\n", + "global step=26314752, episodic return=2341.34033203125\n", + "global step=26314752, episodic return=2458.26708984375\n", + "global step=26314752, episodic return=2337.385986328125\n", + "global step=26314752, episodic return=56.500633239746094\n", + "global step=26314752, episodic return=2477.164306640625\n", + "global step=26316800, episodic return=2486.739013671875\n", + "global step=26318848, episodic return=2426.169189453125\n", + "global step=26320896, episodic return=1723.5648193359375\n", + "global step=26322944, episodic return=2426.97216796875\n", + "global step=26322944, episodic return=2465.418701171875\n", + "global step=26324992, episodic return=2290.480224609375\n", + "global step=26324992, episodic return=2363.837646484375\n", + "global step=26327040, episodic return=1497.257080078125\n", + "global step=26327040, episodic return=2431.28759765625\n", + "global step=26329088, episodic return=421.62225341796875\n", + "global step=26329088, episodic return=2378.338134765625\n", + "global step=26329088, episodic return=2398.564453125\n", + "global step=26331136, episodic return=2346.392333984375\n", + "global step=26331136, episodic return=2307.931884765625\n", + "global step=26331136, episodic return=2421.148193359375\n", + "global step=26333184, episodic return=669.014404296875\n", + "global step=26333184, episodic return=2352.7138671875\n", + "global step=26335232, episodic return=1312.131103515625\n", + "global step=26335232, episodic return=2461.7685546875\n", + "global step=26337280, episodic return=2383.284423828125\n", + "global step=26339328, episodic return=2412.51416015625\n", + "global step=26341376, episodic return=2468.907470703125\n", + "global step=26343424, episodic return=2435.08837890625\n", + "global step=26343424, episodic return=2338.7333984375\n", + "global step=26343424, episodic return=2472.068603515625\n", + "global step=26343424, episodic return=2362.6650390625\n", + "global step=26345472, episodic return=2396.96533203125\n", + "global step=26347520, episodic return=2462.345458984375\n", + "global step=26347520, episodic return=1129.6427001953125\n", + "global step=26349568, episodic return=863.3924560546875\n", + "global step=26349568, episodic return=2363.97119140625\n", + "global step=26351616, episodic return=2454.47998046875\n", + "global step=26353664, episodic return=2412.572509765625\n", + "global step=26355712, episodic return=2481.1611328125\n", + "global step=26355712, episodic return=93.47573852539062\n", + "global step=26355712, episodic return=2406.474609375\n", + "global step=26355712, episodic return=2450.83056640625\n", + "global step=26355712, episodic return=2094.595703125\n", + "global step=26357760, episodic return=2401.593017578125\n", + "global step=26357760, episodic return=2312.276611328125\n", + "global step=26359808, episodic return=2378.796630859375\n", + "global step=26361856, episodic return=2312.069091796875\n", + "global step=26361856, episodic return=2387.4892578125\n", + "global step=26361856, episodic return=2337.925048828125\n", + "global step=26363904, episodic return=2365.96923828125\n", + "global step=26363904, episodic return=968.6707153320312\n", + "global step=26365952, episodic return=2381.426513671875\n", + "global step=26368000, episodic return=2389.543701171875\n", + "global step=26368000, episodic return=2152.09521484375\n", + "global step=26368000, episodic return=2437.09130859375\n", + "global step=26368000, episodic return=222.76780700683594\n", + "global step=26370048, episodic return=2303.267822265625\n", + "global step=26372096, episodic return=2317.835693359375\n", + "global step=26372096, episodic return=2321.818115234375\n", + "global step=26374144, episodic return=2412.8251953125\n", + "global step=26376192, episodic return=2369.162841796875\n", + "global step=26376192, episodic return=2443.585693359375\n", + "global step=26376192, episodic return=2433.05908203125\n", + "global step=26376192, episodic return=2478.09423828125\n", + "global step=26376192, episodic return=2467.288818359375\n", + "global step=26378240, episodic return=2344.02099609375\n", + "global step=26380288, episodic return=2400.737060546875\n", + "global step=26382336, episodic return=2416.773681640625\n", + "global step=26382336, episodic return=2425.94921875\n", + "global step=26382336, episodic return=2454.765625\n", + "global step=26382336, episodic return=2449.911376953125\n", + "global step=26382336, episodic return=2465.098876953125\n", + "global step=26382336, episodic return=2405.8271484375\n", + "global step=26384384, episodic return=2401.228515625\n", + "global step=26384384, episodic return=305.5084533691406\n", + "global step=26384384, episodic return=2422.16748046875\n", + "global step=26384384, episodic return=2367.963623046875\n", + "global step=26388480, episodic return=2450.084716796875\n", + "global step=26388480, episodic return=267.50518798828125\n", + "global step=26388480, episodic return=1636.5740966796875\n", + "global step=26390528, episodic return=2395.08642578125\n", + "global step=26390528, episodic return=354.8958740234375\n", + "global step=26390528, episodic return=1084.61669921875\n", + "global step=26390528, episodic return=2452.03466796875\n", + "global step=26390528, episodic return=2433.453369140625\n", + "global step=26392576, episodic return=2474.001708984375\n", + "global step=26394624, episodic return=2479.571533203125\n", + "global step=26394624, episodic return=2455.863525390625\n", + "global step=26396672, episodic return=2315.48779296875\n", + "global step=26396672, episodic return=294.2498779296875\n", + "global step=26400768, episodic return=2440.489990234375\n", + "global step=26400768, episodic return=2461.501953125\n", + "global step=26400768, episodic return=2038.6802978515625\n", + "global step=26400768, episodic return=1019.2382202148438\n", + "global step=26404864, episodic return=2398.388671875\n", + "global step=26404864, episodic return=2495.6328125\n", + "global step=26406912, episodic return=2404.568603515625\n", + "global step=26408960, episodic return=2435.65869140625\n", + "global step=26408960, episodic return=2396.918701171875\n", + "global step=26411008, episodic return=2436.434326171875\n", + "global step=26411008, episodic return=534.5530395507812\n", + "global step=26411008, episodic return=1306.2646484375\n", + "global step=26411008, episodic return=2414.750244140625\n", + "global step=26413056, episodic return=1276.1712646484375\n", + "global step=26413056, episodic return=1754.896240234375\n", + "global step=26415104, episodic return=645.1455688476562\n", + "global step=26415104, episodic return=825.6652221679688\n", + "global step=26417152, episodic return=2398.97705078125\n", + "global step=26417152, episodic return=1324.7103271484375\n", + "global step=26421248, episodic return=467.9833679199219\n", + "global step=26421248, episodic return=2537.7548828125\n", + "global step=26423296, episodic return=437.6759033203125\n", + "global step=26423296, episodic return=2423.598388671875\n", + "global step=26423296, episodic return=2410.409423828125\n", + "global step=26423296, episodic return=2458.516845703125\n", + "global step=26425344, episodic return=2423.90087890625\n", + "global step=26425344, episodic return=2453.01953125\n", + "global step=26425344, episodic return=39.30521774291992\n", + "global step=26427392, episodic return=780.178955078125\n", + "global step=26427392, episodic return=2344.57275390625\n", + "global step=26429440, episodic return=2461.515869140625\n", + "global step=26431488, episodic return=1385.1949462890625\n", + "global step=26431488, episodic return=2403.45068359375\n", + "global step=26431488, episodic return=2431.051025390625\n", + "global step=26433536, episodic return=1740.640869140625\n", + "global step=26433536, episodic return=1694.87255859375\n", + "global step=26433536, episodic return=1720.445068359375\n", + "global step=26437632, episodic return=2416.972412109375\n", + "global step=26437632, episodic return=2440.789794921875\n", + "global step=26441728, episodic return=2423.389892578125\n", + "global step=26441728, episodic return=2398.513427734375\n", + "global step=26441728, episodic return=2469.9384765625\n", + "global step=26443776, episodic return=321.59326171875\n", + "global step=26443776, episodic return=1001.0108642578125\n", + "global step=26443776, episodic return=1301.3255615234375\n", + "global step=26445824, episodic return=2447.256591796875\n", + "global step=26445824, episodic return=1016.8353881835938\n", + "global step=26447872, episodic return=2472.5966796875\n", + "global step=26447872, episodic return=2354.393310546875\n", + "global step=26447872, episodic return=2460.625732421875\n", + "global step=26447872, episodic return=1395.1715087890625\n", + "global step=26447872, episodic return=69.60209655761719\n", + "global step=26447872, episodic return=2462.024169921875\n", + "global step=26451968, episodic return=1385.8341064453125\n", + "global step=26454016, episodic return=2416.145751953125\n", + "global step=26456064, episodic return=517.2689208984375\n", + "global step=26456064, episodic return=2510.580810546875\n", + "global step=26456064, episodic return=2462.565185546875\n", + "global step=26456064, episodic return=409.45599365234375\n", + "global step=26458112, episodic return=132.81619262695312\n", + "global step=26458112, episodic return=2461.7421875\n", + "global step=26458112, episodic return=2475.09619140625\n", + "global step=26460160, episodic return=1845.589111328125\n", + "global step=26460160, episodic return=2462.541748046875\n", + "global step=26460160, episodic return=2499.928955078125\n", + "global step=26462208, episodic return=2482.53955078125\n", + "global step=26462208, episodic return=2418.504150390625\n", + "global step=26462208, episodic return=2354.23876953125\n", + "global step=26464256, episodic return=2451.36474609375\n", + "global step=26464256, episodic return=2375.8720703125\n", + "global step=26464256, episodic return=2470.732177734375\n", + "global step=26464256, episodic return=2326.84619140625\n", + "global step=26464256, episodic return=2398.048095703125\n", + "global step=26466304, episodic return=2490.989501953125\n", + "global step=26466304, episodic return=2431.605224609375\n", + "global step=26466304, episodic return=2444.687744140625\n", + "global step=26466304, episodic return=2463.501953125\n", + "global step=26466304, episodic return=2459.250244140625\n", + "global step=26466304, episodic return=2374.923095703125\n", + "global step=26468352, episodic return=2523.998779296875\n", + "global step=26468352, episodic return=2444.208251953125\n", + "global step=26470400, episodic return=2462.244384765625\n", + "global step=26470400, episodic return=2438.78564453125\n", + "global step=26470400, episodic return=2463.4560546875\n", + "global step=26470400, episodic return=2448.583740234375\n", + "global step=26472448, episodic return=2486.2470703125\n", + "global step=26472448, episodic return=2461.520263671875\n", + "global step=26474496, episodic return=2411.43310546875\n", + "global step=26474496, episodic return=2384.71044921875\n", + "global step=26476544, episodic return=55.255027770996094\n", + "global step=26480640, episodic return=2463.09521484375\n", + "global step=26484736, episodic return=2379.530029296875\n", + "global step=26486784, episodic return=1224.93359375\n", + "global step=26486784, episodic return=2483.50146484375\n", + "global step=26486784, episodic return=2461.830810546875\n", + "global step=26486784, episodic return=55.48274612426758\n", + "global step=26486784, episodic return=2486.987548828125\n", + "global step=26488832, episodic return=2411.483154296875\n", + "global step=26488832, episodic return=2452.83154296875\n", + "global step=26490880, episodic return=2435.3525390625\n", + "global step=26492928, episodic return=2412.520263671875\n", + "global step=26492928, episodic return=2468.485595703125\n", + "global step=26492928, episodic return=2436.75732421875\n", + "global step=26494976, episodic return=2501.83935546875\n", + "global step=26494976, episodic return=334.3083801269531\n", + "global step=26497024, episodic return=2438.801025390625\n", + "global step=26497024, episodic return=237.3695526123047\n", + "global step=26497024, episodic return=2419.1474609375\n", + "global step=26499072, episodic return=2477.01025390625\n", + "global step=26499072, episodic return=2491.796630859375\n", + "global step=26501120, episodic return=2440.2421875\n", + "global step=26501120, episodic return=153.77252197265625\n", + "global step=26503168, episodic return=1821.3919677734375\n", + "global step=26503168, episodic return=1346.142578125\n", + "global step=26505216, episodic return=2195.218994140625\n", + "global step=26505216, episodic return=2493.76708984375\n", + "global step=26505216, episodic return=2385.663330078125\n", + "global step=26505216, episodic return=2293.677734375\n", + "global step=26507264, episodic return=2380.883056640625\n", + "global step=26507264, episodic return=2487.101806640625\n", + "global step=26511360, episodic return=2423.3828125\n", + "global step=26511360, episodic return=2436.842529296875\n", + "global step=26513408, episodic return=2455.4375\n", + "global step=26515456, episodic return=2441.741455078125\n", + "global step=26515456, episodic return=2488.994873046875\n", + "global step=26515456, episodic return=2453.272216796875\n", + "global step=26515456, episodic return=2471.052001953125\n", + "global step=26515456, episodic return=2405.862548828125\n", + "global step=26517504, episodic return=2359.25048828125\n", + "global step=26517504, episodic return=2458.1689453125\n", + "global step=26519552, episodic return=2444.180419921875\n", + "global step=26519552, episodic return=2397.1630859375\n", + "global step=26519552, episodic return=2498.279296875\n", + "global step=26521600, episodic return=2454.025146484375\n", + "global step=26521600, episodic return=2496.29248046875\n", + "global step=26523648, episodic return=2446.338623046875\n", + "global step=26525696, episodic return=2391.64208984375\n", + "global step=26525696, episodic return=2483.412353515625\n", + "global step=26525696, episodic return=2461.139892578125\n", + "global step=26527744, episodic return=2481.764892578125\n", + "global step=26527744, episodic return=2436.346923828125\n", + "global step=26527744, episodic return=2402.213623046875\n", + "global step=26527744, episodic return=2406.00732421875\n", + "global step=26529792, episodic return=2424.391845703125\n", + "global step=26529792, episodic return=2383.750244140625\n", + "global step=26531840, episodic return=2371.745849609375\n", + "global step=26531840, episodic return=2473.01171875\n", + "global step=26533888, episodic return=2471.28857421875\n", + "global step=26533888, episodic return=2491.0673828125\n", + "global step=26535936, episodic return=2423.046630859375\n", + "global step=26535936, episodic return=2151.716796875\n", + "global step=26537984, episodic return=2470.05224609375\n", + "global step=26542080, episodic return=440.6345520019531\n", + "global step=26542080, episodic return=2406.0634765625\n", + "global step=26544128, episodic return=2430.38671875\n", + "global step=26544128, episodic return=2489.95947265625\n", + "global step=26548224, episodic return=2373.02587890625\n", + "global step=26550272, episodic return=2485.89013671875\n", + "global step=26550272, episodic return=2407.41796875\n", + "global step=26550272, episodic return=1519.6639404296875\n", + "global step=26552320, episodic return=251.29995727539062\n", + "global step=26552320, episodic return=110.55756378173828\n", + "global step=26552320, episodic return=2456.954345703125\n", + "global step=26552320, episodic return=2450.915283203125\n", + "global step=26556416, episodic return=2401.8203125\n", + "global step=26556416, episodic return=2494.14306640625\n", + "global step=26558464, episodic return=2446.0869140625\n", + "global step=26558464, episodic return=2414.372314453125\n", + "global step=26560512, episodic return=2403.632568359375\n", + "global step=26560512, episodic return=2342.343017578125\n", + "global step=26560512, episodic return=2460.159423828125\n", + "global step=26562560, episodic return=991.1074829101562\n", + "global step=26564608, episodic return=2231.46044921875\n", + "global step=26564608, episodic return=2465.391357421875\n", + "global step=26564608, episodic return=1836.1363525390625\n", + "global step=26564608, episodic return=2424.805419921875\n", + "global step=26566656, episodic return=2372.045654296875\n", + "global step=26566656, episodic return=2390.123291015625\n", + "global step=26566656, episodic return=2424.510498046875\n", + "global step=26568704, episodic return=2450.844970703125\n", + "global step=26570752, episodic return=2433.0947265625\n", + "global step=26570752, episodic return=2400.2216796875\n", + "global step=26570752, episodic return=2400.4921875\n", + "global step=26572800, episodic return=2454.4755859375\n", + "global step=26572800, episodic return=2357.854248046875\n", + "global step=26572800, episodic return=2480.996826171875\n", + "global step=26574848, episodic return=2453.3876953125\n", + "global step=26574848, episodic return=2436.034912109375\n", + "global step=26574848, episodic return=2451.270263671875\n", + "global step=26574848, episodic return=2414.20068359375\n", + "global step=26580992, episodic return=2219.3671875\n", + "global step=26580992, episodic return=2467.194580078125\n", + "global step=26580992, episodic return=2440.92138671875\n", + "global step=26580992, episodic return=1460.9422607421875\n", + "global step=26583040, episodic return=2402.402099609375\n", + "global step=26585088, episodic return=2459.755859375\n", + "global step=26585088, episodic return=2459.168701171875\n", + "global step=26587136, episodic return=2402.89453125\n", + "global step=26587136, episodic return=2480.14404296875\n", + "global step=26587136, episodic return=1632.488525390625\n", + "global step=26589184, episodic return=2051.40234375\n", + "global step=26589184, episodic return=2427.170166015625\n", + "global step=26589184, episodic return=2413.876953125\n", + "global step=26591232, episodic return=1351.53515625\n", + "global step=26591232, episodic return=2461.548828125\n", + "global step=26591232, episodic return=2412.021240234375\n", + "global step=26591232, episodic return=2392.7294921875\n", + "global step=26591232, episodic return=2432.966064453125\n", + "global step=26593280, episodic return=2408.5712890625\n", + "global step=26593280, episodic return=2422.1416015625\n", + "global step=26595328, episodic return=853.3662719726562\n", + "global step=26599424, episodic return=2403.1611328125\n", + "global step=26599424, episodic return=1389.9730224609375\n", + "global step=26601472, episodic return=2268.14892578125\n", + "global step=26601472, episodic return=2358.07373046875\n", + "global step=26601472, episodic return=2467.30615234375\n", + "global step=26603520, episodic return=2403.698974609375\n", + "global step=26603520, episodic return=1852.9986572265625\n", + "global step=26605568, episodic return=2446.970703125\n", + "global step=26605568, episodic return=1151.490234375\n", + "global step=26607616, episodic return=2479.151611328125\n", + "global step=26609664, episodic return=2405.252685546875\n", + "global step=26609664, episodic return=51.13087844848633\n", + "global step=26609664, episodic return=2459.574951171875\n", + "global step=26609664, episodic return=2326.927734375\n", + "global step=26611712, episodic return=2464.94677734375\n", + "global step=26611712, episodic return=2458.1201171875\n", + "global step=26613760, episodic return=2419.67822265625\n", + "global step=26615808, episodic return=2282.03271484375\n", + "global step=26617856, episodic return=2436.97216796875\n", + "global step=26617856, episodic return=2413.76904296875\n", + "global step=26619904, episodic return=2463.76318359375\n", + "global step=26619904, episodic return=2454.97900390625\n", + "global step=26619904, episodic return=1254.14013671875\n", + "global step=26621952, episodic return=2372.3984375\n", + "global step=26621952, episodic return=2468.46240234375\n", + "global step=26621952, episodic return=1248.0390625\n", + "global step=26624000, episodic return=1127.7958984375\n", + "global step=26624000, episodic return=2511.69921875\n", + "global step=26624000, episodic return=2467.798583984375\n", + "global step=26626048, episodic return=2433.50341796875\n", + "global step=26628096, episodic return=2438.61279296875\n", + "global step=26630144, episodic return=2439.46875\n", + "global step=26630144, episodic return=1280.339111328125\n", + "global step=26632192, episodic return=2439.7607421875\n", + "global step=26634240, episodic return=2504.89013671875\n", + "global step=26634240, episodic return=2418.8056640625\n", + "global step=26638336, episodic return=2380.06298828125\n", + "global step=26638336, episodic return=2447.093017578125\n", + "global step=26640384, episodic return=2410.909912109375\n", + "global step=26642432, episodic return=2405.5087890625\n", + "global step=26642432, episodic return=2474.879638671875\n", + "global step=26642432, episodic return=2437.66796875\n", + "global step=26644480, episodic return=2454.7099609375\n", + "global step=26646528, episodic return=1484.64697265625\n", + "global step=26646528, episodic return=2419.71337890625\n", + "global step=26646528, episodic return=1074.667724609375\n", + "global step=26650624, episodic return=1428.6768798828125\n", + "global step=26650624, episodic return=2498.179931640625\n", + "global step=26652672, episodic return=2414.4345703125\n", + "global step=26654720, episodic return=347.717041015625\n", + "global step=26656768, episodic return=2494.26220703125\n", + "global step=26656768, episodic return=514.7592163085938\n", + "global step=26656768, episodic return=20.383358001708984\n", + "global step=26658816, episodic return=2445.173095703125\n", + "global step=26658816, episodic return=2432.153076171875\n", + "global step=26660864, episodic return=2317.920654296875\n", + "global step=26660864, episodic return=2455.418212890625\n", + "global step=26660864, episodic return=2444.608642578125\n", + "global step=26660864, episodic return=519.1142578125\n", + "global step=26664960, episodic return=1895.7293701171875\n", + "global step=26667008, episodic return=2414.19140625\n", + "global step=26667008, episodic return=2433.374267578125\n", + "global step=26669056, episodic return=2349.689208984375\n", + "global step=26669056, episodic return=2371.499267578125\n", + "global step=26669056, episodic return=1652.5985107421875\n", + "global step=26669056, episodic return=2400.99951171875\n", + "global step=26671104, episodic return=2340.611083984375\n", + "global step=26673152, episodic return=2379.564697265625\n", + "global step=26673152, episodic return=2457.8896484375\n", + "global step=26675200, episodic return=2376.639404296875\n", + "global step=26675200, episodic return=2402.5859375\n", + "global step=26675200, episodic return=1880.3817138671875\n", + "global step=26677248, episodic return=423.5214538574219\n", + "global step=26677248, episodic return=2475.532958984375\n", + "global step=26677248, episodic return=2456.482666015625\n", + "global step=26679296, episodic return=2385.15625\n", + "global step=26679296, episodic return=2454.299072265625\n", + "global step=26683392, episodic return=494.60791015625\n", + "global step=26683392, episodic return=2461.414306640625\n", + "global step=26683392, episodic return=1350.3428955078125\n", + "global step=26689536, episodic return=198.2882843017578\n", + "global step=26691584, episodic return=509.56451416015625\n", + "global step=26691584, episodic return=2358.190185546875\n", + "global step=26691584, episodic return=2405.588623046875\n", + "global step=26693632, episodic return=2410.38916015625\n", + "global step=26693632, episodic return=2374.004638671875\n", + "global step=26693632, episodic return=2416.169677734375\n", + "global step=26695680, episodic return=2453.5302734375\n", + "global step=26695680, episodic return=80.89815521240234\n", + "global step=26695680, episodic return=2453.989013671875\n", + "global step=26695680, episodic return=1350.2725830078125\n", + "global step=26695680, episodic return=2403.27099609375\n", + "global step=26695680, episodic return=2481.16748046875\n", + "global step=26695680, episodic return=2407.13427734375\n", + "global step=26697728, episodic return=2486.71728515625\n", + "global step=26697728, episodic return=2278.18408203125\n", + "global step=26697728, episodic return=2461.027099609375\n", + "global step=26697728, episodic return=2487.292236328125\n", + "global step=26697728, episodic return=2420.35498046875\n", + "global step=26699776, episodic return=2407.992919921875\n", + "global step=26699776, episodic return=1200.2685546875\n", + "global step=26701824, episodic return=430.5998840332031\n", + "global step=26701824, episodic return=2375.016357421875\n", + "global step=26701824, episodic return=2493.901123046875\n", + "global step=26703872, episodic return=2431.822509765625\n", + "global step=26703872, episodic return=2364.513916015625\n", + "global step=26703872, episodic return=2362.342041015625\n", + "global step=26703872, episodic return=2425.291015625\n", + "global step=26705920, episodic return=2419.333740234375\n", + "global step=26705920, episodic return=2438.548828125\n", + "global step=26707968, episodic return=2452.0\n", + "global step=26710016, episodic return=2436.137939453125\n", + "global step=26710016, episodic return=145.14454650878906\n", + "global step=26710016, episodic return=24.319435119628906\n", + "global step=26710016, episodic return=2386.463623046875\n", + "global step=26712064, episodic return=2462.879638671875\n", + "global step=26712064, episodic return=2356.24267578125\n", + "global step=26712064, episodic return=2432.884033203125\n", + "global step=26714112, episodic return=2462.61279296875\n", + "global step=26714112, episodic return=2458.33447265625\n", + "global step=26714112, episodic return=2413.760009765625\n", + "global step=26714112, episodic return=2393.552001953125\n", + "global step=26716160, episodic return=2410.581298828125\n", + "global step=26716160, episodic return=2466.02001953125\n", + "global step=26716160, episodic return=2409.956787109375\n", + "global step=26716160, episodic return=2419.89306640625\n", + "global step=26718208, episodic return=2404.55126953125\n", + "global step=26718208, episodic return=2363.64404296875\n", + "global step=26718208, episodic return=2409.13720703125\n", + "global step=26720256, episodic return=537.0545654296875\n", + "global step=26720256, episodic return=2389.492431640625\n", + "global step=26720256, episodic return=2421.90283203125\n", + "global step=26722304, episodic return=2396.321044921875\n", + "global step=26722304, episodic return=2454.5\n", + "global step=26722304, episodic return=460.9720764160156\n", + "global step=26724352, episodic return=2372.004638671875\n", + "global step=26726400, episodic return=2425.75732421875\n", + "global step=26726400, episodic return=2463.81982421875\n", + "global step=26726400, episodic return=2444.838134765625\n", + "global step=26728448, episodic return=59.941627502441406\n", + "global step=26728448, episodic return=2375.4296875\n", + "global step=26728448, episodic return=303.4985046386719\n", + "global step=26730496, episodic return=1956.906005859375\n", + "global step=26732544, episodic return=2473.056640625\n", + "global step=26734592, episodic return=2258.482666015625\n", + "global step=26734592, episodic return=2384.56201171875\n", + "global step=26734592, episodic return=2082.046875\n", + "global step=26734592, episodic return=2479.497314453125\n", + "global step=26734592, episodic return=2406.761474609375\n", + "global step=26736640, episodic return=2462.305908203125\n", + "global step=26738688, episodic return=2003.550537109375\n", + "global step=26738688, episodic return=244.3556365966797\n", + "global step=26738688, episodic return=2473.760498046875\n", + "global step=26738688, episodic return=2447.324951171875\n", + "global step=26740736, episodic return=204.38157653808594\n", + "global step=26740736, episodic return=297.9024353027344\n", + "global step=26740736, episodic return=2401.972900390625\n", + "global step=26740736, episodic return=2468.864013671875\n", + "global step=26740736, episodic return=2423.626708984375\n", + "global step=26742784, episodic return=2437.309326171875\n", + "global step=26742784, episodic return=2463.51513671875\n", + "global step=26742784, episodic return=2384.58447265625\n", + "global step=26742784, episodic return=2473.2333984375\n", + "global step=26744832, episodic return=1506.857666015625\n", + "global step=26744832, episodic return=2461.247802734375\n", + "global step=26746880, episodic return=2389.104248046875\n", + "global step=26746880, episodic return=2049.254638671875\n", + "global step=26748928, episodic return=2491.409912109375\n", + "global step=26748928, episodic return=2344.560546875\n", + "global step=26748928, episodic return=2432.341064453125\n", + "global step=26748928, episodic return=2468.7939453125\n", + "global step=26750976, episodic return=2468.06884765625\n", + "global step=26750976, episodic return=2421.19189453125\n", + "global step=26750976, episodic return=2505.320068359375\n", + "global step=26750976, episodic return=2471.4228515625\n", + "global step=26753024, episodic return=1725.3612060546875\n", + "global step=26753024, episodic return=2469.471435546875\n", + "global step=26753024, episodic return=2314.969970703125\n", + "global step=26753024, episodic return=1041.15087890625\n", + "global step=26753024, episodic return=2271.854736328125\n", + "global step=26755072, episodic return=2446.656005859375\n", + "global step=26755072, episodic return=203.62704467773438\n", + "global step=26757120, episodic return=2302.389404296875\n", + "global step=26757120, episodic return=1720.5885009765625\n", + "global step=26759168, episodic return=2350.933349609375\n", + "global step=26759168, episodic return=2266.927490234375\n", + "global step=26761216, episodic return=2443.580322265625\n", + "global step=26761216, episodic return=2460.258056640625\n", + "global step=26761216, episodic return=2427.315185546875\n", + "global step=26763264, episodic return=2470.5712890625\n", + "global step=26763264, episodic return=2434.646240234375\n", + "global step=26765312, episodic return=2504.714599609375\n", + "global step=26765312, episodic return=2518.626953125\n", + "global step=26767360, episodic return=2443.30322265625\n", + "global step=26769408, episodic return=2430.28125\n", + "global step=26769408, episodic return=2460.789306640625\n", + "global step=26771456, episodic return=2464.255615234375\n", + "global step=26775552, episodic return=2489.845947265625\n", + "global step=26777600, episodic return=2171.067626953125\n", + "global step=26777600, episodic return=2369.2041015625\n", + "global step=26777600, episodic return=2499.023681640625\n", + "global step=26777600, episodic return=2436.349609375\n", + "global step=26777600, episodic return=2457.785400390625\n", + "global step=26779648, episodic return=765.9515991210938\n", + "global step=26781696, episodic return=1163.102783203125\n", + "global step=26781696, episodic return=2402.16064453125\n", + "global step=26783744, episodic return=2400.926025390625\n", + "global step=26785792, episodic return=437.8771057128906\n", + "global step=26785792, episodic return=2234.40966796875\n", + "global step=26791936, episodic return=2441.892578125\n", + "global step=26791936, episodic return=2400.4169921875\n", + "global step=26791936, episodic return=2436.78076171875\n", + "global step=26791936, episodic return=2426.95751953125\n", + "global step=26793984, episodic return=2452.809814453125\n", + "global step=26793984, episodic return=2437.54248046875\n", + "global step=26793984, episodic return=2480.981201171875\n", + "global step=26793984, episodic return=2407.22265625\n", + "global step=26800128, episodic return=2455.606689453125\n", + "global step=26802176, episodic return=2149.383056640625\n", + "global step=26804224, episodic return=2430.900146484375\n", + "global step=26804224, episodic return=2450.992919921875\n", + "global step=26806272, episodic return=2453.02001953125\n", + "global step=26808320, episodic return=2465.418212890625\n", + "global step=26808320, episodic return=2387.112548828125\n", + "global step=26812416, episodic return=1587.926513671875\n", + "global step=26812416, episodic return=2386.395751953125\n", + "global step=26812416, episodic return=1192.395751953125\n", + "global step=26812416, episodic return=1412.5631103515625\n", + "global step=26812416, episodic return=2438.927490234375\n", + "global step=26818560, episodic return=2426.879638671875\n", + "global step=26818560, episodic return=2503.056884765625\n", + "global step=26818560, episodic return=2457.81298828125\n", + "global step=26820608, episodic return=2424.71630859375\n", + "global step=26820608, episodic return=2226.084228515625\n", + "global step=26820608, episodic return=2476.92724609375\n", + "global step=26820608, episodic return=2439.76708984375\n", + "global step=26820608, episodic return=2461.234130859375\n", + "global step=26820608, episodic return=2410.947998046875\n", + "global step=26822656, episodic return=2454.93115234375\n", + "global step=26822656, episodic return=2463.6376953125\n", + "global step=26822656, episodic return=2373.33447265625\n", + "global step=26822656, episodic return=2430.822021484375\n", + "global step=26824704, episodic return=2447.534423828125\n", + "global step=26826752, episodic return=2458.961669921875\n", + "global step=26828800, episodic return=2465.97802734375\n", + "global step=26828800, episodic return=2409.128173828125\n", + "global step=26832896, episodic return=2436.19873046875\n", + "global step=26834944, episodic return=1264.549072265625\n", + "global step=26836992, episodic return=2393.707275390625\n", + "global step=26836992, episodic return=2506.89599609375\n", + "global step=26836992, episodic return=2483.0361328125\n", + "global step=26847232, episodic return=1280.849609375\n", + "global step=26849280, episodic return=2375.05810546875\n", + "global step=26849280, episodic return=2469.78076171875\n", + "global step=26851328, episodic return=2448.603515625\n", + "global step=26851328, episodic return=2455.834228515625\n", + "global step=26857472, episodic return=2449.899658203125\n", + "global step=26857472, episodic return=432.0400695800781\n", + "global step=26861568, episodic return=1796.5391845703125\n", + "global step=26861568, episodic return=2473.550048828125\n", + "global step=26861568, episodic return=2451.979736328125\n", + "global step=26863616, episodic return=2327.096435546875\n", + "global step=26863616, episodic return=2446.380126953125\n", + "global step=26863616, episodic return=2410.99658203125\n", + "global step=26863616, episodic return=2482.839599609375\n", + "global step=26865664, episodic return=767.4531860351562\n", + "global step=26865664, episodic return=2429.854736328125\n", + "global step=26865664, episodic return=2443.725341796875\n", + "global step=26867712, episodic return=2433.2001953125\n", + "global step=26871808, episodic return=144.1182098388672\n", + "global step=26871808, episodic return=2474.30810546875\n", + "global step=26873856, episodic return=2484.840087890625\n", + "global step=26873856, episodic return=853.4509887695312\n", + "global step=26873856, episodic return=2423.400634765625\n", + "global step=26873856, episodic return=2479.71826171875\n", + "global step=26873856, episodic return=2349.214111328125\n", + "global step=26877952, episodic return=538.1784057617188\n", + "global step=26877952, episodic return=2306.010009765625\n", + "global step=26880000, episodic return=2426.48291015625\n", + "global step=26880000, episodic return=972.00634765625\n", + "global step=26884096, episodic return=2438.810302734375\n", + "global step=26884096, episodic return=638.6558227539062\n", + "global step=26886144, episodic return=2438.813232421875\n", + "global step=26888192, episodic return=2485.422607421875\n", + "global step=26888192, episodic return=2456.41943359375\n", + "global step=26888192, episodic return=2402.790283203125\n", + "global step=26890240, episodic return=2421.98583984375\n", + "global step=26892288, episodic return=1111.8048095703125\n", + "global step=26892288, episodic return=2351.564697265625\n", + "global step=26892288, episodic return=1268.232666015625\n", + "global step=26894336, episodic return=2413.246826171875\n", + "global step=26896384, episodic return=2481.798095703125\n", + "global step=26898432, episodic return=2467.94970703125\n", + "global step=26898432, episodic return=1011.4903564453125\n", + "global step=26900480, episodic return=2427.1513671875\n", + "global step=26900480, episodic return=489.4216613769531\n", + "global step=26900480, episodic return=1963.4412841796875\n", + "global step=26900480, episodic return=1497.482177734375\n", + "global step=26902528, episodic return=2394.443603515625\n", + "global step=26902528, episodic return=896.4783325195312\n", + "global step=26904576, episodic return=2486.321533203125\n", + "global step=26904576, episodic return=2374.147216796875\n", + "global step=26906624, episodic return=997.3980712890625\n", + "global step=26906624, episodic return=472.4588928222656\n", + "global step=26906624, episodic return=2424.822998046875\n", + "global step=26906624, episodic return=2417.571044921875\n", + "global step=26908672, episodic return=2381.632080078125\n", + "global step=26908672, episodic return=2501.729248046875\n", + "global step=26908672, episodic return=2446.95849609375\n", + "global step=26910720, episodic return=133.50148010253906\n", + "global step=26910720, episodic return=1976.8798828125\n", + "global step=26910720, episodic return=2377.10400390625\n", + "global step=26912768, episodic return=1326.9202880859375\n", + "global step=26912768, episodic return=2455.7021484375\n", + "global step=26914816, episodic return=918.3016357421875\n", + "global step=26914816, episodic return=618.7952880859375\n", + "global step=26916864, episodic return=2369.872314453125\n", + "global step=26916864, episodic return=184.8644561767578\n", + "global step=26916864, episodic return=2450.165771484375\n", + "global step=26918912, episodic return=2336.766845703125\n", + "global step=26918912, episodic return=2459.650390625\n", + "global step=26920960, episodic return=2454.307861328125\n", + "global step=26923008, episodic return=2063.367431640625\n", + "global step=26925056, episodic return=2471.5693359375\n", + "global step=26925056, episodic return=2417.25537109375\n", + "global step=26925056, episodic return=929.4495239257812\n", + "global step=26925056, episodic return=990.9957275390625\n", + "global step=26925056, episodic return=2482.924072265625\n", + "global step=26927104, episodic return=2405.933349609375\n", + "global step=26929152, episodic return=2331.66845703125\n", + "global step=26929152, episodic return=2415.50537109375\n", + "global step=26929152, episodic return=1815.9169921875\n", + "global step=26933248, episodic return=2389.656494140625\n", + "global step=26935296, episodic return=2423.701416015625\n", + "global step=26935296, episodic return=2457.23828125\n", + "global step=26937344, episodic return=2176.836181640625\n", + "global step=26939392, episodic return=2450.48974609375\n", + "global step=26939392, episodic return=2418.838134765625\n", + "global step=26941440, episodic return=57.01401138305664\n", + "global step=26943488, episodic return=2453.076171875\n", + "global step=26945536, episodic return=2006.004150390625\n", + "global step=26947584, episodic return=2467.470703125\n", + "global step=26947584, episodic return=2406.58056640625\n", + "global step=26949632, episodic return=2463.91015625\n", + "global step=26951680, episodic return=2399.574462890625\n", + "global step=26951680, episodic return=37.8155517578125\n", + "global step=26951680, episodic return=2464.470458984375\n", + "global step=26951680, episodic return=2457.460205078125\n", + "global step=26953728, episodic return=2420.2060546875\n", + "global step=26953728, episodic return=2438.59130859375\n", + "global step=26953728, episodic return=2455.929931640625\n", + "global step=26957824, episodic return=2439.684814453125\n", + "global step=26957824, episodic return=2383.443603515625\n", + "global step=26957824, episodic return=2381.7294921875\n", + "global step=26957824, episodic return=2425.75927734375\n", + "global step=26959872, episodic return=1866.5716552734375\n", + "global step=26959872, episodic return=2405.993896484375\n", + "global step=26963968, episodic return=2459.546142578125\n", + "global step=26963968, episodic return=2343.72705078125\n", + "global step=26963968, episodic return=2480.62646484375\n", + "global step=26966016, episodic return=2474.522216796875\n", + "global step=26968064, episodic return=2054.976318359375\n", + "global step=26968064, episodic return=2479.540771484375\n", + "global step=26972160, episodic return=2492.89501953125\n", + "global step=26974208, episodic return=2394.872314453125\n", + "global step=26974208, episodic return=2441.771484375\n", + "global step=26974208, episodic return=2427.795166015625\n", + "global step=26976256, episodic return=2452.59814453125\n", + "global step=26976256, episodic return=958.3966064453125\n", + "global step=26976256, episodic return=2438.58984375\n", + "global step=26976256, episodic return=2386.496337890625\n", + "global step=26978304, episodic return=2419.0234375\n", + "global step=26978304, episodic return=2507.135986328125\n", + "global step=26980352, episodic return=2482.30322265625\n", + "global step=26980352, episodic return=2415.424072265625\n", + "global step=26982400, episodic return=2403.027587890625\n", + "global step=26984448, episodic return=1701.7921142578125\n", + "global step=26984448, episodic return=2189.779296875\n", + "global step=26984448, episodic return=2455.497314453125\n", + "global step=26984448, episodic return=2496.98583984375\n", + "global step=26984448, episodic return=2458.110595703125\n", + "global step=26986496, episodic return=2481.667724609375\n", + "global step=26986496, episodic return=2478.57177734375\n", + "global step=26986496, episodic return=2423.39306640625\n", + "global step=26986496, episodic return=2429.63916015625\n", + "global step=26988544, episodic return=2500.76171875\n", + "global step=26988544, episodic return=2515.831787109375\n", + "global step=26988544, episodic return=2432.191650390625\n", + "global step=26988544, episodic return=2431.564208984375\n", + "global step=26990592, episodic return=2447.209716796875\n", + "global step=26990592, episodic return=2468.593505859375\n", + "global step=26992640, episodic return=2476.958984375\n", + "global step=26992640, episodic return=2379.1923828125\n", + "global step=26992640, episodic return=2397.94775390625\n", + "global step=26992640, episodic return=1670.61962890625\n", + "global step=26992640, episodic return=2478.30419921875\n", + "global step=26994688, episodic return=2428.7783203125\n", + "global step=26994688, episodic return=2441.45654296875\n", + "global step=26994688, episodic return=2424.27099609375\n", + "global step=26996736, episodic return=2483.397705078125\n", + "global step=26996736, episodic return=2423.968505859375\n", + "global step=26996736, episodic return=2452.423583984375\n", + "global step=26998784, episodic return=2479.0810546875\n", + "global step=26998784, episodic return=2427.009521484375\n", + "global step=27002880, episodic return=1544.758056640625\n", + "global step=27002880, episodic return=2409.123779296875\n", + "global step=27002880, episodic return=1448.295166015625\n", + "global step=27002880, episodic return=2456.298095703125\n", + "global step=27002880, episodic return=2459.2490234375\n", + "global step=27002880, episodic return=2516.280517578125\n", + "global step=27004928, episodic return=2451.989990234375\n", + "global step=27004928, episodic return=2427.253662109375\n", + "global step=27004928, episodic return=2465.52197265625\n", + "global step=27006976, episodic return=2447.392822265625\n", + "global step=27006976, episodic return=2448.44775390625\n", + "global step=27009024, episodic return=2471.625\n", + "global step=27009024, episodic return=2504.19921875\n", + "global step=27009024, episodic return=2370.49951171875\n", + "global step=27009024, episodic return=2465.97265625\n", + "global step=27011072, episodic return=2458.783935546875\n", + "global step=27011072, episodic return=1358.5560302734375\n", + "global step=27015168, episodic return=2463.8779296875\n", + "global step=27015168, episodic return=2462.755615234375\n", + "global step=27015168, episodic return=2415.200439453125\n", + "global step=27017216, episodic return=2487.7998046875\n", + "global step=27017216, episodic return=2460.716796875\n", + "global step=27017216, episodic return=2404.807861328125\n", + "global step=27019264, episodic return=2466.49267578125\n", + "global step=27019264, episodic return=2460.160400390625\n", + "global step=27019264, episodic return=2404.05908203125\n", + "global step=27021312, episodic return=2460.754150390625\n", + "global step=27023360, episodic return=2440.914794921875\n", + "global step=27023360, episodic return=2492.203125\n", + "global step=27023360, episodic return=2484.54248046875\n", + "global step=27025408, episodic return=13.632353782653809\n", + "global step=27027456, episodic return=2520.842529296875\n", + "global step=27029504, episodic return=2405.4580078125\n", + "global step=27035648, episodic return=2420.88623046875\n", + "global step=27035648, episodic return=2433.32470703125\n", + "global step=27039744, episodic return=2390.385009765625\n", + "global step=27041792, episodic return=1995.1510009765625\n", + "global step=27041792, episodic return=2446.55419921875\n", + "global step=27043840, episodic return=2487.478759765625\n", + "global step=27043840, episodic return=2499.4013671875\n", + "global step=27043840, episodic return=2432.699462890625\n", + "global step=27045888, episodic return=2449.176025390625\n", + "global step=27047936, episodic return=2493.013916015625\n", + "global step=27049984, episodic return=2480.7705078125\n", + "global step=27049984, episodic return=2448.181396484375\n", + "global step=27049984, episodic return=2423.8408203125\n", + "global step=27049984, episodic return=2452.0625\n", + "global step=27052032, episodic return=239.5918426513672\n", + "global step=27052032, episodic return=2489.37939453125\n", + "global step=27054080, episodic return=2406.35009765625\n", + "global step=27054080, episodic return=2473.546630859375\n", + "global step=27056128, episodic return=2453.732421875\n", + "global step=27056128, episodic return=2478.010009765625\n", + "global step=27056128, episodic return=2211.29296875\n", + "global step=27058176, episodic return=2407.978515625\n", + "global step=27062272, episodic return=2457.6962890625\n", + "global step=27064320, episodic return=193.29522705078125\n", + "global step=27064320, episodic return=2519.232666015625\n", + "global step=27066368, episodic return=2423.932861328125\n", + "global step=27068416, episodic return=2505.8427734375\n", + "global step=27068416, episodic return=2478.75048828125\n", + "global step=27068416, episodic return=2439.84228515625\n", + "global step=27068416, episodic return=2455.6923828125\n", + "global step=27070464, episodic return=2464.593994140625\n", + "global step=27070464, episodic return=2360.656982421875\n", + "global step=27070464, episodic return=1240.619140625\n", + "global step=27072512, episodic return=2458.872802734375\n", + "global step=27074560, episodic return=192.71435546875\n", + "global step=27076608, episodic return=2453.366455078125\n", + "global step=27076608, episodic return=2457.473876953125\n", + "global step=27078656, episodic return=2438.74365234375\n", + "global step=27080704, episodic return=2440.238037109375\n", + "global step=27082752, episodic return=2453.679931640625\n", + "global step=27082752, episodic return=2492.83154296875\n", + "global step=27084800, episodic return=2371.132568359375\n", + "global step=27084800, episodic return=1815.442138671875\n", + "global step=27086848, episodic return=2422.212646484375\n", + "global step=27086848, episodic return=2432.39501953125\n", + "global step=27086848, episodic return=2437.148681640625\n", + "global step=27086848, episodic return=2004.8594970703125\n", + "global step=27086848, episodic return=2438.5595703125\n", + "global step=27090944, episodic return=179.40338134765625\n", + "global step=27090944, episodic return=2403.26416015625\n", + "global step=27090944, episodic return=2437.43994140625\n", + "global step=27092992, episodic return=2448.125732421875\n", + "global step=27092992, episodic return=2417.871337890625\n", + "global step=27095040, episodic return=2449.335205078125\n", + "global step=27095040, episodic return=1482.9576416015625\n", + "global step=27099136, episodic return=2438.94580078125\n", + "global step=27099136, episodic return=1791.418701171875\n", + "global step=27101184, episodic return=2400.278564453125\n", + "global step=27103232, episodic return=2450.99365234375\n", + "global step=27103232, episodic return=2432.8671875\n", + "global step=27103232, episodic return=2462.6044921875\n", + "global step=27103232, episodic return=2374.323974609375\n", + "global step=27103232, episodic return=2506.241943359375\n", + "global step=27103232, episodic return=2455.575439453125\n", + "global step=27105280, episodic return=2436.987548828125\n", + "global step=27105280, episodic return=2384.60791015625\n", + "global step=27107328, episodic return=2417.208740234375\n", + "global step=27107328, episodic return=1642.5638427734375\n", + "global step=27107328, episodic return=2415.90869140625\n", + "global step=27107328, episodic return=2488.2275390625\n", + "global step=27109376, episodic return=2412.699951171875\n", + "global step=27109376, episodic return=2459.43505859375\n", + "global step=27111424, episodic return=994.4374389648438\n", + "global step=27111424, episodic return=2356.37744140625\n", + "global step=27117568, episodic return=2451.37939453125\n", + "global step=27117568, episodic return=2474.204345703125\n", + "global step=27117568, episodic return=2386.773681640625\n", + "global step=27117568, episodic return=2394.565185546875\n", + "global step=27119616, episodic return=2511.040283203125\n", + "global step=27119616, episodic return=2418.927734375\n", + "global step=27119616, episodic return=1479.5469970703125\n", + "global step=27121664, episodic return=2384.05517578125\n", + "global step=27121664, episodic return=2423.621826171875\n", + "global step=27121664, episodic return=2338.268310546875\n", + "global step=27127808, episodic return=2399.458251953125\n", + "global step=27131904, episodic return=2098.273681640625\n", + "global step=27131904, episodic return=2351.9130859375\n", + "global step=27131904, episodic return=2498.752197265625\n", + "global step=27131904, episodic return=2460.685546875\n", + "global step=27138048, episodic return=2399.816162109375\n", + "global step=27138048, episodic return=2400.426513671875\n", + "global step=27138048, episodic return=2443.289306640625\n", + "global step=27138048, episodic return=2499.586181640625\n", + "global step=27138048, episodic return=2443.3818359375\n", + "global step=27140096, episodic return=2328.716552734375\n", + "global step=27140096, episodic return=190.3890838623047\n", + "global step=27140096, episodic return=191.1602783203125\n", + "global step=27140096, episodic return=2315.4833984375\n", + "global step=27142144, episodic return=2368.76904296875\n", + "global step=27144192, episodic return=2412.384521484375\n", + "global step=27144192, episodic return=1638.953125\n", + "global step=27146240, episodic return=1493.96142578125\n", + "global step=27146240, episodic return=2349.786376953125\n", + "global step=27146240, episodic return=2353.84521484375\n", + "global step=27148288, episodic return=45.51412582397461\n", + "global step=27150336, episodic return=2312.50732421875\n", + "global step=27150336, episodic return=2489.72802734375\n", + "global step=27152384, episodic return=2267.157470703125\n", + "global step=27156480, episodic return=2420.610595703125\n", + "global step=27158528, episodic return=169.69261169433594\n", + "global step=27158528, episodic return=2410.95263671875\n", + "global step=27162624, episodic return=2448.49462890625\n", + "global step=27162624, episodic return=2512.5087890625\n", + "global step=27162624, episodic return=2424.948486328125\n", + "global step=27162624, episodic return=2420.1611328125\n", + "global step=27162624, episodic return=2415.518310546875\n", + "global step=27162624, episodic return=1918.2098388671875\n", + "global step=27162624, episodic return=2473.23974609375\n", + "global step=27164672, episodic return=2439.798095703125\n", + "global step=27164672, episodic return=2365.99951171875\n", + "global step=27166720, episodic return=2428.244384765625\n", + "global step=27166720, episodic return=2397.048583984375\n", + "global step=27168768, episodic return=2416.292236328125\n", + "global step=27170816, episodic return=2409.87255859375\n", + "global step=27172864, episodic return=2478.71435546875\n", + "global step=27172864, episodic return=2394.9638671875\n", + "global step=27172864, episodic return=1574.5723876953125\n", + "global step=27172864, episodic return=2484.822998046875\n", + "global step=27172864, episodic return=2424.603515625\n", + "global step=27172864, episodic return=2453.834716796875\n", + "global step=27174912, episodic return=2470.207763671875\n", + "global step=27174912, episodic return=2397.89892578125\n", + "global step=27174912, episodic return=2465.836669921875\n", + "global step=27176960, episodic return=2274.5537109375\n", + "global step=27176960, episodic return=2454.092041015625\n", + "global step=27179008, episodic return=2366.92578125\n", + "global step=27179008, episodic return=2472.464599609375\n", + "global step=27179008, episodic return=2467.300048828125\n", + "global step=27179008, episodic return=2412.3193359375\n", + "global step=27181056, episodic return=2412.7470703125\n", + "global step=27181056, episodic return=1786.291748046875\n", + "global step=27181056, episodic return=2426.115966796875\n", + "global step=27183104, episodic return=1161.2454833984375\n", + "global step=27185152, episodic return=2412.643310546875\n", + "global step=27187200, episodic return=2404.7890625\n", + "global step=27187200, episodic return=1467.30078125\n", + "global step=27189248, episodic return=2392.900390625\n", + "global step=27189248, episodic return=2363.1376953125\n", + "global step=27189248, episodic return=2441.841552734375\n", + "global step=27189248, episodic return=2403.1201171875\n", + "global step=27189248, episodic return=2438.05810546875\n", + "global step=27189248, episodic return=2338.76904296875\n", + "global step=27191296, episodic return=2398.26025390625\n", + "global step=27191296, episodic return=2322.377197265625\n", + "global step=27191296, episodic return=2394.601806640625\n", + "global step=27191296, episodic return=2440.8291015625\n", + "global step=27191296, episodic return=2461.23828125\n", + "global step=27195392, episodic return=2439.230712890625\n", + "global step=27195392, episodic return=2443.65185546875\n", + "global step=27195392, episodic return=2449.7880859375\n", + "global step=27195392, episodic return=2413.48974609375\n", + "global step=27199488, episodic return=2464.925048828125\n", + "global step=27199488, episodic return=2400.221435546875\n", + "global step=27199488, episodic return=2444.362548828125\n", + "global step=27201536, episodic return=2430.9775390625\n", + "global step=27203584, episodic return=2078.301025390625\n", + "global step=27205632, episodic return=2367.962158203125\n", + "global step=27207680, episodic return=2481.4248046875\n", + "global step=27209728, episodic return=16.576801300048828\n", + "global step=27209728, episodic return=2515.535888671875\n", + "global step=27209728, episodic return=2439.556640625\n", + "global step=27211776, episodic return=2262.9521484375\n", + "global step=27211776, episodic return=2504.8310546875\n", + "global step=27211776, episodic return=2436.604248046875\n", + "global step=27211776, episodic return=2431.997314453125\n", + "global step=27213824, episodic return=1192.2291259765625\n", + "global step=27213824, episodic return=2483.634765625\n", + "global step=27213824, episodic return=2447.180419921875\n", + "global step=27213824, episodic return=60.38648223876953\n", + "global step=27213824, episodic return=2490.337890625\n", + "global step=27217920, episodic return=2429.907470703125\n", + "global step=27217920, episodic return=2338.761962890625\n", + "global step=27217920, episodic return=2476.787841796875\n", + "global step=27217920, episodic return=2363.23388671875\n", + "global step=27222016, episodic return=2446.07666015625\n", + "global step=27222016, episodic return=490.4125061035156\n", + "global step=27222016, episodic return=2381.079833984375\n", + "global step=27224064, episodic return=2402.982421875\n", + "global step=27226112, episodic return=2452.662109375\n", + "global step=27226112, episodic return=2452.130615234375\n", + "global step=27228160, episodic return=2371.174560546875\n", + "global step=27230208, episodic return=2431.73046875\n", + "global step=27230208, episodic return=2479.455810546875\n", + "global step=27232256, episodic return=2452.979736328125\n", + "global step=27232256, episodic return=2367.712646484375\n", + "global step=27234304, episodic return=1074.9427490234375\n", + "global step=27234304, episodic return=2452.703369140625\n", + "global step=27234304, episodic return=2382.249755859375\n", + "global step=27234304, episodic return=59.82376480102539\n", + "global step=27234304, episodic return=2457.099365234375\n", + "global step=27238400, episodic return=82.86360168457031\n", + "global step=27238400, episodic return=103.05892181396484\n", + "global step=27238400, episodic return=2425.88818359375\n", + "global step=27242496, episodic return=2469.521240234375\n", + "global step=27242496, episodic return=2430.810791015625\n", + "global step=27242496, episodic return=2391.443603515625\n", + "global step=27244544, episodic return=2456.058837890625\n", + "global step=27244544, episodic return=2398.475830078125\n", + "global step=27246592, episodic return=2452.55517578125\n", + "global step=27248640, episodic return=2405.365234375\n", + "global step=27248640, episodic return=2455.486083984375\n", + "global step=27248640, episodic return=2429.55517578125\n", + "global step=27248640, episodic return=2441.134033203125\n", + "global step=27252736, episodic return=2332.946044921875\n", + "global step=27252736, episodic return=2397.65966796875\n", + "global step=27252736, episodic return=2461.836669921875\n", + "global step=27252736, episodic return=210.8788604736328\n", + "global step=27252736, episodic return=2446.392578125\n", + "global step=27256832, episodic return=2468.5341796875\n", + "global step=27256832, episodic return=2460.2158203125\n", + "global step=27256832, episodic return=1877.471923828125\n", + "global step=27256832, episodic return=2439.034423828125\n", + "global step=27256832, episodic return=2397.9013671875\n", + "global step=27258880, episodic return=2383.27978515625\n", + "global step=27258880, episodic return=2434.971923828125\n", + "global step=27260928, episodic return=2447.408935546875\n", + "global step=27260928, episodic return=2442.7451171875\n", + "global step=27260928, episodic return=2430.343994140625\n", + "global step=27260928, episodic return=2362.4169921875\n", + "global step=27260928, episodic return=2434.736083984375\n", + "global step=27262976, episodic return=2457.356201171875\n", + "global step=27262976, episodic return=2457.618896484375\n", + "global step=27262976, episodic return=2409.119384765625\n", + "global step=27262976, episodic return=2432.722900390625\n", + "global step=27262976, episodic return=2467.607421875\n", + "global step=27265024, episodic return=2432.526123046875\n", + "global step=27265024, episodic return=2400.995849609375\n", + "global step=27265024, episodic return=2430.371826171875\n", + "global step=27267072, episodic return=2427.775146484375\n", + "global step=27269120, episodic return=2463.454345703125\n", + "global step=27269120, episodic return=2459.083251953125\n", + "global step=27271168, episodic return=2408.0947265625\n", + "global step=27271168, episodic return=2420.318603515625\n", + "global step=27271168, episodic return=1974.628173828125\n", + "global step=27271168, episodic return=2417.271728515625\n", + "global step=27271168, episodic return=48.165557861328125\n", + "global step=27271168, episodic return=2462.04345703125\n", + "global step=27271168, episodic return=2438.378662109375\n", + "global step=27273216, episodic return=2498.600341796875\n", + "global step=27273216, episodic return=2508.598388671875\n", + "global step=27275264, episodic return=2461.220947265625\n", + "global step=27279360, episodic return=2444.000732421875\n", + "global step=27279360, episodic return=2465.950927734375\n", + "global step=27281408, episodic return=2034.947265625\n", + "global step=27281408, episodic return=2441.44921875\n", + "global step=27281408, episodic return=2438.77392578125\n", + "global step=27281408, episodic return=190.8447265625\n", + "global step=27281408, episodic return=2434.959228515625\n", + "global step=27281408, episodic return=2408.06591796875\n", + "global step=27281408, episodic return=2410.674560546875\n", + "global step=27283456, episodic return=2441.09033203125\n", + "global step=27283456, episodic return=1477.5479736328125\n", + "global step=27285504, episodic return=2388.31396484375\n", + "global step=27287552, episodic return=2459.37890625\n", + "global step=27289600, episodic return=2384.018310546875\n", + "global step=27289600, episodic return=2421.644775390625\n", + "global step=27289600, episodic return=2444.7216796875\n", + "global step=27291648, episodic return=2391.321044921875\n", + "global step=27293696, episodic return=62.302799224853516\n", + "global step=27293696, episodic return=2405.91943359375\n", + "global step=27293696, episodic return=2431.013427734375\n", + "global step=27293696, episodic return=2454.693603515625\n", + "global step=27297792, episodic return=2416.204833984375\n", + "global step=27299840, episodic return=2451.315673828125\n", + "global step=27299840, episodic return=87.96434783935547\n", + "global step=27301888, episodic return=2386.935302734375\n", + "global step=27303936, episodic return=2357.31201171875\n", + "global step=27303936, episodic return=2486.7763671875\n", + "global step=27303936, episodic return=2460.47705078125\n", + "global step=27303936, episodic return=1241.49462890625\n", + "global step=27305984, episodic return=2499.200439453125\n", + "global step=27305984, episodic return=2432.474365234375\n", + "global step=27308032, episodic return=2316.997802734375\n", + "global step=27308032, episodic return=2361.541748046875\n", + "global step=27310080, episodic return=96.96920013427734\n", + "global step=27312128, episodic return=2322.017333984375\n", + "global step=27314176, episodic return=2466.5244140625\n", + "global step=27314176, episodic return=2449.734619140625\n", + "global step=27314176, episodic return=2451.0712890625\n", + "global step=27316224, episodic return=2485.36474609375\n", + "global step=27316224, episodic return=2467.531982421875\n", + "global step=27318272, episodic return=2464.403564453125\n", + "global step=27318272, episodic return=2438.630615234375\n", + "global step=27320320, episodic return=2396.919677734375\n", + "global step=27324416, episodic return=2486.72802734375\n", + "global step=27324416, episodic return=2415.979736328125\n", + "global step=27326464, episodic return=2319.505859375\n", + "global step=27328512, episodic return=2432.906005859375\n", + "global step=27330560, episodic return=2376.50732421875\n", + "global step=27330560, episodic return=2429.8232421875\n", + "global step=27332608, episodic return=642.1668701171875\n", + "global step=27332608, episodic return=1236.4244384765625\n", + "global step=27332608, episodic return=2342.22998046875\n", + "global step=27332608, episodic return=2419.24169921875\n", + "global step=27332608, episodic return=606.9939575195312\n", + "global step=27334656, episodic return=2458.981201171875\n", + "global step=27336704, episodic return=2461.535888671875\n", + "global step=27338752, episodic return=2421.325439453125\n", + "global step=27338752, episodic return=2378.673583984375\n", + "global step=27338752, episodic return=2516.684814453125\n", + "global step=27338752, episodic return=2441.67236328125\n", + "global step=27340800, episodic return=1860.4012451171875\n", + "global step=27340800, episodic return=2484.69873046875\n", + "global step=27340800, episodic return=2471.543212890625\n", + "global step=27342848, episodic return=2449.12841796875\n", + "global step=27342848, episodic return=2440.6025390625\n", + "global step=27342848, episodic return=438.643310546875\n", + "global step=27342848, episodic return=2454.15869140625\n", + "global step=27344896, episodic return=2449.0419921875\n", + "global step=27344896, episodic return=2424.6982421875\n", + "global step=27346944, episodic return=2504.90234375\n", + "global step=27346944, episodic return=166.87786865234375\n", + "global step=27346944, episodic return=2378.861328125\n", + "global step=27348992, episodic return=2499.07666015625\n", + "global step=27348992, episodic return=2490.770751953125\n", + "global step=27351040, episodic return=203.7447509765625\n", + "global step=27351040, episodic return=2425.981201171875\n", + "global step=27351040, episodic return=2469.059326171875\n", + "global step=27351040, episodic return=2452.09326171875\n", + "global step=27351040, episodic return=2439.963134765625\n", + "global step=27351040, episodic return=1474.780517578125\n", + "global step=27353088, episodic return=2352.104248046875\n", + "global step=27353088, episodic return=2461.556640625\n", + "global step=27353088, episodic return=2246.74169921875\n", + "global step=27353088, episodic return=2483.50927734375\n", + "global step=27353088, episodic return=2432.825439453125\n", + "global step=27355136, episodic return=2383.4619140625\n", + "global step=27357184, episodic return=2353.85693359375\n", + "global step=27363328, episodic return=2450.134033203125\n", + "global step=27363328, episodic return=2447.14501953125\n", + "global step=27363328, episodic return=2313.76904296875\n", + "global step=27365376, episodic return=2443.460205078125\n", + "global step=27365376, episodic return=2447.243408203125\n", + "global step=27367424, episodic return=2512.11962890625\n", + "global step=27367424, episodic return=2493.9404296875\n", + "global step=27369472, episodic return=2445.13330078125\n", + "global step=27371520, episodic return=2504.180908203125\n", + "global step=27371520, episodic return=2470.7080078125\n", + "global step=27373568, episodic return=2431.088134765625\n", + "global step=27375616, episodic return=2489.64453125\n", + "global step=27375616, episodic return=2430.124267578125\n", + "global step=27377664, episodic return=2471.884765625\n", + "global step=27377664, episodic return=2435.04345703125\n", + "global step=27377664, episodic return=2311.109619140625\n", + "global step=27377664, episodic return=2360.1455078125\n", + "global step=27377664, episodic return=2452.22021484375\n", + "global step=27377664, episodic return=2422.0517578125\n", + "global step=27377664, episodic return=1525.3048095703125\n", + "global step=27377664, episodic return=2480.397705078125\n", + "global step=27379712, episodic return=2451.63134765625\n", + "global step=27381760, episodic return=2442.190673828125\n", + "global step=27381760, episodic return=2421.67138671875\n", + "global step=27383808, episodic return=1448.3482666015625\n", + "global step=27383808, episodic return=2446.471435546875\n", + "global step=27385856, episodic return=2458.081787109375\n", + "global step=27385856, episodic return=2399.43212890625\n", + "global step=27385856, episodic return=2462.9404296875\n", + "global step=27385856, episodic return=2501.071533203125\n", + "global step=27385856, episodic return=2438.978759765625\n", + "global step=27385856, episodic return=2439.331787109375\n", + "global step=27387904, episodic return=2423.59375\n", + "global step=27387904, episodic return=2452.475341796875\n", + "global step=27392000, episodic return=2495.960205078125\n", + "global step=27392000, episodic return=2428.759033203125\n", + "global step=27392000, episodic return=2435.439453125\n", + "global step=27392000, episodic return=2453.729736328125\n", + "global step=27392000, episodic return=2411.269287109375\n", + "global step=27392000, episodic return=2437.634521484375\n", + "global step=27392000, episodic return=2397.780029296875\n", + "global step=27394048, episodic return=2484.744140625\n", + "global step=27394048, episodic return=2443.521240234375\n", + "global step=27394048, episodic return=2454.769287109375\n", + "global step=27396096, episodic return=2405.024169921875\n", + "global step=27396096, episodic return=2225.6533203125\n", + "global step=27396096, episodic return=45.71493911743164\n", + "global step=27396096, episodic return=2476.89013671875\n", + "global step=27398144, episodic return=2450.70458984375\n", + "global step=27400192, episodic return=262.6134033203125\n", + "global step=27400192, episodic return=2484.248046875\n", + "global step=27402240, episodic return=2409.598388671875\n", + "global step=27402240, episodic return=2447.52587890625\n", + "global step=27402240, episodic return=2395.59130859375\n", + "global step=27402240, episodic return=2435.661376953125\n", + "global step=27402240, episodic return=2425.186767578125\n", + "global step=27402240, episodic return=232.5489501953125\n", + "global step=27408384, episodic return=228.6104736328125\n", + "global step=27408384, episodic return=2447.01123046875\n", + "global step=27408384, episodic return=2457.261474609375\n", + "global step=27408384, episodic return=2407.114013671875\n", + "global step=27408384, episodic return=2413.900146484375\n", + "global step=27410432, episodic return=1379.579833984375\n", + "global step=27410432, episodic return=636.2455444335938\n", + "global step=27410432, episodic return=2453.76171875\n", + "global step=27412480, episodic return=2397.837646484375\n", + "global step=27412480, episodic return=2459.3056640625\n", + "global step=27412480, episodic return=2461.05859375\n", + "global step=27416576, episodic return=1225.184326171875\n", + "global step=27416576, episodic return=2463.32958984375\n", + "global step=27416576, episodic return=2427.915771484375\n", + "global step=27418624, episodic return=2458.912841796875\n", + "global step=27420672, episodic return=2457.781005859375\n", + "global step=27420672, episodic return=476.068603515625\n", + "global step=27422720, episodic return=2476.181640625\n", + "global step=27422720, episodic return=2408.74609375\n", + "global step=27422720, episodic return=313.88323974609375\n", + "global step=27424768, episodic return=2384.931884765625\n", + "global step=27424768, episodic return=2349.21728515625\n", + "global step=27424768, episodic return=2407.80322265625\n", + "global step=27428864, episodic return=2455.66796875\n", + "global step=27428864, episodic return=2473.18017578125\n", + "global step=27428864, episodic return=460.5961608886719\n", + "global step=27428864, episodic return=2485.843017578125\n", + "global step=27428864, episodic return=2476.8515625\n", + "global step=27428864, episodic return=2364.37353515625\n", + "global step=27430912, episodic return=2439.716552734375\n", + "global step=27430912, episodic return=2415.6181640625\n", + "global step=27432960, episodic return=2522.094482421875\n", + "global step=27435008, episodic return=2415.263916015625\n", + "global step=27435008, episodic return=2446.90234375\n", + "global step=27435008, episodic return=2444.052978515625\n", + "global step=27437056, episodic return=2465.184814453125\n", + "global step=27437056, episodic return=224.2642822265625\n", + "global step=27439104, episodic return=2387.78369140625\n", + "global step=27439104, episodic return=2439.3037109375\n", + "global step=27439104, episodic return=2435.71337890625\n", + "global step=27439104, episodic return=2451.481689453125\n", + "global step=27439104, episodic return=2469.253662109375\n", + "global step=27441152, episodic return=2382.346435546875\n", + "global step=27441152, episodic return=2437.56494140625\n", + "global step=27443200, episodic return=2445.124755859375\n", + "global step=27443200, episodic return=371.5072021484375\n", + "global step=27443200, episodic return=2492.37890625\n", + "global step=27443200, episodic return=2471.09619140625\n", + "global step=27445248, episodic return=2456.6630859375\n", + "global step=27445248, episodic return=2434.487548828125\n", + "global step=27445248, episodic return=302.72052001953125\n", + "global step=27445248, episodic return=2464.51171875\n", + "global step=27445248, episodic return=2417.661865234375\n", + "global step=27445248, episodic return=2448.3154296875\n", + "global step=27445248, episodic return=2439.579833984375\n", + "global step=27447296, episodic return=368.5813293457031\n", + "global step=27447296, episodic return=2438.24755859375\n", + "global step=27449344, episodic return=2449.56884765625\n", + "global step=27449344, episodic return=2513.04541015625\n", + "global step=27451392, episodic return=2427.458740234375\n", + "global step=27451392, episodic return=2429.87548828125\n", + "global step=27451392, episodic return=2401.75927734375\n", + "global step=27453440, episodic return=2455.68798828125\n", + "global step=27453440, episodic return=2435.764892578125\n", + "global step=27455488, episodic return=2523.852294921875\n", + "global step=27455488, episodic return=2444.6982421875\n", + "global step=27455488, episodic return=2485.3994140625\n", + "global step=27457536, episodic return=611.3970336914062\n", + "global step=27461632, episodic return=2444.595703125\n", + "global step=27463680, episodic return=2427.240966796875\n", + "global step=27463680, episodic return=179.2532958984375\n", + "global step=27465728, episodic return=2475.6884765625\n", + "global step=27467776, episodic return=2463.09814453125\n", + "global step=27467776, episodic return=2377.91455078125\n", + "global step=27469824, episodic return=1595.3115234375\n", + "global step=27471872, episodic return=2438.48095703125\n", + "global step=27471872, episodic return=2390.64990234375\n", + "global step=27473920, episodic return=2467.489501953125\n", + "global step=27475968, episodic return=2420.21044921875\n", + "global step=27475968, episodic return=1805.82763671875\n", + "global step=27478016, episodic return=2416.635498046875\n", + "global step=27480064, episodic return=2497.438232421875\n", + "global step=27480064, episodic return=2436.036376953125\n", + "global step=27480064, episodic return=718.1741943359375\n", + "global step=27484160, episodic return=2512.695556640625\n", + "global step=27488256, episodic return=2468.323974609375\n", + "global step=27488256, episodic return=1637.1868896484375\n", + "global step=27488256, episodic return=2446.042236328125\n", + "global step=27490304, episodic return=2481.564453125\n", + "global step=27490304, episodic return=51.78567886352539\n", + "global step=27492352, episodic return=2382.096435546875\n", + "global step=27494400, episodic return=2432.161865234375\n", + "global step=27494400, episodic return=2433.92431640625\n", + "global step=27496448, episodic return=2426.252685546875\n", + "global step=27496448, episodic return=2340.753173828125\n", + "global step=27498496, episodic return=2374.206298828125\n", + "global step=27498496, episodic return=2414.16015625\n", + "global step=27498496, episodic return=2380.408447265625\n", + "global step=27498496, episodic return=2450.080322265625\n", + "global step=27498496, episodic return=2454.161376953125\n", + "global step=27500544, episodic return=1511.873291015625\n", + "global step=27500544, episodic return=2419.722900390625\n", + "global step=27500544, episodic return=2333.2275390625\n", + "global step=27502592, episodic return=2413.74560546875\n", + "global step=27504640, episodic return=2420.244384765625\n", + "global step=27504640, episodic return=266.8312683105469\n", + "global step=27506688, episodic return=2399.253173828125\n", + "global step=27506688, episodic return=2451.2705078125\n", + "global step=27506688, episodic return=2461.282470703125\n", + "global step=27506688, episodic return=2419.970703125\n", + "global step=27506688, episodic return=2441.195556640625\n", + "global step=27508736, episodic return=2385.095703125\n", + "global step=27508736, episodic return=2440.9892578125\n", + "global step=27508736, episodic return=2481.301025390625\n", + "global step=27510784, episodic return=1981.9583740234375\n", + "global step=27510784, episodic return=1902.118408203125\n", + "global step=27510784, episodic return=2455.97265625\n", + "global step=27510784, episodic return=2456.658935546875\n", + "global step=27512832, episodic return=2520.0791015625\n", + "global step=27512832, episodic return=2396.792724609375\n", + "global step=27514880, episodic return=2363.7041015625\n", + "global step=27516928, episodic return=1885.3236083984375\n", + "global step=27516928, episodic return=2429.564453125\n", + "global step=27516928, episodic return=1551.804931640625\n", + "global step=27516928, episodic return=2285.353271484375\n", + "global step=27518976, episodic return=2405.267578125\n", + "global step=27518976, episodic return=2449.67431640625\n", + "global step=27518976, episodic return=2400.812255859375\n", + "global step=27521024, episodic return=2330.34326171875\n", + "global step=27521024, episodic return=2394.63427734375\n", + "global step=27523072, episodic return=1709.59716796875\n", + "global step=27525120, episodic return=482.2115783691406\n", + "global step=27525120, episodic return=2332.418701171875\n", + "global step=27525120, episodic return=2443.447509765625\n", + "global step=27527168, episodic return=2419.13623046875\n", + "global step=27529216, episodic return=2439.690185546875\n", + "global step=27529216, episodic return=2351.15869140625\n", + "global step=27529216, episodic return=2396.063232421875\n", + "global step=27531264, episodic return=2423.619873046875\n", + "global step=27531264, episodic return=2420.804931640625\n", + "global step=27535360, episodic return=2427.412841796875\n", + "global step=27535360, episodic return=2356.54345703125\n", + "global step=27535360, episodic return=2314.416259765625\n", + "global step=27537408, episodic return=130.13230895996094\n", + "global step=27539456, episodic return=2432.5234375\n", + "global step=27539456, episodic return=2446.3291015625\n", + "global step=27541504, episodic return=2420.898681640625\n", + "global step=27541504, episodic return=2449.398681640625\n", + "global step=27543552, episodic return=2457.7353515625\n", + "global step=27547648, episodic return=2453.495361328125\n", + "global step=27547648, episodic return=2422.863037109375\n", + "global step=27547648, episodic return=2389.2109375\n", + "global step=27551744, episodic return=2336.765869140625\n", + "global step=27553792, episodic return=2427.03515625\n", + "global step=27555840, episodic return=2473.913330078125\n", + "global step=27555840, episodic return=2415.15087890625\n", + "global step=27555840, episodic return=2401.77734375\n", + "global step=27557888, episodic return=2405.748779296875\n", + "global step=27557888, episodic return=2455.074951171875\n", + "global step=27557888, episodic return=2441.5751953125\n", + "global step=27557888, episodic return=2446.46484375\n", + "global step=27557888, episodic return=2435.12841796875\n", + "global step=27557888, episodic return=2448.44775390625\n", + "global step=27559936, episodic return=2359.578857421875\n", + "global step=27561984, episodic return=2178.415283203125\n", + "global step=27564032, episodic return=2399.572509765625\n", + "global step=27564032, episodic return=2423.674072265625\n", + "global step=27566080, episodic return=2457.735595703125\n", + "global step=27566080, episodic return=2412.0224609375\n", + "global step=27572224, episodic return=2482.94580078125\n", + "global step=27572224, episodic return=2493.67919921875\n", + "global step=27572224, episodic return=2446.80029296875\n", + "global step=27576320, episodic return=2407.334716796875\n", + "global step=27576320, episodic return=2365.359619140625\n", + "global step=27578368, episodic return=2408.817626953125\n", + "global step=27578368, episodic return=2339.418701171875\n", + "global step=27578368, episodic return=2388.77294921875\n", + "global step=27578368, episodic return=2479.79345703125\n", + "global step=27580416, episodic return=2391.418701171875\n", + "global step=27580416, episodic return=2435.90234375\n", + "global step=27584512, episodic return=2282.136474609375\n", + "global step=27584512, episodic return=2383.34375\n", + "global step=27584512, episodic return=2431.476318359375\n", + "global step=27586560, episodic return=2419.060546875\n", + "global step=27586560, episodic return=2443.067138671875\n", + "global step=27586560, episodic return=2428.86669921875\n", + "global step=27586560, episodic return=2431.10546875\n", + "global step=27586560, episodic return=2409.572021484375\n", + "global step=27590656, episodic return=1660.8077392578125\n", + "global step=27594752, episodic return=2485.750244140625\n", + "global step=27594752, episodic return=2447.380859375\n", + "global step=27594752, episodic return=59.672515869140625\n", + "global step=27596800, episodic return=2404.58447265625\n", + "global step=27596800, episodic return=2479.084228515625\n", + "global step=27596800, episodic return=2508.05029296875\n", + "global step=27598848, episodic return=2473.656005859375\n", + "global step=27598848, episodic return=2463.340087890625\n", + "global step=27598848, episodic return=246.40621948242188\n", + "global step=27598848, episodic return=2431.93896484375\n", + "global step=27598848, episodic return=2471.3076171875\n", + "global step=27600896, episodic return=2382.383544921875\n", + "global step=27600896, episodic return=2398.383056640625\n", + "global step=27600896, episodic return=2367.930419921875\n", + "global step=27600896, episodic return=2432.327392578125\n", + "global step=27604992, episodic return=25.85239028930664\n", + "global step=27604992, episodic return=2427.536376953125\n", + "global step=27607040, episodic return=2448.82373046875\n", + "global step=27607040, episodic return=2408.6640625\n", + "global step=27607040, episodic return=187.132568359375\n", + "global step=27609088, episodic return=164.19871520996094\n", + "global step=27609088, episodic return=2477.9599609375\n", + "global step=27613184, episodic return=2459.4443359375\n", + "global step=27615232, episodic return=2416.861328125\n", + "global step=27615232, episodic return=2415.549560546875\n", + "global step=27617280, episodic return=2361.146728515625\n", + "global step=27619328, episodic return=2431.71923828125\n", + "global step=27619328, episodic return=2471.78076171875\n", + "global step=27619328, episodic return=2300.470703125\n", + "global step=27621376, episodic return=2470.24951171875\n", + "global step=27621376, episodic return=2297.257080078125\n", + "global step=27621376, episodic return=2415.2333984375\n", + "global step=27623424, episodic return=2371.334716796875\n", + "global step=27625472, episodic return=2489.979736328125\n", + "global step=27625472, episodic return=1645.069580078125\n", + "global step=27625472, episodic return=2461.9716796875\n", + "global step=27629568, episodic return=2382.849609375\n", + "global step=27629568, episodic return=2435.985595703125\n", + "global step=27631616, episodic return=2483.360595703125\n", + "global step=27631616, episodic return=2398.67041015625\n", + "global step=27633664, episodic return=2358.335205078125\n", + "global step=27633664, episodic return=2408.95458984375\n", + "global step=27633664, episodic return=2376.86328125\n", + "global step=27633664, episodic return=1899.1412353515625\n", + "global step=27633664, episodic return=2471.615234375\n", + "global step=27635712, episodic return=2423.025146484375\n", + "global step=27635712, episodic return=2459.619384765625\n", + "global step=27637760, episodic return=2449.03564453125\n", + "global step=27637760, episodic return=1305.6993408203125\n", + "global step=27639808, episodic return=2392.12255859375\n", + "global step=27639808, episodic return=2413.26513671875\n", + "global step=27641856, episodic return=2422.453857421875\n", + "global step=27641856, episodic return=2444.43310546875\n", + "global step=27641856, episodic return=2388.519287109375\n", + "global step=27643904, episodic return=2412.316650390625\n", + "global step=27643904, episodic return=2368.6171875\n", + "global step=27643904, episodic return=2464.885986328125\n", + "global step=27643904, episodic return=2349.10009765625\n", + "global step=27643904, episodic return=2455.153564453125\n", + "global step=27645952, episodic return=2451.831787109375\n", + "global step=27648000, episodic return=2373.14306640625\n", + "global step=27650048, episodic return=29.079782485961914\n", + "global step=27650048, episodic return=2446.17822265625\n", + "global step=27650048, episodic return=1650.738525390625\n", + "global step=27650048, episodic return=2224.30615234375\n", + "global step=27652096, episodic return=2472.438232421875\n", + "global step=27652096, episodic return=2437.996337890625\n", + "global step=27652096, episodic return=2467.128173828125\n", + "global step=27652096, episodic return=2452.036865234375\n", + "global step=27652096, episodic return=2415.8720703125\n", + "global step=27654144, episodic return=2451.43505859375\n", + "global step=27654144, episodic return=2504.5439453125\n", + "global step=27660288, episodic return=2419.777099609375\n", + "global step=27660288, episodic return=2404.154296875\n", + "global step=27660288, episodic return=2405.72705078125\n", + "global step=27660288, episodic return=2491.050537109375\n", + "global step=27662336, episodic return=2457.333984375\n", + "global step=27662336, episodic return=2445.930908203125\n", + "global step=27664384, episodic return=602.9147338867188\n", + "global step=27664384, episodic return=1642.3060302734375\n", + "global step=27664384, episodic return=2409.275390625\n", + "global step=27666432, episodic return=2414.396240234375\n", + "global step=27668480, episodic return=1682.61865234375\n", + "global step=27670528, episodic return=2386.529296875\n", + "global step=27670528, episodic return=2375.3916015625\n", + "global step=27670528, episodic return=2431.467529296875\n", + "global step=27672576, episodic return=2407.422607421875\n", + "global step=27672576, episodic return=2450.457275390625\n", + "global step=27674624, episodic return=2385.058837890625\n", + "global step=27674624, episodic return=2378.20166015625\n", + "global step=27676672, episodic return=2396.37451171875\n", + "global step=27676672, episodic return=2444.1796875\n", + "global step=27680768, episodic return=2371.872314453125\n", + "global step=27680768, episodic return=2347.58837890625\n", + "global step=27680768, episodic return=2395.099365234375\n", + "global step=27682816, episodic return=1236.7918701171875\n", + "global step=27684864, episodic return=2335.897705078125\n", + "global step=27684864, episodic return=2438.866455078125\n", + "global step=27688960, episodic return=2376.117919921875\n", + "global step=27691008, episodic return=2458.056884765625\n", + "global step=27691008, episodic return=2454.03515625\n", + "global step=27691008, episodic return=2431.626220703125\n", + "global step=27691008, episodic return=2331.404296875\n", + "global step=27691008, episodic return=1738.706298828125\n", + "global step=27693056, episodic return=2409.82080078125\n", + "global step=27693056, episodic return=2203.391357421875\n", + "global step=27693056, episodic return=2419.943603515625\n", + "global step=27695104, episodic return=1033.307373046875\n", + "global step=27695104, episodic return=2498.4609375\n", + "global step=27695104, episodic return=2416.26220703125\n", + "global step=27695104, episodic return=2302.81005859375\n", + "global step=27699200, episodic return=2438.115478515625\n", + "global step=27701248, episodic return=2455.893798828125\n", + "global step=27703296, episodic return=2472.201416015625\n", + "global step=27705344, episodic return=2423.8818359375\n", + "global step=27705344, episodic return=2458.80224609375\n", + "global step=27705344, episodic return=2430.798095703125\n", + "global step=27707392, episodic return=2404.237548828125\n", + "global step=27707392, episodic return=1442.326171875\n", + "global step=27707392, episodic return=849.13671875\n", + "global step=27709440, episodic return=1908.21240234375\n", + "global step=27711488, episodic return=2401.30224609375\n", + "global step=27711488, episodic return=2356.1083984375\n", + "global step=27713536, episodic return=2432.790283203125\n", + "global step=27717632, episodic return=2413.7255859375\n", + "global step=27719680, episodic return=2417.968505859375\n", + "global step=27719680, episodic return=2471.51318359375\n", + "global step=27719680, episodic return=2373.40283203125\n", + "global step=27719680, episodic return=2456.912841796875\n", + "global step=27719680, episodic return=2381.41943359375\n", + "global step=27721728, episodic return=2474.68310546875\n", + "global step=27723776, episodic return=2435.295654296875\n", + "global step=27725824, episodic return=1575.296630859375\n", + "global step=27725824, episodic return=2437.959716796875\n", + "global step=27727872, episodic return=2414.607177734375\n", + "global step=27727872, episodic return=2440.489501953125\n", + "global step=27727872, episodic return=57.113250732421875\n", + "global step=27729920, episodic return=2456.343017578125\n", + "global step=27729920, episodic return=2422.713623046875\n", + "global step=27729920, episodic return=2428.171142578125\n", + "global step=27731968, episodic return=2442.278564453125\n", + "global step=27731968, episodic return=2410.181884765625\n", + "global step=27731968, episodic return=2456.22900390625\n", + "global step=27734016, episodic return=2390.14697265625\n", + "global step=27734016, episodic return=2440.546142578125\n", + "global step=27734016, episodic return=2475.8173828125\n", + "global step=27736064, episodic return=2420.227294921875\n", + "global step=27736064, episodic return=2446.764404296875\n", + "global step=27736064, episodic return=1117.7615966796875\n", + "global step=27736064, episodic return=2375.665283203125\n", + "global step=27738112, episodic return=2468.055908203125\n", + "global step=27740160, episodic return=2352.850341796875\n", + "global step=27740160, episodic return=2310.231689453125\n", + "global step=27740160, episodic return=2437.312744140625\n", + "global step=27740160, episodic return=2452.618896484375\n", + "global step=27742208, episodic return=2373.578857421875\n", + "global step=27742208, episodic return=2431.44580078125\n", + "global step=27742208, episodic return=2437.540771484375\n", + "global step=27744256, episodic return=2412.60546875\n", + "global step=27744256, episodic return=2431.2421875\n", + "global step=27744256, episodic return=2183.866455078125\n", + "global step=27746304, episodic return=2432.556396484375\n", + "global step=27746304, episodic return=2437.1630859375\n", + "global step=27748352, episodic return=2411.320556640625\n", + "global step=27750400, episodic return=2480.60009765625\n", + "global step=27750400, episodic return=2416.739013671875\n", + "global step=27750400, episodic return=2459.31396484375\n", + "global step=27750400, episodic return=2367.124267578125\n", + "global step=27750400, episodic return=1287.6060791015625\n", + "global step=27752448, episodic return=2406.5205078125\n", + "global step=27752448, episodic return=2410.444091796875\n", + "global step=27752448, episodic return=2383.769775390625\n", + "global step=27752448, episodic return=2458.259521484375\n", + "global step=27752448, episodic return=2414.8740234375\n", + "global step=27752448, episodic return=2361.094482421875\n", + "global step=27752448, episodic return=1389.006591796875\n", + "global step=27752448, episodic return=2416.1142578125\n", + "global step=27752448, episodic return=2389.39697265625\n", + "global step=27754496, episodic return=2367.67041015625\n", + "global step=27754496, episodic return=2418.20166015625\n", + "global step=27754496, episodic return=187.30357360839844\n", + "global step=27754496, episodic return=2490.0009765625\n", + "global step=27756544, episodic return=2428.409912109375\n", + "global step=27758592, episodic return=2462.121337890625\n", + "global step=27758592, episodic return=2398.760986328125\n", + "global step=27758592, episodic return=2382.04052734375\n", + "global step=27758592, episodic return=2444.041259765625\n", + "global step=27758592, episodic return=2429.929443359375\n", + "global step=27758592, episodic return=2408.007568359375\n", + "global step=27760640, episodic return=2442.48486328125\n", + "global step=27760640, episodic return=2342.537841796875\n", + "global step=27760640, episodic return=2413.55810546875\n", + "global step=27762688, episodic return=2377.665771484375\n", + "global step=27762688, episodic return=2427.83642578125\n", + "global step=27764736, episodic return=2383.601806640625\n", + "global step=27764736, episodic return=2427.180419921875\n", + "global step=27764736, episodic return=2495.34619140625\n", + "global step=27766784, episodic return=1532.5660400390625\n", + "global step=27766784, episodic return=2320.873779296875\n", + "global step=27766784, episodic return=2361.8935546875\n", + "global step=27768832, episodic return=2436.422119140625\n", + "global step=27768832, episodic return=2389.592041015625\n", + "global step=27768832, episodic return=2376.66552734375\n", + "global step=27768832, episodic return=2400.00439453125\n", + "global step=27768832, episodic return=2401.545654296875\n", + "global step=27770880, episodic return=53.16185760498047\n", + "global step=27770880, episodic return=2471.74072265625\n", + "global step=27770880, episodic return=2427.394287109375\n", + "global step=27772928, episodic return=2368.45263671875\n", + "global step=27772928, episodic return=2488.8271484375\n", + "global step=27774976, episodic return=2445.65966796875\n", + "global step=27774976, episodic return=2408.02978515625\n", + "global step=27774976, episodic return=2409.209716796875\n", + "global step=27777024, episodic return=2364.22314453125\n", + "global step=27779072, episodic return=2405.520263671875\n", + "global step=27779072, episodic return=195.9835968017578\n", + "global step=27779072, episodic return=2406.67822265625\n", + "global step=27779072, episodic return=2443.3701171875\n", + "global step=27779072, episodic return=2403.759521484375\n", + "global step=27779072, episodic return=2459.772705078125\n", + "global step=27781120, episodic return=2418.762451171875\n", + "global step=27781120, episodic return=2463.56103515625\n", + "global step=27783168, episodic return=1119.1112060546875\n", + "global step=27783168, episodic return=2354.466064453125\n", + "global step=27783168, episodic return=1226.809326171875\n", + "global step=27783168, episodic return=2496.859130859375\n", + "global step=27785216, episodic return=2440.01025390625\n", + "global step=27785216, episodic return=2394.5107421875\n", + "global step=27785216, episodic return=213.30148315429688\n", + "global step=27785216, episodic return=2409.569091796875\n", + "global step=27787264, episodic return=2467.59521484375\n", + "global step=27787264, episodic return=2318.797119140625\n", + "global step=27787264, episodic return=2409.599365234375\n", + "global step=27787264, episodic return=2504.24169921875\n", + "global step=27789312, episodic return=255.1972198486328\n", + "global step=27789312, episodic return=2398.007568359375\n", + "global step=27791360, episodic return=2378.833984375\n", + "global step=27791360, episodic return=2452.340087890625\n", + "global step=27791360, episodic return=202.86077880859375\n", + "global step=27791360, episodic return=2419.55712890625\n", + "global step=27793408, episodic return=2422.68310546875\n", + "global step=27793408, episodic return=2460.09228515625\n", + "global step=27793408, episodic return=2488.1943359375\n", + "global step=27793408, episodic return=2463.340087890625\n", + "global step=27795456, episodic return=2251.287109375\n", + "global step=27795456, episodic return=190.70938110351562\n", + "global step=27797504, episodic return=2299.148193359375\n", + "global step=27797504, episodic return=2372.48974609375\n", + "global step=27799552, episodic return=2439.53955078125\n", + "global step=27799552, episodic return=2317.08154296875\n", + "global step=27799552, episodic return=2411.904541015625\n", + "global step=27801600, episodic return=2376.541259765625\n", + "global step=27801600, episodic return=225.78433227539062\n", + "global step=27801600, episodic return=2419.84765625\n", + "global step=27801600, episodic return=2450.5517578125\n", + "global step=27801600, episodic return=227.09036254882812\n", + "global step=27801600, episodic return=2427.843017578125\n", + "global step=27805696, episodic return=2453.079833984375\n", + "global step=27805696, episodic return=2476.764892578125\n", + "global step=27805696, episodic return=2460.07421875\n", + "global step=27805696, episodic return=2420.112548828125\n", + "global step=27807744, episodic return=2446.142578125\n", + "global step=27809792, episodic return=2361.9326171875\n", + "global step=27809792, episodic return=2395.81884765625\n", + "global step=27809792, episodic return=2328.9892578125\n", + "global step=27809792, episodic return=2404.526123046875\n", + "global step=27811840, episodic return=2417.78466796875\n", + "global step=27811840, episodic return=2481.583251953125\n", + "global step=27811840, episodic return=2416.601318359375\n", + "global step=27813888, episodic return=2431.0537109375\n", + "global step=27813888, episodic return=2466.096435546875\n", + "global step=27813888, episodic return=2395.026611328125\n", + "global step=27813888, episodic return=2431.292724609375\n", + "global step=27815936, episodic return=2400.363037109375\n", + "global step=27815936, episodic return=2484.804931640625\n", + "global step=27815936, episodic return=2378.092041015625\n", + "global step=27815936, episodic return=2437.26025390625\n", + "global step=27815936, episodic return=2447.872802734375\n", + "global step=27817984, episodic return=2396.34423828125\n", + "global step=27817984, episodic return=1958.685546875\n", + "global step=27820032, episodic return=2382.958251953125\n", + "global step=27820032, episodic return=2281.47021484375\n", + "global step=27820032, episodic return=662.2730102539062\n", + "global step=27820032, episodic return=2371.6181640625\n", + "global step=27820032, episodic return=2417.842529296875\n", + "global step=27822080, episodic return=2430.131591796875\n", + "global step=27822080, episodic return=1347.4822998046875\n", + "global step=27822080, episodic return=202.81201171875\n", + "global step=27824128, episodic return=2420.086669921875\n", + "global step=27826176, episodic return=2489.745849609375\n", + "global step=27826176, episodic return=2455.87353515625\n", + "global step=27826176, episodic return=2435.10009765625\n", + "global step=27828224, episodic return=145.35882568359375\n", + "global step=27828224, episodic return=2301.669677734375\n", + "global step=27830272, episodic return=1936.3343505859375\n", + "global step=27830272, episodic return=2449.618896484375\n", + "global step=27832320, episodic return=2406.3984375\n", + "global step=27832320, episodic return=2425.689697265625\n", + "global step=27834368, episodic return=2461.53369140625\n", + "global step=27834368, episodic return=2447.849609375\n", + "global step=27834368, episodic return=2434.9228515625\n", + "global step=27834368, episodic return=2445.224609375\n", + "global step=27834368, episodic return=2433.248291015625\n", + "global step=27836416, episodic return=2453.149169921875\n", + "global step=27836416, episodic return=2411.23193359375\n", + "global step=27838464, episodic return=2127.626953125\n", + "global step=27838464, episodic return=2393.99951171875\n", + "global step=27840512, episodic return=2427.274169921875\n", + "global step=27842560, episodic return=1632.9453125\n", + "global step=27842560, episodic return=719.7042236328125\n", + "global step=27844608, episodic return=632.123046875\n", + "global step=27844608, episodic return=2409.805908203125\n", + "global step=27844608, episodic return=1084.28759765625\n", + "global step=27846656, episodic return=2313.005126953125\n", + "global step=27846656, episodic return=2454.438232421875\n", + "global step=27846656, episodic return=2193.384521484375\n", + "global step=27846656, episodic return=2426.86572265625\n", + "global step=27848704, episodic return=2450.971923828125\n", + "global step=27850752, episodic return=2410.7548828125\n", + "global step=27850752, episodic return=2411.373291015625\n", + "global step=27850752, episodic return=2466.01123046875\n", + "global step=27850752, episodic return=1194.5201416015625\n", + "global step=27852800, episodic return=2428.23193359375\n", + "global step=27852800, episodic return=302.6936340332031\n", + "global step=27852800, episodic return=2399.141357421875\n", + "global step=27856896, episodic return=2305.982421875\n", + "global step=27856896, episodic return=2385.031494140625\n", + "global step=27856896, episodic return=2374.17822265625\n", + "global step=27856896, episodic return=1267.9288330078125\n", + "global step=27860992, episodic return=2454.247314453125\n", + "global step=27863040, episodic return=2474.26611328125\n", + "global step=27865088, episodic return=2425.540771484375\n", + "global step=27865088, episodic return=2346.32666015625\n", + "global step=27865088, episodic return=2453.04931640625\n", + "global step=27865088, episodic return=2439.945556640625\n", + "global step=27867136, episodic return=2434.313232421875\n", + "global step=27867136, episodic return=2417.365478515625\n", + "global step=27867136, episodic return=2410.805419921875\n", + "global step=27867136, episodic return=2474.509521484375\n", + "global step=27867136, episodic return=2359.10546875\n", + "global step=27869184, episodic return=2455.114990234375\n", + "global step=27869184, episodic return=2441.090087890625\n", + "global step=27869184, episodic return=2424.5673828125\n", + "global step=27869184, episodic return=2313.564697265625\n", + "global step=27869184, episodic return=2417.285888671875\n", + "global step=27869184, episodic return=672.4319458007812\n", + "global step=27871232, episodic return=1029.966064453125\n", + "global step=27871232, episodic return=2217.694091796875\n", + "global step=27871232, episodic return=2374.89697265625\n", + "global step=27871232, episodic return=2450.365478515625\n", + "global step=27873280, episodic return=172.90054321289062\n", + "global step=27873280, episodic return=2443.387451171875\n", + "global step=27877376, episodic return=2383.40185546875\n", + "global step=27877376, episodic return=2457.107177734375\n", + "global step=27879424, episodic return=2415.768310546875\n", + "global step=27881472, episodic return=2408.92138671875\n", + "global step=27883520, episodic return=2274.325927734375\n", + "global step=27883520, episodic return=2321.148193359375\n", + "global step=27883520, episodic return=2452.35205078125\n", + "global step=27883520, episodic return=2366.47216796875\n", + "global step=27885568, episodic return=2430.14306640625\n", + "global step=27887616, episodic return=2444.31298828125\n", + "global step=27887616, episodic return=1837.2440185546875\n", + "global step=27887616, episodic return=2443.392333984375\n", + "global step=27889664, episodic return=1830.002685546875\n", + "global step=27889664, episodic return=2458.355712890625\n", + "global step=27891712, episodic return=2465.669921875\n", + "global step=27893760, episodic return=2326.080810546875\n", + "global step=27895808, episodic return=2401.053955078125\n", + "global step=27895808, episodic return=2381.375244140625\n", + "global step=27895808, episodic return=2417.949462890625\n", + "global step=27895808, episodic return=2375.143310546875\n", + "global step=27897856, episodic return=2384.191162109375\n", + "global step=27897856, episodic return=2360.237060546875\n", + "global step=27897856, episodic return=2365.1533203125\n", + "global step=27897856, episodic return=2432.5341796875\n", + "global step=27897856, episodic return=2452.475830078125\n", + "global step=27899904, episodic return=2435.860595703125\n", + "global step=27899904, episodic return=2324.90771484375\n", + "global step=27899904, episodic return=2420.517333984375\n", + "global step=27899904, episodic return=2401.071044921875\n", + "global step=27901952, episodic return=2330.183349609375\n", + "global step=27906048, episodic return=2365.46533203125\n", + "global step=27906048, episodic return=2414.759765625\n", + "global step=27908096, episodic return=2395.56103515625\n", + "global step=27910144, episodic return=2452.4345703125\n", + "global step=27912192, episodic return=2408.201904296875\n", + "global step=27912192, episodic return=226.23207092285156\n", + "global step=27914240, episodic return=2444.666015625\n", + "global step=27914240, episodic return=2397.55419921875\n", + "global step=27916288, episodic return=2405.2021484375\n", + "global step=27916288, episodic return=2434.71240234375\n", + "global step=27918336, episodic return=2383.583984375\n", + "global step=27918336, episodic return=2463.408447265625\n", + "global step=27920384, episodic return=2389.80224609375\n", + "global step=27920384, episodic return=2347.280517578125\n", + "global step=27920384, episodic return=45.628196716308594\n", + "global step=27920384, episodic return=134.51315307617188\n", + "global step=27920384, episodic return=2342.348388671875\n", + "global step=27920384, episodic return=822.1431884765625\n", + "global step=27922432, episodic return=2438.169921875\n", + "global step=27924480, episodic return=2423.47216796875\n", + "global step=27924480, episodic return=2472.512451171875\n", + "global step=27924480, episodic return=2429.248046875\n", + "global step=27926528, episodic return=2417.389892578125\n", + "global step=27926528, episodic return=2387.27294921875\n", + "global step=27926528, episodic return=110.93836975097656\n", + "global step=27926528, episodic return=322.7489318847656\n", + "global step=27928576, episodic return=2421.7490234375\n", + "global step=27930624, episodic return=55.05356979370117\n", + "global step=27930624, episodic return=2434.123291015625\n", + "global step=27932672, episodic return=2429.319580078125\n", + "global step=27934720, episodic return=2333.958984375\n", + "global step=27934720, episodic return=2338.39501953125\n", + "global step=27934720, episodic return=216.8476104736328\n", + "global step=27938816, episodic return=2387.589599609375\n", + "global step=27938816, episodic return=216.18222045898438\n", + "global step=27940864, episodic return=2335.49853515625\n", + "global step=27942912, episodic return=2420.178955078125\n", + "global step=27942912, episodic return=2401.32568359375\n", + "global step=27942912, episodic return=2378.601318359375\n", + "global step=27944960, episodic return=192.8310089111328\n", + "global step=27944960, episodic return=2427.392333984375\n", + "global step=27944960, episodic return=1641.4171142578125\n", + "global step=27944960, episodic return=2435.670654296875\n", + "global step=27944960, episodic return=2397.096435546875\n", + "global step=27944960, episodic return=2356.7431640625\n", + "global step=27944960, episodic return=2420.76611328125\n", + "global step=27944960, episodic return=2407.572509765625\n", + "global step=27947008, episodic return=2150.4765625\n", + "global step=27947008, episodic return=2432.824462890625\n", + "global step=27949056, episodic return=68.47273254394531\n", + "global step=27949056, episodic return=20.1550235748291\n", + "global step=27951104, episodic return=2381.370849609375\n", + "global step=27951104, episodic return=2471.96533203125\n", + "global step=27953152, episodic return=2355.78515625\n", + "global step=27953152, episodic return=2359.03857421875\n", + "global step=27955200, episodic return=2457.838134765625\n", + "global step=27957248, episodic return=2356.6064453125\n", + "global step=27957248, episodic return=2491.8681640625\n", + "global step=27957248, episodic return=95.67042541503906\n", + "global step=27957248, episodic return=71.41775512695312\n", + "global step=27959296, episodic return=2414.65234375\n", + "global step=27959296, episodic return=2423.61865234375\n", + "global step=27959296, episodic return=403.05206298828125\n", + "global step=27959296, episodic return=2455.757080078125\n", + "global step=27959296, episodic return=2412.510986328125\n", + "global step=27961344, episodic return=2430.244384765625\n", + "global step=27961344, episodic return=2327.150390625\n", + "global step=27961344, episodic return=2442.599853515625\n", + "global step=27961344, episodic return=183.95701599121094\n", + "global step=27963392, episodic return=106.25003051757812\n", + "global step=27965440, episodic return=182.07550048828125\n", + "global step=27967488, episodic return=2424.627685546875\n", + "global step=27967488, episodic return=2465.19189453125\n", + "global step=27967488, episodic return=2498.223388671875\n", + "global step=27969536, episodic return=2418.892822265625\n", + "global step=27971584, episodic return=2397.462646484375\n", + "global step=27971584, episodic return=2378.64599609375\n", + "global step=27971584, episodic return=2349.173583984375\n", + "global step=27973632, episodic return=2393.401123046875\n", + "global step=27975680, episodic return=2349.358154296875\n", + "global step=27975680, episodic return=2481.95263671875\n", + "global step=27975680, episodic return=2399.74951171875\n", + "global step=27975680, episodic return=2391.69287109375\n", + "global step=27977728, episodic return=2417.306640625\n", + "global step=27979776, episodic return=2389.272216796875\n", + "global step=27979776, episodic return=2386.77392578125\n", + "global step=27979776, episodic return=2385.290283203125\n", + "global step=27981824, episodic return=2409.98828125\n", + "global step=27981824, episodic return=2329.5146484375\n", + "global step=27981824, episodic return=2417.144775390625\n", + "global step=27985920, episodic return=2457.629638671875\n", + "global step=27985920, episodic return=2442.097900390625\n", + "global step=27985920, episodic return=2367.70263671875\n", + "global step=27987968, episodic return=2460.1201171875\n", + "global step=27987968, episodic return=2436.388916015625\n", + "global step=27987968, episodic return=2470.7275390625\n", + "global step=27990016, episodic return=2378.551513671875\n", + "global step=27990016, episodic return=2472.30419921875\n", + "global step=27992064, episodic return=2449.43408203125\n", + "global step=27992064, episodic return=2413.555419921875\n", + "global step=27992064, episodic return=2332.787353515625\n", + "global step=27992064, episodic return=259.14398193359375\n", + "global step=27992064, episodic return=2438.965576171875\n", + "global step=27992064, episodic return=2296.934814453125\n", + "global step=27994112, episodic return=2475.548095703125\n", + "global step=27994112, episodic return=2469.326171875\n", + "global step=27994112, episodic return=2388.88720703125\n", + "global step=27994112, episodic return=2445.027587890625\n", + "global step=27996160, episodic return=2421.78662109375\n", + "global step=27996160, episodic return=2426.732666015625\n", + "global step=27996160, episodic return=2409.458740234375\n", + "global step=27996160, episodic return=698.5208129882812\n", + "global step=27998208, episodic return=2374.456298828125\n", + "global step=27998208, episodic return=2384.648681640625\n", + "global step=27998208, episodic return=2380.75927734375\n", + "global step=28000256, episodic return=1591.051513671875\n", + "global step=28000256, episodic return=221.7541046142578\n", + "global step=28000256, episodic return=2352.4765625\n", + "global step=28002304, episodic return=2442.3671875\n", + "global step=28004352, episodic return=2300.22314453125\n", + "global step=28004352, episodic return=2345.301025390625\n", + "global step=28004352, episodic return=2398.824462890625\n", + "global step=28008448, episodic return=2427.399169921875\n", + "global step=28010496, episodic return=2425.116943359375\n", + "global step=28010496, episodic return=2451.63525390625\n", + "global step=28010496, episodic return=2433.807373046875\n", + "global step=28010496, episodic return=112.65495300292969\n", + "global step=28012544, episodic return=2390.663330078125\n", + "global step=28012544, episodic return=2455.031982421875\n", + "global step=28018688, episodic return=2438.346923828125\n", + "global step=28018688, episodic return=2376.597900390625\n", + "global step=28018688, episodic return=2451.1220703125\n", + "global step=28018688, episodic return=2409.838623046875\n", + "global step=28018688, episodic return=2469.39794921875\n", + "global step=28020736, episodic return=1933.9775390625\n", + "global step=28024832, episodic return=2479.473876953125\n", + "global step=28024832, episodic return=2435.98095703125\n", + "global step=28024832, episodic return=2454.926025390625\n", + "global step=28024832, episodic return=1825.9154052734375\n", + "global step=28026880, episodic return=2371.994384765625\n", + "global step=28026880, episodic return=2372.890380859375\n", + "global step=28026880, episodic return=2480.019775390625\n", + "global step=28026880, episodic return=2350.814697265625\n", + "global step=28028928, episodic return=2474.792724609375\n", + "global step=28028928, episodic return=144.79783630371094\n", + "global step=28030976, episodic return=1047.3687744140625\n", + "global step=28030976, episodic return=2400.303466796875\n", + "global step=28035072, episodic return=2395.906494140625\n", + "global step=28035072, episodic return=2434.289306640625\n", + "global step=28035072, episodic return=2421.16064453125\n", + "global step=28035072, episodic return=2498.474853515625\n", + "global step=28037120, episodic return=2378.02880859375\n", + "global step=28037120, episodic return=399.070556640625\n", + "global step=28039168, episodic return=190.61715698242188\n", + "global step=28039168, episodic return=2378.6123046875\n", + "global step=28039168, episodic return=2467.928955078125\n", + "global step=28041216, episodic return=2368.38134765625\n", + "global step=28043264, episodic return=2309.80224609375\n", + "global step=28045312, episodic return=2340.978271484375\n", + "global step=28045312, episodic return=2411.056884765625\n", + "global step=28045312, episodic return=2433.63623046875\n", + "global step=28047360, episodic return=2326.511962890625\n", + "global step=28049408, episodic return=2297.072265625\n", + "global step=28049408, episodic return=2463.53564453125\n", + "global step=28049408, episodic return=2410.6572265625\n", + "global step=28051456, episodic return=2395.137451171875\n", + "global step=28051456, episodic return=2376.325927734375\n", + "global step=28053504, episodic return=2471.5302734375\n", + "global step=28053504, episodic return=2396.87060546875\n", + "global step=28053504, episodic return=2441.826416015625\n", + "global step=28053504, episodic return=2425.983642578125\n", + "global step=28055552, episodic return=2455.12158203125\n", + "global step=28055552, episodic return=2440.767822265625\n", + "global step=28055552, episodic return=2463.65087890625\n", + "global step=28055552, episodic return=2355.41845703125\n", + "global step=28055552, episodic return=2440.86669921875\n", + "global step=28057600, episodic return=2376.78076171875\n", + "global step=28057600, episodic return=2417.2724609375\n", + "global step=28057600, episodic return=493.1382751464844\n", + "global step=28061696, episodic return=2450.497314453125\n", + "global step=28061696, episodic return=2398.080078125\n", + "global step=28061696, episodic return=2416.85498046875\n", + "global step=28063744, episodic return=2330.184814453125\n", + "global step=28063744, episodic return=2392.910888671875\n", + "global step=28063744, episodic return=2433.31005859375\n", + "global step=28065792, episodic return=1728.0098876953125\n", + "global step=28067840, episodic return=2401.720458984375\n", + "global step=28067840, episodic return=2462.80712890625\n", + "global step=28069888, episodic return=591.8688354492188\n", + "global step=28069888, episodic return=2402.8173828125\n", + "global step=28069888, episodic return=2428.939208984375\n", + "global step=28071936, episodic return=2447.7822265625\n", + "global step=28071936, episodic return=2373.01171875\n", + "global step=28073984, episodic return=2127.202880859375\n", + "global step=28073984, episodic return=2396.51416015625\n", + "global step=28073984, episodic return=2416.218017578125\n", + "global step=28073984, episodic return=2449.176025390625\n", + "global step=28073984, episodic return=2458.737060546875\n", + "global step=28076032, episodic return=2422.0439453125\n", + "global step=28076032, episodic return=2493.99169921875\n", + "global step=28078080, episodic return=2448.158935546875\n", + "global step=28082176, episodic return=2419.499267578125\n", + "global step=28082176, episodic return=2463.859130859375\n", + "global step=28082176, episodic return=2400.64990234375\n", + "global step=28082176, episodic return=2408.33984375\n", + "global step=28082176, episodic return=2378.661865234375\n", + "global step=28084224, episodic return=2453.831298828125\n", + "global step=28084224, episodic return=147.2900848388672\n", + "global step=28084224, episodic return=2451.677001953125\n", + "global step=28084224, episodic return=2446.207763671875\n", + "global step=28086272, episodic return=2367.552978515625\n", + "global step=28086272, episodic return=2389.838623046875\n", + "global step=28088320, episodic return=2446.391845703125\n", + "global step=28088320, episodic return=2398.062744140625\n", + "global step=28088320, episodic return=2416.0068359375\n", + "global step=28090368, episodic return=2431.883544921875\n", + "global step=28090368, episodic return=2418.83154296875\n", + "global step=28092416, episodic return=2348.384521484375\n", + "global step=28092416, episodic return=2347.388427734375\n", + "global step=28092416, episodic return=2441.265380859375\n", + "global step=28094464, episodic return=2395.781494140625\n", + "global step=28094464, episodic return=2399.82275390625\n", + "global step=28094464, episodic return=2364.95458984375\n", + "global step=28094464, episodic return=2429.422607421875\n", + "global step=28094464, episodic return=2319.012939453125\n", + "global step=28096512, episodic return=2438.256591796875\n", + "global step=28096512, episodic return=2458.7255859375\n", + "global step=28096512, episodic return=2446.006103515625\n", + "global step=28100608, episodic return=2430.72216796875\n", + "global step=28102656, episodic return=202.03952026367188\n", + "global step=28102656, episodic return=2337.2705078125\n", + "global step=28104704, episodic return=2361.3798828125\n", + "global step=28104704, episodic return=2397.801513671875\n", + "global step=28104704, episodic return=2397.6396484375\n", + "global step=28104704, episodic return=2440.859375\n", + "global step=28104704, episodic return=2408.455078125\n", + "global step=28104704, episodic return=1516.1290283203125\n", + "global step=28104704, episodic return=775.0873413085938\n", + "global step=28106752, episodic return=2366.31396484375\n", + "global step=28106752, episodic return=2478.8486328125\n", + "global step=28108800, episodic return=2384.6484375\n", + "global step=28110848, episodic return=1855.851318359375\n", + "global step=28110848, episodic return=651.330322265625\n", + "global step=28110848, episodic return=439.13372802734375\n", + "global step=28110848, episodic return=2455.87109375\n", + "global step=28112896, episodic return=2457.75\n", + "global step=28114944, episodic return=2332.490234375\n", + "global step=28114944, episodic return=2469.052978515625\n", + "global step=28114944, episodic return=2370.924560546875\n", + "global step=28114944, episodic return=2415.447265625\n", + "global step=28114944, episodic return=2361.644775390625\n", + "global step=28116992, episodic return=2443.127685546875\n", + "global step=28116992, episodic return=2402.629150390625\n", + "global step=28119040, episodic return=2451.375244140625\n", + "global step=28119040, episodic return=2451.808349609375\n", + "global step=28119040, episodic return=2294.96728515625\n", + "global step=28121088, episodic return=2391.778076171875\n", + "global step=28121088, episodic return=2429.132080078125\n", + "global step=28121088, episodic return=2443.387451171875\n", + "global step=28123136, episodic return=2465.162353515625\n", + "global step=28123136, episodic return=2382.32861328125\n", + "global step=28123136, episodic return=2452.2490234375\n", + "global step=28125184, episodic return=2435.291015625\n", + "global step=28125184, episodic return=2393.188232421875\n", + "global step=28127232, episodic return=221.67982482910156\n", + "global step=28127232, episodic return=219.89918518066406\n", + "global step=28127232, episodic return=623.4315795898438\n", + "global step=28127232, episodic return=2425.85888671875\n", + "global step=28127232, episodic return=209.93276977539062\n", + "global step=28129280, episodic return=111.98606872558594\n", + "global step=28129280, episodic return=49.86909866333008\n", + "global step=28131328, episodic return=2405.8681640625\n", + "global step=28131328, episodic return=140.53025817871094\n", + "global step=28131328, episodic return=2488.301513671875\n", + "global step=28131328, episodic return=2422.498046875\n", + "global step=28131328, episodic return=689.6943359375\n", + "global step=28133376, episodic return=2413.995361328125\n", + "global step=28133376, episodic return=175.521728515625\n", + "global step=28133376, episodic return=2471.08056640625\n", + "global step=28135424, episodic return=159.10963439941406\n", + "global step=28135424, episodic return=2453.1513671875\n", + "global step=28137472, episodic return=2375.894775390625\n", + "global step=28137472, episodic return=2435.979248046875\n", + "global step=28139520, episodic return=2378.228759765625\n", + "global step=28139520, episodic return=2408.407958984375\n", + "global step=28141568, episodic return=56.5311279296875\n", + "global step=28141568, episodic return=2452.102294921875\n", + "global step=28145664, episodic return=182.43235778808594\n", + "global step=28145664, episodic return=2408.031982421875\n", + "global step=28145664, episodic return=2440.1064453125\n", + "global step=28149760, episodic return=2440.47265625\n", + "global step=28151808, episodic return=2395.1552734375\n", + "global step=28151808, episodic return=2468.153564453125\n", + "global step=28151808, episodic return=2406.3154296875\n", + "global step=28153856, episodic return=2369.522705078125\n", + "global step=28155904, episodic return=203.01602172851562\n", + "global step=28155904, episodic return=2433.962158203125\n", + "global step=28155904, episodic return=2368.5673828125\n", + "global step=28157952, episodic return=2462.7998046875\n", + "global step=28157952, episodic return=1431.746337890625\n", + "global step=28157952, episodic return=2457.764892578125\n", + "global step=28157952, episodic return=2284.130615234375\n", + "global step=28160000, episodic return=2345.291259765625\n", + "global step=28162048, episodic return=224.59933471679688\n", + "global step=28162048, episodic return=2396.12890625\n", + "global step=28162048, episodic return=2404.919677734375\n", + "global step=28162048, episodic return=2407.735107421875\n", + "global step=28164096, episodic return=2330.280517578125\n", + "global step=28164096, episodic return=2435.615966796875\n", + "global step=28164096, episodic return=2483.377685546875\n", + "global step=28164096, episodic return=197.409912109375\n", + "global step=28164096, episodic return=2395.439453125\n", + "global step=28166144, episodic return=2334.45703125\n", + "global step=28166144, episodic return=2438.987548828125\n", + "global step=28166144, episodic return=2376.000732421875\n", + "global step=28166144, episodic return=2375.927001953125\n", + "global step=28166144, episodic return=2410.479736328125\n", + "global step=28168192, episodic return=2452.098876953125\n", + "global step=28168192, episodic return=261.8605041503906\n", + "global step=28170240, episodic return=2368.453125\n", + "global step=28172288, episodic return=2399.947021484375\n", + "global step=28172288, episodic return=800.6660766601562\n", + "global step=28174336, episodic return=2476.701416015625\n", + "global step=28174336, episodic return=2445.360107421875\n", + "global step=28174336, episodic return=2418.6318359375\n", + "global step=28176384, episodic return=2451.24609375\n", + "global step=28178432, episodic return=2444.60888671875\n", + "global step=28180480, episodic return=2466.140380859375\n", + "global step=28180480, episodic return=2371.075439453125\n", + "global step=28180480, episodic return=2408.2392578125\n", + "global step=28182528, episodic return=183.6392822265625\n", + "global step=28182528, episodic return=2446.272705078125\n", + "global step=28184576, episodic return=2402.515380859375\n", + "global step=28184576, episodic return=2407.447265625\n", + "global step=28186624, episodic return=2375.61669921875\n", + "global step=28186624, episodic return=1991.178955078125\n", + "global step=28188672, episodic return=2126.07861328125\n", + "global step=28188672, episodic return=2468.7099609375\n", + "global step=28188672, episodic return=2399.204345703125\n", + "global step=28190720, episodic return=2400.603759765625\n", + "global step=28190720, episodic return=189.56240844726562\n", + "global step=28190720, episodic return=2405.077392578125\n", + "global step=28190720, episodic return=2483.374267578125\n", + "global step=28192768, episodic return=2474.82373046875\n", + "global step=28192768, episodic return=2446.119140625\n", + "global step=28192768, episodic return=2363.199462890625\n", + "global step=28194816, episodic return=2336.27001953125\n", + "global step=28194816, episodic return=2295.505126953125\n", + "global step=28196864, episodic return=2475.103515625\n", + "global step=28196864, episodic return=2415.469970703125\n", + "global step=28196864, episodic return=2460.43505859375\n", + "global step=28198912, episodic return=2373.46923828125\n", + "global step=28198912, episodic return=2352.835205078125\n", + "global step=28198912, episodic return=2443.758544921875\n", + "global step=28198912, episodic return=2466.423095703125\n", + "global step=28198912, episodic return=166.68589782714844\n", + "global step=28200960, episodic return=2388.01611328125\n", + "global step=28200960, episodic return=2445.546630859375\n", + "global step=28200960, episodic return=2419.545166015625\n", + "global step=28200960, episodic return=2498.45068359375\n", + "global step=28200960, episodic return=2460.961181640625\n", + "global step=28205056, episodic return=2436.463134765625\n", + "global step=28205056, episodic return=2447.475341796875\n", + "global step=28205056, episodic return=2492.08154296875\n", + "global step=28207104, episodic return=2311.63232421875\n", + "global step=28207104, episodic return=2354.635986328125\n", + "global step=28209152, episodic return=2416.75732421875\n", + "global step=28209152, episodic return=2472.53515625\n", + "global step=28211200, episodic return=2454.3056640625\n", + "global step=28211200, episodic return=2431.42626953125\n", + "global step=28211200, episodic return=2415.6025390625\n", + "global step=28213248, episodic return=2411.53271484375\n", + "global step=28213248, episodic return=351.9963073730469\n", + "global step=28215296, episodic return=1382.7379150390625\n", + "global step=28215296, episodic return=1155.5955810546875\n", + "global step=28217344, episodic return=163.86903381347656\n", + "global step=28217344, episodic return=2502.145263671875\n", + "global step=28217344, episodic return=2436.833251953125\n", + "global step=28217344, episodic return=2397.1806640625\n", + "global step=28219392, episodic return=2419.53955078125\n", + "global step=28219392, episodic return=2462.730712890625\n", + "global step=28221440, episodic return=2359.9765625\n", + "global step=28221440, episodic return=2392.555419921875\n", + "global step=28223488, episodic return=2416.536376953125\n", + "global step=28223488, episodic return=2389.5380859375\n", + "global step=28223488, episodic return=2432.824951171875\n", + "global step=28225536, episodic return=2381.31396484375\n", + "global step=28225536, episodic return=2428.9375\n", + "global step=28225536, episodic return=2467.80419921875\n", + "global step=28225536, episodic return=2355.550537109375\n", + "global step=28229632, episodic return=2418.88037109375\n", + "global step=28229632, episodic return=2432.537353515625\n", + "global step=28229632, episodic return=2404.939208984375\n", + "global step=28231680, episodic return=2432.6572265625\n", + "global step=28231680, episodic return=2438.697998046875\n", + "global step=28231680, episodic return=2394.8251953125\n", + "global step=28231680, episodic return=2444.96875\n", + "global step=28231680, episodic return=2443.473388671875\n", + "global step=28233728, episodic return=2412.232421875\n", + "global step=28233728, episodic return=2430.74462890625\n", + "global step=28235776, episodic return=2274.108154296875\n", + "global step=28235776, episodic return=2386.279296875\n", + "global step=28235776, episodic return=2328.87255859375\n", + "global step=28235776, episodic return=2389.868896484375\n", + "global step=28235776, episodic return=2411.03173828125\n", + "global step=28237824, episodic return=2433.39208984375\n", + "global step=28241920, episodic return=2430.9365234375\n", + "global step=28243968, episodic return=2429.102294921875\n", + "global step=28243968, episodic return=2439.70458984375\n", + "global step=28243968, episodic return=2388.081787109375\n", + "global step=28243968, episodic return=2490.143798828125\n", + "global step=28246016, episodic return=2419.26171875\n", + "global step=28246016, episodic return=2467.278076171875\n", + "global step=28246016, episodic return=2467.4482421875\n", + "global step=28246016, episodic return=2378.51416015625\n", + "global step=28250112, episodic return=2418.123046875\n", + "global step=28250112, episodic return=2416.063720703125\n", + "global step=28250112, episodic return=2427.033447265625\n", + "global step=28250112, episodic return=2379.39990234375\n", + "global step=28250112, episodic return=2375.80517578125\n", + "global step=28252160, episodic return=2371.2578125\n", + "global step=28252160, episodic return=2435.00537109375\n", + "global step=28252160, episodic return=2401.9208984375\n", + "global step=28254208, episodic return=2425.945556640625\n", + "global step=28256256, episodic return=2373.6064453125\n", + "global step=28256256, episodic return=2322.951416015625\n", + "global step=28256256, episodic return=2355.04248046875\n", + "global step=28256256, episodic return=62.12833023071289\n", + "global step=28258304, episodic return=2430.26611328125\n", + "global step=28260352, episodic return=2405.200927734375\n", + "global step=28262400, episodic return=56.83195877075195\n", + "global step=28264448, episodic return=2245.576171875\n", + "global step=28264448, episodic return=2375.732177734375\n", + "global step=28264448, episodic return=2420.780029296875\n", + "global step=28266496, episodic return=2375.299560546875\n", + "global step=28266496, episodic return=2423.993408203125\n", + "global step=28266496, episodic return=2457.384765625\n", + "global step=28270592, episodic return=74.56916046142578\n", + "global step=28270592, episodic return=2443.692138671875\n", + "global step=28270592, episodic return=2295.96533203125\n", + "global step=28270592, episodic return=2396.480224609375\n", + "global step=28270592, episodic return=2396.22900390625\n", + "global step=28270592, episodic return=2428.220458984375\n", + "global step=28270592, episodic return=2363.68896484375\n", + "global step=28272640, episodic return=2456.4990234375\n", + "global step=28272640, episodic return=2440.403076171875\n", + "global step=28274688, episodic return=2478.169189453125\n", + "global step=28274688, episodic return=2442.752685546875\n", + "global step=28274688, episodic return=2441.1630859375\n", + "global step=28274688, episodic return=2382.304443359375\n", + "global step=28276736, episodic return=2385.476806640625\n", + "global step=28276736, episodic return=234.9755401611328\n", + "global step=28278784, episodic return=2455.598876953125\n", + "global step=28278784, episodic return=2370.90283203125\n", + "global step=28278784, episodic return=2386.633056640625\n", + "global step=28280832, episodic return=2386.389892578125\n", + "global step=28282880, episodic return=2219.404541015625\n", + "global step=28284928, episodic return=2481.128173828125\n", + "global step=28284928, episodic return=2469.646240234375\n", + "global step=28284928, episodic return=2444.299072265625\n", + "global step=28286976, episodic return=2421.812744140625\n", + "global step=28289024, episodic return=2465.117919921875\n", + "global step=28289024, episodic return=2375.7626953125\n", + "global step=28291072, episodic return=2352.124267578125\n", + "global step=28293120, episodic return=2451.244873046875\n", + "global step=28295168, episodic return=2437.434814453125\n", + "global step=28295168, episodic return=2430.298583984375\n", + "global step=28295168, episodic return=60.4295539855957\n", + "global step=28297216, episodic return=2416.498779296875\n", + "global step=28299264, episodic return=2442.8759765625\n", + "global step=28299264, episodic return=2467.319580078125\n", + "global step=28299264, episodic return=2296.044189453125\n", + "global step=28301312, episodic return=2406.749755859375\n", + "global step=28301312, episodic return=2404.38037109375\n", + "global step=28303360, episodic return=2426.56494140625\n", + "global step=28305408, episodic return=2441.6162109375\n", + "global step=28305408, episodic return=2454.77197265625\n", + "global step=28305408, episodic return=2413.621826171875\n", + "global step=28307456, episodic return=2468.352294921875\n", + "global step=28307456, episodic return=2426.826171875\n", + "global step=28307456, episodic return=2399.896728515625\n", + "global step=28309504, episodic return=452.32763671875\n", + "global step=28309504, episodic return=2427.11181640625\n", + "global step=28309504, episodic return=2456.222412109375\n", + "global step=28311552, episodic return=2295.59130859375\n", + "global step=28311552, episodic return=2366.330322265625\n", + "global step=28311552, episodic return=2420.447021484375\n", + "global step=28313600, episodic return=2371.997802734375\n", + "global step=28315648, episodic return=183.11915588378906\n", + "global step=28315648, episodic return=2352.51513671875\n", + "global step=28317696, episodic return=162.0044403076172\n", + "global step=28317696, episodic return=2363.948486328125\n", + "global step=28319744, episodic return=2412.35693359375\n", + "global step=28319744, episodic return=219.87001037597656\n", + "global step=28319744, episodic return=2378.35888671875\n", + "global step=28319744, episodic return=2477.065673828125\n", + "global step=28321792, episodic return=2361.58935546875\n", + "global step=28321792, episodic return=2387.97705078125\n", + "global step=28323840, episodic return=504.12469482421875\n", + "global step=28323840, episodic return=2334.33447265625\n", + "global step=28325888, episodic return=2411.69580078125\n", + "global step=28325888, episodic return=2250.707763671875\n", + "global step=28325888, episodic return=2398.4462890625\n", + "global step=28325888, episodic return=2258.07421875\n", + "global step=28327936, episodic return=2316.06201171875\n", + "global step=28329984, episodic return=2399.3515625\n", + "global step=28329984, episodic return=2365.818115234375\n", + "global step=28329984, episodic return=2431.625244140625\n", + "global step=28332032, episodic return=2399.55517578125\n", + "global step=28332032, episodic return=2417.0185546875\n", + "global step=28334080, episodic return=2484.889892578125\n", + "global step=28334080, episodic return=770.7926635742188\n", + "global step=28334080, episodic return=2363.98681640625\n", + "global step=28336128, episodic return=174.9962921142578\n", + "global step=28336128, episodic return=2248.82568359375\n", + "global step=28338176, episodic return=2326.495849609375\n", + "global step=28340224, episodic return=2374.4130859375\n", + "global step=28340224, episodic return=2210.30126953125\n", + "global step=28344320, episodic return=2400.931396484375\n", + "global step=28344320, episodic return=2404.87451171875\n", + "global step=28346368, episodic return=512.144775390625\n", + "global step=28346368, episodic return=2365.560546875\n", + "global step=28348416, episodic return=2452.039794921875\n", + "global step=28348416, episodic return=2375.708251953125\n", + "global step=28350464, episodic return=2406.166015625\n", + "global step=28350464, episodic return=2413.7001953125\n", + "global step=28352512, episodic return=2422.969970703125\n", + "global step=28352512, episodic return=2447.233154296875\n", + "global step=28352512, episodic return=2305.317626953125\n", + "global step=28352512, episodic return=184.62936401367188\n", + "global step=28354560, episodic return=2348.8544921875\n", + "global step=28356608, episodic return=2449.841552734375\n", + "global step=28358656, episodic return=2372.955322265625\n", + "global step=28358656, episodic return=2400.25439453125\n", + "global step=28358656, episodic return=2341.40771484375\n", + "global step=28360704, episodic return=2406.570068359375\n", + "global step=28360704, episodic return=2424.452880859375\n", + "global step=28360704, episodic return=518.1959838867188\n", + "global step=28362752, episodic return=2456.8828125\n", + "global step=28362752, episodic return=1714.183349609375\n", + "global step=28362752, episodic return=2429.73779296875\n", + "global step=28362752, episodic return=2348.762451171875\n", + "global step=28362752, episodic return=2340.150146484375\n", + "global step=28364800, episodic return=2391.088623046875\n", + "global step=28368896, episodic return=1116.6160888671875\n", + "global step=28368896, episodic return=2275.172119140625\n", + "global step=28368896, episodic return=1135.6700439453125\n", + "global step=28370944, episodic return=2234.417236328125\n", + "global step=28370944, episodic return=2303.53662109375\n", + "global step=28372992, episodic return=2250.656494140625\n", + "global step=28372992, episodic return=2371.655517578125\n", + "global step=28375040, episodic return=2381.237548828125\n", + "global step=28375040, episodic return=2368.24560546875\n", + "global step=28377088, episodic return=2440.576171875\n", + "global step=28377088, episodic return=2335.218017578125\n", + "global step=28377088, episodic return=2431.23779296875\n", + "global step=28377088, episodic return=1244.0638427734375\n", + "global step=28379136, episodic return=2409.138916015625\n", + "global step=28379136, episodic return=2363.182373046875\n", + "global step=28379136, episodic return=2374.5693359375\n", + "global step=28381184, episodic return=940.6297607421875\n", + "global step=28381184, episodic return=2409.85888671875\n", + "global step=28381184, episodic return=2392.4482421875\n", + "global step=28383232, episodic return=2461.4384765625\n", + "global step=28383232, episodic return=2457.56787109375\n", + "global step=28385280, episodic return=2417.09619140625\n", + "global step=28387328, episodic return=2409.703369140625\n", + "global step=28391424, episodic return=2303.72900390625\n", + "global step=28391424, episodic return=2400.3984375\n", + "global step=28391424, episodic return=2370.31396484375\n", + "global step=28391424, episodic return=2380.513916015625\n", + "global step=28393472, episodic return=176.88560485839844\n", + "global step=28393472, episodic return=2372.347900390625\n", + "global step=28395520, episodic return=2454.931396484375\n", + "global step=28395520, episodic return=2188.984619140625\n", + "global step=28395520, episodic return=495.22998046875\n", + "global step=28397568, episodic return=2159.42333984375\n", + "global step=28399616, episodic return=2365.43359375\n", + "global step=28399616, episodic return=587.4692993164062\n", + "global step=28401664, episodic return=2354.973876953125\n", + "global step=28403712, episodic return=2397.27392578125\n", + "global step=28403712, episodic return=2395.923583984375\n", + "global step=28403712, episodic return=2332.951416015625\n", + "global step=28403712, episodic return=2269.786376953125\n", + "global step=28405760, episodic return=2408.80517578125\n", + "global step=28405760, episodic return=536.931640625\n", + "global step=28407808, episodic return=2463.073974609375\n", + "global step=28409856, episodic return=2194.101806640625\n", + "global step=28409856, episodic return=2354.658203125\n", + "global step=28409856, episodic return=2322.385009765625\n", + "global step=28411904, episodic return=1055.232177734375\n", + "global step=28411904, episodic return=2355.82373046875\n", + "global step=28413952, episodic return=2303.5224609375\n", + "global step=28416000, episodic return=2378.324951171875\n", + "global step=28416000, episodic return=2394.8017578125\n", + "global step=28416000, episodic return=2466.09375\n", + "global step=28416000, episodic return=2345.558837890625\n", + "global step=28418048, episodic return=2369.12890625\n", + "global step=28420096, episodic return=564.557861328125\n", + "global step=28420096, episodic return=2389.951171875\n", + "global step=28420096, episodic return=2399.508056640625\n", + "global step=28424192, episodic return=2246.12548828125\n", + "global step=28424192, episodic return=2226.57373046875\n", + "global step=28424192, episodic return=2411.404052734375\n", + "global step=28424192, episodic return=2421.83837890625\n", + "global step=28424192, episodic return=2433.463623046875\n", + "global step=28426240, episodic return=2367.55029296875\n", + "global step=28428288, episodic return=2410.36767578125\n", + "global step=28430336, episodic return=2151.896484375\n", + "global step=28430336, episodic return=2376.546875\n", + "global step=28430336, episodic return=2355.96875\n", + "global step=28430336, episodic return=2456.3779296875\n", + "global step=28430336, episodic return=2338.56591796875\n", + "global step=28430336, episodic return=2223.302001953125\n", + "global step=28432384, episodic return=2352.13671875\n", + "global step=28432384, episodic return=2328.789306640625\n", + "global step=28432384, episodic return=2418.629150390625\n", + "global step=28432384, episodic return=2432.605712890625\n", + "global step=28436480, episodic return=749.7584228515625\n", + "global step=28436480, episodic return=2341.595703125\n", + "global step=28436480, episodic return=2300.973876953125\n", + "global step=28436480, episodic return=2223.61083984375\n", + "global step=28438528, episodic return=2401.9765625\n", + "global step=28438528, episodic return=181.8474884033203\n", + "global step=28438528, episodic return=2373.422119140625\n", + "global step=28438528, episodic return=2322.561279296875\n", + "global step=28438528, episodic return=2320.386962890625\n", + "global step=28440576, episodic return=2409.699462890625\n", + "global step=28442624, episodic return=2376.707763671875\n", + "global step=28442624, episodic return=2478.914306640625\n", + "global step=28444672, episodic return=2450.19775390625\n", + "global step=28444672, episodic return=2338.904296875\n", + "global step=28448768, episodic return=2075.40576171875\n", + "global step=28448768, episodic return=746.6837158203125\n", + "global step=28448768, episodic return=2411.04443359375\n", + "global step=28448768, episodic return=2323.244140625\n", + "global step=28448768, episodic return=2432.122802734375\n", + "global step=28452864, episodic return=2380.826904296875\n", + "global step=28452864, episodic return=2391.643310546875\n", + "global step=28454912, episodic return=2332.505615234375\n", + "global step=28456960, episodic return=2360.582275390625\n", + "global step=28456960, episodic return=2332.58740234375\n", + "global step=28459008, episodic return=2221.5830078125\n", + "global step=28459008, episodic return=2410.190185546875\n", + "global step=28459008, episodic return=2417.95703125\n", + "global step=28461056, episodic return=2409.957275390625\n", + "global step=28461056, episodic return=2424.44287109375\n", + "global step=28463104, episodic return=2479.037841796875\n", + "global step=28465152, episodic return=2387.426513671875\n", + "global step=28465152, episodic return=2179.430419921875\n", + "global step=28465152, episodic return=2417.9423828125\n", + "global step=28469248, episodic return=2316.4716796875\n", + "global step=28469248, episodic return=2434.3994140625\n", + "global step=28471296, episodic return=2352.54638671875\n", + "global step=28471296, episodic return=2382.646484375\n", + "global step=28471296, episodic return=2401.94921875\n", + "global step=28471296, episodic return=2381.550537109375\n", + "global step=28475392, episodic return=2402.431640625\n", + "global step=28475392, episodic return=2405.563720703125\n", + "global step=28477440, episodic return=2402.94140625\n", + "global step=28479488, episodic return=2423.367431640625\n", + "global step=28479488, episodic return=2462.809326171875\n", + "global step=28479488, episodic return=2291.5927734375\n", + "global step=28481536, episodic return=2341.591552734375\n", + "global step=28481536, episodic return=2261.322998046875\n", + "global step=28485632, episodic return=2463.207763671875\n", + "global step=28489728, episodic return=2368.07861328125\n", + "global step=28489728, episodic return=2314.281005859375\n", + "global step=28489728, episodic return=2369.584716796875\n", + "global step=28491776, episodic return=2325.11474609375\n", + "global step=28491776, episodic return=2404.0166015625\n", + "global step=28491776, episodic return=2288.94873046875\n", + "global step=28493824, episodic return=2243.8603515625\n", + "global step=28493824, episodic return=2431.3349609375\n", + "global step=28495872, episodic return=2291.809326171875\n", + "global step=28495872, episodic return=2324.87939453125\n", + "global step=28495872, episodic return=2354.467041015625\n", + "global step=28495872, episodic return=2301.184814453125\n", + "global step=28495872, episodic return=2418.200439453125\n", + "global step=28495872, episodic return=173.15428161621094\n", + "global step=28497920, episodic return=1788.99658203125\n", + "global step=28497920, episodic return=831.2083129882812\n", + "global step=28499968, episodic return=238.8091278076172\n", + "global step=28502016, episodic return=2427.180419921875\n", + "global step=28502016, episodic return=172.82147216796875\n", + "global step=28504064, episodic return=191.60952758789062\n", + "global step=28504064, episodic return=2313.903564453125\n", + "global step=28504064, episodic return=2393.197509765625\n", + "global step=28504064, episodic return=2416.20068359375\n", + "global step=28504064, episodic return=2305.692138671875\n", + "global step=28506112, episodic return=2296.07958984375\n", + "global step=28506112, episodic return=2392.8994140625\n", + "global step=28506112, episodic return=2405.099609375\n", + "global step=28508160, episodic return=2402.345458984375\n", + "global step=28508160, episodic return=2354.237548828125\n", + "global step=28508160, episodic return=2310.6884765625\n", + "global step=28510208, episodic return=2408.84521484375\n", + "global step=28510208, episodic return=2262.32373046875\n", + "global step=28512256, episodic return=2077.593505859375\n", + "global step=28512256, episodic return=2362.67236328125\n", + "global step=28512256, episodic return=2383.53369140625\n", + "global step=28512256, episodic return=2339.89892578125\n", + "global step=28512256, episodic return=2427.057861328125\n", + "global step=28514304, episodic return=2361.40283203125\n", + "global step=28514304, episodic return=2301.61181640625\n", + "global step=28514304, episodic return=2394.760498046875\n", + "global step=28514304, episodic return=179.19737243652344\n", + "global step=28514304, episodic return=2376.335205078125\n", + "global step=28514304, episodic return=2410.47216796875\n", + "global step=28514304, episodic return=2410.69384765625\n", + "global step=28516352, episodic return=2474.653076171875\n", + "global step=28516352, episodic return=2399.693115234375\n", + "global step=28518400, episodic return=2279.561279296875\n", + "global step=28518400, episodic return=2417.533935546875\n", + "global step=28518400, episodic return=213.22549438476562\n", + "global step=28520448, episodic return=2368.633544921875\n", + "global step=28522496, episodic return=2385.138427734375\n", + "global step=28522496, episodic return=2372.611572265625\n", + "global step=28528640, episodic return=2363.78271484375\n", + "global step=28532736, episodic return=2356.876708984375\n", + "global step=28534784, episodic return=2299.759521484375\n", + "global step=28534784, episodic return=2272.12158203125\n", + "global step=28534784, episodic return=2330.65283203125\n", + "global step=28534784, episodic return=1739.3929443359375\n", + "global step=28534784, episodic return=2296.04833984375\n", + "global step=28534784, episodic return=2342.30224609375\n", + "global step=28536832, episodic return=165.6226348876953\n", + "global step=28536832, episodic return=2388.177978515625\n", + "global step=28536832, episodic return=2324.7763671875\n", + "global step=28536832, episodic return=185.2257080078125\n", + "global step=28540928, episodic return=2349.82421875\n", + "global step=28540928, episodic return=2417.9853515625\n", + "global step=28540928, episodic return=2387.3916015625\n", + "global step=28542976, episodic return=2245.974365234375\n", + "global step=28542976, episodic return=2265.11181640625\n", + "global step=28545024, episodic return=2368.53515625\n", + "global step=28545024, episodic return=2143.261962890625\n", + "global step=28545024, episodic return=2248.203857421875\n", + "global step=28545024, episodic return=241.5132598876953\n", + "global step=28547072, episodic return=2397.4794921875\n", + "global step=28547072, episodic return=2373.69677734375\n", + "global step=28547072, episodic return=2421.74560546875\n", + "global step=28549120, episodic return=2439.953125\n", + "global step=28549120, episodic return=2424.628662109375\n", + "global step=28551168, episodic return=2399.9765625\n", + "global step=28551168, episodic return=2368.9560546875\n", + "global step=28553216, episodic return=2399.982177734375\n", + "global step=28553216, episodic return=2335.243408203125\n", + "global step=28553216, episodic return=2211.9765625\n", + "global step=28553216, episodic return=2346.900146484375\n", + "global step=28555264, episodic return=2414.961181640625\n", + "global step=28555264, episodic return=172.5608673095703\n", + "global step=28555264, episodic return=166.40330505371094\n", + "global step=28555264, episodic return=2398.162841796875\n", + "global step=28557312, episodic return=1054.3193359375\n", + "global step=28559360, episodic return=996.9124145507812\n", + "global step=28559360, episodic return=2286.47607421875\n", + "global step=28559360, episodic return=2384.893310546875\n", + "global step=28561408, episodic return=2345.0166015625\n", + "global step=28563456, episodic return=2330.745361328125\n", + "global step=28563456, episodic return=180.03659057617188\n", + "global step=28563456, episodic return=2461.074462890625\n", + "global step=28563456, episodic return=2386.125\n", + "global step=28563456, episodic return=2371.294189453125\n", + "global step=28563456, episodic return=2371.6103515625\n", + "global step=28563456, episodic return=222.77195739746094\n", + "global step=28565504, episodic return=2445.13330078125\n", + "global step=28565504, episodic return=2416.95849609375\n", + "global step=28565504, episodic return=184.54800415039062\n", + "global step=28567552, episodic return=2358.424560546875\n", + "global step=28567552, episodic return=2394.1103515625\n", + "global step=28567552, episodic return=2297.13037109375\n", + "global step=28569600, episodic return=2320.75634765625\n", + "global step=28571648, episodic return=2368.3857421875\n", + "global step=28573696, episodic return=2318.19775390625\n", + "global step=28573696, episodic return=2382.32275390625\n", + "global step=28573696, episodic return=2359.653076171875\n", + "global step=28575744, episodic return=2444.049072265625\n", + "global step=28575744, episodic return=2436.08935546875\n", + "global step=28575744, episodic return=2335.65771484375\n", + "global step=28575744, episodic return=2422.482666015625\n", + "global step=28577792, episodic return=202.7374725341797\n", + "global step=28577792, episodic return=2360.7841796875\n", + "global step=28577792, episodic return=2427.76220703125\n", + "global step=28579840, episodic return=2402.11865234375\n", + "global step=28579840, episodic return=2359.4677734375\n", + "global step=28581888, episodic return=2319.89208984375\n", + "global step=28581888, episodic return=181.22503662109375\n", + "global step=28581888, episodic return=2204.00390625\n", + "global step=28585984, episodic return=2422.5478515625\n", + "global step=28585984, episodic return=1801.585205078125\n", + "global step=28590080, episodic return=2465.4755859375\n", + "global step=28590080, episodic return=2439.798095703125\n", + "global step=28592128, episodic return=2392.28515625\n", + "global step=28592128, episodic return=2350.50732421875\n", + "global step=28596224, episodic return=2321.7822265625\n", + "global step=28598272, episodic return=2329.37841796875\n", + "global step=28598272, episodic return=2424.108154296875\n", + "global step=28600320, episodic return=2374.28564453125\n", + "global step=28600320, episodic return=2302.36572265625\n", + "global step=28600320, episodic return=2363.690185546875\n", + "global step=28600320, episodic return=2186.580322265625\n", + "global step=28604416, episodic return=2445.37744140625\n", + "global step=28606464, episodic return=2376.385986328125\n", + "global step=28606464, episodic return=2271.6015625\n", + "global step=28608512, episodic return=2409.972900390625\n", + "global step=28608512, episodic return=2381.64453125\n", + "global step=28608512, episodic return=2279.813232421875\n", + "global step=28610560, episodic return=2203.371337890625\n", + "global step=28610560, episodic return=2314.833740234375\n", + "global step=28612608, episodic return=2328.381591796875\n", + "global step=28612608, episodic return=2416.122802734375\n", + "global step=28612608, episodic return=2376.61865234375\n", + "global step=28612608, episodic return=2399.888427734375\n", + "global step=28614656, episodic return=2395.6787109375\n", + "global step=28614656, episodic return=2393.557373046875\n", + "global step=28616704, episodic return=2371.613037109375\n", + "global step=28616704, episodic return=1504.6514892578125\n", + "global step=28618752, episodic return=2387.869140625\n", + "global step=28618752, episodic return=2431.09765625\n", + "global step=28618752, episodic return=2306.809326171875\n", + "global step=28620800, episodic return=2446.617919921875\n", + "global step=28620800, episodic return=2416.512451171875\n", + "global step=28620800, episodic return=2352.658203125\n", + "global step=28622848, episodic return=2433.780517578125\n", + "global step=28622848, episodic return=2346.576904296875\n", + "global step=28622848, episodic return=2327.653564453125\n", + "global step=28622848, episodic return=2412.384521484375\n", + "global step=28628992, episodic return=2391.586181640625\n", + "global step=28628992, episodic return=1241.44384765625\n", + "global step=28628992, episodic return=2377.756103515625\n", + "global step=28628992, episodic return=2276.879638671875\n", + "global step=28628992, episodic return=2454.0810546875\n", + "global step=28631040, episodic return=2401.874755859375\n", + "global step=28633088, episodic return=2313.87646484375\n", + "global step=28633088, episodic return=2388.1904296875\n", + "global step=28635136, episodic return=2385.91552734375\n", + "global step=28635136, episodic return=2377.315185546875\n", + "global step=28635136, episodic return=2348.177001953125\n", + "global step=28637184, episodic return=2362.75390625\n", + "global step=28637184, episodic return=2355.613525390625\n", + "global step=28637184, episodic return=2425.540283203125\n", + "global step=28639232, episodic return=2314.486328125\n", + "global step=28639232, episodic return=2301.58740234375\n", + "global step=28639232, episodic return=2384.0400390625\n", + "global step=28639232, episodic return=2388.4287109375\n", + "global step=28639232, episodic return=2390.441650390625\n", + "global step=28641280, episodic return=169.900146484375\n", + "global step=28641280, episodic return=2358.657470703125\n", + "global step=28641280, episodic return=541.104248046875\n", + "global step=28643328, episodic return=161.99945068359375\n", + "global step=28643328, episodic return=2332.97900390625\n", + "global step=28647424, episodic return=169.65017700195312\n", + "global step=28647424, episodic return=2404.18359375\n", + "global step=28647424, episodic return=2435.97412109375\n", + "global step=28649472, episodic return=630.410400390625\n", + "global step=28649472, episodic return=2411.177978515625\n", + "global step=28649472, episodic return=2386.553955078125\n", + "global step=28651520, episodic return=2276.7470703125\n", + "global step=28651520, episodic return=145.78817749023438\n", + "global step=28653568, episodic return=2390.380615234375\n", + "global step=28653568, episodic return=2325.554931640625\n", + "global step=28655616, episodic return=2396.567626953125\n", + "global step=28657664, episodic return=2407.08544921875\n", + "global step=28657664, episodic return=2257.326904296875\n", + "global step=28657664, episodic return=2376.25634765625\n", + "global step=28657664, episodic return=2335.641845703125\n", + "global step=28659712, episodic return=2371.815185546875\n", + "global step=28659712, episodic return=2387.08251953125\n", + "global step=28659712, episodic return=29.648887634277344\n", + "global step=28661760, episodic return=2412.060791015625\n", + "global step=28663808, episodic return=2263.372314453125\n", + "global step=28663808, episodic return=46.03030776977539\n", + "global step=28665856, episodic return=2313.85205078125\n", + "global step=28665856, episodic return=993.0379638671875\n", + "global step=28665856, episodic return=41.295745849609375\n", + "global step=28667904, episodic return=2366.826416015625\n", + "global step=28667904, episodic return=2374.701416015625\n", + "global step=28667904, episodic return=742.4608154296875\n", + "global step=28667904, episodic return=2396.31298828125\n", + "global step=28669952, episodic return=2400.48291015625\n", + "global step=28669952, episodic return=2348.02197265625\n", + "global step=28672000, episodic return=2326.764892578125\n", + "global step=28672000, episodic return=2356.28271484375\n", + "global step=28676096, episodic return=2380.677978515625\n", + "global step=28678144, episodic return=2375.173583984375\n", + "global step=28678144, episodic return=777.5740356445312\n", + "global step=28678144, episodic return=1030.0577392578125\n", + "global step=28678144, episodic return=2386.36328125\n", + "global step=28680192, episodic return=2384.859619140625\n", + "global step=28682240, episodic return=2365.47412109375\n", + "global step=28682240, episodic return=2426.232666015625\n", + "global step=28684288, episodic return=199.5327911376953\n", + "global step=28686336, episodic return=2405.850830078125\n", + "global step=28686336, episodic return=2310.703125\n", + "global step=28690432, episodic return=2349.984619140625\n", + "global step=28690432, episodic return=2346.32177734375\n", + "global step=28690432, episodic return=2386.966796875\n", + "global step=28692480, episodic return=2324.02392578125\n", + "global step=28694528, episodic return=2412.4296875\n", + "global step=28694528, episodic return=2229.326904296875\n", + "global step=28694528, episodic return=2461.034912109375\n", + "global step=28696576, episodic return=2014.7025146484375\n", + "global step=28698624, episodic return=2440.295654296875\n", + "global step=28698624, episodic return=2336.170654296875\n", + "global step=28700672, episodic return=2303.783203125\n", + "global step=28702720, episodic return=468.1517639160156\n", + "global step=28704768, episodic return=154.391845703125\n", + "global step=28704768, episodic return=2369.658447265625\n", + "global step=28704768, episodic return=2367.89794921875\n", + "global step=28704768, episodic return=2389.72900390625\n", + "global step=28704768, episodic return=300.82574462890625\n", + "global step=28704768, episodic return=2275.32666015625\n", + "global step=28706816, episodic return=2393.049072265625\n", + "global step=28706816, episodic return=2255.180908203125\n", + "global step=28708864, episodic return=2416.2998046875\n", + "global step=28708864, episodic return=2300.3623046875\n", + "global step=28708864, episodic return=2116.885498046875\n", + "global step=28708864, episodic return=2347.356201171875\n", + "global step=28710912, episodic return=1544.7724609375\n", + "global step=28710912, episodic return=218.73121643066406\n", + "global step=28712960, episodic return=145.923095703125\n", + "global step=28712960, episodic return=2315.19482421875\n", + "global step=28712960, episodic return=236.76651000976562\n", + "global step=28712960, episodic return=226.45274353027344\n", + "global step=28715008, episodic return=2402.88623046875\n", + "global step=28715008, episodic return=2395.70654296875\n", + "global step=28715008, episodic return=1485.703857421875\n", + "global step=28717056, episodic return=2300.274658203125\n", + "global step=28717056, episodic return=2303.4189453125\n", + "global step=28717056, episodic return=2389.453857421875\n", + "global step=28719104, episodic return=2333.2080078125\n", + "global step=28721152, episodic return=224.4009246826172\n", + "global step=28721152, episodic return=2314.528076171875\n", + "global step=28721152, episodic return=2322.564208984375\n", + "global step=28723200, episodic return=2451.3369140625\n", + "global step=28723200, episodic return=2344.294677734375\n", + "global step=28723200, episodic return=2394.675048828125\n", + "global step=28725248, episodic return=2351.320556640625\n", + "global step=28725248, episodic return=2421.89404296875\n", + "global step=28727296, episodic return=297.4733581542969\n", + "global step=28727296, episodic return=1498.922119140625\n", + "global step=28727296, episodic return=2326.433349609375\n", + "global step=28727296, episodic return=2395.330810546875\n", + "global step=28731392, episodic return=2378.15185546875\n", + "global step=28731392, episodic return=2319.322021484375\n", + "global step=28737536, episodic return=2380.473388671875\n", + "global step=28739584, episodic return=2423.268310546875\n", + "global step=28739584, episodic return=2313.38525390625\n", + "global step=28739584, episodic return=2286.486083984375\n", + "global step=28741632, episodic return=2387.771484375\n", + "global step=28741632, episodic return=2461.226318359375\n", + "global step=28741632, episodic return=2392.833740234375\n", + "global step=28743680, episodic return=2385.169921875\n", + "global step=28743680, episodic return=2375.93212890625\n", + "global step=28743680, episodic return=2396.545654296875\n", + "global step=28743680, episodic return=2384.233154296875\n", + "global step=28743680, episodic return=2395.64208984375\n", + "global step=28745728, episodic return=2291.69775390625\n", + "global step=28745728, episodic return=2404.662841796875\n", + "global step=28745728, episodic return=2390.458984375\n", + "global step=28745728, episodic return=2314.504638671875\n", + "global step=28745728, episodic return=2376.568359375\n", + "global step=28747776, episodic return=2420.1884765625\n", + "global step=28749824, episodic return=2394.729248046875\n", + "global step=28749824, episodic return=2334.36328125\n", + "global step=28749824, episodic return=2291.47509765625\n", + "global step=28751872, episodic return=2243.63818359375\n", + "global step=28751872, episodic return=2396.152587890625\n", + "global step=28751872, episodic return=2414.17431640625\n", + "global step=28751872, episodic return=2386.267578125\n", + "global step=28753920, episodic return=2435.259033203125\n", + "global step=28755968, episodic return=2340.708984375\n", + "global step=28758016, episodic return=2322.474609375\n", + "global step=28758016, episodic return=2378.536865234375\n", + "global step=28758016, episodic return=2377.350830078125\n", + "global step=28760064, episodic return=2297.46630859375\n", + "global step=28760064, episodic return=2343.589111328125\n", + "global step=28760064, episodic return=2348.22021484375\n", + "global step=28762112, episodic return=2307.5615234375\n", + "global step=28762112, episodic return=2330.979736328125\n", + "global step=28762112, episodic return=2313.888427734375\n", + "global step=28764160, episodic return=2306.93115234375\n", + "global step=28764160, episodic return=2274.80517578125\n", + "global step=28764160, episodic return=2389.62744140625\n", + "global step=28764160, episodic return=2366.16357421875\n", + "global step=28766208, episodic return=2332.232421875\n", + "global step=28766208, episodic return=2409.511962890625\n", + "global step=28766208, episodic return=2453.55126953125\n", + "global step=28768256, episodic return=2367.808349609375\n", + "global step=28768256, episodic return=2397.708251953125\n", + "global step=28768256, episodic return=2366.916748046875\n", + "global step=28770304, episodic return=2343.71435546875\n", + "global step=28770304, episodic return=2414.417236328125\n", + "global step=28770304, episodic return=2296.1455078125\n", + "global step=28772352, episodic return=2327.235107421875\n", + "global step=28774400, episodic return=2381.156494140625\n", + "global step=28774400, episodic return=2424.6435546875\n", + "global step=28774400, episodic return=2392.236572265625\n", + "global step=28776448, episodic return=2392.199462890625\n", + "global step=28776448, episodic return=2410.332275390625\n", + "global step=28776448, episodic return=1544.339599609375\n", + "global step=28780544, episodic return=2408.787353515625\n", + "global step=28782592, episodic return=2380.578369140625\n", + "global step=28782592, episodic return=2316.898681640625\n", + "global step=28782592, episodic return=2322.895751953125\n", + "global step=28782592, episodic return=2381.7861328125\n", + "global step=28782592, episodic return=2349.742919921875\n", + "global step=28784640, episodic return=2343.8720703125\n", + "global step=28784640, episodic return=374.2417907714844\n", + "global step=28786688, episodic return=2399.258544921875\n", + "global step=28786688, episodic return=2376.278564453125\n", + "global step=28786688, episodic return=2375.8408203125\n", + "global step=28786688, episodic return=2346.033447265625\n", + "global step=28788736, episodic return=2340.494384765625\n", + "global step=28788736, episodic return=2379.010009765625\n", + "global step=28788736, episodic return=2253.929443359375\n", + "global step=28788736, episodic return=2347.602783203125\n", + "global step=28790784, episodic return=2314.662353515625\n", + "global step=28790784, episodic return=2389.40673828125\n", + "global step=28790784, episodic return=2397.689697265625\n", + "global step=28792832, episodic return=2088.9140625\n", + "global step=28792832, episodic return=2413.762939453125\n", + "global step=28792832, episodic return=2386.71875\n", + "global step=28794880, episodic return=2300.083984375\n", + "global step=28794880, episodic return=2435.7412109375\n", + "global step=28796928, episodic return=2367.979736328125\n", + "global step=28796928, episodic return=2336.898193359375\n", + "global step=28796928, episodic return=2357.82421875\n", + "global step=28798976, episodic return=2346.211669921875\n", + "global step=28798976, episodic return=2400.043701171875\n", + "global step=28798976, episodic return=2370.514404296875\n", + "global step=28798976, episodic return=2410.55126953125\n", + "global step=28801024, episodic return=2397.8095703125\n", + "global step=28801024, episodic return=2326.647216796875\n", + "global step=28801024, episodic return=2347.780517578125\n", + "global step=28801024, episodic return=2361.9453125\n", + "global step=28803072, episodic return=2422.738525390625\n", + "global step=28803072, episodic return=351.57501220703125\n", + "global step=28805120, episodic return=2311.59033203125\n", + "global step=28805120, episodic return=2364.273193359375\n", + "global step=28807168, episodic return=2371.81787109375\n", + "global step=28807168, episodic return=2410.679931640625\n", + "global step=28809216, episodic return=2316.2216796875\n", + "global step=28809216, episodic return=2385.83935546875\n", + "global step=28809216, episodic return=2376.44921875\n", + "global step=28811264, episodic return=2412.7021484375\n", + "global step=28811264, episodic return=2308.725830078125\n", + "global step=28813312, episodic return=2416.966552734375\n", + "global step=28813312, episodic return=2322.934326171875\n", + "global step=28815360, episodic return=2366.15478515625\n", + "global step=28817408, episodic return=2429.9287109375\n", + "global step=28817408, episodic return=2416.6337890625\n", + "global step=28819456, episodic return=2383.4609375\n", + "global step=28821504, episodic return=194.9028778076172\n", + "global step=28823552, episodic return=2333.85546875\n", + "global step=28825600, episodic return=182.09295654296875\n", + "global step=28825600, episodic return=2387.725830078125\n", + "global step=28825600, episodic return=2293.01806640625\n", + "global step=28825600, episodic return=2374.69482421875\n", + "global step=28825600, episodic return=2364.44091796875\n", + "global step=28827648, episodic return=2375.36328125\n", + "global step=28829696, episodic return=2344.931884765625\n", + "global step=28829696, episodic return=181.77748107910156\n", + "global step=28829696, episodic return=2396.075439453125\n", + "global step=28831744, episodic return=2249.24609375\n", + "global step=28833792, episodic return=2440.57275390625\n", + "global step=28833792, episodic return=2314.30029296875\n", + "global step=28833792, episodic return=195.41221618652344\n", + "global step=28833792, episodic return=185.35202026367188\n", + "global step=28839936, episodic return=258.9426574707031\n", + "global step=28839936, episodic return=2306.603515625\n", + "global step=28839936, episodic return=1795.50537109375\n", + "global step=28839936, episodic return=2254.1455078125\n", + "global step=28839936, episodic return=2382.29931640625\n", + "global step=28841984, episodic return=2358.64599609375\n", + "global step=28841984, episodic return=2380.787841796875\n", + "global step=28841984, episodic return=407.2547912597656\n", + "global step=28841984, episodic return=2390.13427734375\n", + "global step=28848128, episodic return=2367.148681640625\n", + "global step=28850176, episodic return=2307.031982421875\n", + "global step=28852224, episodic return=1348.057373046875\n", + "global step=28852224, episodic return=2430.57666015625\n", + "global step=28854272, episodic return=2391.072265625\n", + "global step=28856320, episodic return=255.97230529785156\n", + "global step=28856320, episodic return=2370.744140625\n", + "global step=28860416, episodic return=10.709518432617188\n", + "global step=28860416, episodic return=2367.609619140625\n", + "global step=28860416, episodic return=2400.818115234375\n", + "global step=28860416, episodic return=2340.070556640625\n", + "global step=28860416, episodic return=2340.165283203125\n", + "global step=28860416, episodic return=2332.246826171875\n", + "global step=28866560, episodic return=250.2086181640625\n", + "global step=28866560, episodic return=2352.6240234375\n", + "global step=28866560, episodic return=2298.461669921875\n", + "global step=28868608, episodic return=2314.8291015625\n", + "global step=28868608, episodic return=2393.572265625\n", + "global step=28868608, episodic return=2357.25390625\n", + "global step=28868608, episodic return=2403.619140625\n", + "global step=28868608, episodic return=2358.8828125\n", + "global step=28870656, episodic return=2379.380615234375\n", + "global step=28870656, episodic return=2342.08642578125\n", + "global step=28870656, episodic return=2363.346923828125\n", + "global step=28870656, episodic return=2391.23095703125\n", + "global step=28872704, episodic return=371.9915771484375\n", + "global step=28872704, episodic return=2428.651611328125\n", + "global step=28874752, episodic return=2351.516357421875\n", + "global step=28876800, episodic return=2417.812255859375\n", + "global step=28876800, episodic return=2326.528076171875\n", + "global step=28878848, episodic return=29.06711196899414\n", + "global step=28880896, episodic return=2266.27978515625\n", + "global step=28882944, episodic return=2390.282470703125\n", + "global step=28884992, episodic return=2357.4287109375\n", + "global step=28884992, episodic return=2364.247802734375\n", + "global step=28884992, episodic return=2361.05712890625\n", + "global step=28887040, episodic return=1910.3018798828125\n", + "global step=28891136, episodic return=1324.069580078125\n", + "global step=28891136, episodic return=1243.9534912109375\n", + "global step=28893184, episodic return=310.5476989746094\n", + "global step=28897280, episodic return=2376.993896484375\n", + "global step=28897280, episodic return=2294.34130859375\n", + "global step=28899328, episodic return=353.5470275878906\n", + "global step=28899328, episodic return=27.944446563720703\n", + "global step=28899328, episodic return=1917.3023681640625\n", + "global step=28899328, episodic return=2364.638671875\n", + "global step=28899328, episodic return=2363.7744140625\n", + "global step=28905472, episodic return=2350.40966796875\n", + "global step=28905472, episodic return=2324.96826171875\n", + "global step=28907520, episodic return=739.1500854492188\n", + "global step=28909568, episodic return=2394.440185546875\n", + "global step=28909568, episodic return=2311.139892578125\n", + "global step=28911616, episodic return=2375.849853515625\n", + "global step=28911616, episodic return=2273.228759765625\n", + "global step=28911616, episodic return=2245.99462890625\n", + "global step=28911616, episodic return=512.42333984375\n", + "global step=28911616, episodic return=2304.03662109375\n", + "global step=28913664, episodic return=28.629146575927734\n", + "global step=28913664, episodic return=2379.88525390625\n", + "global step=28913664, episodic return=640.4606323242188\n", + "global step=28913664, episodic return=2335.1865234375\n", + "global step=28913664, episodic return=2398.0234375\n", + "global step=28915712, episodic return=2435.73828125\n", + "global step=28917760, episodic return=198.00048828125\n", + "global step=28919808, episodic return=2373.865234375\n", + "global step=28921856, episodic return=2289.503173828125\n", + "global step=28921856, episodic return=2364.537841796875\n", + "global step=28921856, episodic return=2357.13037109375\n", + "global step=28921856, episodic return=2321.826171875\n", + "global step=28925952, episodic return=2387.279052734375\n", + "global step=28925952, episodic return=2433.253662109375\n", + "global step=28928000, episodic return=2319.06298828125\n", + "global step=28928000, episodic return=2369.59912109375\n", + "global step=28936192, episodic return=2363.08935546875\n", + "global step=28936192, episodic return=2449.302490234375\n", + "global step=28938240, episodic return=2353.5703125\n", + "global step=28938240, episodic return=1128.866455078125\n", + "global step=28940288, episodic return=2357.7939453125\n", + "global step=28940288, episodic return=2354.75146484375\n", + "global step=28940288, episodic return=2407.6875\n", + "global step=28942336, episodic return=2423.329833984375\n", + "global step=28944384, episodic return=2359.5068359375\n", + "global step=28946432, episodic return=2408.4208984375\n", + "global step=28946432, episodic return=2385.732666015625\n", + "global step=28948480, episodic return=2412.992431640625\n", + "global step=28948480, episodic return=2349.817626953125\n", + "global step=28948480, episodic return=2365.830078125\n", + "global step=28948480, episodic return=2395.3017578125\n", + "global step=28950528, episodic return=2308.824951171875\n", + "global step=28950528, episodic return=2346.467529296875\n", + "global step=28950528, episodic return=171.2642822265625\n", + "global step=28952576, episodic return=2384.9375\n", + "global step=28954624, episodic return=2369.638916015625\n", + "global step=28954624, episodic return=2312.461181640625\n", + "global step=28954624, episodic return=2417.080078125\n", + "global step=28956672, episodic return=2428.104736328125\n", + "global step=28956672, episodic return=1705.971435546875\n", + "global step=28956672, episodic return=2347.55126953125\n", + "global step=28958720, episodic return=1792.646728515625\n", + "global step=28958720, episodic return=2360.726806640625\n", + "global step=28960768, episodic return=2374.246337890625\n", + "global step=28960768, episodic return=2428.44384765625\n", + "global step=28962816, episodic return=2332.61474609375\n", + "global step=28962816, episodic return=2331.64453125\n", + "global step=28964864, episodic return=2223.34228515625\n", + "global step=28964864, episodic return=2265.137451171875\n", + "global step=28964864, episodic return=2297.0751953125\n", + "global step=28964864, episodic return=2372.04833984375\n", + "global step=28966912, episodic return=2350.84716796875\n", + "global step=28966912, episodic return=2238.556640625\n", + "global step=28968960, episodic return=2387.35302734375\n", + "global step=28971008, episodic return=2245.851806640625\n", + "global step=28973056, episodic return=2296.6259765625\n", + "global step=28973056, episodic return=2275.62060546875\n", + "global step=28973056, episodic return=2380.98876953125\n", + "global step=28973056, episodic return=2295.67626953125\n", + "global step=28973056, episodic return=2392.965087890625\n", + "global step=28975104, episodic return=2369.486328125\n", + "global step=28977152, episodic return=2216.479736328125\n", + "global step=28977152, episodic return=2382.8818359375\n", + "global step=28977152, episodic return=680.5838623046875\n", + "global step=28977152, episodic return=2390.189697265625\n", + "global step=28979200, episodic return=1757.320556640625\n", + "global step=28981248, episodic return=2319.77734375\n", + "global step=28983296, episodic return=2313.82177734375\n", + "global step=28983296, episodic return=2403.56396484375\n", + "global step=28985344, episodic return=2398.5478515625\n", + "global step=28987392, episodic return=2361.82763671875\n", + "global step=28989440, episodic return=2341.78076171875\n", + "global step=28991488, episodic return=2337.30224609375\n", + "global step=28993536, episodic return=2239.134765625\n", + "global step=28995584, episodic return=2271.183837890625\n", + "global step=28995584, episodic return=2278.431396484375\n", + "global step=28997632, episodic return=2311.808349609375\n", + "global step=28999680, episodic return=2296.228515625\n", + "global step=28999680, episodic return=2302.04345703125\n", + "global step=28999680, episodic return=2363.8349609375\n", + "global step=28999680, episodic return=2296.41455078125\n", + "global step=29001728, episodic return=2342.06591796875\n", + "global step=29001728, episodic return=1233.030517578125\n", + "global step=29001728, episodic return=2266.496337890625\n", + "global step=29001728, episodic return=2329.263671875\n", + "global step=29005824, episodic return=2358.922119140625\n", + "global step=29005824, episodic return=2380.367431640625\n", + "global step=29005824, episodic return=2388.001953125\n", + "global step=29005824, episodic return=2365.792236328125\n", + "global step=29007872, episodic return=2350.881103515625\n", + "global step=29007872, episodic return=2357.03564453125\n", + "global step=29009920, episodic return=1131.4554443359375\n", + "global step=29011968, episodic return=2338.275634765625\n", + "global step=29011968, episodic return=2301.723876953125\n", + "global step=29011968, episodic return=2374.63427734375\n", + "global step=29014016, episodic return=2323.75\n", + "global step=29016064, episodic return=263.6628723144531\n", + "global step=29016064, episodic return=2399.350341796875\n", + "global step=29020160, episodic return=2343.28369140625\n", + "global step=29022208, episodic return=2360.10693359375\n", + "global step=29022208, episodic return=2402.609619140625\n", + "global step=29022208, episodic return=2344.657470703125\n", + "global step=29024256, episodic return=2202.961181640625\n", + "global step=29024256, episodic return=2407.333984375\n", + "global step=29024256, episodic return=2387.5634765625\n", + "global step=29024256, episodic return=2377.80908203125\n", + "global step=29024256, episodic return=1283.755615234375\n", + "global step=29026304, episodic return=2379.218994140625\n", + "global step=29026304, episodic return=2377.4375\n", + "global step=29028352, episodic return=2406.572509765625\n", + "global step=29028352, episodic return=2347.357177734375\n", + "global step=29032448, episodic return=2328.378173828125\n", + "global step=29032448, episodic return=2393.066650390625\n", + "global step=29032448, episodic return=2372.96044921875\n", + "global step=29034496, episodic return=2370.005126953125\n", + "global step=29034496, episodic return=2400.486572265625\n", + "global step=29034496, episodic return=2276.6953125\n", + "global step=29034496, episodic return=2354.5537109375\n", + "global step=29036544, episodic return=2346.27392578125\n", + "global step=29036544, episodic return=2386.55859375\n", + "global step=29036544, episodic return=2377.64453125\n", + "global step=29038592, episodic return=2301.510009765625\n", + "global step=29038592, episodic return=2346.21533203125\n", + "global step=29040640, episodic return=2414.47998046875\n", + "global step=29040640, episodic return=2327.36328125\n", + "global step=29040640, episodic return=2367.146240234375\n", + "global step=29040640, episodic return=2259.83056640625\n", + "global step=29042688, episodic return=2420.83642578125\n", + "global step=29042688, episodic return=2381.91943359375\n", + "global step=29044736, episodic return=2377.576171875\n", + "global step=29044736, episodic return=2383.2568359375\n", + "global step=29044736, episodic return=2348.91796875\n", + "global step=29046784, episodic return=2401.22216796875\n", + "global step=29046784, episodic return=162.48631286621094\n", + "global step=29050880, episodic return=2307.73291015625\n", + "global step=29050880, episodic return=2369.770263671875\n", + "global step=29050880, episodic return=2411.88232421875\n", + "global step=29050880, episodic return=2307.0087890625\n", + "global step=29050880, episodic return=2293.4521484375\n", + "global step=29052928, episodic return=279.6556396484375\n", + "global step=29052928, episodic return=2207.45458984375\n", + "global step=29052928, episodic return=2359.968505859375\n", + "global step=29054976, episodic return=2360.636962890625\n", + "global step=29054976, episodic return=2371.171142578125\n", + "global step=29057024, episodic return=2311.472412109375\n", + "global step=29057024, episodic return=2285.115478515625\n", + "global step=29057024, episodic return=2370.871826171875\n", + "global step=29057024, episodic return=2332.374755859375\n", + "global step=29059072, episodic return=2242.353759765625\n", + "global step=29059072, episodic return=2294.88671875\n", + "global step=29059072, episodic return=1039.5435791015625\n", + "global step=29059072, episodic return=937.2304077148438\n", + "global step=29063168, episodic return=2337.417724609375\n", + "global step=29063168, episodic return=2342.8388671875\n", + "global step=29063168, episodic return=2236.823974609375\n", + "global step=29065216, episodic return=2389.338134765625\n", + "global step=29065216, episodic return=2379.696533203125\n", + "global step=29065216, episodic return=2324.552490234375\n", + "global step=29065216, episodic return=665.5188598632812\n", + "global step=29067264, episodic return=2356.868408203125\n", + "global step=29067264, episodic return=2330.96337890625\n", + "global step=29067264, episodic return=2345.605712890625\n", + "global step=29069312, episodic return=896.7289428710938\n", + "global step=29069312, episodic return=2348.418701171875\n", + "global step=29071360, episodic return=2383.14501953125\n", + "global step=29071360, episodic return=2364.828369140625\n", + "global step=29071360, episodic return=2345.486083984375\n", + "global step=29075456, episodic return=2421.75244140625\n", + "global step=29077504, episodic return=1556.3834228515625\n", + "global step=29077504, episodic return=2331.539306640625\n", + "global step=29077504, episodic return=30.951778411865234\n", + "global step=29083648, episodic return=480.1978454589844\n", + "global step=29083648, episodic return=2315.1396484375\n", + "global step=29083648, episodic return=2361.98486328125\n", + "global step=29085696, episodic return=180.21908569335938\n", + "global step=29087744, episodic return=2062.7216796875\n", + "global step=29087744, episodic return=2351.494873046875\n", + "global step=29089792, episodic return=2411.82275390625\n", + "global step=29089792, episodic return=1394.6988525390625\n", + "global step=29091840, episodic return=2372.26220703125\n", + "global step=29091840, episodic return=2337.593505859375\n", + "global step=29093888, episodic return=290.165283203125\n", + "global step=29093888, episodic return=2367.37158203125\n", + "global step=29095936, episodic return=2405.389404296875\n", + "global step=29095936, episodic return=1606.0443115234375\n", + "global step=29097984, episodic return=250.69886779785156\n", + "global step=29097984, episodic return=2193.219482421875\n", + "global step=29097984, episodic return=2365.33740234375\n", + "global step=29097984, episodic return=2370.204833984375\n", + "global step=29097984, episodic return=2419.641357421875\n", + "global step=29100032, episodic return=2351.58154296875\n", + "global step=29100032, episodic return=2340.8125\n", + "global step=29102080, episodic return=2370.8232421875\n", + "global step=29102080, episodic return=2361.406982421875\n", + "global step=29104128, episodic return=2342.882568359375\n", + "global step=29104128, episodic return=2373.59912109375\n", + "global step=29106176, episodic return=1491.5799560546875\n", + "global step=29108224, episodic return=1606.6793212890625\n", + "global step=29110272, episodic return=2236.40576171875\n", + "global step=29110272, episodic return=1257.21142578125\n", + "global step=29112320, episodic return=2430.165771484375\n", + "global step=29112320, episodic return=2427.744384765625\n", + "global step=29114368, episodic return=2368.468994140625\n", + "global step=29116416, episodic return=2338.88720703125\n", + "global step=29116416, episodic return=2401.23046875\n", + "global step=29116416, episodic return=2349.9501953125\n", + "global step=29116416, episodic return=2350.472412109375\n", + "global step=29118464, episodic return=2352.24951171875\n", + "global step=29118464, episodic return=2342.966064453125\n", + "global step=29118464, episodic return=2237.07275390625\n", + "global step=29120512, episodic return=2339.3203125\n", + "global step=29122560, episodic return=2379.969482421875\n", + "global step=29124608, episodic return=1088.875\n", + "global step=29124608, episodic return=2385.2041015625\n", + "global step=29124608, episodic return=2373.602783203125\n", + "global step=29126656, episodic return=2346.93994140625\n", + "global step=29128704, episodic return=2350.418701171875\n", + "global step=29130752, episodic return=2401.131591796875\n", + "global step=29132800, episodic return=2334.12451171875\n", + "global step=29132800, episodic return=2376.1767578125\n", + "global step=29134848, episodic return=2365.72607421875\n", + "global step=29134848, episodic return=2345.551025390625\n", + "global step=29134848, episodic return=2409.456787109375\n", + "global step=29134848, episodic return=2336.81640625\n", + "global step=29138944, episodic return=2243.52783203125\n", + "global step=29138944, episodic return=2387.91259765625\n", + "global step=29138944, episodic return=2369.716552734375\n", + "global step=29140992, episodic return=2405.901611328125\n", + "global step=29140992, episodic return=2339.746826171875\n", + "global step=29143040, episodic return=2335.747802734375\n", + "global step=29143040, episodic return=2387.375732421875\n", + "global step=29147136, episodic return=1213.6199951171875\n", + "global step=29147136, episodic return=1021.8787231445312\n", + "global step=29147136, episodic return=2339.593505859375\n", + "global step=29149184, episodic return=2321.997802734375\n", + "global step=29151232, episodic return=1608.6800537109375\n", + "global step=29151232, episodic return=2328.121337890625\n", + "global step=29151232, episodic return=2295.034423828125\n", + "global step=29151232, episodic return=2242.6044921875\n", + "global step=29151232, episodic return=2343.91552734375\n", + "global step=29151232, episodic return=2358.33154296875\n", + "global step=29151232, episodic return=2376.265869140625\n", + "global step=29153280, episodic return=748.3530883789062\n", + "global step=29153280, episodic return=2365.081298828125\n", + "global step=29155328, episodic return=2377.36083984375\n", + "global step=29155328, episodic return=2371.751953125\n", + "global step=29155328, episodic return=2223.358154296875\n", + "global step=29157376, episodic return=2237.1513671875\n", + "global step=29159424, episodic return=2409.2744140625\n", + "global step=29159424, episodic return=2297.645751953125\n", + "global step=29161472, episodic return=291.2936706542969\n", + "global step=29161472, episodic return=1871.930419921875\n", + "global step=29165568, episodic return=2305.634033203125\n", + "global step=29165568, episodic return=2329.64013671875\n", + "global step=29167616, episodic return=2324.477783203125\n", + "global step=29167616, episodic return=2325.6455078125\n", + "global step=29167616, episodic return=2367.594970703125\n", + "global step=29169664, episodic return=2379.343994140625\n", + "global step=29169664, episodic return=2355.93896484375\n", + "global step=29169664, episodic return=2387.33544921875\n", + "global step=29177856, episodic return=25.422016143798828\n", + "global step=29177856, episodic return=1507.3629150390625\n", + "global step=29179904, episodic return=2254.913818359375\n", + "global step=29179904, episodic return=2333.66162109375\n", + "global step=29179904, episodic return=2297.572509765625\n", + "global step=29181952, episodic return=40.230525970458984\n", + "global step=29186048, episodic return=2373.2802734375\n", + "global step=29186048, episodic return=2407.17822265625\n", + "global step=29186048, episodic return=2282.891845703125\n", + "global step=29186048, episodic return=2424.699462890625\n", + "global step=29188096, episodic return=2279.8876953125\n", + "global step=29188096, episodic return=2353.278564453125\n", + "global step=29188096, episodic return=2332.48974609375\n", + "global step=29192192, episodic return=2290.41357421875\n", + "global step=29194240, episodic return=2292.34912109375\n", + "global step=29194240, episodic return=2376.926513671875\n", + "global step=29194240, episodic return=2373.67431640625\n", + "global step=29196288, episodic return=2317.537353515625\n", + "global step=29196288, episodic return=254.2342529296875\n", + "global step=29198336, episodic return=2315.134033203125\n", + "global step=29198336, episodic return=2179.782470703125\n", + "global step=29200384, episodic return=2346.882568359375\n", + "global step=29202432, episodic return=310.05517578125\n", + "global step=29204480, episodic return=239.91998291015625\n", + "global step=29204480, episodic return=2328.408935546875\n", + "global step=29206528, episodic return=2323.736328125\n", + "global step=29206528, episodic return=2409.648193359375\n", + "global step=29208576, episodic return=182.70343017578125\n", + "global step=29208576, episodic return=603.3668823242188\n", + "global step=29210624, episodic return=2392.1982421875\n", + "global step=29210624, episodic return=2336.67724609375\n", + "global step=29210624, episodic return=2404.655517578125\n", + "global step=29210624, episodic return=2274.958740234375\n", + "global step=29210624, episodic return=2373.728759765625\n", + "global step=29210624, episodic return=552.3443603515625\n", + "global step=29210624, episodic return=2403.474609375\n", + "global step=29212672, episodic return=2324.271484375\n", + "global step=29214720, episodic return=2306.39208984375\n", + "global step=29214720, episodic return=2353.458984375\n", + "global step=29216768, episodic return=2292.307373046875\n", + "global step=29218816, episodic return=2273.306640625\n", + "global step=29220864, episodic return=2257.329833984375\n", + "global step=29220864, episodic return=2328.5888671875\n", + "global step=29220864, episodic return=2303.803955078125\n", + "global step=29220864, episodic return=2290.666015625\n", + "global step=29220864, episodic return=2277.36962890625\n", + "global step=29222912, episodic return=2206.443603515625\n", + "global step=29222912, episodic return=2298.409423828125\n", + "global step=29222912, episodic return=1944.9215087890625\n", + "global step=29222912, episodic return=2299.56640625\n", + "global step=29224960, episodic return=2326.097412109375\n", + "global step=29224960, episodic return=2254.04541015625\n", + "global step=29224960, episodic return=2296.75244140625\n", + "global step=29227008, episodic return=2035.14990234375\n", + "global step=29227008, episodic return=2316.3203125\n", + "global step=29227008, episodic return=2321.004638671875\n", + "global step=29227008, episodic return=2265.875732421875\n", + "global step=29229056, episodic return=2355.140869140625\n", + "global step=29229056, episodic return=2356.86865234375\n", + "global step=29229056, episodic return=106.0625\n", + "global step=29229056, episodic return=2112.33642578125\n", + "global step=29231104, episodic return=2275.101318359375\n", + "global step=29235200, episodic return=2250.163330078125\n", + "global step=29237248, episodic return=2386.329345703125\n", + "global step=29237248, episodic return=955.0774536132812\n", + "global step=29237248, episodic return=2312.02197265625\n", + "global step=29237248, episodic return=2305.749755859375\n", + "global step=29237248, episodic return=2238.02685546875\n", + "global step=29237248, episodic return=239.07725524902344\n", + "global step=29237248, episodic return=2309.846923828125\n", + "global step=29239296, episodic return=2268.96826171875\n", + "global step=29239296, episodic return=2244.93896484375\n", + "global step=29239296, episodic return=2344.02294921875\n", + "global step=29239296, episodic return=2312.0166015625\n", + "global step=29243392, episodic return=2305.029541015625\n", + "global step=29243392, episodic return=2326.45849609375\n", + "global step=29243392, episodic return=1998.029296875\n", + "global step=29243392, episodic return=2259.796875\n", + "global step=29243392, episodic return=2349.521728515625\n", + "global step=29245440, episodic return=1163.3773193359375\n", + "global step=29245440, episodic return=149.48651123046875\n", + "global step=29247488, episodic return=2288.943359375\n", + "global step=29247488, episodic return=2279.48583984375\n", + "global step=29249536, episodic return=2316.99560546875\n", + "global step=29253632, episodic return=2392.751953125\n", + "global step=29253632, episodic return=303.625244140625\n", + "global step=29255680, episodic return=2310.256591796875\n", + "global step=29257728, episodic return=2273.958984375\n", + "global step=29257728, episodic return=2337.986083984375\n", + "global step=29259776, episodic return=2311.389404296875\n", + "global step=29259776, episodic return=2333.521240234375\n", + "global step=29259776, episodic return=2314.6044921875\n", + "global step=29261824, episodic return=2378.43408203125\n", + "global step=29261824, episodic return=2303.37939453125\n", + "global step=29261824, episodic return=2364.1318359375\n", + "global step=29261824, episodic return=2260.11962890625\n", + "global step=29261824, episodic return=2366.85205078125\n", + "global step=29265920, episodic return=2346.43408203125\n", + "global step=29265920, episodic return=2285.052978515625\n", + "global step=29265920, episodic return=2343.769775390625\n", + "global step=29270016, episodic return=734.5813598632812\n", + "global step=29270016, episodic return=2443.118408203125\n", + "global step=29270016, episodic return=2349.3349609375\n", + "global step=29272064, episodic return=2347.27880859375\n", + "global step=29274112, episodic return=2265.03369140625\n", + "global step=29274112, episodic return=1140.3118896484375\n", + "global step=29274112, episodic return=165.99456787109375\n", + "global step=29276160, episodic return=2380.0771484375\n", + "global step=29276160, episodic return=212.3612518310547\n", + "global step=29278208, episodic return=2304.2412109375\n", + "global step=29278208, episodic return=2280.22607421875\n", + "global step=29280256, episodic return=2329.2890625\n", + "global step=29280256, episodic return=2246.671875\n", + "global step=29280256, episodic return=337.8544616699219\n", + "global step=29282304, episodic return=2288.434326171875\n", + "global step=29282304, episodic return=2246.216552734375\n", + "global step=29282304, episodic return=2322.88232421875\n", + "global step=29282304, episodic return=2326.720458984375\n", + "global step=29282304, episodic return=2177.6015625\n", + "global step=29286400, episodic return=2326.970458984375\n", + "global step=29286400, episodic return=2321.798095703125\n", + "global step=29286400, episodic return=2297.82568359375\n", + "global step=29290496, episodic return=2346.156982421875\n", + "global step=29290496, episodic return=2350.737548828125\n", + "global step=29290496, episodic return=2369.269775390625\n", + "global step=29292544, episodic return=2352.26611328125\n", + "global step=29292544, episodic return=2328.1533203125\n", + "global step=29294592, episodic return=2352.963134765625\n", + "global step=29296640, episodic return=2381.88037109375\n", + "global step=29296640, episodic return=2355.374267578125\n", + "global step=29296640, episodic return=2332.16552734375\n", + "global step=29300736, episodic return=2363.858154296875\n", + "global step=29300736, episodic return=2253.682373046875\n", + "global step=29300736, episodic return=2337.452880859375\n", + "global step=29300736, episodic return=1166.510986328125\n", + "global step=29300736, episodic return=2309.56884765625\n", + "global step=29300736, episodic return=2266.08203125\n", + "global step=29302784, episodic return=1874.724853515625\n", + "global step=29302784, episodic return=337.6260681152344\n", + "global step=29302784, episodic return=2001.2801513671875\n", + "global step=29304832, episodic return=2277.310302734375\n", + "global step=29304832, episodic return=2340.463134765625\n", + "global step=29304832, episodic return=2327.622802734375\n", + "global step=29304832, episodic return=2285.26416015625\n", + "global step=29304832, episodic return=2322.066650390625\n", + "global step=29306880, episodic return=2299.14990234375\n", + "global step=29306880, episodic return=2253.40185546875\n", + "global step=29308928, episodic return=2323.473876953125\n", + "global step=29308928, episodic return=2312.91943359375\n", + "global step=29308928, episodic return=2229.22705078125\n", + "global step=29308928, episodic return=2377.421142578125\n", + "global step=29308928, episodic return=2273.726806640625\n", + "global step=29308928, episodic return=477.2008361816406\n", + "global step=29310976, episodic return=2359.09765625\n", + "global step=29310976, episodic return=2394.234619140625\n", + "global step=29310976, episodic return=2339.68798828125\n", + "global step=29310976, episodic return=2330.929443359375\n", + "global step=29313024, episodic return=2391.161376953125\n", + "global step=29313024, episodic return=2338.09423828125\n", + "global step=29313024, episodic return=2350.30712890625\n", + "global step=29315072, episodic return=2197.357421875\n", + "global step=29315072, episodic return=195.02542114257812\n", + "global step=29317120, episodic return=2304.241455078125\n", + "global step=29317120, episodic return=2313.74267578125\n", + "global step=29319168, episodic return=2368.97119140625\n", + "global step=29319168, episodic return=2298.77734375\n", + "global step=29319168, episodic return=2340.57177734375\n", + "global step=29319168, episodic return=2342.9189453125\n", + "global step=29319168, episodic return=2357.087890625\n", + "global step=29319168, episodic return=2330.60009765625\n", + "global step=29319168, episodic return=2295.261474609375\n", + "global step=29321216, episodic return=2263.90087890625\n", + "global step=29323264, episodic return=2351.9248046875\n", + "global step=29323264, episodic return=1376.2022705078125\n", + "global step=29327360, episodic return=2339.649658203125\n", + "global step=29327360, episodic return=2399.042236328125\n", + "global step=29329408, episodic return=2343.3916015625\n", + "global step=29329408, episodic return=2303.2998046875\n", + "global step=29329408, episodic return=2316.0009765625\n", + "global step=29329408, episodic return=2331.621826171875\n", + "global step=29329408, episodic return=2254.5888671875\n", + "global step=29331456, episodic return=2337.418701171875\n", + "global step=29331456, episodic return=2299.57568359375\n", + "global step=29333504, episodic return=2315.25244140625\n", + "global step=29335552, episodic return=417.4729919433594\n", + "global step=29335552, episodic return=190.39739990234375\n", + "global step=29335552, episodic return=2281.18408203125\n", + "global step=29337600, episodic return=2302.7705078125\n", + "global step=29337600, episodic return=2349.4033203125\n", + "global step=29337600, episodic return=2280.05712890625\n", + "global step=29339648, episodic return=2368.872802734375\n", + "global step=29341696, episodic return=2319.64892578125\n", + "global step=29341696, episodic return=2284.05029296875\n", + "global step=29341696, episodic return=2331.773681640625\n", + "global step=29341696, episodic return=2360.68017578125\n", + "global step=29345792, episodic return=2288.758056640625\n", + "global step=29347840, episodic return=2322.490234375\n", + "global step=29349888, episodic return=2320.22607421875\n", + "global step=29351936, episodic return=2319.31298828125\n", + "global step=29351936, episodic return=2364.486572265625\n", + "global step=29351936, episodic return=2332.85498046875\n", + "global step=29351936, episodic return=2329.52587890625\n", + "global step=29353984, episodic return=2334.237060546875\n", + "global step=29353984, episodic return=2195.6337890625\n", + "global step=29356032, episodic return=2296.769775390625\n", + "global step=29356032, episodic return=2311.31103515625\n", + "global step=29358080, episodic return=379.4797058105469\n", + "global step=29358080, episodic return=2265.985595703125\n", + "global step=29360128, episodic return=2282.3125\n", + "global step=29362176, episodic return=2325.396240234375\n", + "global step=29362176, episodic return=2323.447021484375\n", + "global step=29362176, episodic return=2157.19287109375\n", + "global step=29362176, episodic return=1782.7012939453125\n", + "global step=29364224, episodic return=2237.704345703125\n", + "global step=29364224, episodic return=919.7774047851562\n", + "global step=29364224, episodic return=2216.91455078125\n", + "global step=29366272, episodic return=2315.382568359375\n", + "global step=29366272, episodic return=2295.492431640625\n", + "global step=29366272, episodic return=838.7554321289062\n", + "global step=29368320, episodic return=2385.728759765625\n", + "global step=29368320, episodic return=448.2012939453125\n", + "global step=29372416, episodic return=2342.1943359375\n", + "global step=29374464, episodic return=2298.070068359375\n", + "global step=29374464, episodic return=621.6653442382812\n", + "global step=29374464, episodic return=2037.655517578125\n", + "global step=29376512, episodic return=851.6057739257812\n", + "global step=29376512, episodic return=184.57809448242188\n", + "global step=29376512, episodic return=2376.174560546875\n", + "global step=29378560, episodic return=604.1015625\n", + "global step=29378560, episodic return=2305.541748046875\n", + "global step=29378560, episodic return=2352.986328125\n", + "global step=29380608, episodic return=2331.25048828125\n", + "global step=29380608, episodic return=17.403743743896484\n", + "global step=29380608, episodic return=2345.704833984375\n", + "global step=29380608, episodic return=2344.7099609375\n", + "global step=29380608, episodic return=2389.886962890625\n", + "global step=29380608, episodic return=2290.322021484375\n", + "global step=29380608, episodic return=1830.7567138671875\n", + "global step=29382656, episodic return=2320.09912109375\n", + "global step=29384704, episodic return=2356.6826171875\n", + "global step=29386752, episodic return=2328.509033203125\n", + "global step=29386752, episodic return=2343.8994140625\n", + "global step=29386752, episodic return=2330.55224609375\n", + "global step=29388800, episodic return=2261.258544921875\n", + "global step=29390848, episodic return=2324.814453125\n", + "global step=29390848, episodic return=2307.400390625\n", + "global step=29390848, episodic return=2345.158935546875\n", + "global step=29390848, episodic return=2333.04638671875\n", + "global step=29392896, episodic return=2310.278564453125\n", + "global step=29392896, episodic return=2353.6943359375\n", + "global step=29394944, episodic return=2346.279541015625\n", + "global step=29394944, episodic return=2287.595947265625\n", + "global step=29396992, episodic return=2279.476318359375\n", + "global step=29396992, episodic return=2375.36279296875\n", + "global step=29399040, episodic return=2322.058349609375\n", + "global step=29399040, episodic return=2266.422607421875\n", + "global step=29399040, episodic return=2352.32763671875\n", + "global step=29399040, episodic return=2220.21533203125\n", + "global step=29399040, episodic return=2210.343017578125\n", + "global step=29399040, episodic return=1258.2176513671875\n", + "global step=29401088, episodic return=2367.789306640625\n", + "global step=29401088, episodic return=2336.26220703125\n", + "global step=29401088, episodic return=2343.583984375\n", + "global step=29401088, episodic return=2282.24560546875\n", + "global step=29403136, episodic return=2343.120849609375\n", + "global step=29405184, episodic return=2325.82275390625\n", + "global step=29409280, episodic return=1127.3653564453125\n", + "global step=29411328, episodic return=1158.244140625\n", + "global step=29411328, episodic return=2389.697998046875\n", + "global step=29411328, episodic return=2287.583984375\n", + "global step=29411328, episodic return=2268.3173828125\n", + "global step=29413376, episodic return=2365.989990234375\n", + "global step=29413376, episodic return=2340.97705078125\n", + "global step=29413376, episodic return=2246.281494140625\n", + "global step=29415424, episodic return=2348.68505859375\n", + "global step=29415424, episodic return=2342.183349609375\n", + "global step=29417472, episodic return=2339.92236328125\n", + "global step=29417472, episodic return=1525.45068359375\n", + "global step=29419520, episodic return=45.28269958496094\n", + "global step=29419520, episodic return=1326.8358154296875\n", + "global step=29419520, episodic return=22.43161964416504\n", + "global step=29419520, episodic return=2296.522216796875\n", + "global step=29419520, episodic return=2264.955810546875\n", + "global step=29421568, episodic return=18.195043563842773\n", + "global step=29421568, episodic return=2350.58642578125\n", + "global step=29423616, episodic return=2299.48974609375\n", + "global step=29423616, episodic return=1535.1771240234375\n", + "global step=29423616, episodic return=2220.740966796875\n", + "global step=29425664, episodic return=2348.57275390625\n", + "global step=29425664, episodic return=2338.99755859375\n", + "global step=29425664, episodic return=2289.151123046875\n", + "global step=29425664, episodic return=2353.2490234375\n", + "global step=29425664, episodic return=2317.369873046875\n", + "global step=29425664, episodic return=2285.12548828125\n", + "global step=29425664, episodic return=2270.955810546875\n", + "global step=29425664, episodic return=2327.3486328125\n", + "global step=29427712, episodic return=2342.424560546875\n", + "global step=29429760, episodic return=2201.309814453125\n", + "global step=29429760, episodic return=2318.150146484375\n", + "global step=29431808, episodic return=2317.936767578125\n", + "global step=29433856, episodic return=2333.4677734375\n", + "global step=29433856, episodic return=2362.087158203125\n", + "global step=29433856, episodic return=2346.147216796875\n", + "global step=29433856, episodic return=2345.561767578125\n", + "global step=29435904, episodic return=2331.513427734375\n", + "global step=29435904, episodic return=2243.306884765625\n", + "global step=29437952, episodic return=795.1388549804688\n", + "global step=29440000, episodic return=2293.623779296875\n", + "global step=29440000, episodic return=2340.968017578125\n", + "global step=29440000, episodic return=2378.07666015625\n", + "global step=29440000, episodic return=2360.68017578125\n", + "global step=29440000, episodic return=2362.080078125\n", + "global step=29440000, episodic return=2245.426025390625\n", + "global step=29440000, episodic return=2351.294921875\n", + "global step=29442048, episodic return=2343.376953125\n", + "global step=29442048, episodic return=287.6288146972656\n", + "global step=29442048, episodic return=2298.498291015625\n", + "global step=29442048, episodic return=2240.13818359375\n", + "global step=29444096, episodic return=2302.25146484375\n", + "global step=29444096, episodic return=2250.03759765625\n", + "global step=29444096, episodic return=399.6051330566406\n", + "global step=29444096, episodic return=2277.586669921875\n", + "global step=29444096, episodic return=223.60694885253906\n", + "global step=29446144, episodic return=2369.84423828125\n", + "global step=29446144, episodic return=1032.458984375\n", + "global step=29446144, episodic return=1847.313720703125\n", + "global step=29448192, episodic return=2327.902099609375\n", + "global step=29448192, episodic return=947.5460205078125\n", + "global step=29450240, episodic return=2323.735595703125\n", + "global step=29450240, episodic return=2382.041748046875\n", + "global step=29450240, episodic return=2254.389892578125\n", + "global step=29450240, episodic return=524.6984252929688\n", + "global step=29450240, episodic return=2260.645263671875\n", + "global step=29450240, episodic return=2337.811767578125\n", + "global step=29450240, episodic return=2272.130859375\n", + "global step=29452288, episodic return=1799.6678466796875\n", + "global step=29456384, episodic return=2373.1162109375\n", + "global step=29456384, episodic return=2318.437744140625\n", + "global step=29456384, episodic return=1177.5791015625\n", + "global step=29456384, episodic return=2337.566650390625\n", + "global step=29458432, episodic return=2320.49267578125\n", + "global step=29458432, episodic return=96.02214050292969\n", + "global step=29458432, episodic return=2340.090087890625\n", + "global step=29458432, episodic return=2319.55517578125\n", + "global step=29460480, episodic return=2300.4111328125\n", + "global step=29460480, episodic return=2386.7431640625\n", + "global step=29460480, episodic return=2222.052734375\n", + "global step=29464576, episodic return=2340.063720703125\n", + "global step=29464576, episodic return=2366.28271484375\n", + "global step=29466624, episodic return=1612.5916748046875\n", + "global step=29466624, episodic return=2315.4638671875\n", + "global step=29468672, episodic return=2313.927978515625\n", + "global step=29468672, episodic return=2306.42578125\n", + "global step=29468672, episodic return=2305.450927734375\n", + "global step=29470720, episodic return=364.9543762207031\n", + "global step=29470720, episodic return=2342.98193359375\n", + "global step=29470720, episodic return=2298.4462890625\n", + "global step=29470720, episodic return=651.9906005859375\n", + "global step=29472768, episodic return=2234.248291015625\n", + "global step=29472768, episodic return=2365.560302734375\n", + "global step=29474816, episodic return=1038.619384765625\n", + "global step=29474816, episodic return=332.2969055175781\n", + "global step=29474816, episodic return=261.4382629394531\n", + "global step=29476864, episodic return=2323.151123046875\n", + "global step=29476864, episodic return=2248.73974609375\n", + "global step=29476864, episodic return=2276.045166015625\n", + "global step=29476864, episodic return=1542.3616943359375\n", + "global step=29476864, episodic return=2338.033203125\n", + "global step=29476864, episodic return=2293.78955078125\n", + "global step=29478912, episodic return=2341.385498046875\n", + "global step=29478912, episodic return=2362.81640625\n", + "global step=29480960, episodic return=2333.370849609375\n", + "global step=29483008, episodic return=1644.30810546875\n", + "global step=29483008, episodic return=2297.401611328125\n", + "global step=29485056, episodic return=287.2198181152344\n", + "global step=29485056, episodic return=2323.47216796875\n", + "global step=29487104, episodic return=2263.165283203125\n", + "global step=29487104, episodic return=2288.773681640625\n", + "global step=29487104, episodic return=2347.172607421875\n", + "global step=29489152, episodic return=2286.1845703125\n", + "global step=29489152, episodic return=981.0875244140625\n", + "global step=29489152, episodic return=2273.05615234375\n", + "global step=29491200, episodic return=2306.57080078125\n", + "global step=29491200, episodic return=2308.869873046875\n", + "global step=29491200, episodic return=2315.76708984375\n", + "global step=29491200, episodic return=1019.7405395507812\n", + "global step=29491200, episodic return=2317.255615234375\n", + "global step=29493248, episodic return=675.0204467773438\n", + "global step=29493248, episodic return=2287.942138671875\n", + "global step=29493248, episodic return=2304.46484375\n", + "global step=29493248, episodic return=2330.608154296875\n", + "global step=29493248, episodic return=2321.900146484375\n", + "global step=29493248, episodic return=2293.69921875\n", + "global step=29493248, episodic return=2369.840576171875\n", + "global step=29493248, episodic return=1994.3746337890625\n", + "global step=29495296, episodic return=2328.94384765625\n", + "global step=29495296, episodic return=2309.02587890625\n", + "global step=29497344, episodic return=2294.769287109375\n", + "global step=29497344, episodic return=2239.88427734375\n", + "global step=29499392, episodic return=2295.435546875\n", + "global step=29499392, episodic return=2327.86572265625\n", + "global step=29499392, episodic return=2023.046875\n", + "global step=29501440, episodic return=2285.231689453125\n", + "global step=29501440, episodic return=2303.2587890625\n", + "global step=29501440, episodic return=1093.8377685546875\n", + "global step=29501440, episodic return=311.56781005859375\n", + "global step=29503488, episodic return=2341.926025390625\n", + "global step=29503488, episodic return=2324.4833984375\n", + "global step=29505536, episodic return=2303.96435546875\n", + "global step=29509632, episodic return=820.2369384765625\n", + "global step=29509632, episodic return=2285.017333984375\n", + "global step=29509632, episodic return=2262.946044921875\n", + "global step=29511680, episodic return=2141.775390625\n", + "global step=29513728, episodic return=840.9287719726562\n", + "global step=29513728, episodic return=2313.343994140625\n", + "global step=29513728, episodic return=655.4971313476562\n", + "global step=29515776, episodic return=2353.935791015625\n", + "global step=29515776, episodic return=1591.6185302734375\n", + "global step=29515776, episodic return=2316.3232421875\n", + "global step=29517824, episodic return=2329.625244140625\n", + "global step=29519872, episodic return=2307.813720703125\n", + "global step=29519872, episodic return=2330.506103515625\n", + "global step=29519872, episodic return=1224.9642333984375\n", + "global step=29521920, episodic return=1651.9051513671875\n", + "global step=29523968, episodic return=2302.857666015625\n", + "global step=29523968, episodic return=1123.6339111328125\n", + "global step=29523968, episodic return=2230.277587890625\n", + "global step=29523968, episodic return=837.8489379882812\n", + "global step=29523968, episodic return=635.2523193359375\n", + "global step=29526016, episodic return=1209.85693359375\n", + "global step=29526016, episodic return=2282.862060546875\n", + "global step=29528064, episodic return=2326.651611328125\n", + "global step=29528064, episodic return=2290.91845703125\n", + "global step=29528064, episodic return=767.0636596679688\n", + "global step=29528064, episodic return=2341.7744140625\n", + "global step=29530112, episodic return=431.17041015625\n", + "global step=29532160, episodic return=2216.59033203125\n", + "global step=29532160, episodic return=384.76348876953125\n", + "global step=29532160, episodic return=1665.158203125\n", + "global step=29534208, episodic return=1239.75439453125\n", + "global step=29538304, episodic return=2279.261474609375\n", + "global step=29538304, episodic return=1709.73681640625\n", + "global step=29538304, episodic return=1574.100341796875\n", + "global step=29538304, episodic return=2305.8818359375\n", + "global step=29538304, episodic return=1332.4140625\n", + "global step=29540352, episodic return=407.1934814453125\n", + "global step=29540352, episodic return=2263.74169921875\n", + "global step=29542400, episodic return=2304.314453125\n", + "global step=29542400, episodic return=2357.403076171875\n", + "global step=29544448, episodic return=2325.69873046875\n", + "global step=29544448, episodic return=513.1405029296875\n", + "global step=29544448, episodic return=2273.44287109375\n", + "global step=29546496, episodic return=1852.0045166015625\n", + "global step=29546496, episodic return=2311.827880859375\n", + "global step=29546496, episodic return=2327.187255859375\n", + "global step=29548544, episodic return=2262.2763671875\n", + "global step=29548544, episodic return=2364.0771484375\n", + "global step=29548544, episodic return=2293.513427734375\n", + "global step=29548544, episodic return=39.7724609375\n", + "global step=29550592, episodic return=2334.60595703125\n", + "global step=29552640, episodic return=1960.3316650390625\n", + "global step=29554688, episodic return=2269.529296875\n", + "global step=29554688, episodic return=2311.22314453125\n", + "global step=29554688, episodic return=2353.95947265625\n", + "global step=29554688, episodic return=2363.0712890625\n", + "global step=29554688, episodic return=1414.7542724609375\n", + "global step=29556736, episodic return=2337.7998046875\n", + "global step=29556736, episodic return=2319.246337890625\n", + "global step=29556736, episodic return=2331.481689453125\n", + "global step=29558784, episodic return=2354.475830078125\n", + "global step=29558784, episodic return=1556.86474609375\n", + "global step=29560832, episodic return=2344.9892578125\n", + "global step=29560832, episodic return=2322.1689453125\n", + "global step=29560832, episodic return=1200.81689453125\n", + "global step=29562880, episodic return=2327.00634765625\n", + "global step=29564928, episodic return=2194.83544921875\n", + "global step=29564928, episodic return=2370.83935546875\n", + "global step=29564928, episodic return=2327.101806640625\n", + "global step=29564928, episodic return=1316.6873779296875\n", + "global step=29564928, episodic return=2298.88671875\n", + "global step=29566976, episodic return=2306.372802734375\n", + "global step=29566976, episodic return=2329.62451171875\n", + "global step=29569024, episodic return=1725.43505859375\n", + "global step=29569024, episodic return=2347.981201171875\n", + "global step=29569024, episodic return=2335.150634765625\n", + "global step=29571072, episodic return=2217.849365234375\n", + "global step=29573120, episodic return=2345.67138671875\n", + "global step=29573120, episodic return=2307.032470703125\n", + "global step=29573120, episodic return=2230.82373046875\n", + "global step=29575168, episodic return=1098.8023681640625\n", + "global step=29575168, episodic return=2341.51123046875\n", + "global step=29577216, episodic return=1351.6214599609375\n", + "global step=29577216, episodic return=2230.699462890625\n", + "global step=29577216, episodic return=2316.883056640625\n", + "global step=29577216, episodic return=2297.486572265625\n", + "global step=29579264, episodic return=2334.148681640625\n", + "global step=29583360, episodic return=2294.6748046875\n", + "global step=29583360, episodic return=2311.3740234375\n", + "global step=29583360, episodic return=466.1551818847656\n", + "global step=29585408, episodic return=408.28399658203125\n", + "global step=29585408, episodic return=1786.6829833984375\n", + "global step=29585408, episodic return=2310.53173828125\n", + "global step=29587456, episodic return=2349.4189453125\n", + "global step=29587456, episodic return=2364.720458984375\n", + "global step=29589504, episodic return=2303.028564453125\n", + "global step=29589504, episodic return=1718.8052978515625\n", + "global step=29589504, episodic return=2245.1240234375\n", + "global step=29591552, episodic return=698.6099853515625\n", + "global step=29593600, episodic return=37.302284240722656\n", + "global step=29595648, episodic return=2285.460205078125\n", + "global step=29595648, episodic return=2307.773193359375\n", + "global step=29595648, episodic return=2304.71337890625\n", + "global step=29599744, episodic return=2307.47314453125\n", + "global step=29599744, episodic return=612.3424072265625\n", + "global step=29601792, episodic return=2301.670654296875\n", + "global step=29603840, episodic return=2312.20263671875\n", + "global step=29603840, episodic return=2272.395263671875\n", + "global step=29603840, episodic return=2298.753662109375\n", + "global step=29605888, episodic return=2337.476806640625\n", + "global step=29605888, episodic return=2228.32958984375\n", + "global step=29605888, episodic return=2288.48681640625\n", + "global step=29605888, episodic return=2297.8232421875\n", + "global step=29607936, episodic return=1108.24462890625\n", + "global step=29607936, episodic return=2324.646728515625\n", + "global step=29609984, episodic return=2273.07080078125\n", + "global step=29612032, episodic return=2266.443603515625\n", + "global step=29612032, episodic return=2330.529052734375\n", + "global step=29614080, episodic return=2347.685302734375\n", + "global step=29614080, episodic return=2279.865478515625\n", + "global step=29616128, episodic return=215.80357360839844\n", + "global step=29618176, episodic return=44.81233596801758\n", + "global step=29620224, episodic return=69.70484924316406\n", + "global step=29620224, episodic return=2247.301513671875\n", + "global step=29620224, episodic return=2315.96533203125\n", + "global step=29620224, episodic return=2343.49951171875\n", + "global step=29624320, episodic return=2313.623046875\n", + "global step=29626368, episodic return=1559.5643310546875\n", + "global step=29626368, episodic return=41.8433952331543\n", + "global step=29626368, episodic return=2208.671875\n", + "global step=29626368, episodic return=2371.026123046875\n", + "global step=29626368, episodic return=2287.219482421875\n", + "global step=29628416, episodic return=2343.236328125\n", + "global step=29628416, episodic return=1538.177734375\n", + "global step=29628416, episodic return=2344.27734375\n", + "global step=29630464, episodic return=1291.798828125\n", + "global step=29632512, episodic return=2283.91162109375\n", + "global step=29632512, episodic return=2238.295654296875\n", + "global step=29632512, episodic return=2282.432861328125\n", + "global step=29634560, episodic return=2325.393798828125\n", + "global step=29634560, episodic return=2305.322509765625\n", + "global step=29634560, episodic return=2342.624755859375\n", + "global step=29634560, episodic return=2320.399169921875\n", + "global step=29638656, episodic return=320.3757629394531\n", + "global step=29638656, episodic return=2267.21484375\n", + "global step=29640704, episodic return=819.4716796875\n", + "global step=29642752, episodic return=2322.198974609375\n", + "global step=29642752, episodic return=2331.738037109375\n", + "global step=29642752, episodic return=218.98439025878906\n", + "global step=29642752, episodic return=2338.392822265625\n", + "global step=29644800, episodic return=2290.4775390625\n", + "global step=29644800, episodic return=2304.711181640625\n", + "global step=29644800, episodic return=2339.8701171875\n", + "global step=29646848, episodic return=2330.8076171875\n", + "global step=29646848, episodic return=2295.462890625\n", + "global step=29646848, episodic return=2358.84326171875\n", + "global step=29646848, episodic return=2299.104248046875\n", + "global step=29648896, episodic return=2324.36376953125\n", + "global step=29648896, episodic return=489.49725341796875\n", + "global step=29648896, episodic return=2355.2255859375\n", + "global step=29648896, episodic return=2307.033935546875\n", + "global step=29650944, episodic return=1482.768798828125\n", + "global step=29650944, episodic return=154.03208923339844\n", + "global step=29652992, episodic return=2308.02734375\n", + "global step=29652992, episodic return=2322.871337890625\n", + "global step=29655040, episodic return=2283.147705078125\n", + "global step=29655040, episodic return=2252.230224609375\n", + "global step=29655040, episodic return=2308.38232421875\n", + "global step=29657088, episodic return=2053.93359375\n", + "global step=29657088, episodic return=2315.1748046875\n", + "global step=29657088, episodic return=394.97039794921875\n", + "global step=29661184, episodic return=2317.633056640625\n", + "global step=29663232, episodic return=2304.41845703125\n", + "global step=29665280, episodic return=2284.388671875\n", + "global step=29667328, episodic return=2241.52685546875\n", + "global step=29667328, episodic return=2317.74658203125\n", + "global step=29671424, episodic return=2263.950439453125\n", + "global step=29673472, episodic return=2340.437744140625\n", + "global step=29673472, episodic return=2341.30859375\n", + "global step=29673472, episodic return=2310.571044921875\n", + "global step=29677568, episodic return=2195.62744140625\n", + "global step=29677568, episodic return=2331.194091796875\n", + "global step=29679616, episodic return=2384.548583984375\n", + "global step=29679616, episodic return=2282.73876953125\n", + "global step=29681664, episodic return=2310.72998046875\n", + "global step=29681664, episodic return=2367.35791015625\n", + "global step=29681664, episodic return=2354.083251953125\n", + "global step=29681664, episodic return=2278.8515625\n", + "global step=29683712, episodic return=2256.016845703125\n", + "global step=29685760, episodic return=205.44541931152344\n", + "global step=29685760, episodic return=1865.6912841796875\n", + "global step=29685760, episodic return=2321.216552734375\n", + "global step=29685760, episodic return=2239.459228515625\n", + "global step=29687808, episodic return=2342.416748046875\n", + "global step=29687808, episodic return=2337.37255859375\n", + "global step=29689856, episodic return=2382.3466796875\n", + "global step=29689856, episodic return=2283.48193359375\n", + "global step=29689856, episodic return=695.1827392578125\n", + "global step=29691904, episodic return=133.42774963378906\n", + "global step=29691904, episodic return=2280.41552734375\n", + "global step=29691904, episodic return=1441.797607421875\n", + "global step=29691904, episodic return=2301.7841796875\n", + "global step=29691904, episodic return=1261.338623046875\n", + "global step=29691904, episodic return=2326.111328125\n", + "global step=29691904, episodic return=2288.618408203125\n", + "global step=29693952, episodic return=2282.15673828125\n", + "global step=29696000, episodic return=2344.047119140625\n", + "global step=29698048, episodic return=2312.5537109375\n", + "global step=29698048, episodic return=2230.55908203125\n", + "global step=29698048, episodic return=2332.39404296875\n", + "global step=29700096, episodic return=2386.893310546875\n", + "global step=29700096, episodic return=218.3992919921875\n", + "global step=29700096, episodic return=2348.62646484375\n", + "global step=29700096, episodic return=2340.218505859375\n", + "global step=29700096, episodic return=2335.690673828125\n", + "global step=29702144, episodic return=2369.60595703125\n", + "global step=29702144, episodic return=2291.81591796875\n", + "global step=29704192, episodic return=165.216796875\n", + "global step=29708288, episodic return=2332.111328125\n", + "global step=29708288, episodic return=1655.1541748046875\n", + "global step=29708288, episodic return=2261.388916015625\n", + "global step=29708288, episodic return=2372.7216796875\n", + "global step=29708288, episodic return=2326.9970703125\n", + "global step=29710336, episodic return=827.9595947265625\n", + "global step=29712384, episodic return=2325.027099609375\n", + "global step=29712384, episodic return=2273.0302734375\n", + "global step=29712384, episodic return=1929.3372802734375\n", + "global step=29712384, episodic return=2307.42236328125\n", + "global step=29712384, episodic return=895.0645141601562\n", + "global step=29714432, episodic return=2284.1728515625\n", + "global step=29716480, episodic return=1783.9521484375\n", + "global step=29716480, episodic return=2251.402587890625\n", + "global step=29718528, episodic return=2380.97314453125\n", + "global step=29718528, episodic return=2333.580810546875\n", + "global step=29718528, episodic return=2335.46435546875\n", + "global step=29720576, episodic return=2297.58984375\n", + "global step=29720576, episodic return=2316.8525390625\n", + "global step=29722624, episodic return=1506.6446533203125\n", + "global step=29722624, episodic return=1112.3021240234375\n", + "global step=29722624, episodic return=2332.188232421875\n", + "global step=29722624, episodic return=255.44581604003906\n", + "global step=29722624, episodic return=2231.13916015625\n", + "global step=29724672, episodic return=2269.968505859375\n", + "global step=29724672, episodic return=2351.093505859375\n", + "global step=29726720, episodic return=765.325439453125\n", + "global step=29728768, episodic return=2270.20556640625\n", + "global step=29728768, episodic return=2322.570556640625\n", + "global step=29730816, episodic return=2295.076416015625\n", + "global step=29732864, episodic return=1260.9263916015625\n", + "global step=29734912, episodic return=2188.767578125\n", + "global step=29736960, episodic return=2299.986328125\n", + "global step=29739008, episodic return=2357.055419921875\n", + "global step=29739008, episodic return=2315.409912109375\n", + "global step=29739008, episodic return=2342.43994140625\n", + "global step=29741056, episodic return=2353.10498046875\n", + "global step=29741056, episodic return=2035.9857177734375\n", + "global step=29741056, episodic return=2302.96923828125\n", + "global step=29743104, episodic return=2306.24072265625\n", + "global step=29743104, episodic return=2329.8759765625\n", + "global step=29743104, episodic return=2354.421875\n", + "global step=29743104, episodic return=2321.1826171875\n", + "global step=29745152, episodic return=163.50437927246094\n", + "global step=29745152, episodic return=226.27769470214844\n", + "global step=29747200, episodic return=2309.9423828125\n", + "global step=29749248, episodic return=2270.85791015625\n", + "global step=29751296, episodic return=2330.39501953125\n", + "global step=29753344, episodic return=931.1556396484375\n", + "global step=29753344, episodic return=2341.16650390625\n", + "global step=29753344, episodic return=2290.1669921875\n", + "global step=29753344, episodic return=2299.506103515625\n", + "global step=29755392, episodic return=2389.314208984375\n", + "global step=29755392, episodic return=2294.6630859375\n", + "global step=29757440, episodic return=2302.58447265625\n", + "global step=29759488, episodic return=2292.206298828125\n", + "global step=29765632, episodic return=246.75479125976562\n", + "global step=29767680, episodic return=2275.93017578125\n", + "global step=29767680, episodic return=2322.204345703125\n", + "global step=29767680, episodic return=2299.997802734375\n", + "global step=29767680, episodic return=2323.354736328125\n", + "global step=29767680, episodic return=2334.213623046875\n", + "global step=29771776, episodic return=2351.502197265625\n", + "global step=29773824, episodic return=2305.1044921875\n", + "global step=29773824, episodic return=2295.708740234375\n", + "global step=29775872, episodic return=2327.765380859375\n", + "global step=29775872, episodic return=2297.705810546875\n", + "global step=29775872, episodic return=2290.07763671875\n", + "global step=29777920, episodic return=2316.755126953125\n", + "global step=29777920, episodic return=1803.656005859375\n", + "global step=29777920, episodic return=2255.230224609375\n", + "global step=29777920, episodic return=384.0865783691406\n", + "global step=29779968, episodic return=50.73576354980469\n", + "global step=29779968, episodic return=2297.85498046875\n", + "global step=29779968, episodic return=2347.7607421875\n", + "global step=29782016, episodic return=2368.341064453125\n", + "global step=29782016, episodic return=2308.3466796875\n", + "global step=29782016, episodic return=2267.688720703125\n", + "global step=29784064, episodic return=2304.44677734375\n", + "global step=29784064, episodic return=2328.731201171875\n", + "global step=29784064, episodic return=2360.123291015625\n", + "global step=29784064, episodic return=2361.206298828125\n", + "global step=29786112, episodic return=1178.2869873046875\n", + "global step=29788160, episodic return=2338.377685546875\n", + "global step=29788160, episodic return=2356.5126953125\n", + "global step=29788160, episodic return=2340.948486328125\n", + "global step=29788160, episodic return=2277.77294921875\n", + "global step=29790208, episodic return=2328.22412109375\n", + "global step=29790208, episodic return=2313.33447265625\n", + "global step=29792256, episodic return=2251.349365234375\n", + "global step=29792256, episodic return=2332.254638671875\n", + "global step=29792256, episodic return=2318.59716796875\n", + "global step=29794304, episodic return=2319.103515625\n", + "global step=29794304, episodic return=2319.289306640625\n", + "global step=29796352, episodic return=2314.720703125\n", + "global step=29798400, episodic return=2331.624267578125\n", + "global step=29798400, episodic return=2321.631591796875\n", + "global step=29798400, episodic return=2324.712890625\n", + "global step=29798400, episodic return=452.7238464355469\n", + "global step=29798400, episodic return=2303.6298828125\n", + "global step=29798400, episodic return=2279.307373046875\n", + "global step=29800448, episodic return=2329.6640625\n", + "global step=29800448, episodic return=2357.658447265625\n", + "global step=29800448, episodic return=2316.726318359375\n", + "global step=29800448, episodic return=2335.8720703125\n", + "global step=29800448, episodic return=1088.860107421875\n", + "global step=29800448, episodic return=2320.654052734375\n", + "global step=29800448, episodic return=2303.690673828125\n", + "global step=29800448, episodic return=2271.59423828125\n", + "global step=29800448, episodic return=2313.89794921875\n", + "global step=29802496, episodic return=2320.238037109375\n", + "global step=29802496, episodic return=2316.1845703125\n", + "global step=29802496, episodic return=2234.3994140625\n", + "global step=29804544, episodic return=2278.595703125\n", + "global step=29804544, episodic return=263.4504699707031\n", + "global step=29806592, episodic return=2321.815185546875\n", + "global step=29806592, episodic return=2327.1640625\n", + "global step=29806592, episodic return=2328.77197265625\n", + "global step=29806592, episodic return=2346.082275390625\n", + "global step=29808640, episodic return=2295.29638671875\n", + "global step=29808640, episodic return=2241.57763671875\n", + "global step=29810688, episodic return=2266.160888671875\n", + "global step=29810688, episodic return=2314.0771484375\n", + "global step=29812736, episodic return=2357.073486328125\n", + "global step=29812736, episodic return=2273.16357421875\n", + "global step=29814784, episodic return=2339.384765625\n", + "global step=29814784, episodic return=2330.78125\n", + "global step=29816832, episodic return=2370.706298828125\n", + "global step=29816832, episodic return=2242.212646484375\n", + "global step=29816832, episodic return=2350.775146484375\n", + "global step=29816832, episodic return=2308.29296875\n", + "global step=29816832, episodic return=2250.550537109375\n", + "global step=29818880, episodic return=2297.22900390625\n", + "global step=29818880, episodic return=2274.09423828125\n", + "global step=29818880, episodic return=2295.0234375\n", + "global step=29820928, episodic return=2338.810546875\n", + "global step=29820928, episodic return=2345.321044921875\n", + "global step=29822976, episodic return=2277.4697265625\n", + "global step=29822976, episodic return=2315.8193359375\n", + "global step=29822976, episodic return=2387.34033203125\n", + "global step=29827072, episodic return=2332.10205078125\n", + "global step=29827072, episodic return=2306.543212890625\n", + "global step=29827072, episodic return=2237.589111328125\n", + "global step=29827072, episodic return=2287.3994140625\n", + "global step=29827072, episodic return=2350.265869140625\n", + "global step=29829120, episodic return=2268.939208984375\n", + "global step=29829120, episodic return=2305.77685546875\n", + "global step=29831168, episodic return=2287.026611328125\n", + "global step=29831168, episodic return=2378.116943359375\n", + "global step=29831168, episodic return=2213.713134765625\n", + "global step=29833216, episodic return=2350.230712890625\n", + "global step=29833216, episodic return=2297.857421875\n", + "global step=29833216, episodic return=2284.129638671875\n", + "global step=29833216, episodic return=207.69873046875\n", + "global step=29833216, episodic return=2427.66943359375\n", + "global step=29835264, episodic return=2337.994873046875\n", + "global step=29835264, episodic return=2335.149658203125\n", + "global step=29835264, episodic return=2271.010986328125\n", + "global step=29837312, episodic return=2335.571044921875\n", + "global step=29837312, episodic return=2389.205322265625\n", + "global step=29839360, episodic return=1581.0823974609375\n", + "global step=29839360, episodic return=2347.816162109375\n", + "global step=29839360, episodic return=2275.72265625\n", + "global step=29841408, episodic return=2286.757568359375\n", + "global step=29841408, episodic return=2314.041748046875\n", + "global step=29843456, episodic return=55.977359771728516\n", + "global step=29843456, episodic return=2294.315673828125\n", + "global step=29843456, episodic return=2325.654296875\n", + "global step=29843456, episodic return=577.00732421875\n", + "global step=29843456, episodic return=49.65502166748047\n", + "global step=29845504, episodic return=2311.052490234375\n", + "global step=29845504, episodic return=2320.75390625\n", + "global step=29845504, episodic return=1951.46875\n", + "global step=29845504, episodic return=476.1417541503906\n", + "global step=29847552, episodic return=2341.96923828125\n", + "global step=29847552, episodic return=2322.33203125\n", + "global step=29847552, episodic return=2304.4775390625\n", + "global step=29849600, episodic return=2365.552978515625\n", + "global step=29849600, episodic return=2346.97216796875\n", + "global step=29849600, episodic return=630.6581420898438\n", + "global step=29849600, episodic return=2339.702392578125\n", + "global step=29849600, episodic return=2354.669677734375\n", + "global step=29849600, episodic return=2238.70947265625\n", + "global step=29851648, episodic return=1127.7025146484375\n", + "global step=29853696, episodic return=2372.663818359375\n", + "global step=29853696, episodic return=2354.123291015625\n", + "global step=29853696, episodic return=2281.56689453125\n", + "global step=29853696, episodic return=2292.79443359375\n", + "global step=29855744, episodic return=2323.0859375\n", + "global step=29857792, episodic return=2376.519775390625\n", + "global step=29857792, episodic return=1447.691650390625\n", + "global step=29857792, episodic return=2303.552490234375\n", + "global step=29857792, episodic return=2304.277587890625\n", + "global step=29859840, episodic return=2342.165771484375\n", + "global step=29859840, episodic return=2308.354736328125\n", + "global step=29859840, episodic return=2292.90478515625\n", + "global step=29861888, episodic return=2319.376220703125\n", + "global step=29861888, episodic return=2333.051513671875\n", + "global step=29861888, episodic return=2344.052490234375\n", + "global step=29861888, episodic return=2304.275390625\n", + "global step=29863936, episodic return=37.0145149230957\n", + "global step=29863936, episodic return=2319.498046875\n", + "global step=29863936, episodic return=2341.83251953125\n", + "global step=29863936, episodic return=2328.402099609375\n", + "global step=29863936, episodic return=2313.030029296875\n", + "global step=29863936, episodic return=2376.03125\n", + "global step=29865984, episodic return=2308.765869140625\n", + "global step=29865984, episodic return=2331.278076171875\n", + "global step=29868032, episodic return=93.69134521484375\n", + "global step=29868032, episodic return=2334.417236328125\n", + "global step=29868032, episodic return=2298.923828125\n", + "global step=29868032, episodic return=2336.823486328125\n", + "global step=29870080, episodic return=2337.715087890625\n", + "global step=29870080, episodic return=2359.78369140625\n", + "global step=29870080, episodic return=2295.0361328125\n", + "global step=29872128, episodic return=2353.111328125\n", + "global step=29874176, episodic return=2361.0654296875\n", + "global step=29874176, episodic return=2342.91552734375\n", + "global step=29876224, episodic return=2337.461669921875\n", + "global step=29876224, episodic return=2279.1962890625\n", + "global step=29878272, episodic return=20.711536407470703\n", + "global step=29878272, episodic return=2374.7646484375\n", + "global step=29878272, episodic return=2313.072265625\n", + "global step=29880320, episodic return=2350.851806640625\n", + "global step=29880320, episodic return=2305.526123046875\n", + "global step=29882368, episodic return=314.7688903808594\n", + "global step=29882368, episodic return=2293.843505859375\n", + "global step=29882368, episodic return=33.925045013427734\n", + "global step=29882368, episodic return=2359.822998046875\n", + "global step=29884416, episodic return=2246.5888671875\n", + "global step=29886464, episodic return=2319.105224609375\n", + "global step=29886464, episodic return=2333.985595703125\n", + "global step=29888512, episodic return=2329.7529296875\n", + "global step=29890560, episodic return=2337.063720703125\n", + "global step=29892608, episodic return=2343.590087890625\n", + "global step=29894656, episodic return=2296.0146484375\n", + "global step=29894656, episodic return=2307.25244140625\n", + "global step=29894656, episodic return=2346.48828125\n", + "global step=29894656, episodic return=1768.7513427734375\n", + "global step=29898752, episodic return=2329.66015625\n", + "global step=29898752, episodic return=2299.84423828125\n", + "global step=29898752, episodic return=2329.23486328125\n", + "global step=29898752, episodic return=2359.289306640625\n", + "global step=29900800, episodic return=2337.52783203125\n", + "global step=29900800, episodic return=2351.796875\n", + "global step=29900800, episodic return=2297.076416015625\n", + "global step=29902848, episodic return=211.59210205078125\n", + "global step=29904896, episodic return=2296.992919921875\n", + "global step=29904896, episodic return=2284.350830078125\n", + "global step=29904896, episodic return=2305.55322265625\n", + "global step=29904896, episodic return=2345.104736328125\n", + "global step=29908992, episodic return=457.80712890625\n", + "global step=29911040, episodic return=2381.33447265625\n", + "global step=29913088, episodic return=2309.75146484375\n", + "global step=29913088, episodic return=2317.84033203125\n", + "global step=29913088, episodic return=2299.22119140625\n", + "global step=29915136, episodic return=2360.26171875\n", + "global step=29915136, episodic return=2352.08154296875\n", + "global step=29915136, episodic return=376.42449951171875\n", + "global step=29915136, episodic return=2324.279541015625\n", + "global step=29915136, episodic return=2283.5966796875\n", + "global step=29917184, episodic return=2329.27587890625\n", + "global step=29917184, episodic return=2336.505615234375\n", + "global step=29919232, episodic return=2356.6689453125\n", + "global step=29919232, episodic return=2251.744873046875\n", + "global step=29921280, episodic return=1003.8246459960938\n", + "global step=29921280, episodic return=2339.063232421875\n", + "global step=29921280, episodic return=1890.2353515625\n", + "global step=29923328, episodic return=1041.933349609375\n", + "global step=29925376, episodic return=187.79489135742188\n", + "global step=29925376, episodic return=2293.807861328125\n", + "global step=29927424, episodic return=2300.114990234375\n", + "global step=29929472, episodic return=2313.783203125\n", + "global step=29931520, episodic return=2319.37451171875\n", + "global step=29931520, episodic return=2273.310791015625\n", + "global step=29931520, episodic return=2384.051513671875\n", + "global step=29931520, episodic return=2280.062744140625\n", + "global step=29933568, episodic return=2254.0771484375\n", + "global step=29935616, episodic return=2323.150390625\n", + "global step=29935616, episodic return=2235.2685546875\n", + "global step=29935616, episodic return=2308.791015625\n", + "global step=29939712, episodic return=2330.81640625\n", + "global step=29941760, episodic return=161.1317596435547\n", + "global step=29943808, episodic return=2310.03173828125\n", + "global step=29943808, episodic return=2280.161376953125\n", + "global step=29943808, episodic return=2330.0126953125\n", + "global step=29943808, episodic return=2238.865478515625\n", + "global step=29945856, episodic return=2251.73779296875\n", + "global step=29945856, episodic return=2250.75244140625\n", + "global step=29945856, episodic return=2308.407958984375\n", + "global step=29945856, episodic return=2383.27197265625\n", + "global step=29947904, episodic return=2320.660888671875\n", + "global step=29947904, episodic return=208.0018310546875\n", + "global step=29947904, episodic return=2215.871826171875\n", + "global step=29947904, episodic return=2258.024658203125\n", + "global step=29947904, episodic return=2298.159912109375\n", + "global step=29949952, episodic return=2283.858642578125\n", + "global step=29954048, episodic return=2331.229736328125\n", + "global step=29956096, episodic return=2308.2666015625\n", + "global step=29956096, episodic return=19.09825325012207\n", + "global step=29958144, episodic return=583.5320434570312\n", + "global step=29958144, episodic return=2355.993408203125\n", + "global step=29960192, episodic return=2284.2705078125\n", + "global step=29960192, episodic return=2324.6943359375\n", + "global step=29962240, episodic return=2338.15869140625\n", + "global step=29962240, episodic return=2339.350830078125\n", + "global step=29964288, episodic return=2248.716064453125\n", + "global step=29964288, episodic return=46.3574104309082\n", + "global step=29964288, episodic return=927.6717529296875\n", + "global step=29964288, episodic return=2316.82666015625\n", + "global step=29966336, episodic return=2321.439697265625\n", + "global step=29966336, episodic return=2358.783935546875\n", + "global step=29968384, episodic return=2340.7626953125\n", + "global step=29968384, episodic return=2362.383056640625\n", + "global step=29968384, episodic return=2334.55908203125\n", + "global step=29968384, episodic return=2315.066162109375\n", + "global step=29968384, episodic return=2347.824462890625\n", + "global step=29970432, episodic return=2299.032470703125\n", + "global step=29972480, episodic return=2343.0263671875\n", + "global step=29974528, episodic return=2312.809814453125\n", + "global step=29974528, episodic return=2383.2529296875\n", + "global step=29974528, episodic return=2297.702880859375\n", + "global step=29976576, episodic return=2301.786376953125\n", + "global step=29978624, episodic return=2252.461181640625\n", + "global step=29978624, episodic return=2355.098876953125\n", + "global step=29982720, episodic return=2363.246826171875\n", + "global step=29982720, episodic return=2276.71533203125\n", + "global step=29986816, episodic return=2344.973876953125\n", + "global step=29986816, episodic return=2287.333251953125\n", + "global step=29988864, episodic return=2338.408203125\n", + "global step=29990912, episodic return=2385.390625\n", + "global step=29990912, episodic return=2327.99169921875\n", + "global step=29990912, episodic return=2351.63037109375\n", + "global step=29992960, episodic return=2285.974853515625\n", + "global step=29992960, episodic return=2316.67431640625\n", + "global step=29992960, episodic return=2307.305419921875\n", + "global step=29992960, episodic return=2317.7861328125\n", + "global step=29992960, episodic return=2311.154052734375\n", + "global step=29992960, episodic return=2304.60595703125\n", + "global step=29992960, episodic return=2215.814453125\n", + "global step=29995008, episodic return=2414.793701171875\n", + "global step=29995008, episodic return=2336.855712890625\n", + "global step=29997056, episodic return=2084.816650390625\n", + "global step=29997056, episodic return=2289.19287109375\n", + "global step=29999104, episodic return=2256.255126953125\n", + "global step=29999104, episodic return=2323.872314453125\n", + "global step=30003200, episodic return=2268.04296875\n", + "global step=30005248, episodic return=2266.927978515625\n", + "global step=30005248, episodic return=400.0115661621094\n", + "global step=30005248, episodic return=2285.404052734375\n", + "global step=30005248, episodic return=2365.505615234375\n", + "global step=30005248, episodic return=2299.677734375\n", + "global step=30007296, episodic return=2339.685791015625\n", + "global step=30007296, episodic return=2306.524169921875\n", + "global step=30007296, episodic return=2321.182861328125\n", + "global step=30009344, episodic return=2301.29248046875\n", + "global step=30009344, episodic return=2350.386962890625\n", + "global step=30009344, episodic return=2366.90625\n", + "global step=30009344, episodic return=2349.13818359375\n", + "global step=30013440, episodic return=2290.283447265625\n", + "global step=30015488, episodic return=500.099609375\n", + "global step=30015488, episodic return=2359.244384765625\n", + "global step=30015488, episodic return=2301.91796875\n", + "global step=30015488, episodic return=2307.358642578125\n", + "global step=30017536, episodic return=156.05259704589844\n", + "global step=30017536, episodic return=2302.771728515625\n", + "global step=30019584, episodic return=2348.883056640625\n", + "global step=30019584, episodic return=2351.106201171875\n", + "global step=30019584, episodic return=2367.475341796875\n", + "global step=30021632, episodic return=1024.4119873046875\n", + "global step=30023680, episodic return=2256.525146484375\n", + "global step=30023680, episodic return=2305.990966796875\n", + "global step=30023680, episodic return=2328.30419921875\n", + "global step=30025728, episodic return=2312.1669921875\n", + "global step=30027776, episodic return=387.1788330078125\n", + "global step=30027776, episodic return=2355.1025390625\n", + "global step=30027776, episodic return=2380.748779296875\n", + "global step=30027776, episodic return=1845.19189453125\n", + "global step=30029824, episodic return=182.7101287841797\n", + "global step=30029824, episodic return=2279.527099609375\n", + "global step=30033920, episodic return=2383.20654296875\n", + "global step=30033920, episodic return=2315.989013671875\n", + "global step=30033920, episodic return=2344.280517578125\n", + "global step=30035968, episodic return=2343.26318359375\n", + "global step=30035968, episodic return=2350.010498046875\n", + "global step=30038016, episodic return=2333.6376953125\n", + "global step=30038016, episodic return=2390.15869140625\n", + "global step=30040064, episodic return=2372.260986328125\n", + "global step=30040064, episodic return=2353.665283203125\n", + "global step=30040064, episodic return=2360.34423828125\n", + "global step=30040064, episodic return=2372.6875\n", + "global step=30040064, episodic return=2320.304443359375\n", + "global step=30040064, episodic return=2338.273681640625\n", + "global step=30042112, episodic return=2304.082763671875\n", + "global step=30042112, episodic return=2373.84912109375\n", + "global step=30042112, episodic return=2277.855712890625\n", + "global step=30042112, episodic return=2361.72998046875\n", + "global step=30044160, episodic return=2351.564453125\n", + "global step=30044160, episodic return=2312.62060546875\n", + "global step=30046208, episodic return=342.8851318359375\n", + "global step=30046208, episodic return=2313.3515625\n", + "global step=30046208, episodic return=2322.927978515625\n", + "global step=30048256, episodic return=2338.957275390625\n", + "global step=30048256, episodic return=2344.49072265625\n", + "global step=30048256, episodic return=2381.3515625\n", + "global step=30050304, episodic return=193.90928649902344\n", + "global step=30050304, episodic return=1698.182373046875\n", + "global step=30052352, episodic return=2345.118896484375\n", + "global step=30052352, episodic return=2382.710693359375\n", + "global step=30056448, episodic return=2302.943603515625\n", + "global step=30058496, episodic return=2399.57080078125\n", + "global step=30058496, episodic return=2309.610595703125\n", + "global step=30058496, episodic return=2326.687744140625\n", + "global step=30060544, episodic return=2311.498779296875\n", + "global step=30060544, episodic return=2349.0048828125\n", + "global step=30066688, episodic return=2342.560302734375\n", + "global step=30066688, episodic return=2295.609130859375\n", + "global step=30066688, episodic return=2328.974609375\n", + "global step=30066688, episodic return=2054.88671875\n", + "global step=30066688, episodic return=2374.6435546875\n", + "global step=30068736, episodic return=2348.267578125\n", + "global step=30070784, episodic return=2239.316650390625\n", + "global step=30070784, episodic return=2239.1552734375\n", + "global step=30072832, episodic return=2365.243896484375\n", + "global step=30072832, episodic return=2264.422607421875\n", + "global step=30072832, episodic return=772.0201416015625\n", + "global step=30072832, episodic return=2269.889892578125\n", + "global step=30074880, episodic return=75.65580749511719\n", + "global step=30074880, episodic return=2266.046875\n", + "global step=30074880, episodic return=2287.8310546875\n", + "global step=30074880, episodic return=2314.7158203125\n", + "global step=30074880, episodic return=188.3468017578125\n", + "global step=30076928, episodic return=2398.400390625\n", + "global step=30076928, episodic return=1735.3026123046875\n", + "global step=30076928, episodic return=2332.25341796875\n", + "global step=30078976, episodic return=517.0179443359375\n", + "global step=30078976, episodic return=2377.94091796875\n", + "global step=30078976, episodic return=2335.664794921875\n", + "global step=30081024, episodic return=15.373868942260742\n", + "global step=30083072, episodic return=2310.0751953125\n", + "global step=30083072, episodic return=2256.71875\n", + "global step=30083072, episodic return=2228.5546875\n", + "global step=30083072, episodic return=2249.881591796875\n", + "global step=30085120, episodic return=1856.745361328125\n", + "global step=30085120, episodic return=2326.318115234375\n", + "global step=30087168, episodic return=2326.039794921875\n", + "global step=30087168, episodic return=1484.563232421875\n", + "global step=30087168, episodic return=2323.434814453125\n", + "global step=30089216, episodic return=312.1734924316406\n", + "global step=30089216, episodic return=127.94429779052734\n", + "global step=30089216, episodic return=2357.60546875\n", + "global step=30093312, episodic return=492.8511047363281\n", + "global step=30093312, episodic return=2269.00146484375\n", + "global step=30093312, episodic return=2288.011474609375\n", + "global step=30095360, episodic return=2254.5751953125\n", + "global step=30097408, episodic return=2273.241455078125\n", + "global step=30097408, episodic return=2408.84423828125\n", + "global step=30097408, episodic return=2313.972412109375\n", + "global step=30099456, episodic return=2232.621826171875\n", + "global step=30099456, episodic return=2348.035888671875\n", + "global step=30099456, episodic return=2099.44873046875\n", + "global step=30101504, episodic return=517.9141845703125\n", + "global step=30101504, episodic return=2302.0654296875\n", + "global step=30101504, episodic return=2302.166259765625\n", + "global step=30101504, episodic return=2333.133056640625\n", + "global step=30101504, episodic return=2334.1005859375\n", + "global step=30103552, episodic return=2354.594970703125\n", + "global step=30103552, episodic return=2274.184326171875\n", + "global step=30103552, episodic return=2390.594970703125\n", + "global step=30105600, episodic return=2330.784912109375\n", + "global step=30105600, episodic return=2358.316162109375\n", + "global step=30105600, episodic return=2317.700927734375\n", + "global step=30109696, episodic return=2298.03271484375\n", + "global step=30109696, episodic return=2291.544677734375\n", + "global step=30109696, episodic return=2337.8505859375\n", + "global step=30111744, episodic return=2352.314697265625\n", + "global step=30111744, episodic return=2340.691650390625\n", + "global step=30111744, episodic return=2281.659912109375\n", + "global step=30113792, episodic return=2392.74755859375\n", + "global step=30115840, episodic return=2346.6943359375\n", + "global step=30115840, episodic return=2327.73046875\n", + "global step=30117888, episodic return=632.5520629882812\n", + "global step=30117888, episodic return=2364.515625\n", + "global step=30119936, episodic return=2327.830322265625\n", + "global step=30119936, episodic return=2354.25146484375\n", + "global step=30121984, episodic return=2331.75537109375\n", + "global step=30121984, episodic return=2323.262939453125\n", + "global step=30121984, episodic return=2361.072021484375\n", + "global step=30121984, episodic return=2243.9638671875\n", + "global step=30121984, episodic return=2397.1396484375\n", + "global step=30124032, episodic return=957.742919921875\n", + "global step=30124032, episodic return=2283.571533203125\n", + "global step=30124032, episodic return=571.2660522460938\n", + "global step=30126080, episodic return=2347.66455078125\n", + "global step=30126080, episodic return=511.4881286621094\n", + "global step=30126080, episodic return=366.7513732910156\n", + "global step=30130176, episodic return=2249.3310546875\n", + "global step=30130176, episodic return=2336.89208984375\n", + "global step=30130176, episodic return=2359.5302734375\n", + "global step=30130176, episodic return=2397.779296875\n", + "global step=30130176, episodic return=2360.069580078125\n", + "global step=30132224, episodic return=2294.596435546875\n", + "global step=30132224, episodic return=2392.281494140625\n", + "global step=30132224, episodic return=2333.70263671875\n", + "global step=30134272, episodic return=2357.885498046875\n", + "global step=30134272, episodic return=617.1555786132812\n", + "global step=30134272, episodic return=2358.770263671875\n", + "global step=30134272, episodic return=239.45028686523438\n", + "global step=30134272, episodic return=17.666229248046875\n", + "global step=30136320, episodic return=2375.98486328125\n", + "global step=30136320, episodic return=2264.395751953125\n", + "global step=30136320, episodic return=2411.934814453125\n", + "global step=30138368, episodic return=2378.2734375\n", + "global step=30138368, episodic return=2336.097412109375\n", + "global step=30140416, episodic return=2158.29638671875\n", + "global step=30140416, episodic return=2288.969970703125\n", + "global step=30142464, episodic return=2242.249267578125\n", + "global step=30142464, episodic return=2263.544677734375\n", + "global step=30144512, episodic return=2300.54443359375\n", + "global step=30144512, episodic return=2358.655517578125\n", + "global step=30146560, episodic return=260.6977233886719\n", + "global step=30146560, episodic return=2243.95947265625\n", + "global step=30146560, episodic return=217.1960906982422\n", + "global step=30148608, episodic return=2336.7783203125\n", + "global step=30148608, episodic return=1577.1292724609375\n", + "global step=30150656, episodic return=223.9201202392578\n", + "global step=30150656, episodic return=2400.0732421875\n", + "global step=30150656, episodic return=1235.927001953125\n", + "global step=30152704, episodic return=2338.498291015625\n", + "global step=30152704, episodic return=2367.3330078125\n", + "global step=30152704, episodic return=2350.195556640625\n", + "global step=30152704, episodic return=2265.018310546875\n", + "global step=30152704, episodic return=2338.248779296875\n", + "global step=30154752, episodic return=2271.3984375\n", + "global step=30154752, episodic return=2314.00341796875\n", + "global step=30156800, episodic return=348.7835388183594\n", + "global step=30156800, episodic return=434.5685119628906\n", + "global step=30156800, episodic return=1737.602783203125\n", + "global step=30158848, episodic return=2316.319091796875\n", + "global step=30158848, episodic return=2331.3837890625\n", + "global step=30158848, episodic return=1903.241943359375\n", + "global step=30158848, episodic return=262.5216369628906\n", + "global step=30158848, episodic return=2166.302490234375\n", + "global step=30158848, episodic return=2362.424072265625\n", + "global step=30160896, episodic return=2268.41455078125\n", + "global step=30160896, episodic return=25.64771270751953\n", + "global step=30162944, episodic return=2326.74169921875\n", + "global step=30162944, episodic return=2372.467041015625\n", + "global step=30162944, episodic return=2343.88134765625\n", + "global step=30162944, episodic return=2312.966796875\n", + "global step=30164992, episodic return=192.23899841308594\n", + "global step=30164992, episodic return=2324.06103515625\n", + "global step=30164992, episodic return=862.5617065429688\n", + "global step=30164992, episodic return=2380.647216796875\n", + "global step=30167040, episodic return=2345.865234375\n", + "global step=30167040, episodic return=2348.3505859375\n", + "global step=30169088, episodic return=2392.712158203125\n", + "global step=30169088, episodic return=2350.8720703125\n", + "global step=30171136, episodic return=2359.166259765625\n", + "global step=30171136, episodic return=2141.448974609375\n", + "global step=30171136, episodic return=2297.7041015625\n", + "global step=30171136, episodic return=2375.211181640625\n", + "global step=30171136, episodic return=298.37744140625\n", + "global step=30173184, episodic return=2389.088134765625\n", + "global step=30173184, episodic return=2312.4306640625\n", + "global step=30175232, episodic return=651.4141845703125\n", + "global step=30175232, episodic return=2269.02587890625\n", + "global step=30175232, episodic return=2338.3427734375\n", + "global step=30175232, episodic return=2318.353759765625\n", + "global step=30175232, episodic return=2345.799560546875\n", + "global step=30175232, episodic return=2252.648681640625\n", + "global step=30177280, episodic return=2280.45361328125\n", + "global step=30177280, episodic return=2274.1953125\n", + "global step=30179328, episodic return=2299.45458984375\n", + "global step=30179328, episodic return=2343.430419921875\n", + "global step=30179328, episodic return=2279.575439453125\n", + "global step=30179328, episodic return=293.9149169921875\n", + "global step=30179328, episodic return=2404.80078125\n", + "global step=30181376, episodic return=2253.4150390625\n", + "global step=30181376, episodic return=2347.65625\n", + "global step=30181376, episodic return=2316.7294921875\n", + "global step=30183424, episodic return=2369.84228515625\n", + "global step=30185472, episodic return=2303.501220703125\n", + "global step=30185472, episodic return=2313.41455078125\n", + "global step=30187520, episodic return=324.4566650390625\n", + "global step=30187520, episodic return=2287.7333984375\n", + "global step=30187520, episodic return=2237.762939453125\n", + "global step=30189568, episodic return=2363.006103515625\n", + "global step=30189568, episodic return=2360.115966796875\n", + "global step=30193664, episodic return=2278.11279296875\n", + "global step=30193664, episodic return=2302.806640625\n", + "global step=30195712, episodic return=239.84666442871094\n", + "global step=30197760, episodic return=2342.97021484375\n", + "global step=30199808, episodic return=2319.9306640625\n", + "global step=30199808, episodic return=2343.439697265625\n", + "global step=30199808, episodic return=278.47418212890625\n", + "global step=30199808, episodic return=2216.783203125\n", + "global step=30201856, episodic return=2294.598876953125\n", + "global step=30203904, episodic return=2403.071533203125\n", + "global step=30203904, episodic return=2293.85302734375\n", + "global step=30203904, episodic return=2418.822021484375\n", + "global step=30203904, episodic return=397.8355712890625\n", + "global step=30205952, episodic return=2302.93505859375\n", + "global step=30205952, episodic return=2301.779296875\n", + "global step=30205952, episodic return=2302.041259765625\n", + "global step=30205952, episodic return=2328.5537109375\n", + "global step=30210048, episodic return=2346.7939453125\n", + "global step=30210048, episodic return=2233.151123046875\n", + "global step=30210048, episodic return=2340.04296875\n", + "global step=30210048, episodic return=2340.318359375\n", + "global step=30210048, episodic return=418.73797607421875\n", + "global step=30212096, episodic return=2283.728759765625\n", + "global step=30212096, episodic return=2335.81396484375\n", + "global step=30212096, episodic return=2321.2470703125\n", + "global step=30212096, episodic return=2344.93359375\n", + "global step=30214144, episodic return=2366.193603515625\n", + "global step=30214144, episodic return=2283.533447265625\n", + "global step=30214144, episodic return=2225.48779296875\n", + "global step=30214144, episodic return=2336.389892578125\n", + "global step=30216192, episodic return=880.8704833984375\n", + "global step=30218240, episodic return=2360.8779296875\n", + "global step=30218240, episodic return=359.8824768066406\n", + "global step=30220288, episodic return=2377.678466796875\n", + "global step=30220288, episodic return=2299.40966796875\n", + "global step=30222336, episodic return=2254.267822265625\n", + "global step=30222336, episodic return=2331.9072265625\n", + "global step=30222336, episodic return=2310.34423828125\n", + "global step=30224384, episodic return=2220.080078125\n", + "global step=30224384, episodic return=201.1934356689453\n", + "global step=30224384, episodic return=343.1358947753906\n", + "global step=30226432, episodic return=2267.617919921875\n", + "global step=30226432, episodic return=1303.8082275390625\n", + "global step=30228480, episodic return=2365.597900390625\n", + "global step=30228480, episodic return=2339.54931640625\n", + "global step=30230528, episodic return=2337.2216796875\n", + "global step=30230528, episodic return=2336.174072265625\n", + "global step=30232576, episodic return=2367.140380859375\n", + "global step=30234624, episodic return=2393.416748046875\n", + "global step=30234624, episodic return=2305.357421875\n", + "global step=30236672, episodic return=2328.10498046875\n", + "global step=30236672, episodic return=2286.516845703125\n", + "global step=30238720, episodic return=2363.51953125\n", + "global step=30238720, episodic return=438.93914794921875\n", + "global step=30238720, episodic return=2106.9482421875\n", + "global step=30238720, episodic return=2327.355712890625\n", + "global step=30238720, episodic return=2295.40625\n", + "global step=30240768, episodic return=548.3941040039062\n", + "global step=30240768, episodic return=2338.7734375\n", + "global step=30242816, episodic return=2387.090576171875\n", + "global step=30242816, episodic return=2369.37353515625\n", + "global step=30244864, episodic return=2267.5712890625\n", + "global step=30246912, episodic return=2400.07421875\n", + "global step=30246912, episodic return=2273.1923828125\n", + "global step=30246912, episodic return=2077.8994140625\n", + "global step=30246912, episodic return=2274.9560546875\n", + "global step=30246912, episodic return=2266.9794921875\n", + "global step=30248960, episodic return=2319.9365234375\n", + "global step=30248960, episodic return=2290.323974609375\n", + "global step=30248960, episodic return=365.1214599609375\n", + "global step=30248960, episodic return=2283.5546875\n", + "global step=30248960, episodic return=2362.08544921875\n", + "global step=30251008, episodic return=1122.8841552734375\n", + "global step=30253056, episodic return=2283.8408203125\n", + "global step=30255104, episodic return=79.36943817138672\n", + "global step=30255104, episodic return=2318.001708984375\n", + "global step=30255104, episodic return=2180.80615234375\n", + "global step=30257152, episodic return=2337.546630859375\n", + "global step=30259200, episodic return=2384.9892578125\n", + "global step=30259200, episodic return=2303.899169921875\n", + "global step=30259200, episodic return=2279.2958984375\n", + "global step=30261248, episodic return=903.0882568359375\n", + "global step=30261248, episodic return=2351.23828125\n", + "global step=30261248, episodic return=324.072509765625\n", + "global step=30261248, episodic return=1046.1273193359375\n", + "global step=30263296, episodic return=2360.2109375\n", + "global step=30263296, episodic return=2306.055419921875\n", + "global step=30265344, episodic return=2267.314697265625\n", + "global step=30265344, episodic return=2288.218505859375\n", + "global step=30267392, episodic return=2405.621826171875\n", + "global step=30267392, episodic return=2260.329345703125\n", + "global step=30269440, episodic return=2193.51904296875\n", + "global step=30269440, episodic return=2370.5029296875\n", + "global step=30271488, episodic return=2326.22900390625\n", + "global step=30271488, episodic return=2348.65380859375\n", + "global step=30271488, episodic return=2233.84033203125\n", + "global step=30271488, episodic return=534.856689453125\n", + "global step=30273536, episodic return=2338.23291015625\n", + "global step=30273536, episodic return=2298.45556640625\n", + "global step=30273536, episodic return=2269.4638671875\n", + "global step=30273536, episodic return=2377.14599609375\n", + "global step=30273536, episodic return=2180.66748046875\n", + "global step=30277632, episodic return=594.8423461914062\n", + "global step=30277632, episodic return=2305.6767578125\n", + "global step=30277632, episodic return=2348.0771484375\n", + "global step=30279680, episodic return=2192.787353515625\n", + "global step=30279680, episodic return=2371.24365234375\n", + "global step=30279680, episodic return=2345.839111328125\n", + "global step=30279680, episodic return=2218.100830078125\n", + "global step=30281728, episodic return=2315.1796875\n", + "global step=30283776, episodic return=2315.362548828125\n", + "global step=30283776, episodic return=2378.073486328125\n", + "global step=30283776, episodic return=2335.816650390625\n", + "global step=30283776, episodic return=2134.44580078125\n", + "global step=30283776, episodic return=2225.250732421875\n", + "global step=30285824, episodic return=2400.689453125\n", + "global step=30289920, episodic return=2333.190673828125\n", + "global step=30289920, episodic return=72.01161193847656\n", + "global step=30291968, episodic return=2397.942138671875\n", + "global step=30291968, episodic return=1104.1475830078125\n", + "global step=30291968, episodic return=2303.339111328125\n", + "global step=30291968, episodic return=2258.4052734375\n", + "global step=30294016, episodic return=2320.67529296875\n", + "global step=30294016, episodic return=2291.43994140625\n", + "global step=30294016, episodic return=2307.1083984375\n", + "global step=30298112, episodic return=2271.34423828125\n", + "global step=30298112, episodic return=2362.456787109375\n", + "global step=30298112, episodic return=2296.7939453125\n", + "global step=30298112, episodic return=2256.31396484375\n", + "global step=30298112, episodic return=2349.842529296875\n", + "global step=30300160, episodic return=2365.93359375\n", + "global step=30302208, episodic return=2309.060546875\n", + "global step=30302208, episodic return=1659.1708984375\n", + "global step=30304256, episodic return=1751.74365234375\n", + "global step=30304256, episodic return=2280.797607421875\n", + "global step=30304256, episodic return=2344.52001953125\n", + "global step=30306304, episodic return=2347.19189453125\n", + "global step=30308352, episodic return=2286.980712890625\n", + "global step=30308352, episodic return=436.9455261230469\n", + "global step=30310400, episodic return=2320.859375\n", + "global step=30310400, episodic return=43.56925964355469\n", + "global step=30310400, episodic return=348.0246276855469\n", + "global step=30312448, episodic return=2294.57470703125\n", + "global step=30312448, episodic return=2336.3115234375\n", + "global step=30312448, episodic return=1284.76318359375\n", + "global step=30314496, episodic return=2257.7158203125\n", + "global step=30314496, episodic return=2181.496337890625\n", + "global step=30314496, episodic return=2257.879638671875\n", + "global step=30318592, episodic return=2304.900634765625\n", + "global step=30318592, episodic return=2281.4267578125\n", + "global step=30318592, episodic return=2362.90771484375\n", + "global step=30318592, episodic return=2333.343505859375\n", + "global step=30318592, episodic return=2363.362548828125\n", + "global step=30320640, episodic return=2366.975830078125\n", + "global step=30322688, episodic return=2279.007568359375\n", + "global step=30322688, episodic return=2337.2451171875\n", + "global step=30322688, episodic return=263.6850280761719\n", + "global step=30322688, episodic return=2356.697265625\n", + "global step=30324736, episodic return=2349.569580078125\n", + "global step=30324736, episodic return=2295.7412109375\n", + "global step=30326784, episodic return=2264.637451171875\n", + "global step=30328832, episodic return=2356.52880859375\n", + "global step=30328832, episodic return=25.078388214111328\n", + "global step=30330880, episodic return=547.3836669921875\n", + "global step=30330880, episodic return=2329.8828125\n", + "global step=30332928, episodic return=2294.214111328125\n", + "global step=30332928, episodic return=2310.8525390625\n", + "global step=30332928, episodic return=173.18557739257812\n", + "global step=30334976, episodic return=2366.919677734375\n", + "global step=30334976, episodic return=430.4518127441406\n", + "global step=30337024, episodic return=2274.52392578125\n", + "global step=30337024, episodic return=2297.975830078125\n", + "global step=30339072, episodic return=1050.779052734375\n", + "global step=30339072, episodic return=929.7346801757812\n", + "global step=30339072, episodic return=2402.675537109375\n", + "global step=30339072, episodic return=380.6891784667969\n", + "global step=30341120, episodic return=2262.257568359375\n", + "global step=30343168, episodic return=2273.183349609375\n", + "global step=30343168, episodic return=2314.325927734375\n", + "global step=30345216, episodic return=2354.4345703125\n", + "global step=30347264, episodic return=2338.173583984375\n", + "global step=30347264, episodic return=18.536296844482422\n", + "global step=30347264, episodic return=2363.6005859375\n", + "global step=30347264, episodic return=1564.8009033203125\n", + "global step=30347264, episodic return=939.1190185546875\n", + "global step=30347264, episodic return=2323.18701171875\n", + "global step=30349312, episodic return=2330.3193359375\n", + "global step=30351360, episodic return=202.3810577392578\n", + "global step=30351360, episodic return=1959.582275390625\n", + "global step=30351360, episodic return=2344.83203125\n", + "global step=30353408, episodic return=2325.48779296875\n", + "global step=30353408, episodic return=2375.462158203125\n", + "global step=30353408, episodic return=2322.982177734375\n", + "global step=30355456, episodic return=959.735107421875\n", + "global step=30355456, episodic return=2284.20556640625\n", + "global step=30355456, episodic return=2352.318115234375\n", + "global step=30355456, episodic return=2261.247802734375\n", + "global step=30357504, episodic return=2305.943359375\n", + "global step=30357504, episodic return=2213.2421875\n", + "global step=30359552, episodic return=2287.01904296875\n", + "global step=30359552, episodic return=2331.30908203125\n", + "global step=30359552, episodic return=2376.442626953125\n", + "global step=30363648, episodic return=2336.994384765625\n", + "global step=30365696, episodic return=2300.667236328125\n", + "global step=30367744, episodic return=2294.577392578125\n", + "global step=30367744, episodic return=2397.4912109375\n", + "global step=30367744, episodic return=52.020816802978516\n", + "global step=30369792, episodic return=2226.714599609375\n", + "global step=30369792, episodic return=2380.141845703125\n", + "global step=30371840, episodic return=1585.0538330078125\n", + "global step=30371840, episodic return=308.4979553222656\n", + "global step=30373888, episodic return=2372.911865234375\n", + "global step=30373888, episodic return=1349.115234375\n", + "global step=30373888, episodic return=2354.14453125\n", + "global step=30373888, episodic return=2351.70556640625\n", + "global step=30375936, episodic return=2293.809326171875\n", + "global step=30375936, episodic return=1840.2799072265625\n", + "global step=30377984, episodic return=2348.991943359375\n", + "global step=30377984, episodic return=2327.300537109375\n", + "global step=30377984, episodic return=2103.488525390625\n", + "global step=30380032, episodic return=2313.119384765625\n", + "global step=30380032, episodic return=2351.17919921875\n", + "global step=30380032, episodic return=1802.1690673828125\n", + "global step=30382080, episodic return=2311.19189453125\n", + "global step=30384128, episodic return=2353.17041015625\n", + "global step=30384128, episodic return=2328.3759765625\n", + "global step=30384128, episodic return=571.7778930664062\n", + "global step=30386176, episodic return=2392.112548828125\n", + "global step=30388224, episodic return=2323.30126953125\n", + "global step=30388224, episodic return=2232.81396484375\n", + "global step=30390272, episodic return=458.0384216308594\n", + "global step=30392320, episodic return=2319.51416015625\n", + "global step=30392320, episodic return=2402.925048828125\n", + "global step=30394368, episodic return=2283.98779296875\n", + "global step=30396416, episodic return=2352.488525390625\n", + "global step=30396416, episodic return=2317.4267578125\n", + "global step=30398464, episodic return=1640.7655029296875\n", + "global step=30398464, episodic return=2306.344482421875\n", + "global step=30398464, episodic return=2382.077880859375\n", + "global step=30400512, episodic return=2341.62841796875\n", + "global step=30400512, episodic return=2326.77587890625\n", + "global step=30400512, episodic return=2340.879150390625\n", + "global step=30400512, episodic return=2331.575927734375\n", + "global step=30400512, episodic return=1123.5157470703125\n", + "global step=30402560, episodic return=2394.80615234375\n", + "global step=30406656, episodic return=2340.624755859375\n", + "global step=30406656, episodic return=613.684814453125\n", + "global step=30406656, episodic return=2419.581298828125\n", + "global step=30408704, episodic return=2428.83056640625\n", + "global step=30408704, episodic return=1022.4857788085938\n", + "global step=30408704, episodic return=1321.4688720703125\n", + "global step=30408704, episodic return=2366.303955078125\n", + "global step=30408704, episodic return=194.7075653076172\n", + "global step=30410752, episodic return=1148.1505126953125\n", + "global step=30410752, episodic return=2356.24951171875\n", + "global step=30410752, episodic return=2372.47509765625\n", + "global step=30410752, episodic return=2398.3916015625\n", + "global step=30412800, episodic return=2416.141357421875\n", + "global step=30414848, episodic return=1141.1663818359375\n", + "global step=30416896, episodic return=2378.66552734375\n", + "global step=30416896, episodic return=1080.5008544921875\n", + "global step=30416896, episodic return=2343.818115234375\n", + "global step=30416896, episodic return=1965.004150390625\n", + "global step=30416896, episodic return=2377.9052734375\n", + "global step=30418944, episodic return=2366.820556640625\n", + "global step=30420992, episodic return=2409.33447265625\n", + "global step=30420992, episodic return=2353.560302734375\n", + "global step=30423040, episodic return=2379.4716796875\n", + "global step=30423040, episodic return=166.13308715820312\n", + "global step=30425088, episodic return=2309.44580078125\n", + "global step=30425088, episodic return=2341.926025390625\n", + "global step=30425088, episodic return=2354.23486328125\n", + "global step=30425088, episodic return=2374.661865234375\n", + "global step=30427136, episodic return=845.7385864257812\n", + "global step=30427136, episodic return=2389.534912109375\n", + "global step=30427136, episodic return=2363.952880859375\n", + "global step=30429184, episodic return=2382.326416015625\n", + "global step=30429184, episodic return=2373.846923828125\n", + "global step=30429184, episodic return=2343.13671875\n", + "global step=30431232, episodic return=2411.98095703125\n", + "global step=30431232, episodic return=2363.9375\n", + "global step=30433280, episodic return=1828.2325439453125\n", + "global step=30435328, episodic return=2346.4453125\n", + "global step=30439424, episodic return=2395.36474609375\n", + "global step=30439424, episodic return=2357.97265625\n", + "global step=30439424, episodic return=2404.44970703125\n", + "global step=30441472, episodic return=272.2666931152344\n", + "global step=30441472, episodic return=2416.061279296875\n", + "global step=30441472, episodic return=165.65267944335938\n", + "global step=30441472, episodic return=595.7103271484375\n", + "global step=30441472, episodic return=2379.38232421875\n", + "global step=30443520, episodic return=2307.502197265625\n", + "global step=30443520, episodic return=1619.931396484375\n", + "global step=30445568, episodic return=2348.83154296875\n", + "global step=30447616, episodic return=2368.857177734375\n", + "global step=30451712, episodic return=2351.761962890625\n", + "global step=30451712, episodic return=2322.579833984375\n", + "global step=30451712, episodic return=2371.736572265625\n", + "global step=30451712, episodic return=2388.65283203125\n", + "global step=30453760, episodic return=2054.935546875\n", + "global step=30453760, episodic return=2440.710205078125\n", + "global step=30455808, episodic return=1399.3638916015625\n", + "global step=30455808, episodic return=2381.63720703125\n", + "global step=30457856, episodic return=2422.63623046875\n", + "global step=30457856, episodic return=2383.689208984375\n", + "global step=30457856, episodic return=2316.587646484375\n", + "global step=30459904, episodic return=2079.6162109375\n", + "global step=30459904, episodic return=2414.98681640625\n", + "global step=30459904, episodic return=2383.0048828125\n", + "global step=30459904, episodic return=194.28436279296875\n", + "global step=30461952, episodic return=2351.228271484375\n", + "global step=30461952, episodic return=184.3744659423828\n", + "global step=30464000, episodic return=2348.00048828125\n", + "global step=30464000, episodic return=2333.61474609375\n", + "global step=30464000, episodic return=2417.478271484375\n", + "global step=30464000, episodic return=2318.848876953125\n", + "global step=30466048, episodic return=1209.9708251953125\n", + "global step=30466048, episodic return=70.91989135742188\n", + "global step=30468096, episodic return=2301.00244140625\n", + "global step=30470144, episodic return=1036.211181640625\n", + "global step=30472192, episodic return=2392.793701171875\n", + "global step=30472192, episodic return=2377.618408203125\n", + "global step=30472192, episodic return=2411.435791015625\n", + "global step=30474240, episodic return=2388.6962890625\n", + "global step=30478336, episodic return=2365.8896484375\n", + "global step=30478336, episodic return=2367.976318359375\n", + "global step=30478336, episodic return=423.1747741699219\n", + "global step=30478336, episodic return=2433.818603515625\n", + "global step=30478336, episodic return=2322.9404296875\n", + "global step=30480384, episodic return=2431.406982421875\n", + "global step=30480384, episodic return=2413.09912109375\n", + "global step=30480384, episodic return=2386.724853515625\n", + "global step=30484480, episodic return=2401.038818359375\n", + "global step=30484480, episodic return=2360.976806640625\n", + "global step=30484480, episodic return=1638.61279296875\n", + "global step=30484480, episodic return=2324.662353515625\n", + "global step=30484480, episodic return=483.5348815917969\n", + "global step=30486528, episodic return=2315.243408203125\n", + "global step=30486528, episodic return=1184.7198486328125\n", + "global step=30486528, episodic return=2328.432373046875\n", + "global step=30486528, episodic return=2408.064208984375\n", + "global step=30486528, episodic return=2355.08544921875\n", + "global step=30486528, episodic return=791.182861328125\n", + "global step=30488576, episodic return=2356.59033203125\n", + "global step=30490624, episodic return=2287.598388671875\n", + "global step=30490624, episodic return=2315.29638671875\n", + "global step=30492672, episodic return=2373.705322265625\n", + "global step=30492672, episodic return=2415.088134765625\n", + "global step=30494720, episodic return=1346.84814453125\n", + "global step=30496768, episodic return=161.67361450195312\n", + "global step=30496768, episodic return=2364.9814453125\n", + "global step=30496768, episodic return=2398.98486328125\n", + "global step=30496768, episodic return=2336.09326171875\n", + "global step=30496768, episodic return=2410.6904296875\n", + "global step=30496768, episodic return=2367.21337890625\n", + "global step=30500864, episodic return=1628.8525390625\n", + "global step=30500864, episodic return=2364.178466796875\n", + "global step=30504960, episodic return=43.407711029052734\n", + "global step=30507008, episodic return=2377.033203125\n", + "global step=30507008, episodic return=2290.536376953125\n", + "global step=30507008, episodic return=2342.424072265625\n", + "global step=30509056, episodic return=2389.603759765625\n", + "global step=30511104, episodic return=1992.7144775390625\n", + "global step=30511104, episodic return=2327.41845703125\n", + "global step=30513152, episodic return=2333.333984375\n", + "global step=30513152, episodic return=2276.884033203125\n", + "global step=30513152, episodic return=59.506351470947266\n", + "global step=30513152, episodic return=2296.97021484375\n", + "global step=30517248, episodic return=2377.8359375\n", + "global step=30517248, episodic return=119.9764404296875\n", + "global step=30517248, episodic return=1703.0986328125\n", + "global step=30517248, episodic return=1799.7144775390625\n", + "global step=30517248, episodic return=2205.66796875\n", + "global step=30517248, episodic return=633.9326171875\n", + "global step=30517248, episodic return=2354.726806640625\n", + "global step=30519296, episodic return=2367.509521484375\n", + "global step=30519296, episodic return=2405.37109375\n", + "global step=30519296, episodic return=1316.117919921875\n", + "global step=30519296, episodic return=2425.37646484375\n", + "global step=30519296, episodic return=2374.808349609375\n", + "global step=30521344, episodic return=727.6156005859375\n", + "global step=30523392, episodic return=2305.630126953125\n", + "global step=30523392, episodic return=2359.314453125\n", + "global step=30527488, episodic return=205.0918426513672\n", + "global step=30527488, episodic return=2367.969970703125\n", + "global step=30527488, episodic return=605.6160888671875\n", + "global step=30527488, episodic return=195.16346740722656\n", + "global step=30529536, episodic return=2381.779541015625\n", + "global step=30531584, episodic return=458.2677917480469\n", + "global step=30533632, episodic return=1846.49072265625\n", + "global step=30533632, episodic return=2382.4521484375\n", + "global step=30535680, episodic return=1242.503173828125\n", + "global step=30535680, episodic return=760.4114379882812\n", + "global step=30535680, episodic return=1457.262939453125\n", + "global step=30537728, episodic return=2285.71240234375\n", + "global step=30537728, episodic return=2303.388671875\n", + "global step=30537728, episodic return=2352.101806640625\n", + "global step=30539776, episodic return=2331.11279296875\n", + "global step=30539776, episodic return=2357.329345703125\n", + "global step=30541824, episodic return=2389.3369140625\n", + "global step=30541824, episodic return=2256.84423828125\n", + "global step=30541824, episodic return=380.4139099121094\n", + "global step=30543872, episodic return=927.6927490234375\n", + "global step=30543872, episodic return=178.00784301757812\n", + "global step=30543872, episodic return=2359.655517578125\n", + "global step=30543872, episodic return=2331.639892578125\n", + "global step=30543872, episodic return=2331.8466796875\n", + "global step=30545920, episodic return=574.1025390625\n", + "global step=30545920, episodic return=169.34719848632812\n", + "global step=30545920, episodic return=2180.03466796875\n", + "global step=30547968, episodic return=2380.9990234375\n", + "global step=30550016, episodic return=2344.204833984375\n", + "global step=30550016, episodic return=219.2832794189453\n", + "global step=30552064, episodic return=2350.889892578125\n", + "global step=30552064, episodic return=2029.2325439453125\n", + "global step=30552064, episodic return=2341.261474609375\n", + "global step=30552064, episodic return=2415.63330078125\n", + "global step=30552064, episodic return=2384.6533203125\n", + "global step=30554112, episodic return=185.12197875976562\n", + "global step=30554112, episodic return=2326.0966796875\n", + "global step=30554112, episodic return=2326.43505859375\n", + "global step=30554112, episodic return=2270.134521484375\n", + "global step=30556160, episodic return=2378.80908203125\n", + "global step=30556160, episodic return=2402.512451171875\n", + "global step=30556160, episodic return=2121.586669921875\n", + "global step=30556160, episodic return=2384.108642578125\n", + "global step=30560256, episodic return=2382.130859375\n", + "global step=30560256, episodic return=2344.25634765625\n", + "global step=30560256, episodic return=2357.31689453125\n", + "global step=30560256, episodic return=2403.613037109375\n", + "global step=30562304, episodic return=2359.41064453125\n", + "global step=30562304, episodic return=2398.64794921875\n", + "global step=30562304, episodic return=2341.170654296875\n", + "global step=30562304, episodic return=2391.67822265625\n", + "global step=30562304, episodic return=2344.77490234375\n", + "global step=30562304, episodic return=2424.69970703125\n", + "global step=30564352, episodic return=2402.905517578125\n", + "global step=30564352, episodic return=2289.852783203125\n", + "global step=30566400, episodic return=2328.40576171875\n", + "global step=30566400, episodic return=2193.118408203125\n", + "global step=30566400, episodic return=638.7758178710938\n", + "global step=30566400, episodic return=2403.71826171875\n", + "global step=30568448, episodic return=485.838623046875\n", + "global step=30568448, episodic return=2329.4423828125\n", + "global step=30570496, episodic return=478.1855773925781\n", + "global step=30570496, episodic return=164.46827697753906\n", + "global step=30570496, episodic return=2332.21337890625\n", + "global step=30570496, episodic return=2333.358154296875\n", + "global step=30572544, episodic return=1402.8553466796875\n", + "global step=30578688, episodic return=175.066162109375\n", + "global step=30580736, episodic return=1020.8541870117188\n", + "global step=30580736, episodic return=2353.66162109375\n", + "global step=30582784, episodic return=2288.9375\n", + "global step=30582784, episodic return=2413.70263671875\n", + "global step=30582784, episodic return=943.1731567382812\n", + "global step=30582784, episodic return=2369.518798828125\n", + "global step=30582784, episodic return=2321.703369140625\n", + "global step=30584832, episodic return=1445.210693359375\n", + "global step=30584832, episodic return=152.58074951171875\n", + "global step=30584832, episodic return=2337.195556640625\n", + "global step=30584832, episodic return=2414.43798828125\n", + "global step=30584832, episodic return=2355.868896484375\n", + "global step=30586880, episodic return=214.29678344726562\n", + "global step=30586880, episodic return=2213.33984375\n", + "global step=30588928, episodic return=2361.898193359375\n", + "global step=30588928, episodic return=2415.929931640625\n", + "global step=30588928, episodic return=2334.093994140625\n", + "global step=30590976, episodic return=2378.8623046875\n", + "global step=30590976, episodic return=1785.9521484375\n", + "global step=30590976, episodic return=2371.050537109375\n", + "global step=30593024, episodic return=701.5109252929688\n", + "global step=30593024, episodic return=2368.75439453125\n", + "global step=30593024, episodic return=2205.860107421875\n", + "global step=30593024, episodic return=2345.517333984375\n", + "global step=30593024, episodic return=2382.486572265625\n", + "global step=30595072, episodic return=204.35374450683594\n", + "global step=30595072, episodic return=670.2254638671875\n", + "global step=30595072, episodic return=2409.09912109375\n", + "global step=30595072, episodic return=2368.929443359375\n", + "global step=30595072, episodic return=2380.07763671875\n", + "global step=30597120, episodic return=2381.22607421875\n", + "global step=30597120, episodic return=2251.399169921875\n", + "global step=30597120, episodic return=2392.904296875\n", + "global step=30599168, episodic return=2349.057861328125\n", + "global step=30599168, episodic return=2366.7890625\n", + "global step=30601216, episodic return=2335.984375\n", + "global step=30601216, episodic return=2304.1884765625\n", + "global step=30601216, episodic return=1463.96875\n", + "global step=30601216, episodic return=2390.5869140625\n", + "global step=30601216, episodic return=198.3271942138672\n", + "global step=30603264, episodic return=2403.7705078125\n", + "global step=30603264, episodic return=2383.68603515625\n", + "global step=30603264, episodic return=2324.35400390625\n", + "global step=30603264, episodic return=689.6022338867188\n", + "global step=30603264, episodic return=2401.216064453125\n", + "global step=30605312, episodic return=668.468994140625\n", + "global step=30605312, episodic return=2360.089111328125\n", + "global step=30607360, episodic return=2405.17724609375\n", + "global step=30607360, episodic return=1166.9412841796875\n", + "global step=30607360, episodic return=2336.63916015625\n", + "global step=30607360, episodic return=2347.26708984375\n", + "global step=30607360, episodic return=1249.0826416015625\n", + "global step=30609408, episodic return=632.2230224609375\n", + "global step=30609408, episodic return=2390.611083984375\n", + "global step=30611456, episodic return=2351.812744140625\n", + "global step=30611456, episodic return=2424.381591796875\n", + "global step=30611456, episodic return=2360.91357421875\n", + "global step=30611456, episodic return=2384.65869140625\n", + "global step=30611456, episodic return=2346.6796875\n", + "global step=30613504, episodic return=2346.91357421875\n", + "global step=30613504, episodic return=2356.09228515625\n", + "global step=30613504, episodic return=2077.006103515625\n", + "global step=30615552, episodic return=2398.62451171875\n", + "global step=30615552, episodic return=2408.133056640625\n", + "global step=30615552, episodic return=2405.546875\n", + "global step=30617600, episodic return=2355.361572265625\n", + "global step=30619648, episodic return=2394.97314453125\n", + "global step=30621696, episodic return=2400.475341796875\n", + "global step=30621696, episodic return=2388.312255859375\n", + "global step=30621696, episodic return=63.80910110473633\n", + "global step=30623744, episodic return=2348.957763671875\n", + "global step=30623744, episodic return=2425.269775390625\n", + "global step=30623744, episodic return=2342.515625\n", + "global step=30625792, episodic return=2339.4228515625\n", + "global step=30625792, episodic return=1985.192138671875\n", + "global step=30625792, episodic return=2355.30712890625\n", + "global step=30625792, episodic return=2398.7314453125\n", + "global step=30627840, episodic return=2363.507080078125\n", + "global step=30627840, episodic return=2356.370849609375\n", + "global step=30629888, episodic return=2414.186767578125\n", + "global step=30629888, episodic return=2338.388916015625\n", + "global step=30629888, episodic return=2336.728759765625\n", + "global step=30629888, episodic return=433.5610046386719\n", + "global step=30631936, episodic return=1156.9637451171875\n", + "global step=30633984, episodic return=996.7356567382812\n", + "global step=30633984, episodic return=865.0960693359375\n", + "global step=30638080, episodic return=2433.516357421875\n", + "global step=30638080, episodic return=2306.8837890625\n", + "global step=30640128, episodic return=2349.462646484375\n", + "global step=30644224, episodic return=2384.826171875\n", + "global step=30646272, episodic return=2374.861328125\n", + "global step=30646272, episodic return=2355.077880859375\n", + "global step=30646272, episodic return=785.8736572265625\n", + "global step=30648320, episodic return=2312.22314453125\n", + "global step=30648320, episodic return=2367.7431640625\n", + "global step=30648320, episodic return=2399.162841796875\n", + "global step=30648320, episodic return=2328.2421875\n", + "global step=30652416, episodic return=1531.1141357421875\n", + "global step=30652416, episodic return=2352.56005859375\n", + "global step=30654464, episodic return=2348.91357421875\n", + "global step=30656512, episodic return=2371.875244140625\n", + "global step=30656512, episodic return=2339.4267578125\n", + "global step=30656512, episodic return=2324.0849609375\n", + "global step=30658560, episodic return=2359.9521484375\n", + "global step=30658560, episodic return=2417.093017578125\n", + "global step=30660608, episodic return=2361.874267578125\n", + "global step=30660608, episodic return=2427.8837890625\n", + "global step=30660608, episodic return=208.7750244140625\n", + "global step=30660608, episodic return=2391.20556640625\n", + "global step=30662656, episodic return=2414.768310546875\n", + "global step=30662656, episodic return=1591.08740234375\n", + "global step=30664704, episodic return=2373.779296875\n", + "global step=30664704, episodic return=2325.752685546875\n", + "global step=30666752, episodic return=2276.439697265625\n", + "global step=30666752, episodic return=2358.85302734375\n", + "global step=30666752, episodic return=2357.720703125\n", + "global step=30668800, episodic return=2360.5947265625\n", + "global step=30668800, episodic return=2429.3935546875\n", + "global step=30668800, episodic return=2380.01953125\n", + "global step=30670848, episodic return=2243.31494140625\n", + "global step=30674944, episodic return=1512.21630859375\n", + "global step=30676992, episodic return=2408.135986328125\n", + "global step=30676992, episodic return=2353.28173828125\n", + "global step=30676992, episodic return=2320.19384765625\n", + "global step=30676992, episodic return=2350.334716796875\n", + "global step=30676992, episodic return=1658.39208984375\n", + "global step=30679040, episodic return=2411.75830078125\n", + "global step=30679040, episodic return=229.85244750976562\n", + "global step=30681088, episodic return=2264.170654296875\n", + "global step=30683136, episodic return=2434.18701171875\n", + "global step=30683136, episodic return=2367.7421875\n", + "global step=30685184, episodic return=2370.298095703125\n", + "global step=30685184, episodic return=2409.611572265625\n", + "global step=30685184, episodic return=2415.943603515625\n", + "global step=30685184, episodic return=1196.1806640625\n", + "global step=30687232, episodic return=2426.4892578125\n", + "global step=30687232, episodic return=2418.65478515625\n", + "global step=30687232, episodic return=2396.008544921875\n", + "global step=30687232, episodic return=2389.95751953125\n", + "global step=30687232, episodic return=2304.602294921875\n", + "global step=30689280, episodic return=2355.2294921875\n", + "global step=30689280, episodic return=2401.455810546875\n", + "global step=30689280, episodic return=2395.771728515625\n", + "global step=30691328, episodic return=2365.6298828125\n", + "global step=30691328, episodic return=2321.06787109375\n", + "global step=30695424, episodic return=2434.268310546875\n", + "global step=30695424, episodic return=2425.025390625\n", + "global step=30695424, episodic return=2394.271728515625\n", + "global step=30697472, episodic return=2425.754638671875\n", + "global step=30697472, episodic return=2384.808837890625\n", + "global step=30697472, episodic return=2371.238037109375\n", + "global step=30699520, episodic return=2378.540771484375\n", + "global step=30701568, episodic return=2392.723876953125\n", + "global step=30701568, episodic return=2356.1240234375\n", + "global step=30703616, episodic return=2403.367919921875\n", + "global step=30703616, episodic return=2279.27001953125\n", + "global step=30705664, episodic return=2424.8330078125\n", + "global step=30705664, episodic return=2348.52880859375\n", + "global step=30707712, episodic return=2414.13037109375\n", + "global step=30707712, episodic return=2400.383056640625\n", + "global step=30707712, episodic return=2423.290283203125\n", + "global step=30709760, episodic return=2440.98779296875\n", + "global step=30709760, episodic return=835.045166015625\n", + "global step=30711808, episodic return=2356.241943359375\n", + "global step=30713856, episodic return=2359.64404296875\n", + "global step=30713856, episodic return=818.9894409179688\n", + "global step=30713856, episodic return=860.1231689453125\n", + "global step=30713856, episodic return=2385.791015625\n", + "global step=30713856, episodic return=905.165283203125\n", + "global step=30715904, episodic return=2365.417236328125\n", + "global step=30715904, episodic return=2387.795654296875\n", + "global step=30715904, episodic return=2390.0791015625\n", + "global step=30717952, episodic return=2374.312744140625\n", + "global step=30717952, episodic return=2395.93994140625\n", + "global step=30720000, episodic return=2401.759521484375\n", + "global step=30722048, episodic return=710.4392700195312\n", + "global step=30724096, episodic return=2371.09228515625\n", + "global step=30726144, episodic return=2447.659912109375\n", + "global step=30726144, episodic return=2413.511962890625\n", + "global step=30726144, episodic return=2448.7021484375\n", + "global step=30726144, episodic return=2369.56640625\n", + "global step=30728192, episodic return=2362.5146484375\n", + "global step=30730240, episodic return=1472.4091796875\n", + "global step=30730240, episodic return=2393.124755859375\n", + "global step=30732288, episodic return=2401.93994140625\n", + "global step=30734336, episodic return=2402.2041015625\n", + "global step=30734336, episodic return=2381.41552734375\n", + "global step=30736384, episodic return=164.80726623535156\n", + "global step=30738432, episodic return=2368.21826171875\n", + "global step=30738432, episodic return=2383.736572265625\n", + "global step=30738432, episodic return=2342.98291015625\n", + "global step=30740480, episodic return=2346.224365234375\n", + "global step=30742528, episodic return=2397.00048828125\n", + "global step=30742528, episodic return=2389.85302734375\n", + "global step=30742528, episodic return=2359.803466796875\n", + "global step=30744576, episodic return=1480.4384765625\n", + "global step=30744576, episodic return=2377.8095703125\n", + "global step=30744576, episodic return=848.245361328125\n", + "global step=30746624, episodic return=2358.512451171875\n", + "global step=30748672, episodic return=2431.797119140625\n", + "global step=30750720, episodic return=2423.43017578125\n", + "global step=30752768, episodic return=2395.78955078125\n", + "global step=30752768, episodic return=2347.780029296875\n", + "global step=30752768, episodic return=2391.20263671875\n", + "global step=30752768, episodic return=2403.9521484375\n", + "global step=30752768, episodic return=2346.852294921875\n", + "global step=30754816, episodic return=2321.392578125\n", + "global step=30756864, episodic return=2397.05126953125\n", + "global step=30756864, episodic return=2461.554931640625\n", + "global step=30756864, episodic return=2373.54443359375\n", + "global step=30758912, episodic return=2366.661376953125\n", + "global step=30758912, episodic return=2414.3466796875\n", + "global step=30760960, episodic return=2420.726318359375\n", + "global step=30760960, episodic return=2289.414794921875\n", + "global step=30760960, episodic return=2356.004150390625\n", + "global step=30760960, episodic return=2340.8359375\n", + "global step=30763008, episodic return=2339.926025390625\n", + "global step=30763008, episodic return=2402.256103515625\n", + "global step=30765056, episodic return=811.7755126953125\n", + "global step=30765056, episodic return=2396.18115234375\n", + "global step=30765056, episodic return=2396.3583984375\n", + "global step=30765056, episodic return=2436.145263671875\n", + "global step=30769152, episodic return=2404.791015625\n", + "global step=30769152, episodic return=2440.174072265625\n", + "global step=30769152, episodic return=1956.640625\n", + "global step=30769152, episodic return=2395.87841796875\n", + "global step=30771200, episodic return=2342.299072265625\n", + "global step=30771200, episodic return=2440.570556640625\n", + "global step=30773248, episodic return=2390.967529296875\n", + "global step=30773248, episodic return=2377.032470703125\n", + "global step=30775296, episodic return=2297.169189453125\n", + "global step=30775296, episodic return=285.3775939941406\n", + "global step=30775296, episodic return=2392.2978515625\n", + "global step=30775296, episodic return=2370.8525390625\n", + "global step=30775296, episodic return=2378.615234375\n", + "global step=30779392, episodic return=1239.8685302734375\n", + "global step=30779392, episodic return=2386.17236328125\n", + "global step=30781440, episodic return=1803.072265625\n", + "global step=30783488, episodic return=2331.0107421875\n", + "global step=30785536, episodic return=720.6879272460938\n", + "global step=30785536, episodic return=1528.8934326171875\n", + "global step=30785536, episodic return=2395.56591796875\n", + "global step=30787584, episodic return=194.4200897216797\n", + "global step=30787584, episodic return=309.407958984375\n", + "global step=30787584, episodic return=1355.622314453125\n", + "global step=30787584, episodic return=2358.24658203125\n", + "global step=30787584, episodic return=2407.603271484375\n", + "global step=30789632, episodic return=2345.2197265625\n", + "global step=30789632, episodic return=183.50531005859375\n", + "global step=30789632, episodic return=2410.26708984375\n", + "global step=30791680, episodic return=2408.5634765625\n", + "global step=30791680, episodic return=2356.728271484375\n", + "global step=30791680, episodic return=2392.320068359375\n", + "global step=30793728, episodic return=500.7616882324219\n", + "global step=30793728, episodic return=2410.087646484375\n", + "global step=30793728, episodic return=2423.0732421875\n", + "global step=30793728, episodic return=258.8755798339844\n", + "global step=30793728, episodic return=2376.888427734375\n", + "global step=30793728, episodic return=2342.043701171875\n", + "global step=30793728, episodic return=2409.559326171875\n", + "global step=30797824, episodic return=2335.1611328125\n", + "global step=30797824, episodic return=222.20623779296875\n", + "global step=30797824, episodic return=2398.9296875\n", + "global step=30797824, episodic return=2419.87890625\n", + "global step=30799872, episodic return=2408.14208984375\n", + "global step=30799872, episodic return=2345.948486328125\n", + "global step=30799872, episodic return=2025.8309326171875\n", + "global step=30799872, episodic return=2409.32958984375\n", + "global step=30799872, episodic return=2415.376220703125\n", + "global step=30801920, episodic return=2306.052490234375\n", + "global step=30803968, episodic return=184.6134033203125\n", + "global step=30803968, episodic return=2372.266845703125\n", + "global step=30806016, episodic return=2347.29736328125\n", + "global step=30806016, episodic return=2416.614990234375\n", + "global step=30806016, episodic return=2352.64111328125\n", + "global step=30806016, episodic return=384.0147399902344\n", + "global step=30808064, episodic return=2404.9599609375\n", + "global step=30808064, episodic return=2389.765625\n", + "global step=30808064, episodic return=2318.350341796875\n", + "global step=30810112, episodic return=2407.358154296875\n", + "global step=30810112, episodic return=2381.031005859375\n", + "global step=30810112, episodic return=2362.07373046875\n", + "global step=30812160, episodic return=2356.213134765625\n", + "global step=30812160, episodic return=195.7364044189453\n", + "global step=30812160, episodic return=2344.58251953125\n", + "global step=30814208, episodic return=2331.45166015625\n", + "global step=30814208, episodic return=2382.549560546875\n", + "global step=30814208, episodic return=2389.466064453125\n", + "global step=30816256, episodic return=2372.858154296875\n", + "global step=30816256, episodic return=1408.0966796875\n", + "global step=30816256, episodic return=2329.791015625\n", + "global step=30818304, episodic return=2340.6611328125\n", + "global step=30818304, episodic return=2425.80224609375\n", + "global step=30818304, episodic return=2397.23828125\n", + "global step=30820352, episodic return=2380.973876953125\n", + "global step=30820352, episodic return=1791.5701904296875\n", + "global step=30822400, episodic return=2352.869873046875\n", + "global step=30822400, episodic return=2363.3447265625\n", + "global step=30824448, episodic return=2388.257568359375\n", + "global step=30824448, episodic return=2341.1318359375\n", + "global step=30828544, episodic return=2342.420166015625\n", + "global step=30828544, episodic return=359.4891052246094\n", + "global step=30830592, episodic return=2339.19140625\n", + "global step=30830592, episodic return=2390.474609375\n", + "global step=30832640, episodic return=2344.085693359375\n", + "global step=30832640, episodic return=2375.94921875\n", + "global step=30834688, episodic return=2338.767578125\n", + "global step=30834688, episodic return=2408.07861328125\n", + "global step=30834688, episodic return=173.34910583496094\n", + "global step=30836736, episodic return=432.19171142578125\n", + "global step=30836736, episodic return=189.0631561279297\n", + "global step=30836736, episodic return=2390.7109375\n", + "global step=30836736, episodic return=2315.263671875\n", + "global step=30836736, episodic return=2418.9755859375\n", + "global step=30836736, episodic return=2386.76318359375\n", + "global step=30836736, episodic return=93.5942153930664\n", + "global step=30838784, episodic return=2419.6865234375\n", + "global step=30838784, episodic return=2392.833251953125\n", + "global step=30838784, episodic return=2391.5673828125\n", + "global step=30840832, episodic return=2350.64404296875\n", + "global step=30840832, episodic return=381.6438293457031\n", + "global step=30842880, episodic return=2361.911865234375\n", + "global step=30842880, episodic return=2323.926513671875\n", + "global step=30844928, episodic return=46.5909309387207\n", + "global step=30844928, episodic return=2381.45703125\n", + "global step=30844928, episodic return=2379.213623046875\n", + "global step=30844928, episodic return=2406.151123046875\n", + "global step=30846976, episodic return=2400.5107421875\n", + "global step=30846976, episodic return=2401.0048828125\n", + "global step=30846976, episodic return=2372.206298828125\n", + "global step=30846976, episodic return=1348.61962890625\n", + "global step=30849024, episodic return=2446.3759765625\n", + "global step=30849024, episodic return=2347.3291015625\n", + "global step=30849024, episodic return=47.3441162109375\n", + "global step=30851072, episodic return=2425.1025390625\n", + "global step=30853120, episodic return=2387.486572265625\n", + "global step=30853120, episodic return=2389.53955078125\n", + "global step=30855168, episodic return=2362.235107421875\n", + "global step=30855168, episodic return=2358.791748046875\n", + "global step=30857216, episodic return=2369.133056640625\n", + "global step=30857216, episodic return=2367.305908203125\n", + "global step=30857216, episodic return=2353.546875\n", + "global step=30859264, episodic return=1438.6192626953125\n", + "global step=30859264, episodic return=2361.47705078125\n", + "global step=30859264, episodic return=2330.147216796875\n", + "global step=30861312, episodic return=2424.2041015625\n", + "global step=30861312, episodic return=2365.39306640625\n", + "global step=30863360, episodic return=2058.837646484375\n", + "global step=30863360, episodic return=2382.29541015625\n", + "global step=30863360, episodic return=2002.62841796875\n", + "global step=30865408, episodic return=2431.068603515625\n", + "global step=30865408, episodic return=2256.539306640625\n", + "global step=30867456, episodic return=2412.073974609375\n", + "global step=30867456, episodic return=86.20622253417969\n", + "global step=30869504, episodic return=2365.607421875\n", + "global step=30869504, episodic return=1885.559814453125\n", + "global step=30871552, episodic return=2264.640380859375\n", + "global step=30873600, episodic return=2381.157470703125\n", + "global step=30873600, episodic return=2387.31298828125\n", + "global step=30873600, episodic return=2352.732177734375\n", + "global step=30873600, episodic return=2384.535888671875\n", + "global step=30875648, episodic return=2288.210205078125\n", + "global step=30877696, episodic return=2329.540771484375\n", + "global step=30879744, episodic return=2418.518310546875\n", + "global step=30881792, episodic return=2352.681396484375\n", + "global step=30881792, episodic return=2345.492919921875\n", + "global step=30881792, episodic return=2374.789306640625\n", + "global step=30881792, episodic return=2381.389892578125\n", + "global step=30887936, episodic return=2377.900634765625\n", + "global step=30887936, episodic return=2369.27880859375\n", + "global step=30887936, episodic return=2435.75439453125\n", + "global step=30887936, episodic return=2303.541748046875\n", + "global step=30889984, episodic return=2301.1552734375\n", + "global step=30889984, episodic return=827.71337890625\n", + "global step=30889984, episodic return=2457.265380859375\n", + "global step=30894080, episodic return=48.97624588012695\n", + "global step=30896128, episodic return=512.6746215820312\n", + "global step=30898176, episodic return=2353.152587890625\n", + "global step=30898176, episodic return=2271.366455078125\n", + "global step=30900224, episodic return=2392.61865234375\n", + "global step=30900224, episodic return=1595.4332275390625\n", + "global step=30904320, episodic return=2459.213623046875\n", + "global step=30904320, episodic return=2414.08447265625\n", + "global step=30908416, episodic return=2387.582275390625\n", + "global step=30908416, episodic return=2430.00927734375\n", + "global step=30908416, episodic return=1886.1865234375\n", + "global step=30908416, episodic return=1453.2281494140625\n", + "global step=30908416, episodic return=2447.442138671875\n", + "global step=30908416, episodic return=2405.795166015625\n", + "global step=30914560, episodic return=2392.92822265625\n", + "global step=30916608, episodic return=2359.63525390625\n", + "global step=30916608, episodic return=2410.39013671875\n", + "global step=30916608, episodic return=2394.58203125\n", + "global step=30916608, episodic return=2377.657470703125\n", + "global step=30918656, episodic return=2458.311279296875\n", + "global step=30918656, episodic return=2354.8837890625\n", + "global step=30918656, episodic return=2382.1962890625\n", + "global step=30924800, episodic return=2400.98779296875\n", + "global step=30924800, episodic return=2350.307373046875\n", + "global step=30926848, episodic return=1410.8326416015625\n", + "global step=30926848, episodic return=2390.574951171875\n", + "global step=30928896, episodic return=2407.739990234375\n", + "global step=30932992, episodic return=2381.45458984375\n", + "global step=30932992, episodic return=2379.1689453125\n", + "global step=30937088, episodic return=1073.59375\n", + "global step=30939136, episodic return=2382.9560546875\n", + "global step=30939136, episodic return=2430.751708984375\n", + "global step=30939136, episodic return=1371.8287353515625\n", + "global step=30941184, episodic return=2301.459716796875\n", + "global step=30943232, episodic return=1612.645751953125\n", + "global step=30945280, episodic return=2379.835693359375\n", + "global step=30945280, episodic return=2296.3505859375\n", + "global step=30945280, episodic return=495.83837890625\n", + "global step=30947328, episodic return=2372.3603515625\n", + "global step=30947328, episodic return=2361.032470703125\n", + "global step=30947328, episodic return=2394.581787109375\n", + "global step=30947328, episodic return=2378.0810546875\n", + "global step=30949376, episodic return=908.9172973632812\n", + "global step=30953472, episodic return=2385.409423828125\n", + "global step=30953472, episodic return=2379.210693359375\n", + "global step=30957568, episodic return=184.44992065429688\n", + "global step=30959616, episodic return=2370.774169921875\n", + "global step=30959616, episodic return=2386.517822265625\n", + "global step=30959616, episodic return=2125.162841796875\n", + "global step=30959616, episodic return=2380.740478515625\n", + "global step=30961664, episodic return=2338.572998046875\n", + "global step=30961664, episodic return=2416.76171875\n", + "global step=30961664, episodic return=328.3948974609375\n", + "global step=30965760, episodic return=2406.181396484375\n", + "global step=30967808, episodic return=1126.627197265625\n", + "global step=30967808, episodic return=2336.337158203125\n", + "global step=30969856, episodic return=2400.62890625\n", + "global step=30969856, episodic return=2427.612548828125\n", + "global step=30969856, episodic return=2406.39697265625\n", + "global step=30969856, episodic return=2371.952880859375\n", + "global step=30976000, episodic return=2402.8896484375\n", + "global step=30984192, episodic return=2417.848388671875\n", + "global step=30984192, episodic return=2421.38427734375\n", + "global step=30986240, episodic return=1015.8787231445312\n", + "global step=30986240, episodic return=2394.081787109375\n", + "global step=30986240, episodic return=2428.173828125\n", + "global step=30988288, episodic return=2408.036865234375\n", + "global step=30988288, episodic return=2376.63330078125\n", + "global step=30988288, episodic return=2379.298583984375\n", + "global step=30990336, episodic return=2391.194580078125\n", + "global step=30992384, episodic return=2420.240478515625\n", + "global step=30994432, episodic return=2409.478515625\n", + "global step=30994432, episodic return=2417.819580078125\n", + "global step=30994432, episodic return=121.77725982666016\n", + "global step=30996480, episodic return=2296.650634765625\n", + "global step=30996480, episodic return=2411.56884765625\n", + "global step=30996480, episodic return=2429.071044921875\n", + "global step=30998528, episodic return=2380.734619140625\n", + "global step=30998528, episodic return=2378.6123046875\n", + "global step=30998528, episodic return=2440.75048828125\n", + "global step=31000576, episodic return=2416.452392578125\n", + "global step=31000576, episodic return=950.3290405273438\n", + "global step=31002624, episodic return=2397.390625\n", + "global step=31002624, episodic return=2329.916259765625\n", + "global step=31002624, episodic return=2444.01904296875\n", + "global step=31004672, episodic return=2387.957275390625\n", + "global step=31004672, episodic return=2422.78759765625\n", + "global step=31004672, episodic return=2424.8662109375\n", + "global step=31006720, episodic return=2399.877685546875\n", + "global step=31006720, episodic return=2402.075439453125\n", + "global step=31008768, episodic return=2466.990234375\n", + "global step=31008768, episodic return=2358.505126953125\n", + "global step=31010816, episodic return=2387.065673828125\n", + "global step=31012864, episodic return=2409.223876953125\n", + "global step=31012864, episodic return=2427.324462890625\n", + "global step=31012864, episodic return=2372.52294921875\n", + "global step=31012864, episodic return=2353.371337890625\n", + "global step=31016960, episodic return=2404.064697265625\n", + "global step=31016960, episodic return=198.4405517578125\n", + "global step=31019008, episodic return=220.466552734375\n", + "global step=31019008, episodic return=2399.444580078125\n", + "global step=31021056, episodic return=2392.873779296875\n", + "global step=31021056, episodic return=2386.75048828125\n", + "global step=31021056, episodic return=2341.3076171875\n", + "global step=31021056, episodic return=2389.2626953125\n", + "global step=31023104, episodic return=2403.5068359375\n", + "global step=31025152, episodic return=1816.7872314453125\n", + "global step=31025152, episodic return=2432.48974609375\n", + "global step=31025152, episodic return=2398.93408203125\n", + "global step=31025152, episodic return=2407.211669921875\n", + "global step=31027200, episodic return=2306.0048828125\n", + "global step=31029248, episodic return=2444.9248046875\n", + "global step=31031296, episodic return=2352.7724609375\n", + "global step=31033344, episodic return=2366.587646484375\n", + "global step=31033344, episodic return=212.32301330566406\n", + "global step=31035392, episodic return=2435.0810546875\n", + "global step=31037440, episodic return=2361.3935546875\n", + "global step=31039488, episodic return=2437.97265625\n", + "global step=31039488, episodic return=982.5006713867188\n", + "global step=31041536, episodic return=164.51576232910156\n", + "global step=31041536, episodic return=2374.7314453125\n", + "global step=31043584, episodic return=2344.706298828125\n", + "global step=31043584, episodic return=678.5189819335938\n", + "global step=31043584, episodic return=242.87477111816406\n", + "global step=31045632, episodic return=275.80682373046875\n", + "global step=31047680, episodic return=2310.740478515625\n", + "global step=31047680, episodic return=2364.46142578125\n", + "global step=31047680, episodic return=2396.1728515625\n", + "global step=31047680, episodic return=2376.185302734375\n", + "global step=31049728, episodic return=2467.8916015625\n", + "global step=31049728, episodic return=2385.891845703125\n", + "global step=31049728, episodic return=2412.2861328125\n", + "global step=31053824, episodic return=2423.52197265625\n", + "global step=31053824, episodic return=2393.37548828125\n", + "global step=31053824, episodic return=2376.81787109375\n", + "global step=31053824, episodic return=2358.515869140625\n", + "global step=31055872, episodic return=2432.18896484375\n", + "global step=31055872, episodic return=2409.057373046875\n", + "global step=31055872, episodic return=355.228759765625\n", + "global step=31057920, episodic return=2451.755859375\n", + "global step=31059968, episodic return=2325.523193359375\n", + "global step=31059968, episodic return=2411.78125\n", + "global step=31059968, episodic return=2395.5625\n", + "global step=31062016, episodic return=644.3987426757812\n", + "global step=31062016, episodic return=2405.688232421875\n", + "global step=31064064, episodic return=2388.926513671875\n", + "global step=31064064, episodic return=2346.804931640625\n", + "global step=31068160, episodic return=2372.515380859375\n", + "global step=31070208, episodic return=2330.85888671875\n", + "global step=31070208, episodic return=2331.42431640625\n", + "global step=31072256, episodic return=2402.2099609375\n", + "global step=31072256, episodic return=2461.359375\n", + "global step=31072256, episodic return=42.50263977050781\n", + "global step=31072256, episodic return=2432.21826171875\n", + "global step=31072256, episodic return=2353.97998046875\n", + "global step=31074304, episodic return=2373.64013671875\n", + "global step=31076352, episodic return=2410.669189453125\n", + "global step=31080448, episodic return=2418.456298828125\n", + "global step=31080448, episodic return=465.8219299316406\n", + "global step=31080448, episodic return=36.69849395751953\n", + "global step=31080448, episodic return=2401.756103515625\n", + "global step=31082496, episodic return=2379.894287109375\n", + "global step=31082496, episodic return=2393.898681640625\n", + "global step=31082496, episodic return=2445.481201171875\n", + "global step=31082496, episodic return=2387.000244140625\n", + "global step=31084544, episodic return=2336.013427734375\n", + "global step=31084544, episodic return=2380.109375\n", + "global step=31086592, episodic return=2407.089599609375\n", + "global step=31086592, episodic return=2393.573486328125\n", + "global step=31088640, episodic return=2421.88916015625\n", + "global step=31088640, episodic return=2414.85205078125\n", + "global step=31088640, episodic return=1140.603759765625\n", + "global step=31088640, episodic return=2399.673095703125\n", + "global step=31088640, episodic return=2323.56787109375\n", + "global step=31090688, episodic return=2391.700927734375\n", + "global step=31090688, episodic return=2410.41845703125\n", + "global step=31092736, episodic return=2391.296875\n", + "global step=31094784, episodic return=217.68276977539062\n", + "global step=31094784, episodic return=2337.705810546875\n", + "global step=31096832, episodic return=2402.779541015625\n", + "global step=31098880, episodic return=2392.998046875\n", + "global step=31098880, episodic return=2388.34521484375\n", + "global step=31098880, episodic return=2454.961181640625\n", + "global step=31098880, episodic return=347.3802795410156\n", + "global step=31098880, episodic return=2413.86474609375\n", + "global step=31098880, episodic return=2420.52734375\n", + "global step=31100928, episodic return=2403.658447265625\n", + "global step=31100928, episodic return=2415.569091796875\n", + "global step=31102976, episodic return=2392.53857421875\n", + "global step=31102976, episodic return=2389.934326171875\n", + "global step=31105024, episodic return=2450.179443359375\n", + "global step=31105024, episodic return=42.032203674316406\n", + "global step=31105024, episodic return=2340.985595703125\n", + "global step=31107072, episodic return=2379.743408203125\n", + "global step=31107072, episodic return=2384.701416015625\n", + "global step=31111168, episodic return=2349.76904296875\n", + "global step=31111168, episodic return=2384.52197265625\n", + "global step=31111168, episodic return=2464.491943359375\n", + "global step=31113216, episodic return=2352.421142578125\n", + "global step=31113216, episodic return=2337.472900390625\n", + "global step=31115264, episodic return=2449.67041015625\n", + "global step=31117312, episodic return=54.42412185668945\n", + "global step=31117312, episodic return=2390.349853515625\n", + "global step=31117312, episodic return=2373.363037109375\n", + "global step=31117312, episodic return=2176.84814453125\n", + "global step=31119360, episodic return=2392.646240234375\n", + "global step=31119360, episodic return=2326.324951171875\n", + "global step=31119360, episodic return=2411.18505859375\n", + "global step=31123456, episodic return=2428.749267578125\n", + "global step=31123456, episodic return=232.0923614501953\n", + "global step=31125504, episodic return=2411.95751953125\n", + "global step=31125504, episodic return=1209.9864501953125\n", + "global step=31125504, episodic return=2391.72314453125\n", + "global step=31125504, episodic return=2430.4248046875\n", + "global step=31131648, episodic return=2470.154296875\n", + "global step=31131648, episodic return=273.8000183105469\n", + "global step=31133696, episodic return=2372.746337890625\n", + "global step=31135744, episodic return=1913.0897216796875\n", + "global step=31135744, episodic return=2427.66943359375\n", + "global step=31135744, episodic return=2429.539794921875\n", + "global step=31137792, episodic return=2372.65771484375\n", + "global step=31137792, episodic return=2421.864501953125\n", + "global step=31139840, episodic return=2355.450439453125\n", + "global step=31141888, episodic return=2332.5\n", + "global step=31141888, episodic return=2403.675537109375\n", + "global step=31145984, episodic return=2349.052001953125\n", + "global step=31145984, episodic return=2421.525390625\n", + "global step=31145984, episodic return=2325.869873046875\n", + "global step=31145984, episodic return=2392.79248046875\n", + "global step=31145984, episodic return=2360.877197265625\n", + "global step=31148032, episodic return=2399.3388671875\n", + "global step=31148032, episodic return=2427.99755859375\n", + "global step=31150080, episodic return=2408.232177734375\n", + "global step=31152128, episodic return=2391.317138671875\n", + "global step=31152128, episodic return=56.17589569091797\n", + "global step=31154176, episodic return=2371.29931640625\n", + "global step=31158272, episodic return=2460.662109375\n", + "global step=31158272, episodic return=2398.17578125\n", + "global step=31160320, episodic return=2338.991455078125\n", + "global step=31160320, episodic return=2363.147705078125\n", + "global step=31162368, episodic return=2387.185546875\n", + "global step=31164416, episodic return=2371.29345703125\n", + "global step=31164416, episodic return=2136.241455078125\n", + "global step=31164416, episodic return=633.7100219726562\n", + "global step=31164416, episodic return=2407.009521484375\n", + "global step=31164416, episodic return=2392.027587890625\n", + "global step=31164416, episodic return=2415.203369140625\n", + "global step=31166464, episodic return=954.5476684570312\n", + "global step=31166464, episodic return=2426.72265625\n", + "global step=31166464, episodic return=2410.552001953125\n", + "global step=31166464, episodic return=2406.1298828125\n", + "global step=31166464, episodic return=2122.806396484375\n", + "global step=31168512, episodic return=2430.120361328125\n", + "global step=31170560, episodic return=2419.0693359375\n", + "global step=31170560, episodic return=336.7057189941406\n", + "global step=31172608, episodic return=2395.301025390625\n", + "global step=31172608, episodic return=2412.54833984375\n", + "global step=31172608, episodic return=2402.71826171875\n", + "global step=31174656, episodic return=1443.6156005859375\n", + "global step=31174656, episodic return=20.869140625\n", + "global step=31176704, episodic return=481.8357238769531\n", + "global step=31176704, episodic return=2336.76904296875\n", + "global step=31178752, episodic return=991.32421875\n", + "global step=31178752, episodic return=2393.27685546875\n", + "global step=31178752, episodic return=667.8853759765625\n", + "global step=31180800, episodic return=2458.11572265625\n", + "global step=31182848, episodic return=2388.1474609375\n", + "global step=31182848, episodic return=2409.83349609375\n", + "global step=31182848, episodic return=2437.999755859375\n", + "global step=31182848, episodic return=2357.517333984375\n", + "global step=31186944, episodic return=2345.11083984375\n", + "global step=31186944, episodic return=2378.5009765625\n", + "global step=31186944, episodic return=2371.369140625\n", + "global step=31191040, episodic return=2410.6875\n", + "global step=31191040, episodic return=2407.549560546875\n", + "global step=31193088, episodic return=822.4078979492188\n", + "global step=31195136, episodic return=2383.34326171875\n", + "global step=31195136, episodic return=2331.892578125\n", + "global step=31197184, episodic return=2377.50830078125\n", + "global step=31199232, episodic return=2430.817626953125\n", + "global step=31199232, episodic return=2381.55419921875\n", + "global step=31199232, episodic return=2444.137939453125\n", + "global step=31199232, episodic return=2405.016845703125\n", + "global step=31199232, episodic return=2412.466552734375\n", + "global step=31199232, episodic return=2388.934326171875\n", + "global step=31201280, episodic return=2382.174560546875\n", + "global step=31203328, episodic return=2340.35009765625\n", + "global step=31203328, episodic return=2430.174560546875\n", + "global step=31203328, episodic return=201.8113250732422\n", + "global step=31205376, episodic return=2357.7734375\n", + "global step=31207424, episodic return=2313.0771484375\n", + "global step=31207424, episodic return=2416.49560546875\n", + "global step=31213568, episodic return=554.0171508789062\n", + "global step=31213568, episodic return=2425.64111328125\n", + "global step=31215616, episodic return=2358.38916015625\n", + "global step=31215616, episodic return=2442.17626953125\n", + "global step=31217664, episodic return=2408.01806640625\n", + "global step=31217664, episodic return=2400.14599609375\n", + "global step=31225856, episodic return=2392.942138671875\n", + "global step=31227904, episodic return=2459.07373046875\n", + "global step=31227904, episodic return=2278.73046875\n", + "global step=31227904, episodic return=2333.154541015625\n", + "global step=31229952, episodic return=195.498046875\n", + "global step=31229952, episodic return=2429.308349609375\n", + "global step=31234048, episodic return=2370.693603515625\n", + "global step=31234048, episodic return=2391.7607421875\n", + "global step=31234048, episodic return=2400.1669921875\n", + "global step=31234048, episodic return=2435.784912109375\n", + "global step=31236096, episodic return=2355.731689453125\n", + "global step=31236096, episodic return=2408.3056640625\n", + "global step=31240192, episodic return=2418.353515625\n", + "global step=31242240, episodic return=2415.6875\n", + "global step=31242240, episodic return=165.2270050048828\n", + "global step=31242240, episodic return=2473.18798828125\n", + "global step=31244288, episodic return=2393.6650390625\n", + "global step=31244288, episodic return=2410.075439453125\n", + "global step=31246336, episodic return=2402.8720703125\n", + "global step=31248384, episodic return=2315.02392578125\n", + "global step=31250432, episodic return=637.4360961914062\n", + "global step=31250432, episodic return=604.0050659179688\n", + "global step=31250432, episodic return=2417.97412109375\n", + "global step=31250432, episodic return=1372.943115234375\n", + "global step=31252480, episodic return=2365.79150390625\n", + "global step=31252480, episodic return=2348.017578125\n", + "global step=31254528, episodic return=2352.7900390625\n", + "global step=31254528, episodic return=2424.321533203125\n", + "global step=31256576, episodic return=2068.27392578125\n", + "global step=31256576, episodic return=2414.79931640625\n", + "global step=31258624, episodic return=2362.81591796875\n", + "global step=31258624, episodic return=2420.61865234375\n", + "global step=31258624, episodic return=2396.404296875\n", + "global step=31258624, episodic return=2419.18994140625\n", + "global step=31258624, episodic return=2447.625244140625\n", + "global step=31258624, episodic return=2367.724609375\n", + "global step=31260672, episodic return=152.586669921875\n", + "global step=31262720, episodic return=2408.06884765625\n", + "global step=31262720, episodic return=2371.073486328125\n", + "global step=31264768, episodic return=2409.89013671875\n", + "global step=31266816, episodic return=2371.544189453125\n", + "global step=31268864, episodic return=2326.640380859375\n", + "global step=31268864, episodic return=2415.58203125\n", + "global step=31268864, episodic return=2425.65185546875\n", + "global step=31268864, episodic return=2428.9873046875\n", + "global step=31268864, episodic return=2379.0146484375\n", + "global step=31270912, episodic return=2439.600830078125\n", + "global step=31270912, episodic return=2112.440185546875\n", + "global step=31270912, episodic return=2400.221923828125\n", + "global step=31270912, episodic return=2408.505126953125\n", + "global step=31272960, episodic return=2420.179931640625\n", + "global step=31272960, episodic return=268.8888244628906\n", + "global step=31272960, episodic return=2366.415283203125\n", + "global step=31272960, episodic return=2420.487060546875\n", + "global step=31275008, episodic return=2368.587158203125\n", + "global step=31275008, episodic return=2389.704833984375\n", + "global step=31275008, episodic return=2373.97119140625\n", + "global step=31275008, episodic return=1313.6788330078125\n", + "global step=31275008, episodic return=2412.59765625\n", + "global step=31277056, episodic return=2387.337158203125\n", + "global step=31277056, episodic return=2360.342529296875\n", + "global step=31277056, episodic return=2343.790283203125\n", + "global step=31277056, episodic return=2371.821044921875\n", + "global step=31279104, episodic return=2402.62841796875\n", + "global step=31279104, episodic return=1387.155029296875\n", + "global step=31281152, episodic return=175.43470764160156\n", + "global step=31283200, episodic return=2357.18505859375\n", + "global step=31285248, episodic return=2405.15380859375\n", + "global step=31285248, episodic return=342.9263610839844\n", + "global step=31285248, episodic return=2394.662353515625\n", + "global step=31285248, episodic return=2361.222412109375\n", + "global step=31285248, episodic return=2320.262451171875\n", + "global step=31285248, episodic return=95.59468078613281\n", + "global step=31285248, episodic return=2409.26611328125\n", + "global step=31285248, episodic return=2400.873046875\n", + "global step=31285248, episodic return=2431.758544921875\n", + "global step=31287296, episodic return=2337.29541015625\n", + "global step=31287296, episodic return=220.1533660888672\n", + "global step=31287296, episodic return=2370.91162109375\n", + "global step=31287296, episodic return=2408.336181640625\n", + "global step=31291392, episodic return=2418.000244140625\n", + "global step=31291392, episodic return=2408.435791015625\n", + "global step=31291392, episodic return=2365.90380859375\n", + "global step=31291392, episodic return=2407.4423828125\n", + "global step=31293440, episodic return=2361.535400390625\n", + "global step=31293440, episodic return=177.51657104492188\n", + "global step=31295488, episodic return=2413.770263671875\n", + "global step=31295488, episodic return=2395.033203125\n", + "global step=31297536, episodic return=2111.06494140625\n", + "global step=31297536, episodic return=2437.1787109375\n", + "global step=31297536, episodic return=337.6399841308594\n", + "global step=31299584, episodic return=1316.6981201171875\n", + "global step=31301632, episodic return=2402.998779296875\n", + "global step=31303680, episodic return=2431.0439453125\n", + "global step=31305728, episodic return=2437.308837890625\n", + "global step=31305728, episodic return=2386.46240234375\n", + "global step=31305728, episodic return=1251.3470458984375\n", + "global step=31307776, episodic return=2379.971923828125\n", + "global step=31307776, episodic return=2350.725830078125\n", + "global step=31307776, episodic return=2344.2783203125\n", + "global step=31309824, episodic return=2418.981201171875\n", + "global step=31309824, episodic return=2372.525390625\n", + "global step=31309824, episodic return=2399.48974609375\n", + "global step=31311872, episodic return=21.012575149536133\n", + "global step=31313920, episodic return=2388.72216796875\n", + "global step=31313920, episodic return=2390.103515625\n", + "global step=31313920, episodic return=2412.19677734375\n", + "global step=31318016, episodic return=2415.34619140625\n", + "global step=31318016, episodic return=2402.182373046875\n", + "global step=31318016, episodic return=2402.128173828125\n", + "global step=31322112, episodic return=2410.975830078125\n", + "global step=31322112, episodic return=2372.765869140625\n", + "global step=31324160, episodic return=2394.73828125\n", + "global step=31324160, episodic return=2376.624755859375\n", + "global step=31326208, episodic return=2372.357177734375\n", + "global step=31326208, episodic return=2369.38232421875\n", + "global step=31328256, episodic return=2377.223876953125\n", + "global step=31328256, episodic return=2452.998779296875\n", + "global step=31328256, episodic return=2425.32958984375\n", + "global step=31330304, episodic return=2412.84619140625\n", + "global step=31330304, episodic return=2423.990234375\n", + "global step=31330304, episodic return=2417.296630859375\n", + "global step=31330304, episodic return=2387.37353515625\n", + "global step=31332352, episodic return=1968.4769287109375\n", + "global step=31334400, episodic return=2339.22802734375\n", + "global step=31334400, episodic return=2400.9150390625\n", + "global step=31338496, episodic return=2364.661376953125\n", + "global step=31338496, episodic return=2386.388916015625\n", + "global step=31338496, episodic return=160.44573974609375\n", + "global step=31340544, episodic return=2400.787353515625\n", + "global step=31342592, episodic return=2434.179443359375\n", + "global step=31344640, episodic return=2385.9228515625\n", + "global step=31344640, episodic return=2425.34033203125\n", + "global step=31344640, episodic return=2429.37451171875\n", + "global step=31348736, episodic return=2390.763916015625\n", + "global step=31348736, episodic return=2351.133544921875\n", + "global step=31348736, episodic return=2292.8671875\n", + "global step=31350784, episodic return=208.5189971923828\n", + "global step=31350784, episodic return=2373.28662109375\n", + "global step=31350784, episodic return=2413.260986328125\n", + "global step=31350784, episodic return=2378.062744140625\n", + "global step=31352832, episodic return=2385.470458984375\n", + "global step=31352832, episodic return=2364.2373046875\n", + "global step=31352832, episodic return=2157.35546875\n", + "global step=31354880, episodic return=2396.73486328125\n", + "global step=31356928, episodic return=2424.928955078125\n", + "global step=31356928, episodic return=2388.573486328125\n", + "global step=31356928, episodic return=2414.931640625\n", + "global step=31356928, episodic return=2388.29541015625\n", + "global step=31358976, episodic return=2394.46533203125\n", + "global step=31358976, episodic return=2411.025634765625\n", + "global step=31358976, episodic return=2421.698486328125\n", + "global step=31358976, episodic return=2378.05517578125\n", + "global step=31361024, episodic return=2419.738525390625\n", + "global step=31361024, episodic return=2438.983642578125\n", + "global step=31363072, episodic return=2406.724365234375\n", + "global step=31363072, episodic return=2363.166748046875\n", + "global step=31365120, episodic return=2405.303466796875\n", + "global step=31365120, episodic return=2394.52490234375\n", + "global step=31367168, episodic return=2387.6708984375\n", + "global step=31367168, episodic return=2376.96875\n", + "global step=31367168, episodic return=2361.046875\n", + "global step=31367168, episodic return=2384.59716796875\n", + "global step=31367168, episodic return=2362.7919921875\n", + "global step=31367168, episodic return=2388.27392578125\n", + "global step=31367168, episodic return=2413.9765625\n", + "global step=31369216, episodic return=2395.73779296875\n", + "global step=31371264, episodic return=2400.77294921875\n", + "global step=31371264, episodic return=2420.015869140625\n", + "global step=31373312, episodic return=206.8045654296875\n", + "global step=31375360, episodic return=195.27183532714844\n", + "global step=31375360, episodic return=2427.90234375\n", + "global step=31377408, episodic return=2389.8232421875\n", + "global step=31377408, episodic return=2416.0263671875\n", + "global step=31377408, episodic return=2346.8193359375\n", + "global step=31377408, episodic return=2408.682861328125\n", + "global step=31379456, episodic return=2420.111572265625\n", + "global step=31379456, episodic return=2395.572021484375\n", + "global step=31381504, episodic return=2388.806884765625\n", + "global step=31381504, episodic return=2408.05078125\n", + "global step=31383552, episodic return=2367.51904296875\n", + "global step=31383552, episodic return=2387.05810546875\n", + "global step=31385600, episodic return=2379.072265625\n", + "global step=31385600, episodic return=2366.32177734375\n", + "global step=31385600, episodic return=2424.04150390625\n", + "global step=31387648, episodic return=2404.873291015625\n", + "global step=31389696, episodic return=2362.31787109375\n", + "global step=31389696, episodic return=2405.50439453125\n", + "global step=31389696, episodic return=2433.897705078125\n", + "global step=31393792, episodic return=2372.006103515625\n", + "global step=31395840, episodic return=2394.00244140625\n", + "global step=31397888, episodic return=2403.415771484375\n", + "global step=31399936, episodic return=2306.461181640625\n", + "global step=31399936, episodic return=2380.998046875\n", + "global step=31399936, episodic return=216.04759216308594\n", + "global step=31399936, episodic return=2369.400390625\n", + "global step=31401984, episodic return=2385.739990234375\n", + "global step=31401984, episodic return=2405.0927734375\n", + "global step=31404032, episodic return=2427.0263671875\n", + "global step=31408128, episodic return=2370.30615234375\n", + "global step=31410176, episodic return=2404.646728515625\n", + "global step=31410176, episodic return=2374.422119140625\n", + "global step=31412224, episodic return=1910.00732421875\n", + "global step=31412224, episodic return=2400.927490234375\n", + "global step=31412224, episodic return=2379.887451171875\n", + "global step=31414272, episodic return=2426.38427734375\n", + "global step=31414272, episodic return=2407.972900390625\n", + "global step=31414272, episodic return=1301.5377197265625\n", + "global step=31414272, episodic return=2427.227294921875\n", + "global step=31416320, episodic return=2366.940185546875\n", + "global step=31416320, episodic return=2371.89990234375\n", + "global step=31422464, episodic return=2433.6162109375\n", + "global step=31422464, episodic return=2411.450439453125\n", + "global step=31422464, episodic return=2402.812744140625\n", + "global step=31424512, episodic return=2400.474365234375\n", + "global step=31424512, episodic return=2375.369140625\n", + "global step=31426560, episodic return=2363.29541015625\n", + "global step=31428608, episodic return=2406.861083984375\n", + "global step=31428608, episodic return=2375.3642578125\n", + "global step=31428608, episodic return=2412.563720703125\n", + "global step=31428608, episodic return=2422.250244140625\n", + "global step=31428608, episodic return=1713.77294921875\n", + "global step=31428608, episodic return=2333.48681640625\n", + "global step=31428608, episodic return=2416.285400390625\n", + "global step=31430656, episodic return=347.5924377441406\n", + "global step=31430656, episodic return=2451.397216796875\n", + "global step=31430656, episodic return=485.8287048339844\n", + "global step=31432704, episodic return=2365.7880859375\n", + "global step=31434752, episodic return=2359.69384765625\n", + "global step=31434752, episodic return=2411.2294921875\n", + "global step=31436800, episodic return=2364.690673828125\n", + "global step=31438848, episodic return=637.1964111328125\n", + "global step=31438848, episodic return=2411.249755859375\n", + "global step=31438848, episodic return=2395.857666015625\n", + "global step=31438848, episodic return=2374.0791015625\n", + "global step=31438848, episodic return=2394.8662109375\n", + "global step=31440896, episodic return=2355.655517578125\n", + "global step=31440896, episodic return=2444.542724609375\n", + "global step=31442944, episodic return=2390.033203125\n", + "global step=31447040, episodic return=2380.416259765625\n", + "global step=31447040, episodic return=2388.126220703125\n", + "global step=31447040, episodic return=2429.02685546875\n", + "global step=31447040, episodic return=2435.25341796875\n", + "global step=31447040, episodic return=2354.197998046875\n", + "global step=31447040, episodic return=2409.215087890625\n", + "global step=31449088, episodic return=2392.393310546875\n", + "global step=31449088, episodic return=2426.092041015625\n", + "global step=31449088, episodic return=2301.015625\n", + "global step=31451136, episodic return=2380.791015625\n", + "global step=31457280, episodic return=169.82696533203125\n", + "global step=31459328, episodic return=2361.111328125\n", + "global step=31459328, episodic return=2406.795166015625\n", + "global step=31459328, episodic return=2447.4462890625\n", + "global step=31461376, episodic return=2384.53857421875\n", + "global step=31461376, episodic return=2402.32666015625\n", + "global step=31463424, episodic return=2363.338134765625\n", + "global step=31463424, episodic return=992.7049560546875\n", + "global step=31465472, episodic return=2422.093505859375\n", + "global step=31465472, episodic return=2365.67822265625\n", + "global step=31465472, episodic return=977.7538452148438\n", + "global step=31467520, episodic return=2345.031494140625\n", + "global step=31467520, episodic return=2427.533447265625\n", + "global step=31467520, episodic return=2301.465087890625\n", + "global step=31467520, episodic return=2385.66259765625\n", + "global step=31467520, episodic return=2356.3583984375\n", + "global step=31469568, episodic return=2371.918701171875\n", + "global step=31469568, episodic return=2292.217529296875\n", + "global step=31471616, episodic return=2391.972412109375\n", + "global step=31471616, episodic return=2329.285888671875\n", + "global step=31471616, episodic return=2376.4169921875\n", + "global step=31473664, episodic return=2399.50390625\n", + "global step=31473664, episodic return=2394.900146484375\n", + "global step=31473664, episodic return=2362.7255859375\n", + "global step=31473664, episodic return=2404.720458984375\n", + "global step=31473664, episodic return=2430.026611328125\n", + "global step=31475712, episodic return=2407.00244140625\n", + "global step=31477760, episodic return=2361.860107421875\n", + "global step=31479808, episodic return=1431.7578125\n", + "global step=31479808, episodic return=2418.734619140625\n", + "global step=31479808, episodic return=991.5352172851562\n", + "global step=31481856, episodic return=2332.012451171875\n", + "global step=31481856, episodic return=2321.159912109375\n", + "global step=31481856, episodic return=2375.44091796875\n", + "global step=31483904, episodic return=2369.86865234375\n", + "global step=31483904, episodic return=1433.6600341796875\n", + "global step=31483904, episodic return=2372.491455078125\n", + "global step=31485952, episodic return=2347.822265625\n", + "global step=31485952, episodic return=299.6090087890625\n", + "global step=31488000, episodic return=2337.376953125\n", + "global step=31488000, episodic return=599.5900268554688\n", + "global step=31488000, episodic return=2348.9287109375\n", + "global step=31488000, episodic return=2409.578125\n", + "global step=31488000, episodic return=2427.030029296875\n", + "global step=31488000, episodic return=2432.018310546875\n", + "global step=31488000, episodic return=727.384033203125\n", + "global step=31488000, episodic return=2410.468505859375\n", + "global step=31490048, episodic return=2387.9326171875\n", + "global step=31490048, episodic return=2372.24755859375\n", + "global step=31490048, episodic return=2415.00146484375\n", + "global step=31492096, episodic return=2381.89599609375\n", + "global step=31492096, episodic return=2399.622314453125\n", + "global step=31492096, episodic return=2386.673828125\n", + "global step=31492096, episodic return=2368.83447265625\n", + "global step=31492096, episodic return=2329.682861328125\n", + "global step=31494144, episodic return=2370.017578125\n", + "global step=31494144, episodic return=2348.0458984375\n", + "global step=31496192, episodic return=2369.0\n", + "global step=31498240, episodic return=2449.95751953125\n", + "global step=31498240, episodic return=2251.543212890625\n", + "global step=31498240, episodic return=2425.94580078125\n", + "global step=31498240, episodic return=2325.001220703125\n", + "global step=31502336, episodic return=1438.92724609375\n", + "global step=31504384, episodic return=2427.56005859375\n", + "global step=31504384, episodic return=2353.38818359375\n", + "global step=31504384, episodic return=2439.781982421875\n", + "global step=31504384, episodic return=2392.95703125\n", + "global step=31506432, episodic return=2425.576171875\n", + "global step=31506432, episodic return=2362.07861328125\n", + "global step=31508480, episodic return=2354.085693359375\n", + "global step=31508480, episodic return=2389.77587890625\n", + "global step=31508480, episodic return=2081.5693359375\n", + "global step=31508480, episodic return=2354.588623046875\n", + "global step=31512576, episodic return=2388.549072265625\n", + "global step=31512576, episodic return=2331.115966796875\n", + "global step=31514624, episodic return=2428.201171875\n", + "global step=31516672, episodic return=2391.974853515625\n", + "global step=31516672, episodic return=2425.516845703125\n", + "global step=31516672, episodic return=2330.078125\n", + "global step=31518720, episodic return=2409.023193359375\n", + "global step=31518720, episodic return=24.90170669555664\n", + "global step=31518720, episodic return=2341.210693359375\n", + "global step=31518720, episodic return=84.69388580322266\n", + "global step=31518720, episodic return=2360.9912109375\n", + "global step=31518720, episodic return=2370.166259765625\n", + "global step=31520768, episodic return=40.37628173828125\n", + "global step=31520768, episodic return=2394.868408203125\n", + "global step=31520768, episodic return=2416.90380859375\n", + "global step=31522816, episodic return=2290.172607421875\n", + "global step=31522816, episodic return=2106.625732421875\n", + "global step=31522816, episodic return=2391.509521484375\n", + "global step=31524864, episodic return=2413.409912109375\n", + "global step=31524864, episodic return=2452.87890625\n", + "global step=31524864, episodic return=2053.4423828125\n", + "global step=31524864, episodic return=2373.877685546875\n", + "global step=31524864, episodic return=2423.18359375\n", + "global step=31524864, episodic return=2392.3017578125\n", + "global step=31526912, episodic return=2291.333984375\n", + "global step=31526912, episodic return=1303.272705078125\n", + "global step=31528960, episodic return=2390.271240234375\n", + "global step=31531008, episodic return=2329.651611328125\n", + "global step=31531008, episodic return=2390.753173828125\n", + "global step=31533056, episodic return=410.6504821777344\n", + "global step=31533056, episodic return=2303.717529296875\n", + "global step=31533056, episodic return=2371.67041015625\n", + "global step=31535104, episodic return=2421.10888671875\n", + "global step=31535104, episodic return=2382.4296875\n", + "global step=31537152, episodic return=2359.287109375\n", + "global step=31537152, episodic return=2233.679443359375\n", + "global step=31537152, episodic return=631.0806884765625\n", + "global step=31539200, episodic return=2356.015380859375\n", + "global step=31539200, episodic return=193.14651489257812\n", + "global step=31539200, episodic return=2329.908935546875\n", + "global step=31539200, episodic return=2409.62744140625\n", + "global step=31539200, episodic return=2367.01611328125\n", + "global step=31541248, episodic return=2413.513671875\n", + "global step=31541248, episodic return=2403.79736328125\n", + "global step=31541248, episodic return=2395.783447265625\n", + "global step=31541248, episodic return=1620.3912353515625\n", + "global step=31541248, episodic return=2403.843505859375\n", + "global step=31541248, episodic return=2374.45556640625\n", + "global step=31541248, episodic return=219.71835327148438\n", + "global step=31541248, episodic return=2380.38623046875\n", + "global step=31541248, episodic return=2375.416015625\n", + "global step=31541248, episodic return=2432.08447265625\n", + "global step=31543296, episodic return=495.3602294921875\n", + "global step=31543296, episodic return=676.87109375\n", + "global step=31545344, episodic return=2319.795654296875\n", + "global step=31545344, episodic return=2365.646484375\n", + "global step=31547392, episodic return=2398.779296875\n", + "global step=31547392, episodic return=2390.907958984375\n", + "global step=31549440, episodic return=2415.556884765625\n", + "global step=31549440, episodic return=61.71818161010742\n", + "global step=31549440, episodic return=2376.227294921875\n", + "global step=31549440, episodic return=2415.849853515625\n", + "global step=31551488, episodic return=2416.56396484375\n", + "global step=31551488, episodic return=181.61293029785156\n", + "global step=31553536, episodic return=917.159912109375\n", + "global step=31553536, episodic return=448.629638671875\n", + "global step=31553536, episodic return=200.1153564453125\n", + "global step=31555584, episodic return=740.0708618164062\n", + "global step=31557632, episodic return=2433.5234375\n", + "global step=31557632, episodic return=2368.576171875\n", + "global step=31557632, episodic return=2372.48486328125\n", + "global step=31557632, episodic return=2145.517822265625\n", + "global step=31559680, episodic return=510.5741271972656\n", + "global step=31559680, episodic return=701.4622802734375\n", + "global step=31559680, episodic return=2424.452880859375\n", + "global step=31561728, episodic return=2417.547607421875\n", + "global step=31561728, episodic return=2334.357666015625\n", + "global step=31561728, episodic return=2379.43505859375\n", + "global step=31563776, episodic return=2366.1904296875\n", + "global step=31563776, episodic return=2399.47216796875\n", + "global step=31563776, episodic return=1587.8701171875\n", + "global step=31565824, episodic return=2431.497802734375\n", + "global step=31567872, episodic return=2380.365478515625\n", + "global step=31567872, episodic return=2362.36279296875\n", + "global step=31567872, episodic return=1613.306884765625\n", + "global step=31567872, episodic return=2357.195556640625\n", + "global step=31569920, episodic return=2434.30615234375\n", + "global step=31571968, episodic return=2409.8125\n", + "global step=31571968, episodic return=2382.705810546875\n", + "global step=31571968, episodic return=2407.82861328125\n", + "global step=31571968, episodic return=2373.1376953125\n", + "global step=31571968, episodic return=2431.793701171875\n", + "global step=31574016, episodic return=2420.064697265625\n", + "global step=31576064, episodic return=1813.615234375\n", + "global step=31576064, episodic return=2381.6337890625\n", + "global step=31576064, episodic return=2408.94482421875\n", + "global step=31576064, episodic return=2458.16796875\n", + "global step=31578112, episodic return=2449.431640625\n", + "global step=31580160, episodic return=2417.17138671875\n", + "global step=31580160, episodic return=923.0565185546875\n", + "global step=31582208, episodic return=2351.6494140625\n", + "global step=31584256, episodic return=2073.4169921875\n", + "global step=31586304, episodic return=2365.15869140625\n", + "global step=31586304, episodic return=2394.72314453125\n", + "global step=31586304, episodic return=2393.04638671875\n", + "global step=31586304, episodic return=2346.27099609375\n", + "global step=31588352, episodic return=2407.7509765625\n", + "global step=31588352, episodic return=2338.60009765625\n", + "global step=31590400, episodic return=2396.951416015625\n", + "global step=31590400, episodic return=805.297607421875\n", + "global step=31590400, episodic return=2360.41650390625\n", + "global step=31592448, episodic return=2434.461181640625\n", + "global step=31592448, episodic return=2325.75341796875\n", + "global step=31594496, episodic return=2439.028564453125\n", + "global step=31594496, episodic return=2435.556640625\n", + "global step=31594496, episodic return=45.13567352294922\n", + "global step=31594496, episodic return=2393.5361328125\n", + "global step=31596544, episodic return=2385.24853515625\n", + "global step=31596544, episodic return=2385.735595703125\n", + "global step=31596544, episodic return=2416.9150390625\n", + "global step=31596544, episodic return=2427.371337890625\n", + "global step=31598592, episodic return=2347.091552734375\n", + "global step=31600640, episodic return=2434.485595703125\n", + "global step=31602688, episodic return=2426.55517578125\n", + "global step=31602688, episodic return=2406.6494140625\n", + "global step=31602688, episodic return=2430.1875\n", + "global step=31602688, episodic return=2439.980224609375\n", + "global step=31602688, episodic return=2386.70947265625\n", + "global step=31604736, episodic return=2402.5517578125\n", + "global step=31604736, episodic return=2394.749755859375\n", + "global step=31606784, episodic return=2400.70458984375\n", + "global step=31606784, episodic return=2106.539794921875\n", + "global step=31606784, episodic return=2413.1513671875\n", + "global step=31606784, episodic return=2114.896728515625\n", + "global step=31612928, episodic return=2438.331298828125\n", + "global step=31612928, episodic return=1779.9393310546875\n", + "global step=31612928, episodic return=2366.6171875\n", + "global step=31612928, episodic return=2371.44091796875\n", + "global step=31612928, episodic return=2406.583984375\n", + "global step=31614976, episodic return=2408.470458984375\n", + "global step=31617024, episodic return=2447.69140625\n", + "global step=31617024, episodic return=2414.115478515625\n", + "global step=31617024, episodic return=2416.322265625\n", + "global step=31619072, episodic return=2413.947998046875\n", + "global step=31621120, episodic return=1046.0411376953125\n", + "global step=31621120, episodic return=2404.570556640625\n", + "global step=31623168, episodic return=2399.546630859375\n", + "global step=31625216, episodic return=2381.728759765625\n", + "global step=31625216, episodic return=2444.78076171875\n", + "global step=31625216, episodic return=1063.577880859375\n", + "global step=31625216, episodic return=2400.544677734375\n", + "global step=31625216, episodic return=2434.49462890625\n", + "global step=31627264, episodic return=2428.240478515625\n", + "global step=31627264, episodic return=2025.590087890625\n", + "global step=31629312, episodic return=154.4875946044922\n", + "global step=31631360, episodic return=2411.884521484375\n", + "global step=31631360, episodic return=2430.680419921875\n", + "global step=31631360, episodic return=2409.221923828125\n", + "global step=31633408, episodic return=2383.040771484375\n", + "global step=31633408, episodic return=2414.35595703125\n", + "global step=31633408, episodic return=2436.721923828125\n", + "global step=31635456, episodic return=2422.346923828125\n", + "global step=31635456, episodic return=1656.1583251953125\n", + "global step=31637504, episodic return=2399.0986328125\n", + "global step=31637504, episodic return=403.0436096191406\n", + "global step=31637504, episodic return=2414.447998046875\n", + "global step=31637504, episodic return=2404.22998046875\n", + "global step=31639552, episodic return=2395.154296875\n", + "global step=31643648, episodic return=2389.655517578125\n", + "global step=31643648, episodic return=2445.572998046875\n", + "global step=31643648, episodic return=2387.505615234375\n", + "global step=31645696, episodic return=236.0384521484375\n", + "global step=31647744, episodic return=2383.109375\n", + "global step=31647744, episodic return=2387.853271484375\n", + "global step=31651840, episodic return=2451.56298828125\n", + "global step=31651840, episodic return=2356.65966796875\n", + "global step=31651840, episodic return=1089.8037109375\n", + "global step=31651840, episodic return=2413.4404296875\n", + "global step=31653888, episodic return=2429.309814453125\n", + "global step=31653888, episodic return=2411.09619140625\n", + "global step=31653888, episodic return=2361.152099609375\n", + "global step=31655936, episodic return=2427.840087890625\n", + "global step=31655936, episodic return=2394.7392578125\n", + "global step=31655936, episodic return=205.01512145996094\n", + "global step=31657984, episodic return=2381.68994140625\n", + "global step=31657984, episodic return=188.0043487548828\n", + "global step=31660032, episodic return=2393.057861328125\n", + "global step=31660032, episodic return=146.61997985839844\n", + "global step=31660032, episodic return=2382.989501953125\n", + "global step=31662080, episodic return=2432.25146484375\n", + "global step=31662080, episodic return=2455.220703125\n", + "global step=31664128, episodic return=2391.4521484375\n", + "global step=31666176, episodic return=2391.2392578125\n", + "global step=31666176, episodic return=1571.8681640625\n", + "global step=31668224, episodic return=2407.858642578125\n", + "global step=31668224, episodic return=2385.6279296875\n", + "global step=31668224, episodic return=2393.619384765625\n", + "global step=31668224, episodic return=2363.7822265625\n", + "global step=31670272, episodic return=698.0000610351562\n", + "global step=31670272, episodic return=412.80078125\n", + "global step=31672320, episodic return=2043.540771484375\n", + "global step=31674368, episodic return=2365.958251953125\n", + "global step=31674368, episodic return=1923.485107421875\n", + "global step=31674368, episodic return=2027.0826416015625\n", + "global step=31674368, episodic return=2386.791259765625\n", + "global step=31674368, episodic return=2337.310302734375\n", + "global step=31674368, episodic return=2247.7138671875\n", + "global step=31674368, episodic return=2482.68603515625\n", + "global step=31674368, episodic return=2464.141357421875\n", + "global step=31676416, episodic return=564.2364501953125\n", + "global step=31676416, episodic return=2359.602294921875\n", + "global step=31676416, episodic return=2453.1884765625\n", + "global step=31678464, episodic return=785.2537231445312\n", + "global step=31678464, episodic return=2335.21337890625\n", + "global step=31678464, episodic return=1407.948974609375\n", + "global step=31680512, episodic return=2451.845458984375\n", + "global step=31680512, episodic return=2427.400390625\n", + "global step=31680512, episodic return=2374.24169921875\n", + "global step=31682560, episodic return=2385.5478515625\n", + "global step=31682560, episodic return=2427.42626953125\n", + "global step=31682560, episodic return=2426.31201171875\n", + "global step=31684608, episodic return=1815.3857421875\n", + "global step=31684608, episodic return=906.5697631835938\n", + "global step=31686656, episodic return=30.47808837890625\n", + "global step=31688704, episodic return=2394.08349609375\n", + "global step=31690752, episodic return=2374.4296875\n", + "global step=31690752, episodic return=1225.539794921875\n", + "global step=31690752, episodic return=2402.76513671875\n", + "global step=31690752, episodic return=79.9734115600586\n", + "global step=31690752, episodic return=814.7553100585938\n", + "global step=31690752, episodic return=2386.476318359375\n", + "global step=31692800, episodic return=2432.5576171875\n", + "global step=31692800, episodic return=909.1643676757812\n", + "global step=31692800, episodic return=2315.896484375\n", + "global step=31694848, episodic return=2388.083251953125\n", + "global step=31694848, episodic return=2411.411865234375\n", + "global step=31694848, episodic return=2413.6787109375\n", + "global step=31696896, episodic return=2367.201171875\n", + "global step=31696896, episodic return=2331.6669921875\n", + "global step=31696896, episodic return=2423.223876953125\n", + "global step=31696896, episodic return=2352.81884765625\n", + "global step=31698944, episodic return=79.11116790771484\n", + "global step=31698944, episodic return=2437.445068359375\n", + "global step=31700992, episodic return=2422.914306640625\n", + "global step=31700992, episodic return=228.9153594970703\n", + "global step=31700992, episodic return=2426.784912109375\n", + "global step=31703040, episodic return=688.048583984375\n", + "global step=31703040, episodic return=2398.627685546875\n", + "global step=31703040, episodic return=2440.656494140625\n", + "global step=31703040, episodic return=2414.558349609375\n", + "global step=31705088, episodic return=2412.257568359375\n", + "global step=31705088, episodic return=226.2772979736328\n", + "global step=31705088, episodic return=2413.8671875\n", + "global step=31709184, episodic return=2403.67626953125\n", + "global step=31711232, episodic return=223.6023406982422\n", + "global step=31711232, episodic return=2398.9189453125\n", + "global step=31713280, episodic return=2389.18994140625\n", + "global step=31715328, episodic return=2324.052001953125\n", + "global step=31715328, episodic return=2408.8193359375\n", + "global step=31715328, episodic return=177.20025634765625\n", + "global step=31721472, episodic return=52.964996337890625\n", + "global step=31721472, episodic return=2439.699462890625\n", + "global step=31725568, episodic return=2366.609619140625\n", + "global step=31725568, episodic return=2434.614990234375\n", + "global step=31727616, episodic return=2402.9638671875\n", + "global step=31729664, episodic return=2388.1943359375\n", + "global step=31729664, episodic return=2491.09716796875\n", + "global step=31729664, episodic return=2398.517822265625\n", + "global step=31729664, episodic return=2448.23193359375\n", + "global step=31731712, episodic return=2425.052490234375\n", + "global step=31733760, episodic return=2351.394287109375\n", + "global step=31733760, episodic return=2429.412109375\n", + "global step=31733760, episodic return=2349.225341796875\n", + "global step=31735808, episodic return=2354.552490234375\n", + "global step=31735808, episodic return=2417.15283203125\n", + "global step=31735808, episodic return=42.12518310546875\n", + "global step=31737856, episodic return=2392.076904296875\n", + "global step=31737856, episodic return=2419.971923828125\n", + "global step=31737856, episodic return=2415.636474609375\n", + "global step=31739904, episodic return=2315.248779296875\n", + "global step=31739904, episodic return=2404.45166015625\n", + "global step=31739904, episodic return=2413.52294921875\n", + "global step=31739904, episodic return=2397.544189453125\n", + "global step=31739904, episodic return=2418.3271484375\n", + "global step=31739904, episodic return=2424.398193359375\n", + "global step=31741952, episodic return=2324.95947265625\n", + "global step=31744000, episodic return=446.53460693359375\n", + "global step=31744000, episodic return=213.4345245361328\n", + "global step=31746048, episodic return=2384.398681640625\n", + "global step=31746048, episodic return=2385.26611328125\n", + "global step=31746048, episodic return=2386.7197265625\n", + "global step=31746048, episodic return=287.8877868652344\n", + "global step=31748096, episodic return=2413.185791015625\n", + "global step=31748096, episodic return=2442.336181640625\n", + "global step=31748096, episodic return=2418.561279296875\n", + "global step=31748096, episodic return=2432.296875\n", + "global step=31750144, episodic return=2447.07861328125\n", + "global step=31750144, episodic return=2389.718994140625\n", + "global step=31752192, episodic return=2444.198486328125\n", + "global step=31754240, episodic return=403.8108215332031\n", + "global step=31754240, episodic return=520.145751953125\n", + "global step=31756288, episodic return=2388.111328125\n", + "global step=31756288, episodic return=2226.93701171875\n", + "global step=31756288, episodic return=2296.901123046875\n", + "global step=31756288, episodic return=2408.5029296875\n", + "global step=31756288, episodic return=2384.449462890625\n", + "global step=31756288, episodic return=2406.797119140625\n", + "global step=31760384, episodic return=2435.8115234375\n", + "global step=31760384, episodic return=2337.087158203125\n", + "global step=31760384, episodic return=2307.808837890625\n", + "global step=31760384, episodic return=2392.3662109375\n", + "global step=31762432, episodic return=853.3546752929688\n", + "global step=31762432, episodic return=2440.94873046875\n", + "global step=31764480, episodic return=2453.760009765625\n", + "global step=31766528, episodic return=2375.391845703125\n", + "global step=31766528, episodic return=2411.016845703125\n", + "global step=31768576, episodic return=2435.933837890625\n", + "global step=31768576, episodic return=2416.09033203125\n", + "global step=31770624, episodic return=2441.481689453125\n", + "global step=31770624, episodic return=2380.897705078125\n", + "global step=31770624, episodic return=2326.60205078125\n", + "global step=31772672, episodic return=2374.0166015625\n", + "global step=31772672, episodic return=2364.2626953125\n", + "global step=31774720, episodic return=741.6932373046875\n", + "global step=31774720, episodic return=2388.927490234375\n", + "global step=31776768, episodic return=2379.2880859375\n", + "global step=31778816, episodic return=1400.380859375\n", + "global step=31780864, episodic return=2367.74267578125\n", + "global step=31787008, episodic return=2299.67333984375\n", + "global step=31787008, episodic return=2435.734619140625\n", + "global step=31789056, episodic return=2373.98583984375\n", + "global step=31789056, episodic return=2378.88525390625\n", + "global step=31791104, episodic return=2356.40966796875\n", + "global step=31791104, episodic return=2414.917236328125\n", + "global step=31791104, episodic return=2366.044921875\n", + "global step=31791104, episodic return=1448.1309814453125\n", + "global step=31793152, episodic return=2429.76025390625\n", + "global step=31793152, episodic return=2435.590576171875\n", + "global step=31797248, episodic return=94.88748168945312\n", + "global step=31797248, episodic return=402.79400634765625\n", + "global step=31797248, episodic return=2272.591064453125\n", + "global step=31799296, episodic return=2415.69921875\n", + "global step=31801344, episodic return=2363.380859375\n", + "global step=31801344, episodic return=2414.595458984375\n", + "global step=31801344, episodic return=2437.859375\n", + "global step=31803392, episodic return=2408.40087890625\n", + "global step=31805440, episodic return=490.23846435546875\n", + "global step=31805440, episodic return=2409.0732421875\n", + "global step=31807488, episodic return=1347.402587890625\n", + "global step=31807488, episodic return=2440.65478515625\n", + "global step=31807488, episodic return=251.43138122558594\n", + "global step=31809536, episodic return=588.288330078125\n", + "global step=31815680, episodic return=2455.240478515625\n", + "global step=31815680, episodic return=2402.1337890625\n", + "global step=31815680, episodic return=2403.08251953125\n", + "global step=31815680, episodic return=2403.411376953125\n", + "global step=31817728, episodic return=1277.90869140625\n", + "global step=31819776, episodic return=2433.55859375\n", + "global step=31821824, episodic return=2361.69921875\n", + "global step=31821824, episodic return=2074.029052734375\n", + "global step=31823872, episodic return=2413.886474609375\n", + "global step=31823872, episodic return=2439.815185546875\n", + "global step=31823872, episodic return=2433.953857421875\n", + "global step=31825920, episodic return=2373.521728515625\n", + "global step=31825920, episodic return=2380.0205078125\n", + "global step=31825920, episodic return=501.5119323730469\n", + "global step=31825920, episodic return=2432.919677734375\n", + "global step=31827968, episodic return=2440.381103515625\n", + "global step=31827968, episodic return=615.7976684570312\n", + "global step=31827968, episodic return=2411.985107421875\n", + "global step=31827968, episodic return=216.6431121826172\n", + "global step=31830016, episodic return=2348.6494140625\n", + "global step=31830016, episodic return=2413.233154296875\n", + "global step=31830016, episodic return=2348.970458984375\n", + "global step=31832064, episodic return=2391.511962890625\n", + "global step=31832064, episodic return=2390.960693359375\n", + "global step=31834112, episodic return=1140.4630126953125\n", + "global step=31836160, episodic return=2132.5244140625\n", + "global step=31836160, episodic return=2426.5068359375\n", + "global step=31836160, episodic return=2396.537353515625\n", + "global step=31836160, episodic return=2395.138427734375\n", + "global step=31838208, episodic return=2394.945068359375\n", + "global step=31838208, episodic return=2287.21484375\n", + "global step=31838208, episodic return=2432.130859375\n", + "global step=31840256, episodic return=2479.71728515625\n", + "global step=31840256, episodic return=1696.476806640625\n", + "global step=31840256, episodic return=2384.218505859375\n", + "global step=31840256, episodic return=2416.42041015625\n", + "global step=31842304, episodic return=347.2538146972656\n", + "global step=31842304, episodic return=2416.633544921875\n", + "global step=31842304, episodic return=2212.995361328125\n", + "global step=31842304, episodic return=2417.82763671875\n", + "global step=31846400, episodic return=445.2460021972656\n", + "global step=31846400, episodic return=1439.8936767578125\n", + "global step=31846400, episodic return=2386.535888671875\n", + "global step=31846400, episodic return=2355.05224609375\n", + "global step=31846400, episodic return=2408.021728515625\n", + "global step=31846400, episodic return=2414.257568359375\n", + "global step=31846400, episodic return=2052.106201171875\n", + "global step=31846400, episodic return=2376.3173828125\n", + "global step=31848448, episodic return=2433.251708984375\n", + "global step=31848448, episodic return=2414.8916015625\n", + "global step=31848448, episodic return=2463.303466796875\n", + "global step=31848448, episodic return=2360.984619140625\n", + "global step=31850496, episodic return=2376.615966796875\n", + "global step=31850496, episodic return=2414.16796875\n", + "global step=31852544, episodic return=572.8449096679688\n", + "global step=31852544, episodic return=2385.446044921875\n", + "global step=31854592, episodic return=2421.193115234375\n", + "global step=31854592, episodic return=2460.239501953125\n", + "global step=31854592, episodic return=2280.858642578125\n", + "global step=31856640, episodic return=2425.0244140625\n", + "global step=31856640, episodic return=2402.616455078125\n", + "global step=31858688, episodic return=2471.169189453125\n", + "global step=31858688, episodic return=1806.182861328125\n", + "global step=31858688, episodic return=2437.07861328125\n", + "global step=31860736, episodic return=2385.595947265625\n", + "global step=31860736, episodic return=2408.325439453125\n", + "global step=31862784, episodic return=2412.133056640625\n", + "global step=31862784, episodic return=35.889095306396484\n", + "global step=31862784, episodic return=2375.2431640625\n", + "global step=31864832, episodic return=2353.45947265625\n", + "global step=31864832, episodic return=2407.157470703125\n", + "global step=31864832, episodic return=2438.390869140625\n", + "global step=31864832, episodic return=2377.253662109375\n", + "global step=31866880, episodic return=2405.294189453125\n", + "global step=31866880, episodic return=2347.70166015625\n", + "global step=31866880, episodic return=2356.244873046875\n", + "global step=31868928, episodic return=2450.3486328125\n", + "global step=31870976, episodic return=2414.6640625\n", + "global step=31870976, episodic return=17.85625457763672\n", + "global step=31870976, episodic return=2385.753662109375\n", + "global step=31875072, episodic return=2329.804931640625\n", + "global step=31875072, episodic return=2372.41162109375\n", + "global step=31875072, episodic return=2358.25439453125\n", + "global step=31877120, episodic return=2367.375732421875\n", + "global step=31877120, episodic return=2446.7021484375\n", + "global step=31879168, episodic return=2403.307861328125\n", + "global step=31879168, episodic return=2396.582275390625\n", + "global step=31879168, episodic return=1303.3319091796875\n", + "global step=31879168, episodic return=2338.524658203125\n", + "global step=31881216, episodic return=2443.19775390625\n", + "global step=31881216, episodic return=2362.20068359375\n", + "global step=31881216, episodic return=2415.2451171875\n", + "global step=31881216, episodic return=1735.5382080078125\n", + "global step=31881216, episodic return=205.31333923339844\n", + "global step=31881216, episodic return=2426.796630859375\n", + "global step=31883264, episodic return=2430.16064453125\n", + "global step=31883264, episodic return=2409.019287109375\n", + "global step=31883264, episodic return=2345.663818359375\n", + "global step=31885312, episodic return=2389.35400390625\n", + "global step=31885312, episodic return=2367.48828125\n", + "global step=31887360, episodic return=2369.629638671875\n", + "global step=31887360, episodic return=2372.948974609375\n", + "global step=31887360, episodic return=231.89781188964844\n", + "global step=31889408, episodic return=2389.59423828125\n", + "global step=31889408, episodic return=1609.7698974609375\n", + "global step=31889408, episodic return=58.76034927368164\n", + "global step=31889408, episodic return=2120.350341796875\n", + "global step=31891456, episodic return=2350.030517578125\n", + "global step=31891456, episodic return=2443.0302734375\n", + "global step=31891456, episodic return=2403.591796875\n", + "global step=31891456, episodic return=2355.202392578125\n", + "global step=31893504, episodic return=249.06332397460938\n", + "global step=31893504, episodic return=2449.100341796875\n", + "global step=31893504, episodic return=2425.423828125\n", + "global step=31893504, episodic return=2367.628173828125\n", + "global step=31895552, episodic return=2438.337890625\n", + "global step=31895552, episodic return=2309.997314453125\n", + "global step=31897600, episodic return=2405.146728515625\n", + "global step=31897600, episodic return=2436.14453125\n", + "global step=31897600, episodic return=2421.866455078125\n", + "global step=31897600, episodic return=2409.517333984375\n", + "global step=31899648, episodic return=2412.1474609375\n", + "global step=31901696, episodic return=2369.666259765625\n", + "global step=31901696, episodic return=2391.1005859375\n", + "global step=31901696, episodic return=2414.77783203125\n", + "global step=31901696, episodic return=2401.591064453125\n", + "global step=31903744, episodic return=14.076080322265625\n", + "global step=31903744, episodic return=1055.3753662109375\n", + "global step=31905792, episodic return=2391.178955078125\n", + "global step=31905792, episodic return=2407.1357421875\n", + "global step=31905792, episodic return=2400.7626953125\n", + "global step=31907840, episodic return=2315.70947265625\n", + "global step=31907840, episodic return=2428.791748046875\n", + "global step=31909888, episodic return=2400.852294921875\n", + "global step=31909888, episodic return=2313.3603515625\n", + "global step=31909888, episodic return=2314.7705078125\n", + "global step=31909888, episodic return=2384.16845703125\n", + "global step=31911936, episodic return=2432.4853515625\n", + "global step=31911936, episodic return=2408.591796875\n", + "global step=31911936, episodic return=2414.1220703125\n", + "global step=31911936, episodic return=2440.696044921875\n", + "global step=31911936, episodic return=2387.9287109375\n", + "global step=31911936, episodic return=2383.919921875\n", + "global step=31916032, episodic return=2368.847900390625\n", + "global step=31916032, episodic return=2448.065185546875\n", + "global step=31916032, episodic return=2403.439453125\n", + "global step=31916032, episodic return=2417.9912109375\n", + "global step=31918080, episodic return=2089.207763671875\n", + "global step=31918080, episodic return=2388.982666015625\n", + "global step=31918080, episodic return=2389.147705078125\n", + "global step=31922176, episodic return=2420.75341796875\n", + "global step=31924224, episodic return=2456.14111328125\n", + "global step=31924224, episodic return=2348.309814453125\n", + "global step=31926272, episodic return=2390.341552734375\n", + "global step=31926272, episodic return=2383.172607421875\n", + "global step=31926272, episodic return=2389.2490234375\n", + "global step=31928320, episodic return=2373.99267578125\n", + "global step=31930368, episodic return=2420.112548828125\n", + "global step=31930368, episodic return=2430.2685546875\n", + "global step=31930368, episodic return=2399.203125\n", + "global step=31932416, episodic return=2451.59912109375\n", + "global step=31934464, episodic return=2364.99755859375\n", + "global step=31934464, episodic return=1606.4827880859375\n", + "global step=31934464, episodic return=2455.749755859375\n", + "global step=31936512, episodic return=2266.05712890625\n", + "global step=31938560, episodic return=94.94338989257812\n", + "global step=31938560, episodic return=2352.26513671875\n", + "global step=31940608, episodic return=2412.5048828125\n", + "global step=31942656, episodic return=2441.2763671875\n", + "global step=31942656, episodic return=2401.4150390625\n", + "global step=31942656, episodic return=2391.99462890625\n", + "global step=31944704, episodic return=1171.0224609375\n", + "global step=31946752, episodic return=2401.781005859375\n", + "global step=31948800, episodic return=2398.91845703125\n", + "global step=31950848, episodic return=2362.838134765625\n", + "global step=31952896, episodic return=1018.8295288085938\n", + "global step=31952896, episodic return=2344.625\n", + "global step=31952896, episodic return=2436.3388671875\n", + "global step=31956992, episodic return=2398.76611328125\n", + "global step=31959040, episodic return=2393.408447265625\n", + "global step=31959040, episodic return=2160.8251953125\n", + "global step=31961088, episodic return=837.1361694335938\n", + "global step=31961088, episodic return=2407.83203125\n", + "global step=31961088, episodic return=2449.068359375\n", + "global step=31963136, episodic return=2396.46142578125\n", + "global step=31963136, episodic return=2427.242431640625\n", + "global step=31963136, episodic return=2403.509765625\n", + "global step=31963136, episodic return=2418.284912109375\n", + "global step=31965184, episodic return=2300.3369140625\n", + "global step=31965184, episodic return=400.1144714355469\n", + "global step=31967232, episodic return=1983.3197021484375\n", + "global step=31967232, episodic return=2424.211669921875\n", + "global step=31971328, episodic return=1594.767578125\n", + "global step=31971328, episodic return=57.396324157714844\n", + "global step=31971328, episodic return=2431.298828125\n", + "global step=31973376, episodic return=2390.3193359375\n", + "global step=31973376, episodic return=2388.281982421875\n", + "global step=31975424, episodic return=889.25439453125\n", + "global step=31975424, episodic return=2441.471435546875\n", + "global step=31979520, episodic return=2477.626953125\n", + "global step=31979520, episodic return=2401.982177734375\n", + "global step=31979520, episodic return=2414.5859375\n", + "global step=31981568, episodic return=2418.439697265625\n", + "global step=31983616, episodic return=2396.914306640625\n", + "global step=31985664, episodic return=386.7193908691406\n", + "global step=31987712, episodic return=846.7591552734375\n", + "global step=31987712, episodic return=2393.99365234375\n", + "global step=31989760, episodic return=2432.642822265625\n", + "global step=31991808, episodic return=2343.742431640625\n", + "global step=31991808, episodic return=236.91770935058594\n", + "global step=31991808, episodic return=2408.19677734375\n", + "global step=31991808, episodic return=2380.360595703125\n", + "global step=31991808, episodic return=2416.721923828125\n", + "global step=31993856, episodic return=2413.079345703125\n", + "global step=31993856, episodic return=2443.704833984375\n", + "global step=31995904, episodic return=2397.635498046875\n", + "global step=31995904, episodic return=2410.92431640625\n", + "global step=31995904, episodic return=2395.054931640625\n", + "global step=31995904, episodic return=2428.840087890625\n", + "global step=31997952, episodic return=2482.39404296875\n", + "global step=32002048, episodic return=2418.923095703125\n", + "global step=32004096, episodic return=2377.604248046875\n", + "global step=32004096, episodic return=2461.89306640625\n", + "global step=32006144, episodic return=2432.23779296875\n", + "global step=32006144, episodic return=2394.650390625\n", + "global step=32008192, episodic return=305.74859619140625\n", + "global step=32008192, episodic return=2400.810791015625\n", + "global step=32010240, episodic return=2373.680419921875\n", + "global step=32010240, episodic return=2370.8330078125\n", + "global step=32012288, episodic return=2426.028564453125\n", + "global step=32012288, episodic return=2336.377685546875\n", + "global step=32012288, episodic return=2471.609375\n", + "global step=32012288, episodic return=2380.87890625\n", + "global step=32014336, episodic return=2354.24609375\n", + "global step=32014336, episodic return=2371.55712890625\n", + "global step=32016384, episodic return=2429.642822265625\n", + "global step=32016384, episodic return=2436.18798828125\n", + "global step=32016384, episodic return=2479.98876953125\n", + "global step=32016384, episodic return=2334.0595703125\n", + "global step=32016384, episodic return=1223.0355224609375\n", + "global step=32020480, episodic return=1360.0621337890625\n", + "global step=32022528, episodic return=2382.69091796875\n", + "global step=32022528, episodic return=2408.489013671875\n", + "global step=32022528, episodic return=2409.43798828125\n", + "global step=32026624, episodic return=2423.781005859375\n", + "global step=32026624, episodic return=2413.943359375\n", + "global step=32028672, episodic return=18.12786102294922\n", + "global step=32030720, episodic return=2238.773193359375\n", + "global step=32030720, episodic return=2304.20361328125\n", + "global step=32032768, episodic return=1892.33837890625\n", + "global step=32034816, episodic return=2469.9345703125\n", + "global step=32034816, episodic return=2400.745361328125\n", + "global step=32038912, episodic return=2430.954833984375\n", + "global step=32038912, episodic return=1055.5682373046875\n", + "global step=32038912, episodic return=2433.15283203125\n", + "global step=32040960, episodic return=237.79576110839844\n", + "global step=32040960, episodic return=2408.5810546875\n", + "global step=32040960, episodic return=2387.451171875\n", + "global step=32040960, episodic return=1629.32275390625\n", + "global step=32040960, episodic return=2418.9345703125\n", + "global step=32040960, episodic return=2415.33349609375\n", + "global step=32043008, episodic return=2401.470947265625\n", + "global step=32045056, episodic return=2447.113037109375\n", + "global step=32045056, episodic return=2374.196044921875\n", + "global step=32047104, episodic return=2360.707763671875\n", + "global step=32047104, episodic return=2418.7412109375\n", + "global step=32051200, episodic return=2431.1845703125\n", + "global step=32053248, episodic return=2423.14013671875\n", + "global step=32053248, episodic return=2367.797607421875\n", + "global step=32053248, episodic return=2444.257080078125\n", + "global step=32053248, episodic return=2388.8505859375\n", + "global step=32053248, episodic return=2416.21630859375\n", + "global step=32055296, episodic return=2348.755859375\n", + "global step=32055296, episodic return=2343.046630859375\n", + "global step=32057344, episodic return=2388.25927734375\n", + "global step=32057344, episodic return=2424.685791015625\n", + "global step=32057344, episodic return=2456.046630859375\n", + "global step=32057344, episodic return=2409.0556640625\n", + "global step=32063488, episodic return=2429.722900390625\n", + "global step=32063488, episodic return=2433.613525390625\n", + "global step=32063488, episodic return=2444.53759765625\n", + "global step=32065536, episodic return=2371.6259765625\n", + "global step=32065536, episodic return=347.0191650390625\n", + "global step=32065536, episodic return=2426.51708984375\n", + "global step=32067584, episodic return=2328.880615234375\n", + "global step=32067584, episodic return=2397.053466796875\n", + "global step=32067584, episodic return=2417.87841796875\n", + "global step=32067584, episodic return=2257.25537109375\n", + "global step=32069632, episodic return=2332.458740234375\n", + "global step=32071680, episodic return=2346.95458984375\n", + "global step=32075776, episodic return=2423.681396484375\n", + "global step=32075776, episodic return=2408.885009765625\n", + "global step=32075776, episodic return=2379.361572265625\n", + "global step=32077824, episodic return=2397.758544921875\n", + "global step=32077824, episodic return=293.0821838378906\n", + "global step=32077824, episodic return=2415.12890625\n", + "global step=32079872, episodic return=1804.12451171875\n", + "global step=32081920, episodic return=179.00677490234375\n", + "global step=32081920, episodic return=2374.767578125\n", + "global step=32081920, episodic return=2442.364990234375\n", + "global step=32083968, episodic return=176.30484008789062\n", + "global step=32083968, episodic return=2360.197509765625\n", + "global step=32083968, episodic return=2380.128662109375\n", + "global step=32086016, episodic return=2430.0009765625\n", + "global step=32086016, episodic return=2430.347900390625\n", + "global step=32088064, episodic return=2378.093994140625\n", + "global step=32088064, episodic return=2437.422119140625\n", + "global step=32088064, episodic return=2274.1943359375\n", + "global step=32088064, episodic return=2453.2431640625\n", + "global step=32088064, episodic return=2056.859375\n", + "global step=32088064, episodic return=2398.482666015625\n", + "global step=32088064, episodic return=2464.911376953125\n", + "global step=32090112, episodic return=2415.919189453125\n", + "global step=32090112, episodic return=2437.849853515625\n", + "global step=32090112, episodic return=43.50062942504883\n", + "global step=32090112, episodic return=2447.788818359375\n", + "global step=32092160, episodic return=32.790348052978516\n", + "global step=32092160, episodic return=2405.128662109375\n", + "global step=32092160, episodic return=2453.074951171875\n", + "global step=32094208, episodic return=2205.835205078125\n", + "global step=32094208, episodic return=29.865161895751953\n", + "global step=32094208, episodic return=2356.455810546875\n", + "global step=32094208, episodic return=2382.18310546875\n", + "global step=32094208, episodic return=2380.93798828125\n", + "global step=32096256, episodic return=2418.552978515625\n", + "global step=32096256, episodic return=2373.501220703125\n", + "global step=32096256, episodic return=2411.30419921875\n", + "global step=32098304, episodic return=1484.7919921875\n", + "global step=32098304, episodic return=2413.806396484375\n", + "global step=32098304, episodic return=1258.609619140625\n", + "global step=32100352, episodic return=2407.215087890625\n", + "global step=32100352, episodic return=302.4271240234375\n", + "global step=32102400, episodic return=1274.4359130859375\n", + "global step=32102400, episodic return=1096.736572265625\n", + "global step=32104448, episodic return=2428.25634765625\n", + "global step=32106496, episodic return=2423.841552734375\n", + "global step=32106496, episodic return=192.0569610595703\n", + "global step=32106496, episodic return=2418.052490234375\n", + "global step=32106496, episodic return=739.4403686523438\n", + "global step=32108544, episodic return=2393.635986328125\n", + "global step=32108544, episodic return=2422.592529296875\n", + "global step=32112640, episodic return=1772.2752685546875\n", + "global step=32112640, episodic return=1697.9857177734375\n", + "global step=32112640, episodic return=23.769546508789062\n", + "global step=32114688, episodic return=2354.86328125\n", + "global step=32114688, episodic return=2368.62060546875\n", + "global step=32114688, episodic return=2413.46337890625\n", + "global step=32114688, episodic return=2369.6103515625\n", + "global step=32116736, episodic return=330.02197265625\n", + "global step=32116736, episodic return=15.59332275390625\n", + "global step=32118784, episodic return=524.6741943359375\n", + "global step=32118784, episodic return=205.01316833496094\n", + "global step=32120832, episodic return=2452.9853515625\n", + "global step=32120832, episodic return=2460.007568359375\n", + "global step=32120832, episodic return=2455.51171875\n", + "global step=32120832, episodic return=2427.403564453125\n", + "global step=32122880, episodic return=2331.161376953125\n", + "global step=32122880, episodic return=246.45346069335938\n", + "global step=32122880, episodic return=2384.69970703125\n", + "global step=32122880, episodic return=2450.1220703125\n", + "global step=32122880, episodic return=2435.513916015625\n", + "global step=32122880, episodic return=2403.025634765625\n", + "global step=32124928, episodic return=2442.703857421875\n", + "global step=32124928, episodic return=2367.1201171875\n", + "global step=32124928, episodic return=2392.015869140625\n", + "global step=32126976, episodic return=2447.0029296875\n", + "global step=32126976, episodic return=2427.976806640625\n", + "global step=32126976, episodic return=2242.196044921875\n", + "global step=32129024, episodic return=1974.2301025390625\n", + "global step=32131072, episodic return=2093.76513671875\n", + "global step=32131072, episodic return=2464.966552734375\n", + "global step=32131072, episodic return=2311.04052734375\n", + "global step=32135168, episodic return=2412.99365234375\n", + "global step=32135168, episodic return=2405.718994140625\n", + "global step=32135168, episodic return=2427.2900390625\n", + "global step=32137216, episodic return=2475.17626953125\n", + "global step=32137216, episodic return=2382.315673828125\n", + "global step=32137216, episodic return=2421.890869140625\n", + "global step=32141312, episodic return=2442.4599609375\n", + "global step=32141312, episodic return=2435.499755859375\n", + "global step=32141312, episodic return=2399.04345703125\n", + "global step=32143360, episodic return=2412.35009765625\n", + "global step=32145408, episodic return=2367.8564453125\n", + "global step=32145408, episodic return=2437.506591796875\n", + "global step=32145408, episodic return=2393.490234375\n", + "global step=32149504, episodic return=2455.452392578125\n", + "global step=32149504, episodic return=2454.91552734375\n", + "global step=32149504, episodic return=2419.760498046875\n", + "global step=32149504, episodic return=2376.0126953125\n", + "global step=32149504, episodic return=1672.482177734375\n", + "global step=32149504, episodic return=2439.16943359375\n", + "global step=32151552, episodic return=2458.3759765625\n", + "global step=32151552, episodic return=2444.248779296875\n", + "global step=32151552, episodic return=2368.609619140625\n", + "global step=32153600, episodic return=2454.1259765625\n", + "global step=32153600, episodic return=2409.44287109375\n", + "global step=32157696, episodic return=2411.313232421875\n", + "global step=32157696, episodic return=2435.451904296875\n", + "global step=32159744, episodic return=2445.288818359375\n", + "global step=32159744, episodic return=2380.5439453125\n", + "global step=32159744, episodic return=2416.223388671875\n", + "global step=32161792, episodic return=2383.012451171875\n", + "global step=32163840, episodic return=2373.19677734375\n", + "global step=32163840, episodic return=2399.00048828125\n", + "global step=32165888, episodic return=2458.822265625\n", + "global step=32165888, episodic return=382.81689453125\n", + "global step=32167936, episodic return=2422.719482421875\n", + "global step=32167936, episodic return=323.8128662109375\n", + "global step=32167936, episodic return=2396.342041015625\n", + "global step=32169984, episodic return=1099.218994140625\n", + "global step=32169984, episodic return=2429.21826171875\n", + "global step=32169984, episodic return=2371.083984375\n", + "global step=32169984, episodic return=2464.28759765625\n", + "global step=32169984, episodic return=2440.897216796875\n", + "global step=32172032, episodic return=2438.463134765625\n", + "global step=32172032, episodic return=2438.415771484375\n", + "global step=32174080, episodic return=2448.0888671875\n", + "global step=32174080, episodic return=2397.355712890625\n", + "global step=32174080, episodic return=2421.900390625\n", + "global step=32178176, episodic return=2441.27783203125\n", + "global step=32178176, episodic return=2425.980224609375\n", + "global step=32178176, episodic return=2426.09033203125\n", + "global step=32178176, episodic return=2423.96875\n", + "global step=32180224, episodic return=2330.808837890625\n", + "global step=32180224, episodic return=2402.558837890625\n", + "global step=32180224, episodic return=234.7657470703125\n", + "global step=32180224, episodic return=2370.013427734375\n", + "global step=32182272, episodic return=491.4910888671875\n", + "global step=32182272, episodic return=2347.77880859375\n", + "global step=32182272, episodic return=2435.977294921875\n", + "global step=32182272, episodic return=2361.001953125\n", + "global step=32184320, episodic return=2400.6416015625\n", + "global step=32184320, episodic return=69.22673797607422\n", + "global step=32184320, episodic return=2320.935302734375\n", + "global step=32184320, episodic return=2436.091064453125\n", + "global step=32186368, episodic return=2405.78564453125\n", + "global step=32186368, episodic return=2381.352783203125\n", + "global step=32188416, episodic return=2363.277099609375\n", + "global step=32188416, episodic return=2384.370849609375\n", + "global step=32190464, episodic return=2421.865966796875\n", + "global step=32192512, episodic return=2380.419921875\n", + "global step=32192512, episodic return=2374.00341796875\n", + "global step=32194560, episodic return=2392.57373046875\n", + "global step=32194560, episodic return=2422.075439453125\n", + "global step=32194560, episodic return=2397.00390625\n", + "global step=32196608, episodic return=2388.259033203125\n", + "global step=32196608, episodic return=2430.854248046875\n", + "global step=32198656, episodic return=2440.215087890625\n", + "global step=32198656, episodic return=2398.0595703125\n", + "global step=32198656, episodic return=338.7345886230469\n", + "global step=32198656, episodic return=2365.48046875\n", + "global step=32200704, episodic return=2409.9169921875\n", + "global step=32200704, episodic return=2458.343994140625\n", + "global step=32200704, episodic return=2443.825439453125\n", + "global step=32202752, episodic return=2358.40673828125\n", + "global step=32202752, episodic return=2378.616455078125\n", + "global step=32204800, episodic return=22.2232666015625\n", + "global step=32204800, episodic return=2460.639404296875\n", + "global step=32204800, episodic return=2410.038330078125\n", + "global step=32204800, episodic return=2451.716064453125\n", + "global step=32206848, episodic return=2457.033447265625\n", + "global step=32206848, episodic return=2446.693359375\n", + "global step=32206848, episodic return=2383.5703125\n", + "global step=32206848, episodic return=2453.492919921875\n", + "global step=32206848, episodic return=2386.12060546875\n", + "global step=32208896, episodic return=2420.20361328125\n", + "global step=32210944, episodic return=2387.697509765625\n", + "global step=32210944, episodic return=2428.405517578125\n", + "global step=32210944, episodic return=2433.099853515625\n", + "global step=32210944, episodic return=2425.306396484375\n", + "global step=32212992, episodic return=2427.3447265625\n", + "global step=32212992, episodic return=2418.164794921875\n", + "global step=32212992, episodic return=2421.385009765625\n", + "global step=32212992, episodic return=2381.83544921875\n", + "global step=32215040, episodic return=2364.142333984375\n", + "global step=32215040, episodic return=2421.22998046875\n", + "global step=32215040, episodic return=252.42474365234375\n", + "global step=32217088, episodic return=2389.1875\n", + "global step=32217088, episodic return=2409.45947265625\n", + "global step=32219136, episodic return=2444.16015625\n", + "global step=32219136, episodic return=2361.861572265625\n", + "global step=32219136, episodic return=2425.96875\n", + "global step=32219136, episodic return=2313.7783203125\n", + "global step=32219136, episodic return=2418.61083984375\n", + "global step=32221184, episodic return=2340.55859375\n", + "global step=32221184, episodic return=2404.956298828125\n", + "global step=32221184, episodic return=42.85845184326172\n", + "global step=32223232, episodic return=2385.821533203125\n", + "global step=32223232, episodic return=1424.772216796875\n", + "global step=32223232, episodic return=2401.58203125\n", + "global step=32223232, episodic return=2357.948974609375\n", + "global step=32223232, episodic return=2399.491455078125\n", + "global step=32223232, episodic return=2389.192626953125\n", + "global step=32223232, episodic return=2411.8984375\n", + "global step=32225280, episodic return=187.9660186767578\n", + "global step=32225280, episodic return=2363.919189453125\n", + "global step=32225280, episodic return=2378.69970703125\n", + "global step=32227328, episodic return=2416.466552734375\n", + "global step=32227328, episodic return=2401.0400390625\n", + "global step=32227328, episodic return=2435.6220703125\n", + "global step=32227328, episodic return=2424.592529296875\n", + "global step=32227328, episodic return=2450.382568359375\n", + "global step=32229376, episodic return=2460.830810546875\n", + "global step=32229376, episodic return=2415.21630859375\n", + "global step=32229376, episodic return=2408.36572265625\n", + "global step=32231424, episodic return=2441.157958984375\n", + "global step=32233472, episodic return=1800.74609375\n", + "global step=32233472, episodic return=2383.939208984375\n", + "global step=32233472, episodic return=2350.925537109375\n", + "global step=32235520, episodic return=2426.5390625\n", + "global step=32235520, episodic return=2387.38037109375\n", + "global step=32235520, episodic return=2477.043701171875\n", + "global step=32237568, episodic return=2454.403564453125\n", + "global step=32241664, episodic return=14.033425331115723\n", + "global step=32241664, episodic return=2351.6328125\n", + "global step=32241664, episodic return=2378.928955078125\n", + "global step=32243712, episodic return=2376.193115234375\n", + "global step=32245760, episodic return=2480.15966796875\n", + "global step=32247808, episodic return=2424.0419921875\n", + "global step=32247808, episodic return=2413.268798828125\n", + "global step=32247808, episodic return=2392.591064453125\n", + "global step=32247808, episodic return=2374.068359375\n", + "global step=32251904, episodic return=728.2662353515625\n", + "global step=32251904, episodic return=2431.9052734375\n", + "global step=32251904, episodic return=2364.463134765625\n", + "global step=32253952, episodic return=2341.564697265625\n", + "global step=32253952, episodic return=1527.4468994140625\n", + "global step=32253952, episodic return=1859.3323974609375\n", + "global step=32253952, episodic return=2451.787841796875\n", + "global step=32253952, episodic return=2387.5732421875\n", + "global step=32253952, episodic return=2390.686767578125\n", + "global step=32256000, episodic return=457.45294189453125\n", + "global step=32256000, episodic return=2383.629638671875\n", + "global step=32258048, episodic return=2410.55517578125\n", + "global step=32258048, episodic return=2396.219482421875\n", + "global step=32258048, episodic return=2455.624755859375\n", + "global step=32260096, episodic return=2392.4501953125\n", + "global step=32260096, episodic return=2455.73779296875\n", + "global step=32260096, episodic return=2432.478759765625\n", + "global step=32260096, episodic return=2443.816162109375\n", + "global step=32262144, episodic return=2414.1845703125\n", + "global step=32262144, episodic return=2389.4912109375\n", + "global step=32262144, episodic return=2170.4033203125\n", + "global step=32262144, episodic return=2450.084716796875\n", + "global step=32262144, episodic return=2457.1025390625\n", + "global step=32264192, episodic return=2360.313720703125\n", + "global step=32264192, episodic return=296.74530029296875\n", + "global step=32266240, episodic return=2453.396484375\n", + "global step=32266240, episodic return=160.03269958496094\n", + "global step=32268288, episodic return=2438.049072265625\n", + "global step=32270336, episodic return=2376.725341796875\n", + "global step=32270336, episodic return=2448.288818359375\n", + "global step=32272384, episodic return=2381.630859375\n", + "global step=32272384, episodic return=2479.97998046875\n", + "global step=32272384, episodic return=2447.02099609375\n", + "global step=32274432, episodic return=2453.893310546875\n", + "global step=32274432, episodic return=2430.72119140625\n", + "global step=32276480, episodic return=2458.30419921875\n", + "global step=32278528, episodic return=1822.5205078125\n", + "global step=32278528, episodic return=2470.8798828125\n", + "global step=32278528, episodic return=2424.133056640625\n", + "global step=32282624, episodic return=2325.697265625\n", + "global step=32282624, episodic return=2383.552734375\n", + "global step=32284672, episodic return=2417.406982421875\n", + "global step=32286720, episodic return=33.27244567871094\n", + "global step=32286720, episodic return=2371.048095703125\n", + "global step=32286720, episodic return=445.03570556640625\n", + "global step=32286720, episodic return=2298.561279296875\n", + "global step=32286720, episodic return=27.834482192993164\n", + "global step=32286720, episodic return=2380.49169921875\n", + "global step=32286720, episodic return=2378.772705078125\n", + "global step=32288768, episodic return=442.4867858886719\n", + "global step=32288768, episodic return=2446.44921875\n", + "global step=32288768, episodic return=2419.992919921875\n", + "global step=32288768, episodic return=49.436859130859375\n", + "global step=32290816, episodic return=2411.39208984375\n", + "global step=32290816, episodic return=1618.4141845703125\n", + "global step=32290816, episodic return=194.78839111328125\n", + "global step=32292864, episodic return=2471.260498046875\n", + "global step=32294912, episodic return=2347.22802734375\n", + "global step=32294912, episodic return=357.1840515136719\n", + "global step=32294912, episodic return=2484.75341796875\n", + "global step=32294912, episodic return=2433.36181640625\n", + "global step=32296960, episodic return=2417.614013671875\n", + "global step=32296960, episodic return=2378.109375\n", + "global step=32296960, episodic return=2417.254638671875\n", + "global step=32296960, episodic return=2423.004150390625\n", + "global step=32296960, episodic return=2381.578369140625\n", + "global step=32299008, episodic return=2441.958740234375\n", + "global step=32301056, episodic return=305.0511779785156\n", + "global step=32303104, episodic return=2434.873291015625\n", + "global step=32303104, episodic return=60.00918960571289\n", + "global step=32303104, episodic return=2434.75341796875\n", + "global step=32303104, episodic return=2471.8896484375\n", + "global step=32305152, episodic return=2369.34716796875\n", + "global step=32307200, episodic return=2424.65283203125\n", + "global step=32307200, episodic return=2405.00244140625\n", + "global step=32307200, episodic return=21.72745132446289\n", + "global step=32309248, episodic return=1705.84765625\n", + "global step=32309248, episodic return=2426.37744140625\n", + "global step=32309248, episodic return=145.20162963867188\n", + "global step=32309248, episodic return=2403.68505859375\n", + "global step=32309248, episodic return=2453.090576171875\n", + "global step=32311296, episodic return=2384.5712890625\n", + "global step=32311296, episodic return=2472.70556640625\n", + "global step=32313344, episodic return=2364.168701171875\n", + "global step=32313344, episodic return=190.71243286132812\n", + "global step=32313344, episodic return=2427.434326171875\n", + "global step=32315392, episodic return=452.9159240722656\n", + "global step=32315392, episodic return=2437.1962890625\n", + "global step=32315392, episodic return=2415.667236328125\n", + "global step=32315392, episodic return=1642.635498046875\n", + "global step=32317440, episodic return=2385.103759765625\n", + "global step=32317440, episodic return=2450.806884765625\n", + "global step=32319488, episodic return=2328.090576171875\n", + "global step=32319488, episodic return=2448.815673828125\n", + "global step=32319488, episodic return=827.6832275390625\n", + "global step=32319488, episodic return=2430.0498046875\n", + "global step=32319488, episodic return=2387.390869140625\n", + "global step=32321536, episodic return=2415.07421875\n", + "global step=32321536, episodic return=2381.990478515625\n", + "global step=32321536, episodic return=2286.325927734375\n", + "global step=32321536, episodic return=1927.3472900390625\n", + "global step=32321536, episodic return=2399.853271484375\n", + "global step=32321536, episodic return=2448.558349609375\n", + "global step=32323584, episodic return=2183.170654296875\n", + "global step=32325632, episodic return=2423.69384765625\n", + "global step=32325632, episodic return=2413.51123046875\n", + "global step=32327680, episodic return=2390.638427734375\n", + "global step=32327680, episodic return=2431.26513671875\n", + "global step=32327680, episodic return=2403.77783203125\n", + "global step=32329728, episodic return=2410.231201171875\n", + "global step=32329728, episodic return=60.99776840209961\n", + "global step=32331776, episodic return=2317.460693359375\n", + "global step=32331776, episodic return=2393.444091796875\n", + "global step=32331776, episodic return=2449.65380859375\n", + "global step=32331776, episodic return=2337.81103515625\n", + "global step=32333824, episodic return=2415.2802734375\n", + "global step=32333824, episodic return=341.6861572265625\n", + "global step=32337920, episodic return=2429.52197265625\n", + "global step=32337920, episodic return=2443.013671875\n", + "global step=32337920, episodic return=181.48736572265625\n", + "global step=32339968, episodic return=2399.068359375\n", + "global step=32339968, episodic return=1080.8917236328125\n", + "global step=32339968, episodic return=2448.22314453125\n", + "global step=32339968, episodic return=2393.742919921875\n", + "global step=32342016, episodic return=2282.6162109375\n", + "global step=32342016, episodic return=2414.379638671875\n", + "global step=32342016, episodic return=2398.2490234375\n", + "global step=32344064, episodic return=16.257869720458984\n", + "global step=32346112, episodic return=2464.5126953125\n", + "global step=32346112, episodic return=2455.0654296875\n", + "global step=32346112, episodic return=2368.8720703125\n", + "global step=32346112, episodic return=2385.267333984375\n", + "global step=32348160, episodic return=95.5834732055664\n", + "global step=32348160, episodic return=1019.139892578125\n", + "global step=32350208, episodic return=2413.06494140625\n", + "global step=32352256, episodic return=2382.459228515625\n", + "global step=32352256, episodic return=2442.310546875\n", + "global step=32354304, episodic return=291.782958984375\n", + "global step=32354304, episodic return=2265.736572265625\n", + "global step=32356352, episodic return=2463.467529296875\n", + "global step=32356352, episodic return=2402.103515625\n", + "global step=32358400, episodic return=2386.38330078125\n", + "global step=32358400, episodic return=2394.7578125\n", + "global step=32358400, episodic return=2329.169921875\n", + "global step=32360448, episodic return=2330.9423828125\n", + "global step=32360448, episodic return=2393.619873046875\n", + "global step=32360448, episodic return=2379.76220703125\n", + "global step=32362496, episodic return=2441.212158203125\n", + "global step=32362496, episodic return=2316.31640625\n", + "global step=32366592, episodic return=2406.2265625\n", + "global step=32366592, episodic return=2453.966552734375\n", + "global step=32366592, episodic return=2362.125\n", + "global step=32366592, episodic return=2454.6357421875\n", + "global step=32370688, episodic return=2335.857666015625\n", + "global step=32370688, episodic return=2367.938232421875\n", + "global step=32372736, episodic return=2391.364990234375\n", + "global step=32372736, episodic return=2447.98046875\n", + "global step=32374784, episodic return=2420.999267578125\n", + "global step=32376832, episodic return=2390.475830078125\n", + "global step=32376832, episodic return=2443.414306640625\n", + "global step=32378880, episodic return=2470.447021484375\n", + "global step=32378880, episodic return=2469.57177734375\n", + "global step=32378880, episodic return=1453.185546875\n", + "global step=32380928, episodic return=2326.1162109375\n", + "global step=32382976, episodic return=2413.406005859375\n", + "global step=32382976, episodic return=2427.8623046875\n", + "global step=32382976, episodic return=152.3866729736328\n", + "global step=32385024, episodic return=2140.9521484375\n", + "global step=32385024, episodic return=2431.56005859375\n", + "global step=32385024, episodic return=2371.685791015625\n", + "global step=32387072, episodic return=2440.986328125\n", + "global step=32387072, episodic return=2439.51953125\n", + "global step=32387072, episodic return=2407.760009765625\n", + "global step=32391168, episodic return=2003.41845703125\n", + "global step=32391168, episodic return=172.29974365234375\n", + "global step=32391168, episodic return=2453.828125\n", + "global step=32393216, episodic return=2162.961669921875\n", + "global step=32393216, episodic return=1278.6192626953125\n", + "global step=32395264, episodic return=2459.184814453125\n", + "global step=32395264, episodic return=2421.444091796875\n", + "global step=32395264, episodic return=2359.757568359375\n", + "global step=32395264, episodic return=2398.7685546875\n", + "global step=32395264, episodic return=2410.7734375\n", + "global step=32395264, episodic return=2390.839111328125\n", + "global step=32399360, episodic return=2382.8232421875\n", + "global step=32401408, episodic return=2191.600341796875\n", + "global step=32401408, episodic return=2371.72607421875\n", + "global step=32401408, episodic return=2372.18310546875\n", + "global step=32403456, episodic return=2346.41845703125\n", + "global step=32403456, episodic return=2347.28564453125\n", + "global step=32403456, episodic return=2428.437744140625\n", + "global step=32403456, episodic return=2412.60986328125\n", + "global step=32405504, episodic return=2383.008056640625\n", + "global step=32405504, episodic return=2392.08837890625\n", + "global step=32407552, episodic return=2445.485107421875\n", + "global step=32407552, episodic return=1914.517578125\n", + "global step=32407552, episodic return=2438.49462890625\n", + "global step=32407552, episodic return=618.7329711914062\n", + "global step=32407552, episodic return=2411.605224609375\n", + "global step=32411648, episodic return=2462.08349609375\n", + "global step=32413696, episodic return=353.9652404785156\n", + "global step=32413696, episodic return=2426.4912109375\n", + "global step=32413696, episodic return=1722.9105224609375\n", + "global step=32413696, episodic return=1921.736572265625\n", + "global step=32415744, episodic return=2463.877685546875\n", + "global step=32415744, episodic return=2393.500244140625\n", + "global step=32415744, episodic return=406.3023681640625\n", + "global step=32415744, episodic return=2385.676513671875\n", + "global step=32417792, episodic return=2439.022705078125\n", + "global step=32419840, episodic return=417.12060546875\n", + "global step=32419840, episodic return=401.6097717285156\n", + "global step=32421888, episodic return=2434.118896484375\n", + "global step=32421888, episodic return=2413.171142578125\n", + "global step=32423936, episodic return=2392.512939453125\n", + "global step=32423936, episodic return=1422.2628173828125\n", + "global step=32423936, episodic return=2408.607666015625\n", + "global step=32425984, episodic return=2373.909912109375\n", + "global step=32425984, episodic return=2418.49560546875\n", + "global step=32428032, episodic return=2387.277099609375\n", + "global step=32428032, episodic return=14.923771858215332\n", + "global step=32428032, episodic return=2378.8447265625\n", + "global step=32430080, episodic return=2456.073486328125\n", + "global step=32432128, episodic return=2379.1513671875\n", + "global step=32432128, episodic return=2306.85546875\n", + "global step=32434176, episodic return=2479.03173828125\n", + "global step=32436224, episodic return=2406.873779296875\n", + "global step=32436224, episodic return=2372.398681640625\n", + "global step=32438272, episodic return=2389.677734375\n", + "global step=32438272, episodic return=829.5753784179688\n", + "global step=32440320, episodic return=2459.757080078125\n", + "global step=32440320, episodic return=2342.774169921875\n", + "global step=32442368, episodic return=182.2167205810547\n", + "global step=32442368, episodic return=2404.215576171875\n", + "global step=32442368, episodic return=177.79563903808594\n", + "global step=32442368, episodic return=167.08331298828125\n", + "global step=32444416, episodic return=2413.85498046875\n", + "global step=32444416, episodic return=2447.68212890625\n", + "global step=32446464, episodic return=2447.75830078125\n", + "global step=32446464, episodic return=2445.6767578125\n", + "global step=32448512, episodic return=353.7294616699219\n", + "global step=32448512, episodic return=2390.63623046875\n", + "global step=32448512, episodic return=2482.082275390625\n", + "global step=32448512, episodic return=2367.717041015625\n", + "global step=32450560, episodic return=2351.776123046875\n", + "global step=32450560, episodic return=487.3592224121094\n", + "global step=32452608, episodic return=2260.40087890625\n", + "global step=32454656, episodic return=1635.22802734375\n", + "global step=32454656, episodic return=2405.1982421875\n", + "global step=32454656, episodic return=2462.647216796875\n", + "global step=32454656, episodic return=2447.0498046875\n", + "global step=32456704, episodic return=2400.583251953125\n", + "global step=32456704, episodic return=2450.872314453125\n", + "global step=32456704, episodic return=2399.611328125\n", + "global step=32456704, episodic return=2432.4306640625\n", + "global step=32458752, episodic return=1121.24267578125\n", + "global step=32458752, episodic return=2398.2705078125\n", + "global step=32458752, episodic return=2464.348876953125\n", + "global step=32458752, episodic return=2462.227783203125\n", + "global step=32458752, episodic return=2456.9423828125\n", + "global step=32460800, episodic return=69.81110382080078\n", + "global step=32460800, episodic return=2477.3671875\n", + "global step=32462848, episodic return=2394.07958984375\n", + "global step=32464896, episodic return=2447.43994140625\n", + "global step=32464896, episodic return=2438.388671875\n", + "global step=32464896, episodic return=2422.0087890625\n", + "global step=32464896, episodic return=2374.009033203125\n", + "global step=32466944, episodic return=2420.682373046875\n", + "global step=32468992, episodic return=2415.6630859375\n", + "global step=32468992, episodic return=2317.591064453125\n", + "global step=32471040, episodic return=1394.4765625\n", + "global step=32471040, episodic return=2380.187255859375\n", + "global step=32471040, episodic return=2417.90380859375\n", + "global step=32473088, episodic return=2424.39404296875\n", + "global step=32473088, episodic return=2442.865234375\n", + "global step=32473088, episodic return=2423.435302734375\n", + "global step=32473088, episodic return=2415.656005859375\n", + "global step=32475136, episodic return=2407.287109375\n", + "global step=32475136, episodic return=2477.938720703125\n", + "global step=32477184, episodic return=2461.777587890625\n", + "global step=32477184, episodic return=2380.325927734375\n", + "global step=32477184, episodic return=2351.673583984375\n", + "global step=32479232, episodic return=136.7962646484375\n", + "global step=32479232, episodic return=2454.32666015625\n", + "global step=32479232, episodic return=2404.12841796875\n", + "global step=32479232, episodic return=1631.1307373046875\n", + "global step=32481280, episodic return=2396.342041015625\n", + "global step=32483328, episodic return=2370.785888671875\n", + "global step=32483328, episodic return=172.89585876464844\n", + "global step=32485376, episodic return=245.46961975097656\n", + "global step=32487424, episodic return=2435.138916015625\n", + "global step=32487424, episodic return=2405.451171875\n", + "global step=32489472, episodic return=2449.629638671875\n", + "global step=32489472, episodic return=2435.091064453125\n", + "global step=32489472, episodic return=2365.543701171875\n", + "global step=32491520, episodic return=2417.9833984375\n", + "global step=32491520, episodic return=2436.806396484375\n", + "global step=32493568, episodic return=1299.0086669921875\n", + "global step=32493568, episodic return=2082.724853515625\n", + "global step=32493568, episodic return=2475.39111328125\n", + "global step=32495616, episodic return=2486.53759765625\n", + "global step=32497664, episodic return=1847.9381103515625\n", + "global step=32499712, episodic return=2431.0625\n", + "global step=32499712, episodic return=2459.99658203125\n", + "global step=32499712, episodic return=2436.624755859375\n", + "global step=32499712, episodic return=1579.4246826171875\n", + "global step=32501760, episodic return=20.195316314697266\n", + "global step=32501760, episodic return=61.426231384277344\n", + "global step=32501760, episodic return=2392.1689453125\n", + "global step=32501760, episodic return=2445.75927734375\n", + "global step=32503808, episodic return=2393.218505859375\n", + "global step=32503808, episodic return=2398.112060546875\n", + "global step=32505856, episodic return=2403.421875\n", + "global step=32505856, episodic return=2392.405029296875\n", + "global step=32507904, episodic return=2360.580078125\n", + "global step=32507904, episodic return=2404.484619140625\n", + "global step=32509952, episodic return=2401.008056640625\n", + "global step=32512000, episodic return=2452.5283203125\n", + "global step=32512000, episodic return=2379.415283203125\n", + "global step=32512000, episodic return=2456.388916015625\n", + "global step=32512000, episodic return=2413.145263671875\n", + "global step=32514048, episodic return=2345.88134765625\n", + "global step=32516096, episodic return=231.74057006835938\n", + "global step=32516096, episodic return=2406.802490234375\n", + "global step=32518144, episodic return=77.66725158691406\n", + "global step=32518144, episodic return=2068.5546875\n", + "global step=32518144, episodic return=2460.648193359375\n", + "global step=32520192, episodic return=2445.440185546875\n", + "global step=32520192, episodic return=2355.369140625\n", + "global step=32522240, episodic return=2368.1474609375\n", + "global step=32526336, episodic return=2366.5693359375\n", + "global step=32526336, episodic return=2407.6640625\n", + "global step=32526336, episodic return=2448.25537109375\n", + "global step=32526336, episodic return=2384.427001953125\n", + "global step=32528384, episodic return=342.02410888671875\n", + "global step=32528384, episodic return=2437.412353515625\n", + "global step=32528384, episodic return=2462.763427734375\n", + "global step=32532480, episodic return=2415.746337890625\n", + "global step=32532480, episodic return=2424.93798828125\n", + "global step=32532480, episodic return=2463.39404296875\n", + "global step=32532480, episodic return=2305.34521484375\n", + "global step=32532480, episodic return=2455.837890625\n", + "global step=32532480, episodic return=968.789306640625\n", + "global step=32534528, episodic return=2457.979736328125\n", + "global step=32534528, episodic return=628.3643188476562\n", + "global step=32534528, episodic return=2432.87646484375\n", + "global step=32534528, episodic return=2412.710205078125\n", + "global step=32534528, episodic return=2442.291015625\n", + "global step=32534528, episodic return=2429.930419921875\n", + "global step=32534528, episodic return=2463.28369140625\n", + "global step=32536576, episodic return=2117.439697265625\n", + "global step=32536576, episodic return=2361.601806640625\n", + "global step=32538624, episodic return=2383.800537109375\n", + "global step=32538624, episodic return=2414.087890625\n", + "global step=32540672, episodic return=2367.3486328125\n", + "global step=32540672, episodic return=254.86769104003906\n", + "global step=32542720, episodic return=2386.301025390625\n", + "global step=32544768, episodic return=2452.345947265625\n", + "global step=32544768, episodic return=2465.6279296875\n", + "global step=32544768, episodic return=2432.39404296875\n", + "global step=32544768, episodic return=2382.124267578125\n", + "global step=32544768, episodic return=2421.228759765625\n", + "global step=32544768, episodic return=2425.77734375\n", + "global step=32546816, episodic return=2066.71435546875\n", + "global step=32546816, episodic return=1667.261474609375\n", + "global step=32548864, episodic return=2427.08154296875\n", + "global step=32548864, episodic return=2402.725341796875\n", + "global step=32548864, episodic return=201.3101806640625\n", + "global step=32550912, episodic return=164.6649932861328\n", + "global step=32550912, episodic return=698.7577514648438\n", + "global step=32552960, episodic return=390.1494445800781\n", + "global step=32555008, episodic return=2469.18994140625\n", + "global step=32555008, episodic return=2391.16455078125\n", + "global step=32555008, episodic return=2474.389404296875\n", + "global step=32557056, episodic return=2399.947998046875\n", + "global step=32557056, episodic return=2345.630859375\n", + "global step=32559104, episodic return=2418.3681640625\n", + "global step=32559104, episodic return=1565.0809326171875\n", + "global step=32561152, episodic return=2447.8193359375\n", + "global step=32561152, episodic return=2422.556396484375\n", + "global step=32561152, episodic return=2358.662841796875\n", + "global step=32561152, episodic return=2404.186767578125\n", + "global step=32565248, episodic return=2445.246337890625\n", + "global step=32565248, episodic return=2371.46142578125\n", + "global step=32565248, episodic return=2411.24951171875\n", + "global step=32565248, episodic return=2391.439208984375\n", + "global step=32565248, episodic return=2363.9482421875\n", + "global step=32565248, episodic return=2370.444091796875\n", + "global step=32565248, episodic return=64.03511810302734\n", + "global step=32565248, episodic return=2393.9580078125\n", + "global step=32567296, episodic return=2366.21484375\n", + "global step=32567296, episodic return=154.57037353515625\n", + "global step=32567296, episodic return=2409.529296875\n", + "global step=32571392, episodic return=53.83250045776367\n", + "global step=32575488, episodic return=2443.477294921875\n", + "global step=32575488, episodic return=299.9248046875\n", + "global step=32575488, episodic return=2349.264892578125\n", + "global step=32575488, episodic return=2454.737548828125\n", + "global step=32577536, episodic return=2390.008056640625\n", + "global step=32579584, episodic return=2412.383544921875\n", + "global step=32581632, episodic return=2351.84814453125\n", + "global step=32581632, episodic return=614.8656005859375\n", + "global step=32581632, episodic return=2418.68408203125\n", + "global step=32583680, episodic return=2417.5947265625\n", + "global step=32583680, episodic return=2396.105224609375\n", + "global step=32585728, episodic return=287.51885986328125\n", + "global step=32585728, episodic return=2383.5615234375\n", + "global step=32585728, episodic return=2466.2705078125\n", + "global step=32585728, episodic return=2401.3798828125\n", + "global step=32587776, episodic return=2449.7548828125\n", + "global step=32587776, episodic return=447.7148742675781\n", + "global step=32589824, episodic return=748.0823974609375\n", + "global step=32589824, episodic return=2469.634765625\n", + "global step=32589824, episodic return=2431.28173828125\n", + "global step=32591872, episodic return=2040.1328125\n", + "global step=32591872, episodic return=2439.79296875\n", + "global step=32591872, episodic return=2453.80615234375\n", + "global step=32591872, episodic return=2409.178466796875\n", + "global step=32591872, episodic return=1618.9578857421875\n", + "global step=32593920, episodic return=2441.735595703125\n", + "global step=32593920, episodic return=467.270263671875\n", + "global step=32593920, episodic return=2405.32421875\n", + "global step=32593920, episodic return=2400.78515625\n", + "global step=32595968, episodic return=2472.619384765625\n", + "global step=32598016, episodic return=2416.992431640625\n", + "global step=32598016, episodic return=2417.330322265625\n", + "global step=32600064, episodic return=2452.14111328125\n", + "global step=32600064, episodic return=2358.115234375\n", + "global step=32600064, episodic return=2393.341796875\n", + "global step=32602112, episodic return=2450.7939453125\n", + "global step=32602112, episodic return=2360.20068359375\n", + "global step=32602112, episodic return=2373.935546875\n", + "global step=32604160, episodic return=2441.273193359375\n", + "global step=32604160, episodic return=2424.034423828125\n", + "global step=32604160, episodic return=2366.293212890625\n", + "global step=32604160, episodic return=2413.606689453125\n", + "global step=32608256, episodic return=820.1295166015625\n", + "global step=32608256, episodic return=1275.90380859375\n", + "global step=32608256, episodic return=2419.1748046875\n", + "global step=32608256, episodic return=2425.17041015625\n", + "global step=32610304, episodic return=2391.452880859375\n", + "global step=32610304, episodic return=2422.99267578125\n", + "global step=32610304, episodic return=2389.070556640625\n", + "global step=32610304, episodic return=2421.150390625\n", + "global step=32610304, episodic return=2377.259765625\n", + "global step=32610304, episodic return=2369.7626953125\n", + "global step=32612352, episodic return=2418.795654296875\n", + "global step=32612352, episodic return=2423.443115234375\n", + "global step=32614400, episodic return=2354.84765625\n", + "global step=32614400, episodic return=2416.330322265625\n", + "global step=32614400, episodic return=2464.09375\n", + "global step=32616448, episodic return=2445.734619140625\n", + "global step=32618496, episodic return=2329.0595703125\n", + "global step=32618496, episodic return=2427.239501953125\n", + "global step=32618496, episodic return=2379.15234375\n", + "global step=32620544, episodic return=2459.400634765625\n", + "global step=32626688, episodic return=2375.037109375\n", + "global step=32628736, episodic return=2404.134521484375\n", + "global step=32628736, episodic return=2354.44775390625\n", + "global step=32630784, episodic return=210.11746215820312\n", + "global step=32630784, episodic return=2396.85498046875\n", + "global step=32630784, episodic return=2456.236083984375\n", + "global step=32630784, episodic return=2409.15673828125\n", + "global step=32630784, episodic return=2454.03955078125\n", + "global step=32632832, episodic return=2440.17529296875\n", + "global step=32632832, episodic return=2382.75634765625\n", + "global step=32632832, episodic return=2454.258056640625\n", + "global step=32634880, episodic return=1816.5546875\n", + "global step=32634880, episodic return=281.00616455078125\n", + "global step=32634880, episodic return=2394.414794921875\n", + "global step=32634880, episodic return=2459.074951171875\n", + "global step=32636928, episodic return=2414.862060546875\n", + "global step=32636928, episodic return=2453.605712890625\n", + "global step=32636928, episodic return=518.183349609375\n", + "global step=32638976, episodic return=2363.09033203125\n", + "global step=32638976, episodic return=2341.576416015625\n", + "global step=32638976, episodic return=366.11724853515625\n", + "global step=32641024, episodic return=2394.873291015625\n", + "global step=32641024, episodic return=2438.068603515625\n", + "global step=32641024, episodic return=2443.92529296875\n", + "global step=32641024, episodic return=2310.04736328125\n", + "global step=32643072, episodic return=2387.34814453125\n", + "global step=32643072, episodic return=2392.332275390625\n", + "global step=32643072, episodic return=2439.5966796875\n", + "global step=32643072, episodic return=2420.966064453125\n", + "global step=32643072, episodic return=1622.2210693359375\n", + "global step=32643072, episodic return=2408.9287109375\n", + "global step=32645120, episodic return=539.3649291992188\n", + "global step=32645120, episodic return=2363.470703125\n", + "global step=32645120, episodic return=687.963623046875\n", + "global step=32645120, episodic return=2395.491943359375\n", + "global step=32647168, episodic return=2421.949462890625\n", + "global step=32647168, episodic return=2428.29541015625\n", + "global step=32649216, episodic return=2362.961669921875\n", + "global step=32649216, episodic return=385.1291809082031\n", + "global step=32649216, episodic return=2400.069091796875\n", + "global step=32649216, episodic return=2378.981201171875\n", + "global step=32649216, episodic return=2417.468017578125\n", + "global step=32649216, episodic return=2230.271728515625\n", + "global step=32651264, episodic return=2432.44091796875\n", + "global step=32651264, episodic return=2400.46484375\n", + "global step=32651264, episodic return=2417.9130859375\n", + "global step=32651264, episodic return=2447.421142578125\n", + "global step=32651264, episodic return=2391.556640625\n", + "global step=32653312, episodic return=2411.84814453125\n", + "global step=32653312, episodic return=2396.0419921875\n", + "global step=32653312, episodic return=2177.138916015625\n", + "global step=32655360, episodic return=2377.199462890625\n", + "global step=32655360, episodic return=1804.415771484375\n", + "global step=32655360, episodic return=2429.51220703125\n", + "global step=32657408, episodic return=758.0874633789062\n", + "global step=32657408, episodic return=2456.468505859375\n", + "global step=32657408, episodic return=410.2718811035156\n", + "global step=32657408, episodic return=2426.758056640625\n", + "global step=32659456, episodic return=2415.33349609375\n", + "global step=32659456, episodic return=2447.53369140625\n", + "global step=32659456, episodic return=2406.123779296875\n", + "global step=32659456, episodic return=2284.386474609375\n", + "global step=32661504, episodic return=2350.17138671875\n", + "global step=32661504, episodic return=112.35285949707031\n", + "global step=32661504, episodic return=2374.34765625\n", + "global step=32661504, episodic return=2345.055908203125\n", + "global step=32663552, episodic return=2319.86572265625\n", + "global step=32663552, episodic return=2391.445556640625\n", + "global step=32663552, episodic return=2433.8671875\n", + "global step=32665600, episodic return=2369.548583984375\n", + "global step=32669696, episodic return=2362.174072265625\n", + "global step=32669696, episodic return=2442.294677734375\n", + "global step=32669696, episodic return=1239.66455078125\n", + "global step=32671744, episodic return=2391.504150390625\n", + "global step=32671744, episodic return=2341.567626953125\n", + "global step=32671744, episodic return=2364.895751953125\n", + "global step=32671744, episodic return=63.1239013671875\n", + "global step=32673792, episodic return=2484.64306640625\n", + "global step=32673792, episodic return=2408.34033203125\n", + "global step=32673792, episodic return=2393.232666015625\n", + "global step=32673792, episodic return=2446.629150390625\n", + "global step=32675840, episodic return=2343.238525390625\n", + "global step=32675840, episodic return=2441.972412109375\n", + "global step=32675840, episodic return=1430.75048828125\n", + "global step=32677888, episodic return=2436.760009765625\n", + "global step=32677888, episodic return=2391.612060546875\n", + "global step=32677888, episodic return=2415.40966796875\n", + "global step=32677888, episodic return=2407.882080078125\n", + "global step=32677888, episodic return=60.429691314697266\n", + "global step=32677888, episodic return=35.40691375732422\n", + "global step=32681984, episodic return=2393.08154296875\n", + "global step=32684032, episodic return=114.90768432617188\n", + "global step=32684032, episodic return=89.89789581298828\n", + "global step=32684032, episodic return=38.405967712402344\n", + "global step=32686080, episodic return=2433.805908203125\n", + "global step=32686080, episodic return=2370.378173828125\n", + "global step=32688128, episodic return=2467.4755859375\n", + "global step=32692224, episodic return=2348.2431640625\n", + "global step=32694272, episodic return=2394.626220703125\n", + "global step=32694272, episodic return=2378.35107421875\n", + "global step=32694272, episodic return=2382.6083984375\n", + "global step=32696320, episodic return=2341.63134765625\n", + "global step=32696320, episodic return=2416.841796875\n", + "global step=32696320, episodic return=2464.559326171875\n", + "global step=32696320, episodic return=47.7731819152832\n", + "global step=32696320, episodic return=2398.331787109375\n", + "global step=32698368, episodic return=1914.23095703125\n", + "global step=32698368, episodic return=75.83209991455078\n", + "global step=32700416, episodic return=2337.411865234375\n", + "global step=32700416, episodic return=47.6336669921875\n", + "global step=32700416, episodic return=2359.634765625\n", + "global step=32702464, episodic return=2402.15869140625\n", + "global step=32704512, episodic return=2347.13818359375\n", + "global step=32704512, episodic return=84.9259262084961\n", + "global step=32704512, episodic return=2427.446533203125\n", + "global step=32706560, episodic return=2426.522705078125\n", + "global step=32706560, episodic return=2419.686767578125\n", + "global step=32708608, episodic return=2447.7373046875\n", + "global step=32708608, episodic return=2462.071533203125\n", + "global step=32710656, episodic return=2371.36669921875\n", + "global step=32710656, episodic return=2432.666015625\n", + "global step=32712704, episodic return=2371.212890625\n", + "global step=32712704, episodic return=2482.0751953125\n", + "global step=32714752, episodic return=2402.413330078125\n", + "global step=32714752, episodic return=2401.72509765625\n", + "global step=32714752, episodic return=2444.177001953125\n", + "global step=32716800, episodic return=2414.2822265625\n", + "global step=32716800, episodic return=2448.02294921875\n", + "global step=32718848, episodic return=160.45655822753906\n", + "global step=32718848, episodic return=2459.7626953125\n", + "global step=32720896, episodic return=367.9897766113281\n", + "global step=32720896, episodic return=1352.5367431640625\n", + "global step=32722944, episodic return=2411.38427734375\n", + "global step=32724992, episodic return=2423.758544921875\n", + "global step=32724992, episodic return=2429.951904296875\n", + "global step=32724992, episodic return=411.6659240722656\n", + "global step=32724992, episodic return=2308.502685546875\n", + "global step=32724992, episodic return=1235.8782958984375\n", + "global step=32724992, episodic return=657.2111206054688\n", + "global step=32727040, episodic return=2457.55517578125\n", + "global step=32727040, episodic return=2425.126953125\n", + "global step=32729088, episodic return=2401.265625\n", + "global step=32731136, episodic return=2244.0791015625\n", + "global step=32731136, episodic return=2437.541015625\n", + "global step=32731136, episodic return=2348.92431640625\n", + "global step=32733184, episodic return=2364.713623046875\n", + "global step=32733184, episodic return=718.923583984375\n", + "global step=32733184, episodic return=2377.014404296875\n", + "global step=32735232, episodic return=2388.430419921875\n", + "global step=32735232, episodic return=2364.362548828125\n", + "global step=32735232, episodic return=2496.603759765625\n", + "global step=32735232, episodic return=2416.4931640625\n", + "global step=32735232, episodic return=2345.322265625\n", + "global step=32737280, episodic return=2430.99755859375\n", + "global step=32737280, episodic return=288.4737243652344\n", + "global step=32737280, episodic return=2443.505615234375\n", + "global step=32737280, episodic return=2399.97607421875\n", + "global step=32739328, episodic return=2405.947998046875\n", + "global step=32739328, episodic return=710.7769165039062\n", + "global step=32739328, episodic return=2385.977294921875\n", + "global step=32743424, episodic return=2387.779541015625\n", + "global step=32743424, episodic return=2415.74072265625\n", + "global step=32743424, episodic return=1292.9818115234375\n", + "global step=32743424, episodic return=2425.783203125\n", + "global step=32745472, episodic return=286.2290344238281\n", + "global step=32745472, episodic return=2458.355224609375\n", + "global step=32745472, episodic return=2432.615234375\n", + "global step=32745472, episodic return=2401.507080078125\n", + "global step=32745472, episodic return=954.9227294921875\n", + "global step=32747520, episodic return=2448.34521484375\n", + "global step=32749568, episodic return=2408.4912109375\n", + "global step=32749568, episodic return=2430.107177734375\n", + "global step=32751616, episodic return=2372.045654296875\n", + "global step=32751616, episodic return=2457.8583984375\n", + "global step=32753664, episodic return=2425.248291015625\n", + "global step=32753664, episodic return=2417.659423828125\n", + "global step=32755712, episodic return=2364.3427734375\n", + "global step=32755712, episodic return=2446.2314453125\n", + "global step=32755712, episodic return=2391.21484375\n", + "global step=32757760, episodic return=1147.0015869140625\n", + "global step=32757760, episodic return=2414.966064453125\n", + "global step=32757760, episodic return=2425.345703125\n", + "global step=32759808, episodic return=2442.52783203125\n", + "global step=32759808, episodic return=1496.2684326171875\n", + "global step=32761856, episodic return=2451.424560546875\n", + "global step=32761856, episodic return=2418.86767578125\n", + "global step=32761856, episodic return=376.7613220214844\n", + "global step=32761856, episodic return=2434.871337890625\n", + "global step=32761856, episodic return=2415.071533203125\n", + "global step=32763904, episodic return=2443.364990234375\n", + "global step=32763904, episodic return=2398.88037109375\n", + "global step=32765952, episodic return=2394.30859375\n", + "global step=32765952, episodic return=2266.835205078125\n", + "global step=32768000, episodic return=1934.41552734375\n", + "global step=32768000, episodic return=2458.362060546875\n", + "global step=32770048, episodic return=1363.1318359375\n", + "global step=32774144, episodic return=2381.033203125\n", + "global step=32774144, episodic return=2332.3369140625\n", + "global step=32776192, episodic return=2427.016845703125\n", + "global step=32778240, episodic return=2366.8466796875\n", + "global step=32778240, episodic return=13.768096923828125\n", + "global step=32778240, episodic return=2394.4892578125\n", + "global step=32778240, episodic return=1251.1842041015625\n", + "global step=32780288, episodic return=2366.135009765625\n", + "global step=32782336, episodic return=774.4699096679688\n", + "global step=32782336, episodic return=2459.81982421875\n", + "global step=32782336, episodic return=2353.017822265625\n", + "global step=32784384, episodic return=551.0787963867188\n", + "global step=32784384, episodic return=2360.10009765625\n", + "global step=32784384, episodic return=171.72161865234375\n", + "global step=32786432, episodic return=68.01358795166016\n", + "global step=32786432, episodic return=2424.947021484375\n", + "global step=32786432, episodic return=2455.806884765625\n", + "global step=32788480, episodic return=2411.38671875\n", + "global step=32790528, episodic return=2424.92919921875\n", + "global step=32790528, episodic return=2357.210693359375\n", + "global step=32790528, episodic return=2418.7724609375\n", + "global step=32792576, episodic return=2376.40185546875\n", + "global step=32792576, episodic return=2411.364990234375\n", + "global step=32792576, episodic return=2425.690185546875\n", + "global step=32794624, episodic return=1299.814208984375\n", + "global step=32794624, episodic return=2410.25927734375\n", + "global step=32796672, episodic return=2346.770263671875\n", + "global step=32800768, episodic return=2434.49462890625\n", + "global step=32800768, episodic return=2476.0703125\n", + "global step=32800768, episodic return=2442.982177734375\n", + "global step=32800768, episodic return=2377.057861328125\n", + "global step=32800768, episodic return=2370.19140625\n", + "global step=32802816, episodic return=2151.665771484375\n", + "global step=32804864, episodic return=2280.317626953125\n", + "global step=32804864, episodic return=1446.038818359375\n", + "global step=32804864, episodic return=2337.070068359375\n", + "global step=32806912, episodic return=480.0292053222656\n", + "global step=32808960, episodic return=2403.20849609375\n", + "global step=32808960, episodic return=2441.982177734375\n", + "global step=32808960, episodic return=2370.96484375\n", + "global step=32811008, episodic return=2434.5283203125\n", + "global step=32811008, episodic return=2361.212890625\n", + "global step=32813056, episodic return=2399.137939453125\n", + "global step=32813056, episodic return=1600.421142578125\n", + "global step=32813056, episodic return=2404.504150390625\n", + "global step=32817152, episodic return=2362.8857421875\n", + "global step=32817152, episodic return=2391.451904296875\n", + "global step=32817152, episodic return=2441.118896484375\n", + "global step=32819200, episodic return=2374.191162109375\n", + "global step=32821248, episodic return=2382.371826171875\n", + "global step=32823296, episodic return=2373.19140625\n", + "global step=32823296, episodic return=578.03466796875\n", + "global step=32823296, episodic return=2422.30224609375\n", + "global step=32823296, episodic return=55.48313903808594\n", + "global step=32823296, episodic return=2391.3798828125\n", + "global step=32823296, episodic return=2447.28076171875\n", + "global step=32823296, episodic return=2395.132080078125\n", + "global step=32825344, episodic return=21.61741065979004\n", + "global step=32827392, episodic return=2405.708740234375\n", + "global step=32827392, episodic return=2425.42724609375\n", + "global step=32829440, episodic return=2473.74755859375\n", + "global step=32831488, episodic return=59.328250885009766\n", + "global step=32831488, episodic return=1058.7926025390625\n", + "global step=32831488, episodic return=2329.725830078125\n", + "global step=32831488, episodic return=1360.3282470703125\n", + "global step=32831488, episodic return=172.06887817382812\n", + "global step=32833536, episodic return=2482.8359375\n", + "global step=32833536, episodic return=2425.819091796875\n", + "global step=32833536, episodic return=2310.67333984375\n", + "global step=32833536, episodic return=1101.87158203125\n", + "global step=32835584, episodic return=2336.31494140625\n", + "global step=32835584, episodic return=2380.456298828125\n", + "global step=32835584, episodic return=618.2779541015625\n", + "global step=32835584, episodic return=2309.94189453125\n", + "global step=32835584, episodic return=2416.357177734375\n", + "global step=32835584, episodic return=2407.534423828125\n", + "global step=32837632, episodic return=2371.908447265625\n", + "global step=32837632, episodic return=1256.7398681640625\n", + "global step=32837632, episodic return=2402.114990234375\n", + "global step=32839680, episodic return=2457.7236328125\n", + "global step=32841728, episodic return=2380.71826171875\n", + "global step=32841728, episodic return=2395.25439453125\n", + "global step=32841728, episodic return=2373.886474609375\n", + "global step=32841728, episodic return=1109.923828125\n", + "global step=32841728, episodic return=2359.885009765625\n", + "global step=32841728, episodic return=2374.04345703125\n", + "global step=32841728, episodic return=2208.346923828125\n", + "global step=32841728, episodic return=2416.13232421875\n", + "global step=32843776, episodic return=1357.909912109375\n", + "global step=32845824, episodic return=56.627376556396484\n", + "global step=32845824, episodic return=2397.27490234375\n", + "global step=32847872, episodic return=2443.8603515625\n", + "global step=32847872, episodic return=2459.656494140625\n", + "global step=32847872, episodic return=2378.2919921875\n", + "global step=32847872, episodic return=1881.1378173828125\n", + "global step=32847872, episodic return=2346.36279296875\n", + "global step=32849920, episodic return=1074.7548828125\n", + "global step=32849920, episodic return=57.480716705322266\n", + "global step=32851968, episodic return=2393.870849609375\n", + "global step=32851968, episodic return=2413.748779296875\n", + "global step=32851968, episodic return=564.9151000976562\n", + "global step=32851968, episodic return=537.2027587890625\n", + "global step=32854016, episodic return=2403.194091796875\n", + "global step=32854016, episodic return=755.1495361328125\n", + "global step=32854016, episodic return=2372.581298828125\n", + "global step=32854016, episodic return=2345.73193359375\n", + "global step=32854016, episodic return=2362.28173828125\n", + "global step=32856064, episodic return=2375.37060546875\n", + "global step=32858112, episodic return=2486.409912109375\n", + "global step=32858112, episodic return=2470.19873046875\n", + "global step=32858112, episodic return=137.7219696044922\n", + "global step=32860160, episodic return=2411.020751953125\n", + "global step=32860160, episodic return=2344.576904296875\n", + "global step=32862208, episodic return=2353.917724609375\n", + "global step=32862208, episodic return=2035.06103515625\n", + "global step=32862208, episodic return=2384.94921875\n", + "global step=32862208, episodic return=558.6716918945312\n", + "global step=32864256, episodic return=2386.928466796875\n", + "global step=32864256, episodic return=2422.10498046875\n", + "global step=32864256, episodic return=1237.1851806640625\n", + "global step=32864256, episodic return=2275.285400390625\n", + "global step=32864256, episodic return=796.7380981445312\n", + "global step=32866304, episodic return=2442.71240234375\n", + "global step=32866304, episodic return=2390.9462890625\n", + "global step=32866304, episodic return=2439.555908203125\n", + "global step=32868352, episodic return=2419.099365234375\n", + "global step=32868352, episodic return=1300.5599365234375\n", + "global step=32868352, episodic return=2403.800537109375\n", + "global step=32870400, episodic return=2374.64501953125\n", + "global step=32870400, episodic return=1052.7464599609375\n", + "global step=32870400, episodic return=2085.406494140625\n", + "global step=32872448, episodic return=1370.8140869140625\n", + "global step=32872448, episodic return=2405.094970703125\n", + "global step=32874496, episodic return=1318.570068359375\n", + "global step=32874496, episodic return=1739.736083984375\n", + "global step=32876544, episodic return=2423.36962890625\n", + "global step=32876544, episodic return=2385.907958984375\n", + "global step=32878592, episodic return=2388.37646484375\n", + "global step=32880640, episodic return=2404.5498046875\n", + "global step=32882688, episodic return=2354.339111328125\n", + "global step=32882688, episodic return=2383.372802734375\n", + "global step=32884736, episodic return=1645.4853515625\n", + "global step=32884736, episodic return=2400.986328125\n", + "global step=32884736, episodic return=2387.396240234375\n", + "global step=32884736, episodic return=2466.44091796875\n", + "global step=32884736, episodic return=2466.720703125\n", + "global step=32884736, episodic return=1476.397705078125\n", + "global step=32884736, episodic return=2454.900146484375\n", + "global step=32884736, episodic return=2409.109375\n", + "global step=32884736, episodic return=2465.4501953125\n", + "global step=32886784, episodic return=2372.510986328125\n", + "global step=32886784, episodic return=2422.12353515625\n", + "global step=32886784, episodic return=658.3427734375\n", + "global step=32886784, episodic return=2384.37939453125\n", + "global step=32888832, episodic return=2442.47314453125\n", + "global step=32890880, episodic return=2470.490478515625\n", + "global step=32890880, episodic return=2483.180419921875\n", + "global step=32890880, episodic return=1735.8311767578125\n", + "global step=32892928, episodic return=2421.044677734375\n", + "global step=32892928, episodic return=2293.318359375\n", + "global step=32892928, episodic return=2457.320068359375\n", + "global step=32894976, episodic return=2405.752685546875\n", + "global step=32894976, episodic return=2399.823974609375\n", + "global step=32894976, episodic return=2448.3017578125\n", + "global step=32899072, episodic return=2431.52587890625\n", + "global step=32901120, episodic return=200.00930786132812\n", + "global step=32901120, episodic return=192.32720947265625\n", + "global step=32903168, episodic return=2412.378662109375\n", + "global step=32905216, episodic return=2421.453125\n", + "global step=32905216, episodic return=2380.737060546875\n", + "global step=32905216, episodic return=67.92194366455078\n", + "global step=32905216, episodic return=674.8104858398438\n", + "global step=32905216, episodic return=483.2384033203125\n", + "global step=32905216, episodic return=2493.54833984375\n", + "global step=32907264, episodic return=2428.98388671875\n", + "global step=32907264, episodic return=2403.690673828125\n", + "global step=32907264, episodic return=2463.97607421875\n", + "global step=32907264, episodic return=511.9947814941406\n", + "global step=32909312, episodic return=2396.971923828125\n", + "global step=32909312, episodic return=684.6299438476562\n", + "global step=32909312, episodic return=1838.948486328125\n", + "global step=32911360, episodic return=763.11962890625\n", + "global step=32911360, episodic return=2439.251220703125\n", + "global step=32911360, episodic return=2351.904052734375\n", + "global step=32913408, episodic return=2376.67919921875\n", + "global step=32913408, episodic return=2430.717041015625\n", + "global step=32913408, episodic return=2094.755126953125\n", + "global step=32915456, episodic return=2400.35595703125\n", + "global step=32915456, episodic return=2457.083740234375\n", + "global step=32917504, episodic return=2472.327880859375\n", + "global step=32917504, episodic return=2424.778076171875\n", + "global step=32917504, episodic return=58.96198654174805\n", + "global step=32919552, episodic return=2450.1318359375\n", + "global step=32919552, episodic return=1436.306640625\n", + "global step=32921600, episodic return=2322.232421875\n", + "global step=32921600, episodic return=2371.7529296875\n", + "global step=32921600, episodic return=2414.525634765625\n", + "global step=32921600, episodic return=2401.42919921875\n", + "global step=32923648, episodic return=500.9052734375\n", + "global step=32923648, episodic return=2300.13720703125\n", + "global step=32925696, episodic return=178.2528076171875\n", + "global step=32925696, episodic return=592.1555786132812\n", + "global step=32925696, episodic return=2437.223876953125\n", + "global step=32927744, episodic return=1945.78369140625\n", + "global step=32929792, episodic return=1941.9229736328125\n", + "global step=32929792, episodic return=2484.081298828125\n", + "global step=32929792, episodic return=2358.313232421875\n", + "global step=32929792, episodic return=1243.4825439453125\n", + "global step=32929792, episodic return=2383.318603515625\n", + "global step=32929792, episodic return=2414.345458984375\n", + "global step=32931840, episodic return=42.108978271484375\n", + "global step=32931840, episodic return=221.18295288085938\n", + "global step=32933888, episodic return=1895.647216796875\n", + "global step=32933888, episodic return=1134.3531494140625\n", + "global step=32933888, episodic return=2351.563720703125\n", + "global step=32933888, episodic return=1507.5069580078125\n", + "global step=32935936, episodic return=2448.784423828125\n", + "global step=32935936, episodic return=2445.03271484375\n", + "global step=32935936, episodic return=2387.805419921875\n", + "global step=32937984, episodic return=201.06216430664062\n", + "global step=32937984, episodic return=2444.8828125\n", + "global step=32937984, episodic return=2394.8310546875\n", + "global step=32937984, episodic return=2434.59716796875\n", + "global step=32942080, episodic return=2418.8232421875\n", + "global step=32944128, episodic return=2378.88525390625\n", + "global step=32944128, episodic return=76.05213928222656\n", + "global step=32944128, episodic return=2117.47509765625\n", + "global step=32946176, episodic return=2432.248779296875\n", + "global step=32946176, episodic return=2386.42626953125\n", + "global step=32948224, episodic return=440.8315124511719\n", + "global step=32952320, episodic return=2513.176025390625\n", + "global step=32952320, episodic return=2475.374755859375\n", + "global step=32956416, episodic return=2431.08203125\n", + "global step=32956416, episodic return=2085.712158203125\n", + "global step=32956416, episodic return=2397.108154296875\n", + "global step=32956416, episodic return=2376.491455078125\n", + "global step=32956416, episodic return=2407.00634765625\n", + "global step=32962560, episodic return=2426.15087890625\n", + "global step=32962560, episodic return=1620.6671142578125\n", + "global step=32964608, episodic return=2395.197265625\n", + "global step=32964608, episodic return=2409.923583984375\n", + "global step=32964608, episodic return=907.287841796875\n", + "global step=32964608, episodic return=2425.638427734375\n", + "global step=32964608, episodic return=2470.153076171875\n", + "global step=32964608, episodic return=446.1006164550781\n", + "global step=32966656, episodic return=2421.439697265625\n", + "global step=32966656, episodic return=2448.88623046875\n", + "global step=32966656, episodic return=2471.192626953125\n", + "global step=32972800, episodic return=1529.8104248046875\n", + "global step=32972800, episodic return=2330.300048828125\n", + "global step=32974848, episodic return=2453.438232421875\n", + "global step=32974848, episodic return=1033.79248046875\n", + "global step=32974848, episodic return=1541.9317626953125\n", + "global step=32974848, episodic return=2376.68701171875\n", + "global step=32976896, episodic return=2415.80322265625\n", + "global step=32976896, episodic return=1615.3043212890625\n", + "global step=32980992, episodic return=2434.44873046875\n", + "global step=32985088, episodic return=2465.692138671875\n", + "global step=32987136, episodic return=2461.264892578125\n", + "global step=32987136, episodic return=2456.579833984375\n", + "global step=32989184, episodic return=1715.770263671875\n", + "global step=32989184, episodic return=1256.4940185546875\n", + "global step=32991232, episodic return=2380.875244140625\n", + "global step=32993280, episodic return=2458.21484375\n", + "global step=32993280, episodic return=2426.554443359375\n", + "global step=32993280, episodic return=2425.494873046875\n", + "global step=32995328, episodic return=2460.790771484375\n", + "global step=32995328, episodic return=2491.922119140625\n", + "global step=32995328, episodic return=2143.308837890625\n", + "global step=32997376, episodic return=2390.70751953125\n", + "global step=33001472, episodic return=2439.28125\n", + "global step=33001472, episodic return=2425.443603515625\n", + "global step=33005568, episodic return=2003.4493408203125\n", + "global step=33007616, episodic return=2358.176025390625\n", + "global step=33007616, episodic return=2301.447509765625\n", + "global step=33007616, episodic return=2502.320556640625\n", + "global step=33007616, episodic return=2260.15234375\n", + "global step=33009664, episodic return=2307.140380859375\n", + "global step=33009664, episodic return=2213.345947265625\n", + "global step=33013760, episodic return=2452.02099609375\n", + "global step=33015808, episodic return=82.48058319091797\n", + "global step=33015808, episodic return=2429.507080078125\n", + "global step=33015808, episodic return=2470.175537109375\n", + "global step=33017856, episodic return=2435.796142578125\n", + "global step=33017856, episodic return=2463.01904296875\n", + "global step=33017856, episodic return=2475.92236328125\n", + "global step=33017856, episodic return=2403.87646484375\n", + "global step=33017856, episodic return=2357.209716796875\n", + "global step=33032192, episodic return=2415.39453125\n", + "global step=33032192, episodic return=2486.70703125\n", + "global step=33032192, episodic return=654.867919921875\n", + "global step=33032192, episodic return=1291.8233642578125\n", + "global step=33034240, episodic return=2399.32177734375\n", + "global step=33034240, episodic return=2333.983642578125\n", + "global step=33036288, episodic return=2424.83154296875\n", + "global step=33036288, episodic return=2363.818603515625\n", + "global step=33038336, episodic return=2184.837646484375\n", + "global step=33040384, episodic return=2481.360595703125\n", + "global step=33042432, episodic return=2471.15673828125\n", + "global step=33042432, episodic return=2460.439453125\n", + "global step=33044480, episodic return=2450.332275390625\n", + "global step=33044480, episodic return=2386.41748046875\n", + "global step=33044480, episodic return=2394.992431640625\n", + "global step=33046528, episodic return=2466.83203125\n", + "global step=33046528, episodic return=2420.52197265625\n", + "global step=33046528, episodic return=2391.074951171875\n", + "global step=33048576, episodic return=2400.53662109375\n", + "global step=33048576, episodic return=1269.5252685546875\n", + "global step=33048576, episodic return=2438.8505859375\n", + "global step=33048576, episodic return=2057.707763671875\n", + "global step=33050624, episodic return=2384.71533203125\n", + "global step=33050624, episodic return=2210.851806640625\n", + "global step=33050624, episodic return=2405.333984375\n", + "global step=33050624, episodic return=2438.96435546875\n", + "global step=33052672, episodic return=2386.737060546875\n", + "global step=33052672, episodic return=2418.75439453125\n", + "global step=33054720, episodic return=1094.741943359375\n", + "global step=33054720, episodic return=2431.912841796875\n", + "global step=33056768, episodic return=2462.72509765625\n", + "global step=33056768, episodic return=2408.03857421875\n", + "global step=33056768, episodic return=2068.632080078125\n", + "global step=33056768, episodic return=1654.6416015625\n", + "global step=33056768, episodic return=868.7317504882812\n", + "global step=33058816, episodic return=1999.212158203125\n", + "global step=33058816, episodic return=1343.8189697265625\n", + "global step=33058816, episodic return=2099.897705078125\n", + "global step=33058816, episodic return=1590.1556396484375\n", + "global step=33060864, episodic return=2381.10791015625\n", + "global step=33060864, episodic return=2466.580322265625\n", + "global step=33060864, episodic return=2467.8564453125\n", + "global step=33060864, episodic return=2421.287109375\n", + "global step=33064960, episodic return=2411.440185546875\n", + "global step=33064960, episodic return=2452.447021484375\n", + "global step=33067008, episodic return=2384.843017578125\n", + "global step=33067008, episodic return=2445.501708984375\n", + "global step=33069056, episodic return=2419.466796875\n", + "global step=33069056, episodic return=2423.456298828125\n", + "global step=33073152, episodic return=2448.86572265625\n", + "global step=33073152, episodic return=2428.4658203125\n", + "global step=33073152, episodic return=2359.40576171875\n", + "global step=33075200, episodic return=2343.419677734375\n", + "global step=33077248, episodic return=2439.337158203125\n", + "global step=33079296, episodic return=2421.908935546875\n", + "global step=33081344, episodic return=1956.1279296875\n", + "global step=33083392, episodic return=2361.697509765625\n", + "global step=33085440, episodic return=2451.580322265625\n", + "global step=33085440, episodic return=146.93460083007812\n", + "global step=33087488, episodic return=2277.766357421875\n", + "global step=33087488, episodic return=2454.369384765625\n", + "global step=33091584, episodic return=167.17495727539062\n", + "global step=33091584, episodic return=2408.07421875\n", + "global step=33091584, episodic return=1746.9083251953125\n", + "global step=33091584, episodic return=2419.565673828125\n", + "global step=33093632, episodic return=720.3594360351562\n", + "global step=33093632, episodic return=1753.707763671875\n", + "global step=33095680, episodic return=2459.70556640625\n", + "global step=33095680, episodic return=2468.53466796875\n", + "global step=33095680, episodic return=2479.56884765625\n", + "global step=33095680, episodic return=2444.232666015625\n", + "global step=33097728, episodic return=2411.43212890625\n", + "global step=33097728, episodic return=2391.73193359375\n", + "global step=33099776, episodic return=183.75015258789062\n", + "global step=33101824, episodic return=2472.947509765625\n", + "global step=33101824, episodic return=2336.98828125\n", + "global step=33101824, episodic return=2433.1806640625\n", + "global step=33103872, episodic return=2445.853515625\n", + "global step=33103872, episodic return=2502.865478515625\n", + "global step=33107968, episodic return=2428.359619140625\n", + "global step=33107968, episodic return=1627.7801513671875\n", + "global step=33107968, episodic return=2429.2451171875\n", + "global step=33107968, episodic return=137.45925903320312\n", + "global step=33110016, episodic return=2467.519287109375\n", + "global step=33112064, episodic return=2389.41943359375\n", + "global step=33112064, episodic return=2414.67138671875\n", + "global step=33114112, episodic return=35.050357818603516\n", + "global step=33120256, episodic return=2492.301025390625\n", + "global step=33120256, episodic return=1153.9678955078125\n", + "global step=33120256, episodic return=2466.002685546875\n", + "global step=33120256, episodic return=2444.24609375\n", + "global step=33120256, episodic return=2428.642578125\n", + "global step=33122304, episodic return=2397.643798828125\n", + "global step=33124352, episodic return=2418.94189453125\n", + "global step=33126400, episodic return=1853.6658935546875\n", + "global step=33126400, episodic return=1843.1529541015625\n", + "global step=33126400, episodic return=1520.5177001953125\n", + "global step=33128448, episodic return=2418.274658203125\n", + "global step=33130496, episodic return=303.9028015136719\n", + "global step=33130496, episodic return=2411.026123046875\n", + "global step=33130496, episodic return=2417.46630859375\n", + "global step=33132544, episodic return=2407.914794921875\n", + "global step=33134592, episodic return=2425.2412109375\n", + "global step=33134592, episodic return=2471.619140625\n", + "global step=33136640, episodic return=2430.602294921875\n", + "global step=33136640, episodic return=165.66049194335938\n", + "global step=33136640, episodic return=65.9272689819336\n", + "global step=33136640, episodic return=2422.90966796875\n", + "global step=33136640, episodic return=2455.216064453125\n", + "global step=33136640, episodic return=2424.0927734375\n", + "global step=33138688, episodic return=2447.040283203125\n", + "global step=33138688, episodic return=2394.414794921875\n", + "global step=33140736, episodic return=2408.6748046875\n", + "global step=33142784, episodic return=2420.579833984375\n", + "global step=33142784, episodic return=1839.445068359375\n", + "global step=33142784, episodic return=2447.904541015625\n", + "global step=33142784, episodic return=1360.3291015625\n", + "global step=33144832, episodic return=764.4268188476562\n", + "global step=33144832, episodic return=2448.9326171875\n", + "global step=33144832, episodic return=1086.4544677734375\n", + "global step=33146880, episodic return=2292.69677734375\n", + "global step=33146880, episodic return=2386.475830078125\n", + "global step=33146880, episodic return=2432.423583984375\n", + "global step=33146880, episodic return=2347.50146484375\n", + "global step=33146880, episodic return=2402.017822265625\n", + "global step=33148928, episodic return=2438.37939453125\n", + "global step=33148928, episodic return=2432.952880859375\n", + "global step=33150976, episodic return=2397.67236328125\n", + "global step=33150976, episodic return=1752.771728515625\n", + "global step=33150976, episodic return=2398.630126953125\n", + "global step=33153024, episodic return=2454.93505859375\n", + "global step=33153024, episodic return=2420.02880859375\n", + "global step=33155072, episodic return=2430.05517578125\n", + "global step=33155072, episodic return=1365.2091064453125\n", + "global step=33155072, episodic return=2427.24072265625\n", + "global step=33159168, episodic return=2383.34619140625\n", + "global step=33159168, episodic return=2490.358154296875\n", + "global step=33161216, episodic return=2477.3125\n", + "global step=33165312, episodic return=2432.692138671875\n", + "global step=33165312, episodic return=2476.393310546875\n", + "global step=33165312, episodic return=2428.24755859375\n", + "global step=33167360, episodic return=2433.4453125\n", + "global step=33167360, episodic return=2419.136474609375\n", + "global step=33167360, episodic return=2393.5341796875\n", + "global step=33171456, episodic return=294.6014404296875\n", + "global step=33171456, episodic return=2476.6767578125\n", + "global step=33173504, episodic return=2331.4130859375\n", + "global step=33173504, episodic return=2473.008056640625\n", + "global step=33173504, episodic return=2428.802001953125\n", + "global step=33173504, episodic return=389.07977294921875\n", + "global step=33175552, episodic return=583.1366577148438\n", + "global step=33175552, episodic return=313.6854553222656\n", + "global step=33179648, episodic return=2409.148193359375\n", + "global step=33179648, episodic return=2393.672119140625\n", + "global step=33183744, episodic return=2473.359130859375\n", + "global step=33183744, episodic return=2322.176025390625\n", + "global step=33183744, episodic return=2481.210205078125\n", + "global step=33185792, episodic return=2418.73486328125\n", + "global step=33187840, episodic return=2433.568359375\n", + "global step=33189888, episodic return=2419.078125\n", + "global step=33191936, episodic return=27.48630142211914\n", + "global step=33193984, episodic return=2158.9736328125\n", + "global step=33193984, episodic return=2438.695556640625\n", + "global step=33193984, episodic return=2346.199951171875\n", + "global step=33193984, episodic return=2449.834228515625\n", + "global step=33196032, episodic return=2371.103759765625\n", + "global step=33198080, episodic return=1938.8759765625\n", + "global step=33198080, episodic return=1459.9903564453125\n", + "global step=33198080, episodic return=2429.749267578125\n", + "global step=33200128, episodic return=2403.1630859375\n", + "global step=33200128, episodic return=1798.06103515625\n", + "global step=33204224, episodic return=1906.5390625\n", + "global step=33206272, episodic return=2392.851806640625\n", + "global step=33206272, episodic return=2451.99609375\n", + "global step=33208320, episodic return=2373.45556640625\n", + "global step=33208320, episodic return=2433.49853515625\n", + "global step=33210368, episodic return=2419.948486328125\n", + "global step=33212416, episodic return=2449.47119140625\n", + "global step=33212416, episodic return=2412.06689453125\n", + "global step=33212416, episodic return=2349.037353515625\n", + "global step=33212416, episodic return=2378.728515625\n", + "global step=33212416, episodic return=2428.556884765625\n", + "global step=33214464, episodic return=2413.18408203125\n", + "global step=33214464, episodic return=2479.837158203125\n", + "global step=33214464, episodic return=2406.402587890625\n", + "global step=33216512, episodic return=2446.236572265625\n", + "global step=33216512, episodic return=758.2940063476562\n", + "global step=33218560, episodic return=22.859622955322266\n", + "global step=33218560, episodic return=2473.231201171875\n", + "global step=33220608, episodic return=2461.577880859375\n", + "global step=33220608, episodic return=2433.90087890625\n", + "global step=33222656, episodic return=2427.099365234375\n", + "global step=33222656, episodic return=2467.064697265625\n", + "global step=33224704, episodic return=2404.603759765625\n", + "global step=33224704, episodic return=1108.4217529296875\n", + "global step=33226752, episodic return=2444.896728515625\n", + "global step=33226752, episodic return=2386.309326171875\n", + "global step=33226752, episodic return=2409.331787109375\n", + "global step=33230848, episodic return=2394.9853515625\n", + "global step=33230848, episodic return=2441.092529296875\n", + "global step=33230848, episodic return=2425.638916015625\n", + "global step=33230848, episodic return=202.26287841796875\n", + "global step=33234944, episodic return=1152.3021240234375\n", + "global step=33234944, episodic return=2435.927490234375\n", + "global step=33234944, episodic return=2493.36181640625\n", + "global step=33234944, episodic return=2416.00537109375\n", + "global step=33236992, episodic return=1747.0107421875\n", + "global step=33239040, episodic return=2432.409423828125\n", + "global step=33239040, episodic return=440.1240539550781\n", + "global step=33239040, episodic return=2483.946533203125\n", + "global step=33239040, episodic return=191.19137573242188\n", + "global step=33241088, episodic return=2417.656005859375\n", + "global step=33243136, episodic return=230.2469940185547\n", + "global step=33243136, episodic return=2404.30078125\n", + "global step=33245184, episodic return=1033.5133056640625\n", + "global step=33247232, episodic return=2411.928466796875\n", + "global step=33247232, episodic return=73.81832885742188\n", + "global step=33247232, episodic return=2400.23486328125\n", + "global step=33247232, episodic return=2350.15185546875\n", + "global step=33249280, episodic return=2499.011962890625\n", + "global step=33251328, episodic return=2415.134033203125\n", + "global step=33251328, episodic return=2468.48583984375\n", + "global step=33251328, episodic return=2449.3818359375\n", + "global step=33251328, episodic return=2106.035400390625\n", + "global step=33253376, episodic return=2433.720703125\n", + "global step=33255424, episodic return=1343.7554931640625\n", + "global step=33255424, episodic return=227.31619262695312\n", + "global step=33255424, episodic return=2427.076416015625\n", + "global step=33255424, episodic return=2428.031494140625\n", + "global step=33259520, episodic return=2093.05517578125\n", + "global step=33261568, episodic return=2384.8876953125\n", + "global step=33261568, episodic return=2455.7763671875\n", + "global step=33263616, episodic return=2367.21533203125\n", + "global step=33263616, episodic return=2341.635009765625\n", + "global step=33263616, episodic return=706.9124755859375\n", + "global step=33263616, episodic return=990.2908935546875\n", + "global step=33265664, episodic return=286.41143798828125\n", + "global step=33265664, episodic return=580.0524291992188\n", + "global step=33265664, episodic return=2418.336669921875\n", + "global step=33273856, episodic return=2187.925048828125\n", + "global step=33275904, episodic return=2349.119140625\n", + "global step=33275904, episodic return=2434.609619140625\n", + "global step=33275904, episodic return=2501.130126953125\n", + "global step=33277952, episodic return=2443.564208984375\n", + "global step=33277952, episodic return=2475.116455078125\n", + "global step=33282048, episodic return=2422.6630859375\n", + "global step=33282048, episodic return=2374.27294921875\n", + "global step=33284096, episodic return=2410.271728515625\n", + "global step=33284096, episodic return=2457.260009765625\n", + "global step=33284096, episodic return=580.35302734375\n", + "global step=33286144, episodic return=1830.338134765625\n", + "global step=33288192, episodic return=2473.004638671875\n", + "global step=33290240, episodic return=512.173095703125\n", + "global step=33290240, episodic return=251.43153381347656\n", + "global step=33290240, episodic return=2424.610107421875\n", + "global step=33290240, episodic return=2482.885009765625\n", + "global step=33292288, episodic return=2421.27490234375\n", + "global step=33292288, episodic return=489.41827392578125\n", + "global step=33296384, episodic return=2376.044921875\n", + "global step=33298432, episodic return=2393.035400390625\n", + "global step=33298432, episodic return=2387.313720703125\n", + "global step=33298432, episodic return=2466.156982421875\n", + "global step=33300480, episodic return=2383.4638671875\n", + "global step=33300480, episodic return=2413.898681640625\n", + "global step=33302528, episodic return=2468.8037109375\n", + "global step=33302528, episodic return=2379.14208984375\n", + "global step=33302528, episodic return=1087.425537109375\n", + "global step=33304576, episodic return=1251.5247802734375\n", + "global step=33304576, episodic return=2353.424560546875\n", + "global step=33306624, episodic return=2424.135986328125\n", + "global step=33306624, episodic return=2464.482177734375\n", + "global step=33306624, episodic return=2406.8935546875\n", + "global step=33306624, episodic return=2476.88134765625\n", + "global step=33308672, episodic return=2410.170654296875\n", + "global step=33310720, episodic return=2436.533447265625\n", + "global step=33310720, episodic return=2325.55859375\n", + "global step=33312768, episodic return=2452.03076171875\n", + "global step=33314816, episodic return=1702.7728271484375\n", + "global step=33314816, episodic return=2415.09423828125\n", + "global step=33316864, episodic return=2378.967529296875\n", + "global step=33316864, episodic return=2430.447021484375\n", + "global step=33316864, episodic return=2417.844482421875\n", + "global step=33316864, episodic return=2431.6162109375\n", + "global step=33316864, episodic return=2452.76025390625\n", + "global step=33318912, episodic return=2428.3818359375\n", + "global step=33318912, episodic return=2403.288818359375\n", + "global step=33318912, episodic return=2395.022216796875\n", + "global step=33318912, episodic return=2361.55859375\n", + "global step=33320960, episodic return=2078.373291015625\n", + "global step=33323008, episodic return=2458.376220703125\n", + "global step=33323008, episodic return=2452.351806640625\n", + "global step=33323008, episodic return=2383.9912109375\n", + "global step=33323008, episodic return=2404.432373046875\n", + "global step=33323008, episodic return=2443.02685546875\n", + "global step=33325056, episodic return=2347.35302734375\n", + "global step=33325056, episodic return=2431.027587890625\n", + "global step=33325056, episodic return=2414.158935546875\n", + "global step=33325056, episodic return=67.47911834716797\n", + "global step=33325056, episodic return=2439.680419921875\n", + "global step=33327104, episodic return=2446.325927734375\n", + "global step=33327104, episodic return=807.683837890625\n", + "global step=33327104, episodic return=2392.565185546875\n", + "global step=33327104, episodic return=195.5393524169922\n", + "global step=33329152, episodic return=2444.44189453125\n", + "global step=33331200, episodic return=2405.6689453125\n", + "global step=33331200, episodic return=2086.212158203125\n", + "global step=33333248, episodic return=257.5594177246094\n", + "global step=33333248, episodic return=2430.057861328125\n", + "global step=33333248, episodic return=2362.5439453125\n", + "global step=33333248, episodic return=2411.682861328125\n", + "global step=33333248, episodic return=2458.268798828125\n", + "global step=33333248, episodic return=2249.378662109375\n", + "global step=33335296, episodic return=222.721435546875\n", + "global step=33335296, episodic return=2432.22998046875\n", + "global step=33335296, episodic return=2420.80029296875\n", + "global step=33339392, episodic return=2455.2216796875\n", + "global step=33339392, episodic return=2383.9326171875\n", + "global step=33339392, episodic return=2397.79931640625\n", + "global step=33341440, episodic return=2472.090576171875\n", + "global step=33341440, episodic return=2416.826416015625\n", + "global step=33343488, episodic return=2417.335693359375\n", + "global step=33345536, episodic return=2416.736572265625\n", + "global step=33345536, episodic return=2440.603759765625\n", + "global step=33345536, episodic return=2431.462890625\n", + "global step=33347584, episodic return=2436.53466796875\n", + "global step=33349632, episodic return=2418.625\n", + "global step=33351680, episodic return=2346.380126953125\n", + "global step=33353728, episodic return=2434.55224609375\n", + "global step=33353728, episodic return=2368.403564453125\n", + "global step=33355776, episodic return=2393.270751953125\n", + "global step=33355776, episodic return=2445.81494140625\n", + "global step=33357824, episodic return=2408.630126953125\n", + "global step=33357824, episodic return=2380.068359375\n", + "global step=33357824, episodic return=2427.501953125\n", + "global step=33361920, episodic return=2385.510009765625\n", + "global step=33361920, episodic return=2299.176513671875\n", + "global step=33361920, episodic return=2367.213623046875\n", + "global step=33366016, episodic return=2476.28271484375\n", + "global step=33366016, episodic return=2383.8564453125\n", + "global step=33366016, episodic return=2457.607666015625\n", + "global step=33370112, episodic return=2414.0224609375\n", + "global step=33372160, episodic return=2397.921630859375\n", + "global step=33372160, episodic return=2359.075439453125\n", + "global step=33374208, episodic return=2407.5810546875\n", + "global step=33374208, episodic return=2453.830322265625\n", + "global step=33376256, episodic return=2480.71875\n", + "global step=33376256, episodic return=2501.657470703125\n", + "global step=33376256, episodic return=181.119873046875\n", + "global step=33376256, episodic return=2424.873046875\n", + "global step=33378304, episodic return=2485.037109375\n", + "global step=33378304, episodic return=2417.513427734375\n", + "global step=33378304, episodic return=2476.315673828125\n", + "global step=33380352, episodic return=2467.01513671875\n", + "global step=33382400, episodic return=2449.24951171875\n", + "global step=33382400, episodic return=2398.159423828125\n", + "global step=33386496, episodic return=2373.92138671875\n", + "global step=33386496, episodic return=2456.09375\n", + "global step=33386496, episodic return=2331.44287109375\n", + "global step=33388544, episodic return=191.70986938476562\n", + "global step=33390592, episodic return=2448.09375\n", + "global step=33392640, episodic return=2388.854736328125\n", + "global step=33392640, episodic return=2386.929931640625\n", + "global step=33392640, episodic return=2449.15966796875\n", + "global step=33396736, episodic return=2436.7314453125\n", + "global step=33396736, episodic return=2449.803466796875\n", + "global step=33396736, episodic return=481.0108337402344\n", + "global step=33396736, episodic return=2458.559326171875\n", + "global step=33398784, episodic return=2406.43896484375\n", + "global step=33398784, episodic return=2449.1826171875\n", + "global step=33400832, episodic return=2370.360595703125\n", + "global step=33400832, episodic return=2291.819091796875\n", + "global step=33400832, episodic return=2515.486328125\n", + "global step=33400832, episodic return=169.70277404785156\n", + "global step=33402880, episodic return=2159.91259765625\n", + "global step=33402880, episodic return=2345.259521484375\n", + "global step=33404928, episodic return=2466.9228515625\n", + "global step=33404928, episodic return=2431.88818359375\n", + "global step=33404928, episodic return=2378.61083984375\n", + "global step=33404928, episodic return=2485.535888671875\n", + "global step=33406976, episodic return=2462.03662109375\n", + "global step=33406976, episodic return=2433.303955078125\n", + "global step=33406976, episodic return=2381.6220703125\n", + "global step=33406976, episodic return=2504.7412109375\n", + "global step=33409024, episodic return=2415.6875\n", + "global step=33409024, episodic return=2455.91552734375\n", + "global step=33411072, episodic return=238.0421600341797\n", + "global step=33411072, episodic return=192.3002166748047\n", + "global step=33411072, episodic return=2426.293701171875\n", + "global step=33413120, episodic return=2392.572998046875\n", + "global step=33413120, episodic return=2456.96240234375\n", + "global step=33415168, episodic return=2468.8056640625\n", + "global step=33415168, episodic return=2458.146484375\n", + "global step=33415168, episodic return=2425.27392578125\n", + "global step=33415168, episodic return=2374.111083984375\n", + "global step=33415168, episodic return=2169.416015625\n", + "global step=33415168, episodic return=2416.000244140625\n", + "global step=33417216, episodic return=2422.662841796875\n", + "global step=33417216, episodic return=378.3500061035156\n", + "global step=33419264, episodic return=2472.7861328125\n", + "global step=33419264, episodic return=502.5240783691406\n", + "global step=33421312, episodic return=2345.266357421875\n", + "global step=33423360, episodic return=2428.457275390625\n", + "global step=33423360, episodic return=491.7807922363281\n", + "global step=33423360, episodic return=2474.410888671875\n", + "global step=33425408, episodic return=2375.898681640625\n", + "global step=33425408, episodic return=332.7543640136719\n", + "global step=33425408, episodic return=2431.47802734375\n", + "global step=33425408, episodic return=2329.578125\n", + "global step=33427456, episodic return=2467.566162109375\n", + "global step=33427456, episodic return=2426.740478515625\n", + "global step=33429504, episodic return=2451.787353515625\n", + "global step=33429504, episodic return=2423.19287109375\n", + "global step=33431552, episodic return=2373.3828125\n", + "global step=33433600, episodic return=2447.612060546875\n", + "global step=33433600, episodic return=2487.42578125\n", + "global step=33435648, episodic return=2293.51025390625\n", + "global step=33437696, episodic return=2482.979736328125\n", + "global step=33437696, episodic return=2452.50244140625\n", + "global step=33441792, episodic return=2435.6259765625\n", + "global step=33443840, episodic return=2324.37841796875\n", + "global step=33445888, episodic return=2459.29833984375\n", + "global step=33445888, episodic return=216.6128387451172\n", + "global step=33447936, episodic return=2428.807861328125\n", + "global step=33447936, episodic return=2456.62548828125\n", + "global step=33447936, episodic return=2406.3369140625\n", + "global step=33449984, episodic return=421.1576232910156\n", + "global step=33449984, episodic return=2378.160888671875\n", + "global step=33449984, episodic return=2467.5390625\n", + "global step=33452032, episodic return=2400.72314453125\n", + "global step=33458176, episodic return=2422.69677734375\n", + "global step=33460224, episodic return=2461.065673828125\n", + "global step=33460224, episodic return=2434.54296875\n", + "global step=33460224, episodic return=2394.181396484375\n", + "global step=33460224, episodic return=40.70466613769531\n", + "global step=33462272, episodic return=2443.32763671875\n", + "global step=33462272, episodic return=2383.637939453125\n", + "global step=33462272, episodic return=2424.169189453125\n", + "global step=33464320, episodic return=2447.185546875\n", + "global step=33464320, episodic return=2435.88623046875\n", + "global step=33470464, episodic return=2476.133056640625\n", + "global step=33470464, episodic return=2434.893798828125\n", + "global step=33472512, episodic return=2454.250732421875\n", + "global step=33472512, episodic return=2419.668701171875\n", + "global step=33472512, episodic return=91.17793273925781\n", + "global step=33474560, episodic return=243.51095581054688\n", + "global step=33474560, episodic return=2456.474609375\n", + "global step=33476608, episodic return=2438.387939453125\n", + "global step=33476608, episodic return=2373.482177734375\n", + "global step=33476608, episodic return=2347.802734375\n", + "global step=33476608, episodic return=2410.449951171875\n", + "global step=33476608, episodic return=2460.645263671875\n", + "global step=33478656, episodic return=2457.078369140625\n", + "global step=33478656, episodic return=2425.148681640625\n", + "global step=33482752, episodic return=2425.464599609375\n", + "global step=33482752, episodic return=2434.783203125\n", + "global step=33484800, episodic return=1836.118408203125\n", + "global step=33484800, episodic return=2447.52880859375\n", + "global step=33486848, episodic return=2413.034912109375\n", + "global step=33486848, episodic return=2384.11279296875\n", + "global step=33486848, episodic return=2432.3779296875\n", + "global step=33486848, episodic return=2406.27734375\n", + "global step=33488896, episodic return=172.56521606445312\n", + "global step=33488896, episodic return=2458.714599609375\n", + "global step=33488896, episodic return=2399.009033203125\n", + "global step=33490944, episodic return=2450.876220703125\n", + "global step=33495040, episodic return=2379.224853515625\n", + "global step=33495040, episodic return=2443.966552734375\n", + "global step=33495040, episodic return=2453.713623046875\n", + "global step=33495040, episodic return=2431.1240234375\n", + "global step=33495040, episodic return=2380.223876953125\n", + "global step=33495040, episodic return=2422.601806640625\n", + "global step=33497088, episodic return=2424.415283203125\n", + "global step=33497088, episodic return=2467.21728515625\n", + "global step=33497088, episodic return=2400.955322265625\n", + "global step=33505280, episodic return=2412.463623046875\n", + "global step=33505280, episodic return=963.5179443359375\n", + "global step=33507328, episodic return=2434.368896484375\n", + "global step=33507328, episodic return=2431.85791015625\n", + "global step=33507328, episodic return=2422.53564453125\n", + "global step=33509376, episodic return=2472.178466796875\n", + "global step=33511424, episodic return=2444.309814453125\n", + "global step=33513472, episodic return=2464.32177734375\n", + "global step=33513472, episodic return=2424.8125\n", + "global step=33515520, episodic return=2453.212890625\n", + "global step=33515520, episodic return=2293.891357421875\n", + "global step=33515520, episodic return=2466.229736328125\n", + "global step=33515520, episodic return=2423.560302734375\n", + "global step=33517568, episodic return=2022.2630615234375\n", + "global step=33517568, episodic return=2449.5234375\n", + "global step=33517568, episodic return=296.0702209472656\n", + "global step=33517568, episodic return=2413.94580078125\n", + "global step=33519616, episodic return=2460.043701171875\n", + "global step=33521664, episodic return=2381.29296875\n", + "global step=33521664, episodic return=2435.883544921875\n", + "global step=33521664, episodic return=2419.294921875\n", + "global step=33523712, episodic return=2437.484375\n", + "global step=33525760, episodic return=2420.717041015625\n", + "global step=33527808, episodic return=2416.816162109375\n", + "global step=33527808, episodic return=2414.974609375\n", + "global step=33527808, episodic return=2397.2587890625\n", + "global step=33529856, episodic return=2335.96240234375\n", + "global step=33529856, episodic return=2437.469970703125\n", + "global step=33529856, episodic return=2411.527099609375\n", + "global step=33531904, episodic return=2407.343017578125\n", + "global step=33531904, episodic return=2369.76171875\n", + "global step=33531904, episodic return=2415.6953125\n", + "global step=33533952, episodic return=2492.89794921875\n", + "global step=33536000, episodic return=2454.938232421875\n", + "global step=33536000, episodic return=2434.773681640625\n", + "global step=33536000, episodic return=2425.52294921875\n", + "global step=33536000, episodic return=2415.02490234375\n", + "global step=33536000, episodic return=2477.859375\n", + "global step=33536000, episodic return=2455.943603515625\n", + "global step=33538048, episodic return=537.5497436523438\n", + "global step=33538048, episodic return=2410.234130859375\n", + "global step=33538048, episodic return=2336.474609375\n", + "global step=33538048, episodic return=2476.22021484375\n", + "global step=33540096, episodic return=2346.198974609375\n", + "global step=33540096, episodic return=2434.331298828125\n", + "global step=33540096, episodic return=2441.20751953125\n", + "global step=33540096, episodic return=2446.01416015625\n", + "global step=33540096, episodic return=104.31771850585938\n", + "global step=33542144, episodic return=2468.278564453125\n", + "global step=33542144, episodic return=2355.9130859375\n", + "global step=33542144, episodic return=2288.1865234375\n", + "global step=33546240, episodic return=2444.739501953125\n", + "global step=33546240, episodic return=2456.073974609375\n", + "global step=33550336, episodic return=409.21783447265625\n", + "global step=33550336, episodic return=2463.162353515625\n", + "global step=33552384, episodic return=2417.50830078125\n", + "global step=33552384, episodic return=2449.993896484375\n", + "global step=33552384, episodic return=2414.28271484375\n", + "global step=33552384, episodic return=2388.4150390625\n", + "global step=33554432, episodic return=2453.0537109375\n", + "global step=33556480, episodic return=2443.157958984375\n", + "global step=33556480, episodic return=2441.32421875\n", + "global step=33556480, episodic return=2408.760498046875\n", + "global step=33556480, episodic return=2461.697998046875\n", + "global step=33560576, episodic return=2447.86474609375\n", + "global step=33560576, episodic return=2386.66162109375\n", + "global step=33564672, episodic return=2417.563232421875\n", + "global step=33564672, episodic return=2408.61669921875\n", + "global step=33564672, episodic return=2448.05224609375\n", + "global step=33566720, episodic return=2380.647705078125\n", + "global step=33566720, episodic return=2424.988037109375\n", + "global step=33566720, episodic return=2383.447265625\n", + "global step=33566720, episodic return=2427.487548828125\n", + "global step=33566720, episodic return=2474.96923828125\n", + "global step=33566720, episodic return=2416.28564453125\n", + "global step=33568768, episodic return=2450.95166015625\n", + "global step=33568768, episodic return=2413.7138671875\n", + "global step=33568768, episodic return=2385.210693359375\n", + "global step=33570816, episodic return=2397.25\n", + "global step=33570816, episodic return=247.3019561767578\n", + "global step=33570816, episodic return=2452.5966796875\n", + "global step=33570816, episodic return=2441.00390625\n", + "global step=33572864, episodic return=2409.192626953125\n", + "global step=33572864, episodic return=2416.7958984375\n", + "global step=33572864, episodic return=68.08740997314453\n", + "global step=33572864, episodic return=2394.50830078125\n", + "global step=33572864, episodic return=2368.163818359375\n", + "global step=33574912, episodic return=2408.080810546875\n", + "global step=33574912, episodic return=2437.065673828125\n", + "global step=33574912, episodic return=29.424022674560547\n", + "global step=33576960, episodic return=29.479948043823242\n", + "global step=33579008, episodic return=2457.08056640625\n", + "global step=33579008, episodic return=2344.14013671875\n", + "global step=33581056, episodic return=2357.83154296875\n", + "global step=33581056, episodic return=2440.4228515625\n", + "global step=33581056, episodic return=2391.814453125\n", + "global step=33583104, episodic return=2430.5419921875\n", + "global step=33583104, episodic return=2426.50537109375\n", + "global step=33585152, episodic return=2414.66455078125\n", + "global step=33585152, episodic return=2420.441650390625\n", + "global step=33585152, episodic return=2394.9091796875\n", + "global step=33587200, episodic return=1343.70849609375\n", + "global step=33587200, episodic return=2391.391357421875\n", + "global step=33587200, episodic return=2441.469482421875\n", + "global step=33589248, episodic return=2431.12548828125\n", + "global step=33589248, episodic return=2409.167236328125\n", + "global step=33589248, episodic return=2412.267578125\n", + "global step=33589248, episodic return=2430.9228515625\n", + "global step=33589248, episodic return=2400.797119140625\n", + "global step=33589248, episodic return=2426.662109375\n", + "global step=33589248, episodic return=2433.4375\n", + "global step=33591296, episodic return=2253.89794921875\n", + "global step=33591296, episodic return=2402.353271484375\n", + "global step=33593344, episodic return=2405.589599609375\n", + "global step=33593344, episodic return=2388.76904296875\n", + "global step=33595392, episodic return=111.93109893798828\n", + "global step=33595392, episodic return=2420.6943359375\n", + "global step=33595392, episodic return=202.54954528808594\n", + "global step=33597440, episodic return=151.001708984375\n", + "global step=33597440, episodic return=2420.271484375\n", + "global step=33597440, episodic return=210.56787109375\n", + "global step=33597440, episodic return=2424.04736328125\n", + "global step=33597440, episodic return=2396.193115234375\n", + "global step=33599488, episodic return=31.959123611450195\n", + "global step=33601536, episodic return=2419.018310546875\n", + "global step=33601536, episodic return=2395.935546875\n", + "global step=33601536, episodic return=2436.091552734375\n", + "global step=33603584, episodic return=95.33486938476562\n", + "global step=33605632, episodic return=2392.546630859375\n", + "global step=33605632, episodic return=2358.546875\n", + "global step=33605632, episodic return=2445.71435546875\n", + "global step=33607680, episodic return=2426.7998046875\n", + "global step=33607680, episodic return=2396.407958984375\n", + "global step=33607680, episodic return=2447.7958984375\n", + "global step=33609728, episodic return=2369.29931640625\n", + "global step=33609728, episodic return=2434.25390625\n", + "global step=33611776, episodic return=2428.4443359375\n", + "global step=33611776, episodic return=2418.324951171875\n", + "global step=33613824, episodic return=2435.537109375\n", + "global step=33615872, episodic return=2417.922119140625\n", + "global step=33615872, episodic return=2425.04296875\n", + "global step=33615872, episodic return=2466.71435546875\n", + "global step=33615872, episodic return=2467.13818359375\n", + "global step=33617920, episodic return=2406.112548828125\n", + "global step=33619968, episodic return=2461.907470703125\n", + "global step=33619968, episodic return=2435.0771484375\n", + "global step=33619968, episodic return=2415.089599609375\n", + "global step=33622016, episodic return=2375.009033203125\n", + "global step=33624064, episodic return=2418.010009765625\n", + "global step=33624064, episodic return=2494.85546875\n", + "global step=33624064, episodic return=2439.474609375\n", + "global step=33626112, episodic return=51.823875427246094\n", + "global step=33628160, episodic return=2410.956298828125\n", + "global step=33630208, episodic return=66.81336975097656\n", + "global step=33630208, episodic return=25.87221336364746\n", + "global step=33632256, episodic return=2423.219970703125\n", + "global step=33634304, episodic return=2405.337158203125\n", + "global step=33634304, episodic return=2406.507080078125\n", + "global step=33634304, episodic return=2375.697509765625\n", + "global step=33634304, episodic return=2383.751708984375\n", + "global step=33634304, episodic return=1881.512451171875\n", + "global step=33636352, episodic return=2450.212158203125\n", + "global step=33638400, episodic return=2432.967041015625\n", + "global step=33638400, episodic return=2408.5380859375\n", + "global step=33640448, episodic return=2431.4345703125\n", + "global step=33642496, episodic return=2427.53076171875\n", + "global step=33642496, episodic return=2423.896240234375\n", + "global step=33642496, episodic return=784.1058349609375\n", + "global step=33642496, episodic return=2393.602783203125\n", + "global step=33644544, episodic return=2458.007080078125\n", + "global step=33644544, episodic return=2389.53125\n", + "global step=33644544, episodic return=2350.60205078125\n", + "global step=33646592, episodic return=2448.7841796875\n", + "global step=33646592, episodic return=246.37953186035156\n", + "global step=33648640, episodic return=2437.3662109375\n", + "global step=33650688, episodic return=2395.42919921875\n", + "global step=33650688, episodic return=2454.72802734375\n", + "global step=33650688, episodic return=2382.990966796875\n", + "global step=33650688, episodic return=2445.025634765625\n", + "global step=33652736, episodic return=2470.435302734375\n", + "global step=33652736, episodic return=2440.318359375\n", + "global step=33654784, episodic return=2449.286865234375\n", + "global step=33654784, episodic return=2515.65966796875\n", + "global step=33654784, episodic return=2430.422607421875\n", + "global step=33654784, episodic return=256.4248352050781\n", + "global step=33656832, episodic return=2074.825927734375\n", + "global step=33660928, episodic return=2448.239013671875\n", + "global step=33660928, episodic return=2400.40625\n", + "global step=33660928, episodic return=2420.8017578125\n", + "global step=33660928, episodic return=2389.1630859375\n", + "global step=33660928, episodic return=2471.859619140625\n", + "global step=33665024, episodic return=2432.3583984375\n", + "global step=33667072, episodic return=2481.02197265625\n", + "global step=33669120, episodic return=2340.33740234375\n", + "global step=33669120, episodic return=127.95854187011719\n", + "global step=33669120, episodic return=2225.4892578125\n", + "global step=33671168, episodic return=2430.504638671875\n", + "global step=33673216, episodic return=2473.43310546875\n", + "global step=33673216, episodic return=2409.168701171875\n", + "global step=33673216, episodic return=2472.67333984375\n", + "global step=33675264, episodic return=2481.27880859375\n", + "global step=33675264, episodic return=2413.489990234375\n", + "global step=33677312, episodic return=2437.871337890625\n", + "global step=33679360, episodic return=2372.8173828125\n", + "global step=33679360, episodic return=2391.148193359375\n", + "global step=33681408, episodic return=2355.42431640625\n", + "global step=33681408, episodic return=2430.322265625\n", + "global step=33681408, episodic return=2413.509521484375\n", + "global step=33683456, episodic return=2448.7392578125\n", + "global step=33683456, episodic return=189.7144775390625\n", + "global step=33685504, episodic return=1273.17578125\n", + "global step=33685504, episodic return=2383.955322265625\n", + "global step=33685504, episodic return=2397.16552734375\n", + "global step=33685504, episodic return=2380.01171875\n", + "global step=33691648, episodic return=2457.86474609375\n", + "global step=33691648, episodic return=2459.65869140625\n", + "global step=33691648, episodic return=2430.14453125\n", + "global step=33693696, episodic return=2326.4052734375\n", + "global step=33695744, episodic return=2423.98046875\n", + "global step=33695744, episodic return=1301.3441162109375\n", + "global step=33695744, episodic return=2445.018310546875\n", + "global step=33697792, episodic return=1184.984619140625\n", + "global step=33699840, episodic return=2429.314697265625\n", + "global step=33699840, episodic return=2235.494384765625\n", + "global step=33701888, episodic return=2322.399169921875\n", + "global step=33701888, episodic return=2365.79248046875\n", + "global step=33701888, episodic return=2441.593994140625\n", + "global step=33703936, episodic return=2425.9306640625\n", + "global step=33703936, episodic return=2417.8359375\n", + "global step=33703936, episodic return=2463.554931640625\n", + "global step=33705984, episodic return=2449.153076171875\n", + "global step=33708032, episodic return=2344.45751953125\n", + "global step=33708032, episodic return=2411.178955078125\n", + "global step=33708032, episodic return=2473.28564453125\n", + "global step=33710080, episodic return=2386.986572265625\n", + "global step=33710080, episodic return=1449.50146484375\n", + "global step=33710080, episodic return=2444.92041015625\n", + "global step=33712128, episodic return=2477.64404296875\n", + "global step=33714176, episodic return=2405.2978515625\n", + "global step=33714176, episodic return=2424.271240234375\n", + "global step=33716224, episodic return=2456.154052734375\n", + "global step=33716224, episodic return=2414.01416015625\n", + "global step=33716224, episodic return=2399.82421875\n", + "global step=33718272, episodic return=2378.14404296875\n", + "global step=33718272, episodic return=2373.942626953125\n", + "global step=33718272, episodic return=2162.991455078125\n", + "global step=33720320, episodic return=2448.74658203125\n", + "global step=33722368, episodic return=2388.24609375\n", + "global step=33722368, episodic return=2456.002685546875\n", + "global step=33722368, episodic return=2492.77294921875\n", + "global step=33722368, episodic return=2372.198974609375\n", + "global step=33722368, episodic return=2352.066650390625\n", + "global step=33722368, episodic return=2452.559326171875\n", + "global step=33722368, episodic return=2337.477783203125\n", + "global step=33722368, episodic return=2406.849609375\n", + "global step=33722368, episodic return=177.40216064453125\n", + "global step=33724416, episodic return=2447.187744140625\n", + "global step=33726464, episodic return=32.768795013427734\n", + "global step=33726464, episodic return=2423.778564453125\n", + "global step=33726464, episodic return=2474.056884765625\n", + "global step=33728512, episodic return=2431.927490234375\n", + "global step=33728512, episodic return=2414.08203125\n", + "global step=33728512, episodic return=2473.78759765625\n", + "global step=33728512, episodic return=184.54920959472656\n", + "global step=33730560, episodic return=2381.287353515625\n", + "global step=33730560, episodic return=2420.2666015625\n", + "global step=33736704, episodic return=2405.90283203125\n", + "global step=33738752, episodic return=2404.100830078125\n", + "global step=33738752, episodic return=2452.061279296875\n", + "global step=33738752, episodic return=2406.5810546875\n", + "global step=33738752, episodic return=2431.808837890625\n", + "global step=33738752, episodic return=2411.886474609375\n", + "global step=33740800, episodic return=2424.979736328125\n", + "global step=33740800, episodic return=127.35258483886719\n", + "global step=33740800, episodic return=2418.92724609375\n", + "global step=33742848, episodic return=2481.881591796875\n", + "global step=33742848, episodic return=2432.549072265625\n", + "global step=33742848, episodic return=896.7288208007812\n", + "global step=33742848, episodic return=2432.74560546875\n", + "global step=33744896, episodic return=2382.445068359375\n", + "global step=33744896, episodic return=2394.15625\n", + "global step=33744896, episodic return=2422.1796875\n", + "global step=33744896, episodic return=2364.9716796875\n", + "global step=33744896, episodic return=192.37339782714844\n", + "global step=33746944, episodic return=2451.072265625\n", + "global step=33748992, episodic return=2379.039306640625\n", + "global step=33748992, episodic return=2387.653564453125\n", + "global step=33751040, episodic return=899.4835815429688\n", + "global step=33751040, episodic return=2348.092041015625\n", + "global step=33751040, episodic return=2183.72998046875\n", + "global step=33751040, episodic return=2422.984619140625\n", + "global step=33751040, episodic return=2458.616943359375\n", + "global step=33753088, episodic return=2367.31591796875\n", + "global step=33753088, episodic return=2365.79345703125\n", + "global step=33753088, episodic return=2370.76416015625\n", + "global step=33757184, episodic return=2367.274169921875\n", + "global step=33759232, episodic return=2425.574462890625\n", + "global step=33759232, episodic return=2419.759033203125\n", + "global step=33761280, episodic return=48.1115608215332\n", + "global step=33763328, episodic return=2365.93359375\n", + "global step=33763328, episodic return=2464.40283203125\n", + "global step=33763328, episodic return=1114.123779296875\n", + "global step=33769472, episodic return=2431.25732421875\n", + "global step=33769472, episodic return=2425.358154296875\n", + "global step=33769472, episodic return=343.7705078125\n", + "global step=33771520, episodic return=196.10910034179688\n", + "global step=33773568, episodic return=2192.640380859375\n", + "global step=33775616, episodic return=2471.010009765625\n", + "global step=33777664, episodic return=2365.579833984375\n", + "global step=33777664, episodic return=589.5357055664062\n", + "global step=33777664, episodic return=2456.22412109375\n", + "global step=33779712, episodic return=2359.489501953125\n", + "global step=33781760, episodic return=2345.59912109375\n", + "global step=33781760, episodic return=1870.9874267578125\n", + "global step=33781760, episodic return=2428.616455078125\n", + "global step=33783808, episodic return=2416.851318359375\n", + "global step=33783808, episodic return=2438.62353515625\n", + "global step=33783808, episodic return=2442.493408203125\n", + "global step=33785856, episodic return=2400.989990234375\n", + "global step=33785856, episodic return=2398.38916015625\n", + "global step=33787904, episodic return=2437.58349609375\n", + "global step=33787904, episodic return=2437.328857421875\n", + "global step=33787904, episodic return=2427.333740234375\n", + "global step=33787904, episodic return=2457.4638671875\n", + "global step=33787904, episodic return=2445.496826171875\n", + "global step=33787904, episodic return=2427.814208984375\n", + "global step=33789952, episodic return=288.05401611328125\n", + "global step=33789952, episodic return=2439.162109375\n", + "global step=33789952, episodic return=1373.7362060546875\n", + "global step=33792000, episodic return=2463.673583984375\n", + "global step=33792000, episodic return=2413.7646484375\n", + "global step=33794048, episodic return=2419.45849609375\n", + "global step=33794048, episodic return=891.3104248046875\n", + "global step=33794048, episodic return=2381.448486328125\n", + "global step=33794048, episodic return=2405.010498046875\n", + "global step=33796096, episodic return=2303.073486328125\n", + "global step=33796096, episodic return=2453.34814453125\n", + "global step=33796096, episodic return=2446.331787109375\n", + "global step=33798144, episodic return=2472.98388671875\n", + "global step=33798144, episodic return=2403.84228515625\n", + "global step=33800192, episodic return=2418.7919921875\n", + "global step=33802240, episodic return=2439.5673828125\n", + "global step=33802240, episodic return=2489.880859375\n", + "global step=33804288, episodic return=2397.664794921875\n", + "global step=33804288, episodic return=2409.22705078125\n", + "global step=33804288, episodic return=2395.12841796875\n", + "global step=33804288, episodic return=2056.779052734375\n", + "global step=33808384, episodic return=2298.34521484375\n", + "global step=33808384, episodic return=2443.27880859375\n", + "global step=33808384, episodic return=2447.91162109375\n", + "global step=33808384, episodic return=163.14175415039062\n", + "global step=33810432, episodic return=2474.36669921875\n", + "global step=33810432, episodic return=2173.841064453125\n", + "global step=33812480, episodic return=2410.7041015625\n", + "global step=33814528, episodic return=2388.9326171875\n", + "global step=33814528, episodic return=2403.827880859375\n", + "global step=33816576, episodic return=2402.642333984375\n", + "global step=33816576, episodic return=2453.069091796875\n", + "global step=33818624, episodic return=2385.927978515625\n", + "global step=33818624, episodic return=163.5872344970703\n", + "global step=33818624, episodic return=2443.421142578125\n", + "global step=33818624, episodic return=2340.80419921875\n", + "global step=33820672, episodic return=2430.33447265625\n", + "global step=33820672, episodic return=1847.613525390625\n", + "global step=33820672, episodic return=2464.789794921875\n", + "global step=33822720, episodic return=2408.962646484375\n", + "global step=33822720, episodic return=2401.701904296875\n", + "global step=33824768, episodic return=886.23095703125\n", + "global step=33824768, episodic return=2442.340087890625\n", + "global step=33824768, episodic return=347.998046875\n", + "global step=33826816, episodic return=336.6977844238281\n", + "global step=33826816, episodic return=1168.0438232421875\n", + "global step=33826816, episodic return=1583.5858154296875\n", + "global step=33828864, episodic return=2474.377197265625\n", + "global step=33832960, episodic return=2049.45458984375\n", + "global step=33835008, episodic return=1802.373291015625\n", + "global step=33835008, episodic return=2308.163818359375\n", + "global step=33835008, episodic return=2418.652587890625\n", + "global step=33837056, episodic return=2391.571533203125\n", + "global step=33837056, episodic return=1096.530029296875\n", + "global step=33839104, episodic return=2493.740234375\n", + "global step=33839104, episodic return=2402.951171875\n", + "global step=33839104, episodic return=2461.980712890625\n", + "global step=33841152, episodic return=2458.3447265625\n", + "global step=33841152, episodic return=1726.619384765625\n", + "global step=33841152, episodic return=2375.36279296875\n", + "global step=33843200, episodic return=1639.1116943359375\n", + "global step=33843200, episodic return=988.448486328125\n", + "global step=33845248, episodic return=1954.2364501953125\n", + "global step=33845248, episodic return=2408.694580078125\n", + "global step=33845248, episodic return=2425.271240234375\n", + "global step=33847296, episodic return=2453.717529296875\n", + "global step=33847296, episodic return=1413.765625\n", + "global step=33849344, episodic return=2443.786865234375\n", + "global step=33851392, episodic return=214.94125366210938\n", + "global step=33851392, episodic return=2432.049072265625\n", + "global step=33853440, episodic return=2374.13671875\n", + "global step=33853440, episodic return=2416.5859375\n", + "global step=33855488, episodic return=2465.5830078125\n", + "global step=33855488, episodic return=2414.164306640625\n", + "global step=33855488, episodic return=581.1871337890625\n", + "global step=33855488, episodic return=1811.278076171875\n", + "global step=33857536, episodic return=2416.57763671875\n", + "global step=33863680, episodic return=2404.6552734375\n", + "global step=33863680, episodic return=2457.620849609375\n", + "global step=33863680, episodic return=2442.251708984375\n", + "global step=33867776, episodic return=2421.033447265625\n", + "global step=33867776, episodic return=2077.302978515625\n", + "global step=33869824, episodic return=2425.1982421875\n", + "global step=33869824, episodic return=227.142822265625\n", + "global step=33871872, episodic return=2411.96630859375\n", + "global step=33871872, episodic return=2422.265869140625\n", + "global step=33871872, episodic return=964.9466552734375\n", + "global step=33873920, episodic return=2410.388916015625\n", + "global step=33873920, episodic return=2462.309326171875\n", + "global step=33873920, episodic return=2421.90673828125\n", + "global step=33875968, episodic return=2458.06396484375\n", + "global step=33875968, episodic return=1910.112060546875\n", + "global step=33875968, episodic return=2396.290283203125\n", + "global step=33875968, episodic return=2467.765869140625\n", + "global step=33878016, episodic return=2435.64697265625\n", + "global step=33878016, episodic return=2365.025634765625\n", + "global step=33878016, episodic return=1609.382568359375\n", + "global step=33878016, episodic return=2471.184326171875\n", + "global step=33880064, episodic return=2449.1650390625\n", + "global step=33880064, episodic return=2455.1220703125\n", + "global step=33884160, episodic return=2415.360107421875\n", + "global step=33884160, episodic return=2423.51806640625\n", + "global step=33886208, episodic return=2335.195556640625\n", + "global step=33886208, episodic return=2452.9990234375\n", + "global step=33886208, episodic return=2437.9375\n", + "global step=33888256, episodic return=2397.814453125\n", + "global step=33888256, episodic return=2376.7080078125\n", + "global step=33888256, episodic return=2439.010009765625\n", + "global step=33888256, episodic return=1150.4993896484375\n", + "global step=33890304, episodic return=2469.680419921875\n", + "global step=33894400, episodic return=2415.7685546875\n", + "global step=33894400, episodic return=2500.687255859375\n", + "global step=33894400, episodic return=2405.6015625\n", + "global step=33894400, episodic return=2435.079345703125\n", + "global step=33896448, episodic return=2455.863525390625\n", + "global step=33896448, episodic return=2420.402587890625\n", + "global step=33896448, episodic return=1994.1866455078125\n", + "global step=33896448, episodic return=2453.694091796875\n", + "global step=33896448, episodic return=1368.8746337890625\n", + "global step=33896448, episodic return=2384.105224609375\n", + "global step=33898496, episodic return=2457.08056640625\n", + "global step=33898496, episodic return=2415.371826171875\n", + "global step=33900544, episodic return=2417.882080078125\n", + "global step=33902592, episodic return=2398.037841796875\n", + "global step=33902592, episodic return=2417.5869140625\n", + "global step=33902592, episodic return=2477.3681640625\n", + "global step=33904640, episodic return=2386.19921875\n", + "global step=33906688, episodic return=2469.305908203125\n", + "global step=33906688, episodic return=2408.33203125\n", + "global step=33906688, episodic return=1961.15478515625\n", + "global step=33906688, episodic return=2459.00927734375\n", + "global step=33906688, episodic return=1549.2493896484375\n", + "global step=33908736, episodic return=2490.43310546875\n", + "global step=33910784, episodic return=2449.522705078125\n", + "global step=33910784, episodic return=2421.791015625\n", + "global step=33912832, episodic return=2417.082275390625\n", + "global step=33912832, episodic return=2442.67822265625\n", + "global step=33912832, episodic return=2399.743896484375\n", + "global step=33914880, episodic return=2406.73974609375\n", + "global step=33914880, episodic return=1765.4345703125\n", + "global step=33916928, episodic return=2162.982421875\n", + "global step=33918976, episodic return=2413.42529296875\n", + "global step=33918976, episodic return=2486.801513671875\n", + "global step=33921024, episodic return=1588.7392578125\n", + "global step=33923072, episodic return=1858.142578125\n", + "global step=33923072, episodic return=2424.46044921875\n", + "global step=33923072, episodic return=1949.2049560546875\n", + "global step=33923072, episodic return=2361.753173828125\n", + "global step=33925120, episodic return=2392.85693359375\n", + "global step=33925120, episodic return=2400.209716796875\n", + "global step=33927168, episodic return=2401.493896484375\n", + "global step=33927168, episodic return=2449.70654296875\n", + "global step=33927168, episodic return=2423.97509765625\n", + "global step=33927168, episodic return=2408.247314453125\n", + "global step=33929216, episodic return=2400.083984375\n", + "global step=33929216, episodic return=2460.4072265625\n", + "global step=33929216, episodic return=2391.050048828125\n", + "global step=33929216, episodic return=2454.65087890625\n", + "global step=33929216, episodic return=2460.57470703125\n", + "global step=33929216, episodic return=2395.7783203125\n", + "global step=33931264, episodic return=2405.368896484375\n", + "global step=33931264, episodic return=2436.387939453125\n", + "global step=33931264, episodic return=2225.322265625\n", + "global step=33931264, episodic return=2473.358154296875\n", + "global step=33933312, episodic return=1917.4049072265625\n", + "global step=33933312, episodic return=2364.65234375\n", + "global step=33935360, episodic return=2457.00732421875\n", + "global step=33935360, episodic return=2480.419921875\n", + "global step=33935360, episodic return=2441.995849609375\n", + "global step=33937408, episodic return=2478.86083984375\n", + "global step=33937408, episodic return=2402.702880859375\n", + "global step=33937408, episodic return=2417.246826171875\n", + "global step=33939456, episodic return=2407.23486328125\n", + "global step=33939456, episodic return=2422.368408203125\n", + "global step=33939456, episodic return=1136.8804931640625\n", + "global step=33939456, episodic return=2430.08349609375\n", + "global step=33939456, episodic return=2428.146240234375\n", + "global step=33941504, episodic return=2448.265869140625\n", + "global step=33941504, episodic return=2442.965087890625\n", + "global step=33941504, episodic return=2398.2353515625\n", + "global step=33941504, episodic return=2405.788818359375\n", + "global step=33943552, episodic return=1757.227783203125\n", + "global step=33943552, episodic return=2399.87158203125\n", + "global step=33945600, episodic return=2376.7119140625\n", + "global step=33945600, episodic return=2392.041015625\n", + "global step=33947648, episodic return=2495.499267578125\n", + "global step=33949696, episodic return=2472.3916015625\n", + "global step=33949696, episodic return=2445.7255859375\n", + "global step=33949696, episodic return=2447.0791015625\n", + "global step=33949696, episodic return=199.57508850097656\n", + "global step=33951744, episodic return=2432.248779296875\n", + "global step=33951744, episodic return=2415.740478515625\n", + "global step=33953792, episodic return=2470.795166015625\n", + "global step=33953792, episodic return=626.0601196289062\n", + "global step=33953792, episodic return=2452.231201171875\n", + "global step=33955840, episodic return=2391.318603515625\n", + "global step=33955840, episodic return=2462.054443359375\n", + "global step=33957888, episodic return=2293.473388671875\n", + "global step=33957888, episodic return=2434.71435546875\n", + "global step=33957888, episodic return=2401.038818359375\n", + "global step=33957888, episodic return=1852.758544921875\n", + "global step=33959936, episodic return=2362.77978515625\n", + "global step=33959936, episodic return=2422.20654296875\n", + "global step=33959936, episodic return=2480.9462890625\n", + "global step=33964032, episodic return=2421.716552734375\n", + "global step=33964032, episodic return=2458.30419921875\n", + "global step=33964032, episodic return=1951.962646484375\n", + "global step=33964032, episodic return=2429.4921875\n", + "global step=33964032, episodic return=2393.42724609375\n", + "global step=33966080, episodic return=2433.90576171875\n", + "global step=33966080, episodic return=2381.771240234375\n", + "global step=33968128, episodic return=19.07405662536621\n", + "global step=33972224, episodic return=2447.556396484375\n", + "global step=33972224, episodic return=2396.999755859375\n", + "global step=33974272, episodic return=194.3535614013672\n", + "global step=33974272, episodic return=2429.4384765625\n", + "global step=33974272, episodic return=2446.112060546875\n", + "global step=33974272, episodic return=2409.987060546875\n", + "global step=33976320, episodic return=2435.52392578125\n", + "global step=33978368, episodic return=2481.704833984375\n", + "global step=33978368, episodic return=2432.623046875\n", + "global step=33978368, episodic return=2435.84375\n", + "global step=33980416, episodic return=2445.343994140625\n", + "global step=33982464, episodic return=2370.976318359375\n", + "global step=33982464, episodic return=2449.003662109375\n", + "global step=33982464, episodic return=2496.946044921875\n", + "global step=33982464, episodic return=2307.71044921875\n", + "global step=33984512, episodic return=2396.20703125\n", + "global step=33986560, episodic return=2395.1181640625\n", + "global step=33986560, episodic return=2453.551025390625\n", + "global step=33990656, episodic return=2430.84228515625\n", + "global step=33990656, episodic return=2454.0302734375\n", + "global step=33990656, episodic return=2377.265869140625\n", + "global step=33996800, episodic return=2457.639892578125\n", + "global step=33998848, episodic return=2405.765869140625\n", + "global step=34000896, episodic return=2419.783203125\n", + "global step=34000896, episodic return=2406.986083984375\n", + "global step=34000896, episodic return=2350.84521484375\n", + "global step=34004992, episodic return=1400.037109375\n", + "global step=34007040, episodic return=2330.144775390625\n", + "global step=34007040, episodic return=2377.6298828125\n", + "global step=34007040, episodic return=2434.561767578125\n", + "global step=34009088, episodic return=2407.25732421875\n", + "global step=34009088, episodic return=2437.572021484375\n", + "global step=34009088, episodic return=2417.530029296875\n", + "global step=34011136, episodic return=2428.02734375\n", + "global step=34011136, episodic return=2425.34423828125\n", + "global step=34011136, episodic return=2458.588623046875\n", + "global step=34011136, episodic return=2413.370361328125\n", + "global step=34013184, episodic return=350.27899169921875\n", + "global step=34013184, episodic return=2488.997802734375\n", + "global step=34015232, episodic return=2411.571044921875\n", + "global step=34015232, episodic return=2466.692138671875\n", + "global step=34019328, episodic return=2497.637939453125\n", + "global step=34019328, episodic return=697.7561645507812\n", + "global step=34019328, episodic return=2406.13720703125\n", + "global step=34019328, episodic return=2425.497314453125\n", + "global step=34021376, episodic return=2385.631103515625\n", + "global step=34021376, episodic return=2409.521240234375\n", + "global step=34021376, episodic return=2445.638916015625\n", + "global step=34023424, episodic return=2514.205078125\n", + "global step=34023424, episodic return=2459.33837890625\n", + "global step=34027520, episodic return=2454.416015625\n", + "global step=34027520, episodic return=2410.380615234375\n", + "global step=34029568, episodic return=2181.66455078125\n", + "global step=34029568, episodic return=2385.20458984375\n", + "global step=34031616, episodic return=2429.815185546875\n", + "global step=34033664, episodic return=2072.94921875\n", + "global step=34033664, episodic return=343.38623046875\n", + "global step=34033664, episodic return=2392.981689453125\n", + "global step=34035712, episodic return=2391.1611328125\n", + "global step=34037760, episodic return=2402.828857421875\n", + "global step=34039808, episodic return=2389.089599609375\n", + "global step=34039808, episodic return=2368.096435546875\n", + "global step=34039808, episodic return=2434.104736328125\n", + "global step=34041856, episodic return=2406.814208984375\n", + "global step=34041856, episodic return=2492.9072265625\n", + "global step=34043904, episodic return=2428.12353515625\n", + "global step=34043904, episodic return=2460.949951171875\n", + "global step=34043904, episodic return=1361.3465576171875\n", + "global step=34043904, episodic return=645.2915649414062\n", + "global step=34043904, episodic return=2468.417724609375\n", + "global step=34043904, episodic return=2444.887939453125\n", + "global step=34045952, episodic return=1743.3160400390625\n", + "global step=34045952, episodic return=2492.739013671875\n", + "global step=34054144, episodic return=1685.1407470703125\n", + "global step=34054144, episodic return=45.75029754638672\n", + "global step=34054144, episodic return=2461.12744140625\n", + "global step=34056192, episodic return=2432.424072265625\n", + "global step=34056192, episodic return=2429.199951171875\n", + "global step=34056192, episodic return=369.2133483886719\n", + "global step=34056192, episodic return=265.3570861816406\n", + "global step=34058240, episodic return=2427.29638671875\n", + "global step=34058240, episodic return=2424.57958984375\n", + "global step=34060288, episodic return=2390.72265625\n", + "global step=34060288, episodic return=2352.749267578125\n", + "global step=34060288, episodic return=2397.60986328125\n", + "global step=34060288, episodic return=2439.341796875\n", + "global step=34062336, episodic return=2439.20654296875\n", + "global step=34062336, episodic return=2443.041259765625\n", + "global step=34064384, episodic return=2392.12255859375\n", + "global step=34064384, episodic return=2374.016845703125\n", + "global step=34064384, episodic return=2449.744140625\n", + "global step=34064384, episodic return=2454.175048828125\n", + "global step=34068480, episodic return=2465.8916015625\n", + "global step=34070528, episodic return=2412.259765625\n", + "global step=34072576, episodic return=2093.89892578125\n", + "global step=34074624, episodic return=2435.217529296875\n", + "global step=34076672, episodic return=2457.604248046875\n", + "global step=34078720, episodic return=2418.9150390625\n", + "global step=34078720, episodic return=2459.001220703125\n", + "global step=34080768, episodic return=2465.67822265625\n", + "global step=34080768, episodic return=2391.359375\n", + "global step=34082816, episodic return=1829.663330078125\n", + "global step=34082816, episodic return=2424.084228515625\n", + "global step=34084864, episodic return=2339.390869140625\n", + "global step=34086912, episodic return=2439.36279296875\n", + "global step=34086912, episodic return=2444.849853515625\n", + "global step=34086912, episodic return=975.3759765625\n", + "global step=34086912, episodic return=1366.90380859375\n", + "global step=34088960, episodic return=2433.01904296875\n", + "global step=34088960, episodic return=2459.04345703125\n", + "global step=34088960, episodic return=2366.741943359375\n", + "global step=34091008, episodic return=2457.202392578125\n", + "global step=34093056, episodic return=2401.5419921875\n", + "global step=34095104, episodic return=2436.01806640625\n", + "global step=34101248, episodic return=2505.39501953125\n", + "global step=34101248, episodic return=2244.94482421875\n", + "global step=34101248, episodic return=2364.46044921875\n", + "global step=34101248, episodic return=2405.114013671875\n", + "global step=34101248, episodic return=2409.404296875\n", + "global step=34103296, episodic return=2500.61865234375\n", + "global step=34103296, episodic return=2404.046875\n", + "global step=34105344, episodic return=2483.77490234375\n", + "global step=34105344, episodic return=2385.434326171875\n", + "global step=34111488, episodic return=2381.6162109375\n", + "global step=34111488, episodic return=2423.169921875\n", + "global step=34113536, episodic return=2510.979736328125\n", + "global step=34113536, episodic return=2397.65234375\n", + "global step=34113536, episodic return=2455.573974609375\n", + "global step=34115584, episodic return=2413.765869140625\n", + "global step=34115584, episodic return=2472.46337890625\n", + "global step=34115584, episodic return=2470.7109375\n", + "global step=34117632, episodic return=933.9924926757812\n", + "global step=34117632, episodic return=2415.897216796875\n", + "global step=34119680, episodic return=2454.93115234375\n", + "global step=34121728, episodic return=767.7847290039062\n", + "global step=34123776, episodic return=2390.168701171875\n", + "global step=34123776, episodic return=2453.341796875\n", + "global step=34123776, episodic return=2427.1572265625\n", + "global step=34125824, episodic return=2443.584228515625\n", + "global step=34125824, episodic return=2393.866943359375\n", + "global step=34125824, episodic return=2417.20849609375\n", + "global step=34125824, episodic return=1766.9068603515625\n", + "global step=34127872, episodic return=2380.5322265625\n", + "global step=34127872, episodic return=450.4282531738281\n", + "global step=34129920, episodic return=2489.315673828125\n", + "global step=34129920, episodic return=2442.369140625\n", + "global step=34129920, episodic return=2442.602294921875\n", + "global step=34131968, episodic return=2454.859619140625\n", + "global step=34131968, episodic return=2443.467529296875\n", + "global step=34134016, episodic return=2433.46630859375\n", + "global step=34136064, episodic return=2404.79638671875\n", + "global step=34136064, episodic return=2452.096435546875\n", + "global step=34136064, episodic return=2385.244873046875\n", + "global step=34136064, episodic return=2506.168701171875\n", + "global step=34136064, episodic return=2477.72802734375\n", + "global step=34138112, episodic return=2428.012939453125\n", + "global step=34138112, episodic return=2470.075927734375\n", + "global step=34138112, episodic return=118.6064224243164\n", + "global step=34138112, episodic return=768.8914794921875\n", + "global step=34138112, episodic return=2497.713623046875\n", + "global step=34140160, episodic return=2431.10546875\n", + "global step=34140160, episodic return=2477.396484375\n", + "global step=34142208, episodic return=2428.270263671875\n", + "global step=34142208, episodic return=2441.834228515625\n", + "global step=34142208, episodic return=2499.26171875\n", + "global step=34142208, episodic return=2466.854736328125\n", + "global step=34144256, episodic return=2417.54443359375\n", + "global step=34144256, episodic return=2497.8134765625\n", + "global step=34144256, episodic return=2447.7646484375\n", + "global step=34146304, episodic return=2377.467041015625\n", + "global step=34146304, episodic return=737.4677734375\n", + "global step=34148352, episodic return=2409.679931640625\n", + "global step=34148352, episodic return=2439.006591796875\n", + "global step=34150400, episodic return=2374.61474609375\n", + "global step=34150400, episodic return=2474.912841796875\n", + "global step=34152448, episodic return=2469.846923828125\n", + "global step=34154496, episodic return=468.9244384765625\n", + "global step=34154496, episodic return=2429.542724609375\n", + "global step=34154496, episodic return=2445.767822265625\n", + "global step=34154496, episodic return=2447.201416015625\n", + "global step=34154496, episodic return=2506.541259765625\n", + "global step=34156544, episodic return=2471.51513671875\n", + "global step=34160640, episodic return=2456.342041015625\n", + "global step=34160640, episodic return=2448.178955078125\n", + "global step=34162688, episodic return=1630.9967041015625\n", + "global step=34162688, episodic return=2427.367431640625\n", + "global step=34162688, episodic return=2497.907470703125\n", + "global step=34162688, episodic return=2421.065185546875\n", + "global step=34162688, episodic return=2476.420166015625\n", + "global step=34164736, episodic return=2447.5234375\n", + "global step=34166784, episodic return=2390.114990234375\n", + "global step=34166784, episodic return=2458.257568359375\n", + "global step=34168832, episodic return=2417.786865234375\n", + "global step=34168832, episodic return=2436.2080078125\n", + "global step=34168832, episodic return=2431.436767578125\n", + "global step=34170880, episodic return=2491.459716796875\n", + "global step=34170880, episodic return=2411.353759765625\n", + "global step=34170880, episodic return=2488.071533203125\n", + "global step=34170880, episodic return=2396.2041015625\n", + "global step=34170880, episodic return=2408.676025390625\n", + "global step=34172928, episodic return=2448.585205078125\n", + "global step=34174976, episodic return=2423.173828125\n", + "global step=34174976, episodic return=2419.21484375\n", + "global step=34174976, episodic return=2398.530029296875\n", + "global step=34177024, episodic return=2407.05517578125\n", + "global step=34179072, episodic return=2419.171142578125\n", + "global step=34179072, episodic return=2454.2001953125\n", + "global step=34179072, episodic return=2441.103759765625\n", + "global step=34181120, episodic return=192.31381225585938\n", + "global step=34183168, episodic return=2447.64404296875\n", + "global step=34183168, episodic return=2409.73876953125\n", + "global step=34183168, episodic return=2444.563232421875\n", + "global step=34185216, episodic return=2388.1044921875\n", + "global step=34185216, episodic return=2529.6328125\n", + "global step=34185216, episodic return=2372.03564453125\n", + "global step=34189312, episodic return=2443.378662109375\n", + "global step=34189312, episodic return=2460.0595703125\n", + "global step=34189312, episodic return=2376.15283203125\n", + "global step=34191360, episodic return=1922.551025390625\n", + "global step=34191360, episodic return=2469.1767578125\n", + "global step=34193408, episodic return=2469.05859375\n", + "global step=34193408, episodic return=2436.364013671875\n", + "global step=34193408, episodic return=2446.365234375\n", + "global step=34195456, episodic return=852.857666015625\n", + "global step=34195456, episodic return=646.6404418945312\n", + "global step=34197504, episodic return=2432.70166015625\n", + "global step=34197504, episodic return=2400.75390625\n", + "global step=34197504, episodic return=2395.68603515625\n", + "global step=34197504, episodic return=2401.702392578125\n", + "global step=34197504, episodic return=2271.900634765625\n", + "global step=34199552, episodic return=57.13794708251953\n", + "global step=34199552, episodic return=532.7488403320312\n", + "global step=34199552, episodic return=2411.98291015625\n", + "global step=34201600, episodic return=2420.31591796875\n", + "global step=34201600, episodic return=2427.42236328125\n", + "global step=34203648, episodic return=574.4383544921875\n", + "global step=34207744, episodic return=2485.493408203125\n", + "global step=34207744, episodic return=2444.017578125\n", + "global step=34207744, episodic return=2435.322998046875\n", + "global step=34211840, episodic return=2427.79248046875\n", + "global step=34211840, episodic return=1905.0897216796875\n", + "global step=34213888, episodic return=2460.066162109375\n", + "global step=34213888, episodic return=2444.29736328125\n", + "global step=34215936, episodic return=2460.286865234375\n", + "global step=34215936, episodic return=2392.46826171875\n", + "global step=34217984, episodic return=2433.736572265625\n", + "global step=34217984, episodic return=2413.470458984375\n", + "global step=34217984, episodic return=883.8212890625\n", + "global step=34217984, episodic return=2329.99658203125\n", + "global step=34217984, episodic return=2371.046630859375\n", + "global step=34220032, episodic return=2457.9658203125\n", + "global step=34222080, episodic return=2404.195068359375\n", + "global step=34222080, episodic return=1981.0535888671875\n", + "global step=34222080, episodic return=2446.222900390625\n", + "global step=34224128, episodic return=406.99688720703125\n", + "global step=34226176, episodic return=549.7933349609375\n", + "global step=34226176, episodic return=2445.647705078125\n", + "global step=34226176, episodic return=2407.338134765625\n", + "global step=34226176, episodic return=2380.315673828125\n", + "global step=34228224, episodic return=2439.99609375\n", + "global step=34228224, episodic return=2475.777587890625\n", + "global step=34228224, episodic return=195.6752166748047\n", + "global step=34228224, episodic return=2426.306640625\n", + "global step=34230272, episodic return=2420.376953125\n", + "global step=34230272, episodic return=2482.1142578125\n", + "global step=34230272, episodic return=2468.78564453125\n", + "global step=34232320, episodic return=2466.8759765625\n", + "global step=34232320, episodic return=2337.429443359375\n", + "global step=34234368, episodic return=2461.025634765625\n", + "global step=34236416, episodic return=2432.38623046875\n", + "global step=34236416, episodic return=2428.517578125\n", + "global step=34238464, episodic return=211.8666229248047\n", + "global step=34240512, episodic return=2392.190185546875\n", + "global step=34242560, episodic return=2448.5810546875\n", + "global step=34242560, episodic return=2480.68115234375\n", + "global step=34242560, episodic return=2511.739990234375\n", + "global step=34244608, episodic return=2417.34130859375\n", + "global step=34244608, episodic return=2437.110107421875\n", + "global step=34246656, episodic return=170.8436279296875\n", + "global step=34246656, episodic return=2476.703369140625\n", + "global step=34248704, episodic return=2410.615478515625\n", + "global step=34248704, episodic return=2416.860595703125\n", + "global step=34248704, episodic return=2421.291015625\n", + "global step=34250752, episodic return=2455.529296875\n", + "global step=34252800, episodic return=2413.494384765625\n", + "global step=34252800, episodic return=1874.58935546875\n", + "global step=34252800, episodic return=2472.666015625\n", + "global step=34252800, episodic return=2449.329833984375\n", + "global step=34254848, episodic return=2488.478515625\n", + "global step=34254848, episodic return=2493.642822265625\n", + "global step=34256896, episodic return=2458.071044921875\n", + "global step=34258944, episodic return=2461.30419921875\n", + "global step=34258944, episodic return=2416.15625\n", + "global step=34258944, episodic return=2427.990234375\n", + "global step=34258944, episodic return=2463.679931640625\n", + "global step=34260992, episodic return=2465.48681640625\n", + "global step=34260992, episodic return=2382.007568359375\n", + "global step=34260992, episodic return=2442.875244140625\n", + "global step=34260992, episodic return=2391.542724609375\n", + "global step=34263040, episodic return=2401.486328125\n", + "global step=34263040, episodic return=2387.636962890625\n", + "global step=34263040, episodic return=2390.454833984375\n", + "global step=34265088, episodic return=2370.28564453125\n", + "global step=34267136, episodic return=2401.904296875\n", + "global step=34267136, episodic return=2476.4697265625\n", + "global step=34267136, episodic return=2378.43017578125\n", + "global step=34269184, episodic return=1549.660888671875\n", + "global step=34269184, episodic return=2503.23095703125\n", + "global step=34269184, episodic return=2359.405517578125\n", + "global step=34269184, episodic return=2456.30224609375\n", + "global step=34271232, episodic return=2385.448486328125\n", + "global step=34271232, episodic return=2349.87109375\n", + "global step=34271232, episodic return=2426.287353515625\n", + "global step=34271232, episodic return=2427.89111328125\n", + "global step=34271232, episodic return=2320.109130859375\n", + "global step=34273280, episodic return=2448.608642578125\n", + "global step=34275328, episodic return=2373.7548828125\n", + "global step=34275328, episodic return=2439.855712890625\n", + "global step=34277376, episodic return=2426.20166015625\n", + "global step=34277376, episodic return=2475.426025390625\n", + "global step=34277376, episodic return=1707.774169921875\n", + "global step=34277376, episodic return=2419.898193359375\n", + "global step=34281472, episodic return=2428.377685546875\n", + "global step=34281472, episodic return=2467.962890625\n", + "global step=34283520, episodic return=2433.33056640625\n", + "global step=34283520, episodic return=2454.537841796875\n", + "global step=34285568, episodic return=465.09100341796875\n", + "global step=34287616, episodic return=203.92300415039062\n", + "global step=34287616, episodic return=1263.869873046875\n", + "global step=34289664, episodic return=2352.52392578125\n", + "global step=34289664, episodic return=2468.87451171875\n", + "global step=34289664, episodic return=2429.723388671875\n", + "global step=34291712, episodic return=2469.8369140625\n", + "global step=34293760, episodic return=2468.828125\n", + "global step=34295808, episodic return=2478.796142578125\n", + "global step=34295808, episodic return=2435.59912109375\n", + "global step=34295808, episodic return=2468.30126953125\n", + "global step=34297856, episodic return=495.7554016113281\n", + "global step=34299904, episodic return=2441.7841796875\n", + "global step=34301952, episodic return=2425.164306640625\n", + "global step=34301952, episodic return=751.92919921875\n", + "global step=34301952, episodic return=2433.88720703125\n", + "global step=34301952, episodic return=2429.50048828125\n", + "global step=34304000, episodic return=1755.709716796875\n", + "global step=34304000, episodic return=2430.298583984375\n", + "global step=34306048, episodic return=2444.012939453125\n", + "global step=34306048, episodic return=2450.1943359375\n", + "global step=34308096, episodic return=2445.211669921875\n", + "global step=34308096, episodic return=701.7875366210938\n", + "global step=34308096, episodic return=2431.15283203125\n", + "global step=34310144, episodic return=2372.9765625\n", + "global step=34310144, episodic return=2378.78271484375\n", + "global step=34310144, episodic return=2442.788818359375\n", + "global step=34310144, episodic return=2323.628173828125\n", + "global step=34312192, episodic return=2395.925048828125\n", + "global step=34312192, episodic return=2367.545166015625\n", + "global step=34314240, episodic return=2446.83349609375\n", + "global step=34314240, episodic return=2469.492919921875\n", + "global step=34316288, episodic return=447.0264587402344\n", + "global step=34316288, episodic return=2430.64306640625\n", + "global step=34318336, episodic return=1497.28759765625\n", + "global step=34318336, episodic return=2418.357421875\n", + "global step=34320384, episodic return=2417.30224609375\n", + "global step=34320384, episodic return=2352.014892578125\n", + "global step=34320384, episodic return=2394.69189453125\n", + "global step=34322432, episodic return=2341.100341796875\n", + "global step=34324480, episodic return=2443.873779296875\n", + "global step=34324480, episodic return=1612.8577880859375\n", + "global step=34326528, episodic return=2410.472412109375\n", + "global step=34326528, episodic return=2421.25341796875\n", + "global step=34330624, episodic return=2356.64794921875\n", + "global step=34334720, episodic return=2375.275634765625\n", + "global step=34334720, episodic return=2407.477294921875\n", + "global step=34334720, episodic return=2418.9228515625\n", + "global step=34334720, episodic return=2432.362060546875\n", + "global step=34334720, episodic return=2450.461669921875\n", + "global step=34334720, episodic return=2451.38720703125\n", + "global step=34336768, episodic return=2462.737548828125\n", + "global step=34336768, episodic return=2345.356201171875\n", + "global step=34336768, episodic return=2419.058349609375\n", + "global step=34336768, episodic return=2357.1015625\n", + "global step=34338816, episodic return=2484.0927734375\n", + "global step=34338816, episodic return=2458.561767578125\n", + "global step=34338816, episodic return=2413.254638671875\n", + "global step=34340864, episodic return=2402.614990234375\n", + "global step=34342912, episodic return=2406.560546875\n", + "global step=34342912, episodic return=2464.139892578125\n", + "global step=34342912, episodic return=2431.26318359375\n", + "global step=34344960, episodic return=2318.192626953125\n", + "global step=34344960, episodic return=1204.4268798828125\n", + "global step=34344960, episodic return=2390.779296875\n", + "global step=34344960, episodic return=2360.955322265625\n", + "global step=34344960, episodic return=2435.17724609375\n", + "global step=34347008, episodic return=2361.44091796875\n", + "global step=34349056, episodic return=2426.885009765625\n", + "global step=34351104, episodic return=384.6689147949219\n", + "global step=34351104, episodic return=2381.5546875\n", + "global step=34351104, episodic return=2431.7158203125\n", + "global step=34351104, episodic return=2410.635009765625\n", + "global step=34351104, episodic return=2385.447998046875\n", + "global step=34353152, episodic return=2470.93212890625\n", + "global step=34353152, episodic return=1199.800048828125\n", + "global step=34355200, episodic return=2382.91796875\n", + "global step=34355200, episodic return=157.57398986816406\n", + "global step=34355200, episodic return=2392.8125\n", + "global step=34355200, episodic return=2389.068603515625\n", + "global step=34357248, episodic return=1395.4925537109375\n", + "global step=34357248, episodic return=2402.95849609375\n", + "global step=34357248, episodic return=2398.39990234375\n", + "global step=34357248, episodic return=2457.27685546875\n", + "global step=34357248, episodic return=2442.221435546875\n", + "global step=34359296, episodic return=1797.1622314453125\n", + "global step=34359296, episodic return=2368.7626953125\n", + "global step=34361344, episodic return=2428.2041015625\n", + "global step=34361344, episodic return=2473.94091796875\n", + "global step=34361344, episodic return=2387.771484375\n", + "global step=34363392, episodic return=672.5620727539062\n", + "global step=34363392, episodic return=2420.620361328125\n", + "global step=34363392, episodic return=2446.69140625\n", + "global step=34363392, episodic return=2389.023193359375\n", + "global step=34363392, episodic return=2350.361083984375\n", + "global step=34365440, episodic return=2355.6689453125\n", + "global step=34365440, episodic return=466.63238525390625\n", + "global step=34365440, episodic return=1325.7713623046875\n", + "global step=34365440, episodic return=856.2147827148438\n", + "global step=34365440, episodic return=2366.568603515625\n", + "global step=34367488, episodic return=2428.220703125\n", + "global step=34367488, episodic return=126.27633666992188\n", + "global step=34367488, episodic return=2356.03564453125\n", + "global step=34367488, episodic return=2486.997314453125\n", + "global step=34367488, episodic return=2380.530517578125\n", + "global step=34367488, episodic return=2424.02978515625\n", + "global step=34367488, episodic return=2026.261474609375\n", + "global step=34369536, episodic return=70.76293182373047\n", + "global step=34369536, episodic return=2432.6767578125\n", + "global step=34369536, episodic return=894.427978515625\n", + "global step=34369536, episodic return=2472.9169921875\n", + "global step=34369536, episodic return=2416.39599609375\n", + "global step=34371584, episodic return=2445.07275390625\n", + "global step=34373632, episodic return=797.7205810546875\n", + "global step=34373632, episodic return=2482.77685546875\n", + "global step=34373632, episodic return=951.6671752929688\n", + "global step=34373632, episodic return=2431.747314453125\n", + "global step=34375680, episodic return=2372.709228515625\n", + "global step=34375680, episodic return=2399.5927734375\n", + "global step=34375680, episodic return=91.23947143554688\n", + "global step=34375680, episodic return=2407.532470703125\n", + "global step=34377728, episodic return=1480.5655517578125\n", + "global step=34377728, episodic return=2427.0927734375\n", + "global step=34379776, episodic return=2498.149169921875\n", + "global step=34379776, episodic return=2395.630126953125\n", + "global step=34379776, episodic return=949.1735229492188\n", + "global step=34379776, episodic return=2411.520263671875\n", + "global step=34381824, episodic return=1920.6334228515625\n", + "global step=34381824, episodic return=2288.17578125\n", + "global step=34381824, episodic return=2414.71484375\n", + "global step=34383872, episodic return=365.0504150390625\n", + "global step=34385920, episodic return=2452.79736328125\n", + "global step=34385920, episodic return=2438.87109375\n", + "global step=34387968, episodic return=2401.28173828125\n", + "global step=34387968, episodic return=2471.45458984375\n", + "global step=34387968, episodic return=2472.73046875\n", + "global step=34387968, episodic return=2412.45068359375\n", + "global step=34390016, episodic return=2460.635009765625\n", + "global step=34390016, episodic return=2365.17724609375\n", + "global step=34390016, episodic return=310.3678283691406\n", + "global step=34392064, episodic return=2442.106689453125\n", + "global step=34392064, episodic return=1364.03271484375\n", + "global step=34394112, episodic return=2470.4208984375\n", + "global step=34394112, episodic return=1916.4423828125\n", + "global step=34394112, episodic return=2431.428955078125\n", + "global step=34396160, episodic return=2362.378662109375\n", + "global step=34396160, episodic return=618.4132690429688\n", + "global step=34396160, episodic return=2358.874755859375\n", + "global step=34396160, episodic return=533.729736328125\n", + "global step=34398208, episodic return=277.7987976074219\n", + "global step=34398208, episodic return=2421.188232421875\n", + "global step=34398208, episodic return=1387.4720458984375\n", + "global step=34398208, episodic return=1725.0091552734375\n", + "global step=34400256, episodic return=2449.943359375\n", + "global step=34402304, episodic return=2441.150634765625\n", + "global step=34402304, episodic return=2424.964111328125\n", + "global step=34402304, episodic return=433.2078552246094\n", + "global step=34404352, episodic return=2389.470703125\n", + "global step=34404352, episodic return=2413.6416015625\n", + "global step=34404352, episodic return=1366.4371337890625\n", + "global step=34404352, episodic return=508.1758728027344\n", + "global step=34406400, episodic return=31.478008270263672\n", + "global step=34406400, episodic return=2421.409423828125\n", + "global step=34406400, episodic return=2484.693359375\n", + "global step=34408448, episodic return=2438.89208984375\n", + "global step=34410496, episodic return=2368.845703125\n", + "global step=34410496, episodic return=2415.2666015625\n", + "global step=34410496, episodic return=389.27740478515625\n", + "global step=34412544, episodic return=1684.9615478515625\n", + "global step=34414592, episodic return=2445.22216796875\n", + "global step=34414592, episodic return=2382.06103515625\n", + "global step=34414592, episodic return=75.5379638671875\n", + "global step=34416640, episodic return=1239.26513671875\n", + "global step=34418688, episodic return=2448.833740234375\n", + "global step=34420736, episodic return=2344.299560546875\n", + "global step=34420736, episodic return=2446.177978515625\n", + "global step=34420736, episodic return=87.04185485839844\n", + "global step=34422784, episodic return=1393.940185546875\n", + "global step=34422784, episodic return=22.891786575317383\n", + "global step=34422784, episodic return=51.400108337402344\n", + "global step=34422784, episodic return=2446.079833984375\n", + "global step=34424832, episodic return=2421.49072265625\n", + "global step=34426880, episodic return=20.96776008605957\n", + "global step=34426880, episodic return=2347.097412109375\n", + "global step=34426880, episodic return=2397.729736328125\n", + "global step=34426880, episodic return=2422.72900390625\n", + "global step=34428928, episodic return=2448.695068359375\n", + "global step=34430976, episodic return=2462.712158203125\n", + "global step=34430976, episodic return=2452.06201171875\n", + "global step=34430976, episodic return=2356.26611328125\n", + "global step=34433024, episodic return=2396.78662109375\n", + "global step=34435072, episodic return=1831.657470703125\n", + "global step=34435072, episodic return=2344.947509765625\n", + "global step=34435072, episodic return=2450.93896484375\n", + "global step=34437120, episodic return=600.5554809570312\n", + "global step=34439168, episodic return=2399.155029296875\n", + "global step=34439168, episodic return=2420.705322265625\n", + "global step=34439168, episodic return=2381.277587890625\n", + "global step=34441216, episodic return=2431.2685546875\n", + "global step=34441216, episodic return=2359.78564453125\n", + "global step=34443264, episodic return=2413.29833984375\n", + "global step=34443264, episodic return=2431.405517578125\n", + "global step=34443264, episodic return=2402.92431640625\n", + "global step=34443264, episodic return=2459.94287109375\n", + "global step=34443264, episodic return=2423.79052734375\n", + "global step=34443264, episodic return=2451.60693359375\n", + "global step=34447360, episodic return=2361.060791015625\n", + "global step=34449408, episodic return=1018.6128540039062\n", + "global step=34449408, episodic return=2288.267822265625\n", + "global step=34449408, episodic return=2399.270263671875\n", + "global step=34451456, episodic return=2429.783935546875\n", + "global step=34451456, episodic return=2431.7392578125\n", + "global step=34451456, episodic return=2327.60888671875\n", + "global step=34451456, episodic return=2467.736572265625\n", + "global step=34453504, episodic return=2295.407958984375\n", + "global step=34453504, episodic return=2460.006591796875\n", + "global step=34455552, episodic return=2354.253173828125\n", + "global step=34455552, episodic return=2322.976806640625\n", + "global step=34455552, episodic return=2476.671630859375\n", + "global step=34455552, episodic return=2329.730712890625\n", + "global step=34455552, episodic return=2414.524169921875\n", + "global step=34457600, episodic return=2168.488525390625\n", + "global step=34457600, episodic return=1340.3453369140625\n", + "global step=34459648, episodic return=2391.2177734375\n", + "global step=34459648, episodic return=1558.9227294921875\n", + "global step=34461696, episodic return=2404.163330078125\n", + "global step=34461696, episodic return=2405.8056640625\n", + "global step=34461696, episodic return=2400.51953125\n", + "global step=34463744, episodic return=2356.118408203125\n", + "global step=34463744, episodic return=2424.1123046875\n", + "global step=34463744, episodic return=2412.587890625\n", + "global step=34467840, episodic return=2438.80029296875\n", + "global step=34467840, episodic return=2340.3115234375\n", + "global step=34469888, episodic return=2434.825439453125\n", + "global step=34469888, episodic return=2498.1376953125\n", + "global step=34469888, episodic return=876.911865234375\n", + "global step=34471936, episodic return=2464.997314453125\n", + "global step=34471936, episodic return=2465.8447265625\n", + "global step=34473984, episodic return=1034.8394775390625\n", + "global step=34473984, episodic return=2371.318603515625\n", + "global step=34473984, episodic return=320.4381103515625\n", + "global step=34476032, episodic return=2359.216064453125\n", + "global step=34476032, episodic return=2366.962890625\n", + "global step=34476032, episodic return=2392.159423828125\n", + "global step=34478080, episodic return=2480.479736328125\n", + "global step=34480128, episodic return=926.6837768554688\n", + "global step=34482176, episodic return=2381.27978515625\n", + "global step=34484224, episodic return=2431.1142578125\n", + "global step=34484224, episodic return=2293.94873046875\n", + "global step=34486272, episodic return=1154.486083984375\n", + "global step=34486272, episodic return=2412.839599609375\n", + "global step=34486272, episodic return=2379.763427734375\n", + "global step=34488320, episodic return=2351.83203125\n", + "global step=34488320, episodic return=2442.9970703125\n", + "global step=34490368, episodic return=2494.058837890625\n", + "global step=34490368, episodic return=2455.30615234375\n", + "global step=34490368, episodic return=2448.035888671875\n", + "global step=34490368, episodic return=2477.600341796875\n", + "global step=34492416, episodic return=2470.399169921875\n", + "global step=34492416, episodic return=2430.586669921875\n", + "global step=34492416, episodic return=2024.381103515625\n", + "global step=34492416, episodic return=219.4531707763672\n", + "global step=34494464, episodic return=2455.2099609375\n", + "global step=34494464, episodic return=2432.229248046875\n", + "global step=34496512, episodic return=2287.681396484375\n", + "global step=34496512, episodic return=2389.335205078125\n", + "global step=34496512, episodic return=2373.08544921875\n", + "global step=34496512, episodic return=641.9063110351562\n", + "global step=34496512, episodic return=2429.4423828125\n", + "global step=34498560, episodic return=2380.07275390625\n", + "global step=34498560, episodic return=2394.32666015625\n", + "global step=34500608, episodic return=197.29080200195312\n", + "global step=34500608, episodic return=2422.76171875\n", + "global step=34502656, episodic return=2388.464599609375\n", + "global step=34502656, episodic return=2432.0224609375\n", + "global step=34502656, episodic return=2416.218505859375\n", + "global step=34504704, episodic return=2440.624267578125\n", + "global step=34504704, episodic return=2400.477294921875\n", + "global step=34504704, episodic return=2453.84716796875\n", + "global step=34504704, episodic return=2394.834716796875\n", + "global step=34506752, episodic return=2433.16064453125\n", + "global step=34506752, episodic return=2511.492431640625\n", + "global step=34506752, episodic return=2430.65087890625\n", + "global step=34506752, episodic return=2356.48974609375\n", + "global step=34506752, episodic return=2418.0791015625\n", + "global step=34508800, episodic return=1925.9906005859375\n", + "global step=34508800, episodic return=2425.180908203125\n", + "global step=34508800, episodic return=2288.8486328125\n", + "global step=34510848, episodic return=2461.5439453125\n", + "global step=34512896, episodic return=2450.5390625\n", + "global step=34512896, episodic return=677.9107055664062\n", + "global step=34512896, episodic return=2409.82373046875\n", + "global step=34512896, episodic return=2438.9970703125\n", + "global step=34514944, episodic return=17.26206398010254\n", + "global step=34514944, episodic return=2231.5908203125\n", + "global step=34514944, episodic return=2301.871337890625\n", + "global step=34516992, episodic return=2397.3046875\n", + "global step=34516992, episodic return=2445.83544921875\n", + "global step=34519040, episodic return=1553.758056640625\n", + "global step=34519040, episodic return=2371.648193359375\n", + "global step=34519040, episodic return=2284.17333984375\n", + "global step=34521088, episodic return=2420.719482421875\n", + "global step=34521088, episodic return=1402.796142578125\n", + "global step=34521088, episodic return=2394.610595703125\n", + "global step=34521088, episodic return=1133.14111328125\n", + "global step=34521088, episodic return=1202.3748779296875\n", + "global step=34521088, episodic return=2397.434326171875\n", + "global step=34521088, episodic return=2463.37109375\n", + "global step=34523136, episodic return=2332.58251953125\n", + "global step=34525184, episodic return=2315.95751953125\n", + "global step=34525184, episodic return=2400.288330078125\n", + "global step=34527232, episodic return=2301.466552734375\n", + "global step=34527232, episodic return=2413.21923828125\n", + "global step=34527232, episodic return=2389.445068359375\n", + "global step=34527232, episodic return=2228.644287109375\n", + "global step=34527232, episodic return=637.0494384765625\n", + "global step=34529280, episodic return=1897.5816650390625\n", + "global step=34529280, episodic return=2356.943359375\n", + "global step=34531328, episodic return=1807.0443115234375\n", + "global step=34531328, episodic return=228.61083984375\n", + "global step=34533376, episodic return=2399.76318359375\n", + "global step=34535424, episodic return=2324.81640625\n", + "global step=34535424, episodic return=2380.221923828125\n", + "global step=34537472, episodic return=2336.245849609375\n", + "global step=34537472, episodic return=2254.448486328125\n", + "global step=34539520, episodic return=2435.087646484375\n", + "global step=34539520, episodic return=2382.19140625\n", + "global step=34539520, episodic return=2170.627197265625\n", + "global step=34541568, episodic return=836.6612548828125\n", + "global step=34541568, episodic return=1227.7606201171875\n", + "global step=34541568, episodic return=2428.314453125\n", + "global step=34541568, episodic return=175.82745361328125\n", + "global step=34541568, episodic return=2432.587646484375\n", + "global step=34541568, episodic return=2384.077880859375\n", + "global step=34541568, episodic return=1281.8321533203125\n", + "global step=34543616, episodic return=1949.779541015625\n", + "global step=34543616, episodic return=2406.96875\n", + "global step=34543616, episodic return=1785.71484375\n", + "global step=34545664, episodic return=2087.9248046875\n", + "global step=34545664, episodic return=2429.6337890625\n", + "global step=34545664, episodic return=1172.139892578125\n", + "global step=34547712, episodic return=2475.802734375\n", + "global step=34547712, episodic return=2418.85986328125\n", + "global step=34547712, episodic return=2350.386474609375\n", + "global step=34549760, episodic return=2383.185546875\n", + "global step=34549760, episodic return=2367.143310546875\n", + "global step=34549760, episodic return=2222.88330078125\n", + "global step=34551808, episodic return=1338.072509765625\n", + "global step=34551808, episodic return=2413.622314453125\n", + "global step=34553856, episodic return=2408.485107421875\n", + "global step=34553856, episodic return=2411.782958984375\n", + "global step=34555904, episodic return=761.0757446289062\n", + "global step=34555904, episodic return=2413.47021484375\n", + "global step=34560000, episodic return=2426.993896484375\n", + "global step=34560000, episodic return=2381.382080078125\n", + "global step=34560000, episodic return=2388.73193359375\n", + "global step=34560000, episodic return=1372.4456787109375\n", + "global step=34560000, episodic return=411.51641845703125\n", + "global step=34562048, episodic return=1778.28564453125\n", + "global step=34562048, episodic return=2391.980712890625\n", + "global step=34564096, episodic return=2352.703369140625\n", + "global step=34564096, episodic return=2356.491455078125\n", + "global step=34566144, episodic return=2394.681884765625\n", + "global step=34566144, episodic return=2145.356201171875\n", + "global step=34566144, episodic return=2412.037841796875\n", + "global step=34566144, episodic return=2393.88720703125\n", + "global step=34566144, episodic return=1192.2108154296875\n", + "global step=34568192, episodic return=2427.865234375\n", + "global step=34568192, episodic return=2353.4970703125\n", + "global step=34570240, episodic return=509.3703308105469\n", + "global step=34572288, episodic return=52.30116653442383\n", + "global step=34574336, episodic return=2401.072021484375\n", + "global step=34574336, episodic return=2427.1142578125\n", + "global step=34574336, episodic return=2483.817626953125\n", + "global step=34576384, episodic return=2363.85302734375\n", + "global step=34576384, episodic return=2326.39404296875\n", + "global step=34576384, episodic return=362.6244201660156\n", + "global step=34578432, episodic return=54.62376403808594\n", + "global step=34578432, episodic return=46.01462173461914\n", + "global step=34580480, episodic return=2424.369384765625\n", + "global step=34580480, episodic return=2359.068603515625\n", + "global step=34580480, episodic return=2389.340576171875\n", + "global step=34580480, episodic return=2323.601806640625\n", + "global step=34580480, episodic return=2361.559326171875\n", + "global step=34582528, episodic return=2438.04248046875\n", + "global step=34582528, episodic return=640.666748046875\n", + "global step=34582528, episodic return=2441.864013671875\n", + "global step=34582528, episodic return=2389.277587890625\n", + "global step=34582528, episodic return=2465.890380859375\n", + "global step=34582528, episodic return=2438.28515625\n", + "global step=34582528, episodic return=2418.604736328125\n", + "global step=34584576, episodic return=2413.738037109375\n", + "global step=34584576, episodic return=2380.13525390625\n", + "global step=34586624, episodic return=2407.875\n", + "global step=34586624, episodic return=2444.538330078125\n", + "global step=34588672, episodic return=2260.524169921875\n", + "global step=34588672, episodic return=2412.134521484375\n", + "global step=34588672, episodic return=1768.382080078125\n", + "global step=34592768, episodic return=2332.628173828125\n", + "global step=34592768, episodic return=2448.255615234375\n", + "global step=34592768, episodic return=2401.057373046875\n", + "global step=34592768, episodic return=2406.84765625\n", + "global step=34592768, episodic return=764.8197021484375\n", + "global step=34594816, episodic return=2395.29345703125\n", + "global step=34594816, episodic return=2420.568603515625\n", + "global step=34596864, episodic return=2459.40185546875\n", + "global step=34596864, episodic return=2368.674072265625\n", + "global step=34596864, episodic return=2443.89013671875\n", + "global step=34596864, episodic return=2439.7158203125\n", + "global step=34598912, episodic return=2326.11669921875\n", + "global step=34598912, episodic return=2142.536865234375\n", + "global step=34600960, episodic return=687.4957885742188\n", + "global step=34600960, episodic return=2277.22216796875\n", + "global step=34600960, episodic return=2379.81396484375\n", + "global step=34603008, episodic return=775.9881591796875\n", + "global step=34603008, episodic return=2429.311767578125\n", + "global step=34603008, episodic return=2467.7890625\n", + "global step=34605056, episodic return=2362.87255859375\n", + "global step=34607104, episodic return=1789.834228515625\n", + "global step=34607104, episodic return=2370.275634765625\n", + "global step=34607104, episodic return=2386.72119140625\n", + "global step=34609152, episodic return=2391.60888671875\n", + "global step=34609152, episodic return=2375.58837890625\n", + "global step=34609152, episodic return=2412.2705078125\n", + "global step=34611200, episodic return=54.93996810913086\n", + "global step=34611200, episodic return=1833.5072021484375\n", + "global step=34611200, episodic return=2106.774169921875\n", + "global step=34613248, episodic return=2393.496337890625\n", + "global step=34613248, episodic return=2395.9873046875\n", + "global step=34613248, episodic return=827.0099487304688\n", + "global step=34613248, episodic return=2432.936767578125\n", + "global step=34613248, episodic return=2440.697509765625\n", + "global step=34613248, episodic return=2411.907470703125\n", + "global step=34613248, episodic return=2319.7255859375\n", + "global step=34613248, episodic return=2392.4951171875\n", + "global step=34613248, episodic return=2344.63916015625\n", + "global step=34615296, episodic return=2411.50244140625\n", + "global step=34615296, episodic return=1492.523681640625\n", + "global step=34615296, episodic return=2442.47314453125\n", + "global step=34615296, episodic return=2437.93017578125\n", + "global step=34615296, episodic return=1980.1817626953125\n", + "global step=34617344, episodic return=158.69993591308594\n", + "global step=34621440, episodic return=1926.08837890625\n", + "global step=34621440, episodic return=54.470767974853516\n", + "global step=34623488, episodic return=585.586181640625\n", + "global step=34623488, episodic return=2406.9404296875\n", + "global step=34623488, episodic return=2443.697998046875\n", + "global step=34623488, episodic return=2396.553955078125\n", + "global step=34625536, episodic return=2458.834228515625\n", + "global step=34627584, episodic return=2381.62744140625\n", + "global step=34629632, episodic return=315.8719787597656\n", + "global step=34629632, episodic return=2386.711181640625\n", + "global step=34629632, episodic return=2369.8427734375\n", + "global step=34629632, episodic return=1408.9959716796875\n", + "global step=34631680, episodic return=1212.41357421875\n", + "global step=34631680, episodic return=2386.549560546875\n", + "global step=34631680, episodic return=2436.243408203125\n", + "global step=34633728, episodic return=2374.075927734375\n", + "global step=34633728, episodic return=2423.735595703125\n", + "global step=34633728, episodic return=2420.902587890625\n", + "global step=34633728, episodic return=2389.85595703125\n", + "global step=34635776, episodic return=2375.19482421875\n", + "global step=34635776, episodic return=2471.93798828125\n", + "global step=34635776, episodic return=815.8347778320312\n", + "global step=34637824, episodic return=2365.508544921875\n", + "global step=34637824, episodic return=2372.914794921875\n", + "global step=34637824, episodic return=2391.114990234375\n", + "global step=34639872, episodic return=2373.052734375\n", + "global step=34639872, episodic return=2357.21435546875\n", + "global step=34639872, episodic return=2396.473388671875\n", + "global step=34639872, episodic return=2358.503173828125\n", + "global step=34639872, episodic return=2319.961669921875\n", + "global step=34641920, episodic return=2373.1083984375\n", + "global step=34641920, episodic return=2383.86083984375\n", + "global step=34641920, episodic return=2419.419921875\n", + "global step=34641920, episodic return=2385.86962890625\n", + "global step=34643968, episodic return=1938.92529296875\n", + "global step=34643968, episodic return=2396.855712890625\n", + "global step=34646016, episodic return=2444.314697265625\n", + "global step=34648064, episodic return=2411.595458984375\n", + "global step=34648064, episodic return=2445.527587890625\n", + "global step=34650112, episodic return=2350.82080078125\n", + "global step=34650112, episodic return=2395.722900390625\n", + "global step=34650112, episodic return=2420.533447265625\n", + "global step=34652160, episodic return=1463.635986328125\n", + "global step=34652160, episodic return=2426.5703125\n", + "global step=34652160, episodic return=2337.667724609375\n", + "global step=34652160, episodic return=405.094482421875\n", + "global step=34656256, episodic return=2364.64990234375\n", + "global step=34656256, episodic return=685.2824096679688\n", + "global step=34658304, episodic return=2425.358642578125\n", + "global step=34658304, episodic return=2416.159423828125\n", + "global step=34658304, episodic return=2444.62890625\n", + "global step=34658304, episodic return=2379.002197265625\n", + "global step=34658304, episodic return=2397.706298828125\n", + "global step=34658304, episodic return=2422.903076171875\n", + "global step=34660352, episodic return=2378.33837890625\n", + "global step=34660352, episodic return=2409.1376953125\n", + "global step=34662400, episodic return=2446.78076171875\n", + "global step=34662400, episodic return=2378.732666015625\n", + "global step=34662400, episodic return=2399.44580078125\n", + "global step=34664448, episodic return=2455.123046875\n", + "global step=34666496, episodic return=2374.13623046875\n", + "global step=34666496, episodic return=2441.0068359375\n", + "global step=34666496, episodic return=2321.828125\n", + "global step=34666496, episodic return=1275.3575439453125\n", + "global step=34668544, episodic return=2393.89306640625\n", + "global step=34670592, episodic return=1190.166015625\n", + "global step=34674688, episodic return=2146.86181640625\n", + "global step=34674688, episodic return=2393.26611328125\n", + "global step=34676736, episodic return=2387.306884765625\n", + "global step=34676736, episodic return=2409.044677734375\n", + "global step=34678784, episodic return=2432.0029296875\n", + "global step=34678784, episodic return=2447.158203125\n", + "global step=34678784, episodic return=526.8262329101562\n", + "global step=34678784, episodic return=2372.47021484375\n", + "global step=34678784, episodic return=2444.679443359375\n", + "global step=34678784, episodic return=2431.005859375\n", + "global step=34680832, episodic return=2396.074462890625\n", + "global step=34680832, episodic return=2367.04931640625\n", + "global step=34680832, episodic return=2405.792724609375\n", + "global step=34682880, episodic return=2405.459228515625\n", + "global step=34682880, episodic return=2494.156494140625\n", + "global step=34682880, episodic return=2338.529541015625\n", + "global step=34684928, episodic return=2397.506103515625\n", + "global step=34684928, episodic return=2417.396484375\n", + "global step=34684928, episodic return=2396.114501953125\n", + "global step=34686976, episodic return=2434.23388671875\n", + "global step=34686976, episodic return=2401.146728515625\n", + "global step=34689024, episodic return=2393.80810546875\n", + "global step=34689024, episodic return=2406.08740234375\n", + "global step=34689024, episodic return=2452.64453125\n", + "global step=34689024, episodic return=1020.9111328125\n", + "global step=34691072, episodic return=2377.952880859375\n", + "global step=34691072, episodic return=2361.045654296875\n", + "global step=34691072, episodic return=2368.681640625\n", + "global step=34691072, episodic return=2403.36083984375\n", + "global step=34693120, episodic return=2392.606689453125\n", + "global step=34693120, episodic return=740.6401977539062\n", + "global step=34693120, episodic return=2427.72900390625\n", + "global step=34693120, episodic return=2425.46484375\n", + "global step=34695168, episodic return=2418.5576171875\n", + "global step=34697216, episodic return=731.9336547851562\n", + "global step=34697216, episodic return=2408.0712890625\n", + "global step=34697216, episodic return=2381.789306640625\n", + "global step=34697216, episodic return=2381.7998046875\n", + "global step=34697216, episodic return=1713.8857421875\n", + "global step=34697216, episodic return=2402.319091796875\n", + "global step=34699264, episodic return=2365.598876953125\n", + "global step=34699264, episodic return=2426.06298828125\n", + "global step=34699264, episodic return=2417.40234375\n", + "global step=34699264, episodic return=2388.908203125\n", + "global step=34701312, episodic return=2361.809814453125\n", + "global step=34701312, episodic return=2022.566162109375\n", + "global step=34701312, episodic return=826.3876953125\n", + "global step=34701312, episodic return=2468.337890625\n", + "global step=34701312, episodic return=2288.1796875\n", + "global step=34701312, episodic return=556.7454223632812\n", + "global step=34701312, episodic return=2441.41015625\n", + "global step=34703360, episodic return=2364.781982421875\n", + "global step=34703360, episodic return=1346.2099609375\n", + "global step=34703360, episodic return=2450.3212890625\n", + "global step=34705408, episodic return=2427.0185546875\n", + "global step=34705408, episodic return=2377.337890625\n", + "global step=34705408, episodic return=2390.779541015625\n", + "global step=34705408, episodic return=2425.197509765625\n", + "global step=34707456, episodic return=2402.807861328125\n", + "global step=34707456, episodic return=2400.4833984375\n", + "global step=34707456, episodic return=2450.030517578125\n", + "global step=34707456, episodic return=2427.264404296875\n", + "global step=34709504, episodic return=2446.662353515625\n", + "global step=34709504, episodic return=1740.6756591796875\n", + "global step=34709504, episodic return=2387.528564453125\n", + "global step=34711552, episodic return=2432.403564453125\n", + "global step=34711552, episodic return=2498.9033203125\n", + "global step=34711552, episodic return=800.4171752929688\n", + "global step=34713600, episodic return=2374.5390625\n", + "global step=34717696, episodic return=2312.80810546875\n", + "global step=34719744, episodic return=2323.66015625\n", + "global step=34719744, episodic return=189.98265075683594\n", + "global step=34719744, episodic return=2372.031494140625\n", + "global step=34721792, episodic return=2409.6240234375\n", + "global step=34721792, episodic return=2364.3955078125\n", + "global step=34721792, episodic return=2474.471923828125\n", + "global step=34721792, episodic return=2482.135009765625\n", + "global step=34723840, episodic return=2416.22119140625\n", + "global step=34723840, episodic return=2400.393310546875\n", + "global step=34723840, episodic return=695.0465698242188\n", + "global step=34723840, episodic return=2367.300048828125\n", + "global step=34725888, episodic return=2398.775634765625\n", + "global step=34725888, episodic return=2393.26806640625\n", + "global step=34725888, episodic return=266.4771423339844\n", + "global step=34725888, episodic return=2408.31982421875\n", + "global step=34725888, episodic return=397.1775817871094\n", + "global step=34725888, episodic return=2324.228759765625\n", + "global step=34725888, episodic return=2398.375732421875\n", + "global step=34729984, episodic return=1794.4041748046875\n", + "global step=34729984, episodic return=2413.3720703125\n", + "global step=34732032, episodic return=111.49879455566406\n", + "global step=34732032, episodic return=2382.489013671875\n", + "global step=34732032, episodic return=1620.7393798828125\n", + "global step=34732032, episodic return=2338.986328125\n", + "global step=34734080, episodic return=2367.37841796875\n", + "global step=34734080, episodic return=2389.59375\n", + "global step=34740224, episodic return=49.45563507080078\n", + "global step=34742272, episodic return=2439.313232421875\n", + "global step=34742272, episodic return=869.7911987304688\n", + "global step=34742272, episodic return=2377.353759765625\n", + "global step=34742272, episodic return=1979.559814453125\n", + "global step=34742272, episodic return=2379.051513671875\n", + "global step=34742272, episodic return=105.0696029663086\n", + "global step=34742272, episodic return=1576.74951171875\n", + "global step=34744320, episodic return=2418.7138671875\n", + "global step=34744320, episodic return=2366.92333984375\n", + "global step=34744320, episodic return=2469.263916015625\n", + "global step=34746368, episodic return=2364.654296875\n", + "global step=34748416, episodic return=2398.756591796875\n", + "global step=34748416, episodic return=2398.121826171875\n", + "global step=34750464, episodic return=2156.07470703125\n", + "global step=34752512, episodic return=2372.314453125\n", + "global step=34752512, episodic return=2400.239990234375\n", + "global step=34754560, episodic return=2408.83251953125\n", + "global step=34756608, episodic return=671.1489868164062\n", + "global step=34756608, episodic return=2282.684326171875\n", + "global step=34756608, episodic return=2359.73828125\n", + "global step=34758656, episodic return=2317.0009765625\n", + "global step=34758656, episodic return=2365.035400390625\n", + "global step=34760704, episodic return=209.32620239257812\n", + "global step=34760704, episodic return=1610.3692626953125\n", + "global step=34760704, episodic return=2366.673583984375\n", + "global step=34760704, episodic return=2328.653564453125\n", + "global step=34762752, episodic return=97.21456909179688\n", + "global step=34762752, episodic return=2435.901611328125\n", + "global step=34762752, episodic return=2370.279296875\n", + "global step=34762752, episodic return=2335.53271484375\n", + "global step=34764800, episodic return=2405.93701171875\n", + "global step=34764800, episodic return=2366.41064453125\n", + "global step=34766848, episodic return=2367.29833984375\n", + "global step=34766848, episodic return=2373.315673828125\n", + "global step=34768896, episodic return=2355.020751953125\n", + "global step=34770944, episodic return=230.7553253173828\n", + "global step=34772992, episodic return=2382.775390625\n", + "global step=34772992, episodic return=2392.629638671875\n", + "global step=34772992, episodic return=2425.699951171875\n", + "global step=34772992, episodic return=2412.9921875\n", + "global step=34772992, episodic return=2395.462890625\n", + "global step=34772992, episodic return=2344.52783203125\n", + "global step=34775040, episodic return=2409.9208984375\n", + "global step=34775040, episodic return=2484.74072265625\n", + "global step=34775040, episodic return=930.68603515625\n", + "global step=34777088, episodic return=2409.8623046875\n", + "global step=34779136, episodic return=2357.797607421875\n", + "global step=34779136, episodic return=2410.9462890625\n", + "global step=34779136, episodic return=2377.36767578125\n", + "global step=34781184, episodic return=2429.749755859375\n", + "global step=34781184, episodic return=64.1450424194336\n", + "global step=34781184, episodic return=2404.018310546875\n", + "global step=34783232, episodic return=2375.45068359375\n", + "global step=34783232, episodic return=2416.4765625\n", + "global step=34783232, episodic return=2304.88330078125\n", + "global step=34783232, episodic return=2421.75830078125\n", + "global step=34783232, episodic return=1125.2781982421875\n", + "global step=34785280, episodic return=189.79437255859375\n", + "global step=34785280, episodic return=2483.5029296875\n", + "global step=34785280, episodic return=2421.498046875\n", + "global step=34785280, episodic return=2418.75244140625\n", + "global step=34785280, episodic return=2359.906005859375\n", + "global step=34787328, episodic return=1217.2237548828125\n", + "global step=34787328, episodic return=2390.483642578125\n", + "global step=34787328, episodic return=2407.1875\n", + "global step=34789376, episodic return=1305.51513671875\n", + "global step=34791424, episodic return=2377.36181640625\n", + "global step=34791424, episodic return=2371.947265625\n", + "global step=34791424, episodic return=2405.2333984375\n", + "global step=34791424, episodic return=2183.410888671875\n", + "global step=34793472, episodic return=72.91783142089844\n", + "global step=34793472, episodic return=2436.299072265625\n", + "global step=34793472, episodic return=2304.66748046875\n", + "global step=34793472, episodic return=2338.72607421875\n", + "global step=34793472, episodic return=2256.856201171875\n", + "global step=34793472, episodic return=2456.6826171875\n", + "global step=34793472, episodic return=1298.4498291015625\n", + "global step=34795520, episodic return=2382.765625\n", + "global step=34797568, episodic return=2360.544189453125\n", + "global step=34797568, episodic return=2446.392333984375\n", + "global step=34799616, episodic return=2370.89599609375\n", + "global step=34799616, episodic return=2390.389892578125\n", + "global step=34801664, episodic return=2368.557861328125\n", + "global step=34801664, episodic return=2400.38037109375\n", + "global step=34803712, episodic return=2453.3291015625\n", + "global step=34803712, episodic return=2367.973876953125\n", + "global step=34803712, episodic return=98.38690185546875\n", + "global step=34803712, episodic return=2321.786376953125\n", + "global step=34805760, episodic return=2335.002685546875\n", + "global step=34805760, episodic return=2437.337890625\n", + "global step=34807808, episodic return=2390.36767578125\n", + "global step=34807808, episodic return=197.49301147460938\n", + "global step=34809856, episodic return=2415.1318359375\n", + "global step=34809856, episodic return=2357.325439453125\n", + "global step=34809856, episodic return=2464.469482421875\n", + "global step=34811904, episodic return=2480.443603515625\n", + "global step=34813952, episodic return=2381.995361328125\n", + "global step=34816000, episodic return=2352.2763671875\n", + "global step=34816000, episodic return=2416.88671875\n", + "global step=34818048, episodic return=2405.68408203125\n", + "global step=34822144, episodic return=2330.741455078125\n", + "global step=34824192, episodic return=2420.864501953125\n", + "global step=34824192, episodic return=204.6949920654297\n", + "global step=34826240, episodic return=2373.17529296875\n", + "global step=34826240, episodic return=2368.40625\n", + "global step=34826240, episodic return=1076.94970703125\n", + "global step=34826240, episodic return=2407.092041015625\n", + "global step=34828288, episodic return=2415.682373046875\n", + "global step=34830336, episodic return=2382.365966796875\n", + "global step=34830336, episodic return=2417.200439453125\n", + "global step=34830336, episodic return=940.6871948242188\n", + "global step=34830336, episodic return=2306.837158203125\n", + "global step=34832384, episodic return=2399.0478515625\n", + "global step=34832384, episodic return=2427.927978515625\n", + "global step=34832384, episodic return=2390.323486328125\n", + "global step=34834432, episodic return=2420.5732421875\n", + "global step=34834432, episodic return=2374.73291015625\n", + "global step=34838528, episodic return=2410.759765625\n", + "global step=34838528, episodic return=2415.826171875\n", + "global step=34838528, episodic return=2420.614990234375\n", + "global step=34840576, episodic return=2439.492919921875\n", + "global step=34842624, episodic return=44.591339111328125\n", + "global step=34842624, episodic return=2443.209228515625\n", + "global step=34842624, episodic return=2401.600341796875\n", + "global step=34842624, episodic return=184.65713500976562\n", + "global step=34844672, episodic return=2383.471923828125\n", + "global step=34844672, episodic return=356.2225646972656\n", + "global step=34848768, episodic return=2432.381103515625\n", + "global step=34848768, episodic return=2391.08984375\n", + "global step=34848768, episodic return=2487.9365234375\n", + "global step=34848768, episodic return=2398.56298828125\n", + "global step=34848768, episodic return=897.7459716796875\n", + "global step=34850816, episodic return=2408.762451171875\n", + "global step=34852864, episodic return=2401.547607421875\n", + "global step=34852864, episodic return=2299.71240234375\n", + "global step=34852864, episodic return=2412.13330078125\n", + "global step=34854912, episodic return=2412.529541015625\n", + "global step=34856960, episodic return=2458.65576171875\n", + "global step=34856960, episodic return=2356.0439453125\n", + "global step=34856960, episodic return=2439.80908203125\n", + "global step=34856960, episodic return=299.3270568847656\n", + "global step=34859008, episodic return=2347.211669921875\n", + "global step=34859008, episodic return=2397.522705078125\n", + "global step=34861056, episodic return=2439.309814453125\n", + "global step=34861056, episodic return=2331.763427734375\n", + "global step=34861056, episodic return=635.552978515625\n", + "global step=34861056, episodic return=2377.30078125\n", + "global step=34863104, episodic return=1421.686279296875\n", + "global step=34865152, episodic return=2383.49462890625\n", + "global step=34867200, episodic return=102.44930267333984\n", + "global step=34867200, episodic return=71.673095703125\n", + "global step=34867200, episodic return=2480.184326171875\n", + "global step=34869248, episodic return=2453.71728515625\n", + "global step=34871296, episodic return=2327.939208984375\n", + "global step=34871296, episodic return=2373.422119140625\n", + "global step=34871296, episodic return=2322.92822265625\n", + "global step=34871296, episodic return=2428.003662109375\n", + "global step=34871296, episodic return=2430.56591796875\n", + "global step=34873344, episodic return=2366.628173828125\n", + "global step=34877440, episodic return=2293.15673828125\n", + "global step=34879488, episodic return=271.1709289550781\n", + "global step=34879488, episodic return=2181.296142578125\n", + "global step=34879488, episodic return=2444.5927734375\n", + "global step=34879488, episodic return=2442.3369140625\n", + "global step=34879488, episodic return=2380.34521484375\n", + "global step=34881536, episodic return=2403.628662109375\n", + "global step=34881536, episodic return=2417.0771484375\n", + "global step=34881536, episodic return=2434.1708984375\n", + "global step=34881536, episodic return=2477.20751953125\n", + "global step=34883584, episodic return=2435.8447265625\n", + "global step=34883584, episodic return=193.23715209960938\n", + "global step=34883584, episodic return=2412.9697265625\n", + "global step=34883584, episodic return=2297.766845703125\n", + "global step=34883584, episodic return=2401.243896484375\n", + "global step=34885632, episodic return=2378.822998046875\n", + "global step=34885632, episodic return=2444.264892578125\n", + "global step=34887680, episodic return=2464.28271484375\n", + "global step=34889728, episodic return=280.5910949707031\n", + "global step=34889728, episodic return=2404.833251953125\n", + "global step=34889728, episodic return=2372.431884765625\n", + "global step=34889728, episodic return=2343.122314453125\n", + "global step=34889728, episodic return=2331.592529296875\n", + "global step=34889728, episodic return=2408.249267578125\n", + "global step=34889728, episodic return=2425.095947265625\n", + "global step=34893824, episodic return=2279.419677734375\n", + "global step=34893824, episodic return=2450.624267578125\n", + "global step=34895872, episodic return=2393.039306640625\n", + "global step=34895872, episodic return=2472.093017578125\n", + "global step=34895872, episodic return=2423.767333984375\n", + "global step=34895872, episodic return=2243.727294921875\n", + "global step=34897920, episodic return=2358.323486328125\n", + "global step=34897920, episodic return=2405.558837890625\n", + "global step=34899968, episodic return=2222.7763671875\n", + "global step=34899968, episodic return=2427.66259765625\n", + "global step=34899968, episodic return=2414.448486328125\n", + "global step=34899968, episodic return=2288.1455078125\n", + "global step=34902016, episodic return=2386.995849609375\n", + "global step=34902016, episodic return=2373.96826171875\n", + "global step=34902016, episodic return=2414.366943359375\n", + "global step=34902016, episodic return=2408.528076171875\n", + "global step=34904064, episodic return=2450.937255859375\n", + "global step=34904064, episodic return=1422.7869873046875\n", + "global step=34906112, episodic return=2300.793701171875\n", + "global step=34906112, episodic return=2433.93896484375\n", + "global step=34908160, episodic return=2358.30126953125\n", + "global step=34908160, episodic return=2366.333251953125\n", + "global step=34910208, episodic return=138.4772186279297\n", + "global step=34910208, episodic return=2488.91748046875\n", + "global step=34910208, episodic return=2432.1435546875\n", + "global step=34910208, episodic return=2412.82080078125\n", + "global step=34912256, episodic return=171.24156188964844\n", + "global step=34912256, episodic return=354.5704345703125\n", + "global step=34912256, episodic return=2404.786865234375\n", + "global step=34912256, episodic return=2306.72412109375\n", + "global step=34912256, episodic return=2362.64013671875\n", + "global step=34912256, episodic return=2439.494384765625\n", + "global step=34914304, episodic return=2453.3671875\n", + "global step=34914304, episodic return=2265.400390625\n", + "global step=34914304, episodic return=2372.04833984375\n", + "global step=34916352, episodic return=2385.13623046875\n", + "global step=34916352, episodic return=2454.228759765625\n", + "global step=34916352, episodic return=2437.57275390625\n", + "global step=34918400, episodic return=2424.559814453125\n", + "global step=34918400, episodic return=2371.253662109375\n", + "global step=34918400, episodic return=2003.0302734375\n", + "global step=34918400, episodic return=1053.3822021484375\n", + "global step=34918400, episodic return=2282.553466796875\n", + "global step=34920448, episodic return=2362.50439453125\n", + "global step=34922496, episodic return=2039.1502685546875\n", + "global step=34926592, episodic return=1561.6102294921875\n", + "global step=34926592, episodic return=2393.84814453125\n", + "global step=34926592, episodic return=1086.8839111328125\n", + "global step=34926592, episodic return=300.2620544433594\n", + "global step=34928640, episodic return=2364.640869140625\n", + "global step=34930688, episodic return=2429.3486328125\n", + "global step=34930688, episodic return=2267.79638671875\n", + "global step=34932736, episodic return=2334.79345703125\n", + "global step=34932736, episodic return=228.6690216064453\n", + "global step=34932736, episodic return=2395.873779296875\n", + "global step=34932736, episodic return=2372.49609375\n", + "global step=34932736, episodic return=2373.868408203125\n", + "global step=34932736, episodic return=2352.3232421875\n", + "global step=34934784, episodic return=2099.990234375\n", + "global step=34934784, episodic return=2428.45361328125\n", + "global step=34934784, episodic return=2412.246337890625\n", + "global step=34934784, episodic return=2343.7822265625\n", + "global step=34934784, episodic return=2411.289794921875\n", + "global step=34936832, episodic return=2392.080810546875\n", + "global step=34938880, episodic return=2438.19189453125\n", + "global step=34938880, episodic return=2388.051025390625\n", + "global step=34938880, episodic return=2398.1064453125\n", + "global step=34938880, episodic return=470.58563232421875\n", + "global step=34940928, episodic return=62.76258850097656\n", + "global step=34940928, episodic return=2444.563720703125\n", + "global step=34940928, episodic return=2371.9609375\n", + "global step=34940928, episodic return=2301.930908203125\n", + "global step=34942976, episodic return=2424.4052734375\n", + "global step=34947072, episodic return=2414.330322265625\n", + "global step=34949120, episodic return=1078.7628173828125\n", + "global step=34949120, episodic return=2389.653076171875\n", + "global step=34949120, episodic return=2364.706298828125\n", + "global step=34949120, episodic return=858.3455810546875\n", + "global step=34953216, episodic return=2423.843505859375\n", + "global step=34953216, episodic return=2337.1455078125\n", + "global step=34953216, episodic return=2416.55712890625\n", + "global step=34953216, episodic return=2393.098876953125\n", + "global step=34953216, episodic return=2439.176025390625\n", + "global step=34953216, episodic return=58.888214111328125\n", + "global step=34955264, episodic return=2439.390869140625\n", + "global step=34955264, episodic return=285.4272766113281\n", + "global step=34955264, episodic return=2383.7421875\n", + "global step=34955264, episodic return=1384.875\n", + "global step=34957312, episodic return=614.9346313476562\n", + "global step=34957312, episodic return=2353.3701171875\n", + "global step=34957312, episodic return=2363.641845703125\n", + "global step=34961408, episodic return=1843.4835205078125\n", + "global step=34961408, episodic return=2444.795654296875\n", + "global step=34961408, episodic return=2461.539306640625\n", + "global step=34961408, episodic return=2415.824462890625\n", + "global step=34963456, episodic return=2390.953857421875\n", + "global step=34963456, episodic return=2390.276123046875\n", + "global step=34965504, episodic return=1403.2840576171875\n", + "global step=34965504, episodic return=2377.698974609375\n", + "global step=34965504, episodic return=2402.57421875\n", + "global step=34967552, episodic return=2354.96484375\n", + "global step=34969600, episodic return=2457.760986328125\n", + "global step=34969600, episodic return=2363.974853515625\n", + "global step=34969600, episodic return=2423.3974609375\n", + "global step=34969600, episodic return=2396.86962890625\n", + "global step=34971648, episodic return=717.9091796875\n", + "global step=34971648, episodic return=2191.54345703125\n", + "global step=34971648, episodic return=47.35643005371094\n", + "global step=34971648, episodic return=2426.323974609375\n", + "global step=34973696, episodic return=2411.45361328125\n", + "global step=34973696, episodic return=2387.293701171875\n", + "global step=34973696, episodic return=2422.075927734375\n", + "global step=34973696, episodic return=238.91249084472656\n", + "global step=34975744, episodic return=2360.55810546875\n", + "global step=34977792, episodic return=2366.614501953125\n", + "global step=34977792, episodic return=2380.19775390625\n", + "global step=34977792, episodic return=2339.302734375\n", + "global step=34977792, episodic return=2405.941162109375\n", + "global step=34979840, episodic return=2395.84326171875\n", + "global step=34979840, episodic return=2409.35302734375\n", + "global step=34981888, episodic return=320.4613037109375\n", + "global step=34981888, episodic return=2462.341796875\n", + "global step=34981888, episodic return=2329.334228515625\n", + "global step=34981888, episodic return=2336.838134765625\n", + "global step=34983936, episodic return=2391.61083984375\n", + "global step=34983936, episodic return=2475.70458984375\n", + "global step=34985984, episodic return=2424.643310546875\n", + "global step=34985984, episodic return=2337.73291015625\n", + "global step=34985984, episodic return=2385.746826171875\n", + "global step=34985984, episodic return=2407.895751953125\n", + "global step=34985984, episodic return=1148.178466796875\n", + "global step=34992128, episodic return=2375.314453125\n", + "global step=34992128, episodic return=2447.88134765625\n", + "global step=34994176, episodic return=2394.21142578125\n", + "global step=34994176, episodic return=940.6627807617188\n", + "global step=34994176, episodic return=2430.405517578125\n", + "global step=34996224, episodic return=2436.89111328125\n", + "global step=34998272, episodic return=1225.8448486328125\n", + "global step=35000320, episodic return=2348.119384765625\n", + "global step=35000320, episodic return=2432.0078125\n", + "global step=35004416, episodic return=2417.289794921875\n", + "global step=35004416, episodic return=2433.818603515625\n", + "global step=35004416, episodic return=2389.27001953125\n", + "global step=35004416, episodic return=2408.21142578125\n", + "global step=35004416, episodic return=2270.218994140625\n", + "global step=35006464, episodic return=2200.587158203125\n", + "global step=35008512, episodic return=1827.5155029296875\n", + "global step=35008512, episodic return=106.6007308959961\n", + "global step=35010560, episodic return=2404.822509765625\n", + "global step=35010560, episodic return=2427.4794921875\n", + "global step=35012608, episodic return=2404.81787109375\n", + "global step=35012608, episodic return=2420.330810546875\n", + "global step=35012608, episodic return=2387.05810546875\n", + "global step=35012608, episodic return=321.40264892578125\n", + "global step=35014656, episodic return=2447.767578125\n", + "global step=35014656, episodic return=2396.843017578125\n", + "global step=35014656, episodic return=2411.312255859375\n", + "global step=35016704, episodic return=1985.9979248046875\n", + "global step=35020800, episodic return=2401.277587890625\n", + "global step=35020800, episodic return=2426.1083984375\n", + "global step=35020800, episodic return=2249.619873046875\n", + "global step=35022848, episodic return=2411.5771484375\n", + "global step=35022848, episodic return=2417.83056640625\n", + "global step=35022848, episodic return=1594.2850341796875\n", + "global step=35022848, episodic return=2495.714599609375\n", + "global step=35022848, episodic return=2342.540283203125\n", + "global step=35024896, episodic return=1341.284423828125\n", + "global step=35024896, episodic return=2464.921875\n", + "global step=35024896, episodic return=2451.55712890625\n", + "global step=35028992, episodic return=2453.944091796875\n", + "global step=35028992, episodic return=2024.0994873046875\n", + "global step=35035136, episodic return=2398.82177734375\n", + "global step=35035136, episodic return=2294.5185546875\n", + "global step=35037184, episodic return=2376.62744140625\n", + "global step=35039232, episodic return=2437.780029296875\n", + "global step=35041280, episodic return=2288.447021484375\n", + "global step=35041280, episodic return=2416.698486328125\n", + "global step=35041280, episodic return=2272.850830078125\n", + "global step=35043328, episodic return=734.1156616210938\n", + "global step=35043328, episodic return=2309.978515625\n", + "global step=35043328, episodic return=708.6888427734375\n", + "global step=35043328, episodic return=2295.533447265625\n", + "global step=35043328, episodic return=2392.640869140625\n", + "global step=35047424, episodic return=2074.096923828125\n", + "global step=35049472, episodic return=2349.679931640625\n", + "global step=35053568, episodic return=2397.8681640625\n", + "global step=35055616, episodic return=2334.354736328125\n", + "global step=35055616, episodic return=2313.05810546875\n", + "global step=35055616, episodic return=2456.517822265625\n", + "global step=35057664, episodic return=632.7919921875\n", + "global step=35057664, episodic return=2432.22119140625\n", + "global step=35057664, episodic return=2344.9775390625\n", + "global step=35061760, episodic return=2431.521728515625\n", + "global step=35063808, episodic return=1963.9114990234375\n", + "global step=35063808, episodic return=2347.087158203125\n", + "global step=35063808, episodic return=2349.223876953125\n", + "global step=35063808, episodic return=26.334611892700195\n", + "global step=35063808, episodic return=2352.095947265625\n", + "global step=35065856, episodic return=2389.2890625\n", + "global step=35065856, episodic return=2428.319580078125\n", + "global step=35065856, episodic return=2427.075439453125\n", + "global step=35067904, episodic return=392.6080322265625\n", + "global step=35072000, episodic return=1349.5345458984375\n", + "global step=35074048, episodic return=438.94891357421875\n", + "global step=35076096, episodic return=2393.146484375\n", + "global step=35080192, episodic return=1495.0716552734375\n", + "global step=35080192, episodic return=2409.978759765625\n", + "global step=35080192, episodic return=67.50227355957031\n", + "global step=35080192, episodic return=2471.17431640625\n", + "global step=35082240, episodic return=2411.261962890625\n", + "global step=35082240, episodic return=2257.4560546875\n", + "global step=35084288, episodic return=2452.43408203125\n", + "global step=35084288, episodic return=2362.451416015625\n", + "global step=35084288, episodic return=63.08889389038086\n", + "global step=35086336, episodic return=1675.958984375\n", + "global step=35088384, episodic return=2401.1123046875\n", + "global step=35090432, episodic return=1281.05224609375\n", + "global step=35090432, episodic return=2428.630126953125\n", + "global step=35090432, episodic return=2417.3974609375\n", + "global step=35092480, episodic return=2455.092529296875\n", + "global step=35092480, episodic return=1163.5341796875\n", + "global step=35092480, episodic return=2326.755859375\n", + "global step=35092480, episodic return=2372.37109375\n", + "global step=35092480, episodic return=298.257080078125\n", + "global step=35094528, episodic return=2416.84375\n", + "global step=35094528, episodic return=2512.715087890625\n", + "global step=35096576, episodic return=2443.51025390625\n", + "global step=35096576, episodic return=2373.908447265625\n", + "global step=35096576, episodic return=2376.600341796875\n", + "global step=35096576, episodic return=1127.52880859375\n", + "global step=35098624, episodic return=2359.88623046875\n", + "global step=35098624, episodic return=2426.063720703125\n", + "global step=35098624, episodic return=853.4163818359375\n", + "global step=35098624, episodic return=2334.22802734375\n", + "global step=35100672, episodic return=2277.84130859375\n", + "global step=35100672, episodic return=2422.840087890625\n", + "global step=35102720, episodic return=2419.438720703125\n", + "global step=35102720, episodic return=2383.674560546875\n", + "global step=35104768, episodic return=1630.6650390625\n", + "global step=35104768, episodic return=2412.569091796875\n", + "global step=35104768, episodic return=2424.123046875\n", + "global step=35104768, episodic return=2335.30029296875\n", + "global step=35104768, episodic return=2346.687744140625\n", + "global step=35106816, episodic return=1170.7625732421875\n", + "global step=35106816, episodic return=2380.553955078125\n", + "global step=35106816, episodic return=2433.5244140625\n", + "global step=35106816, episodic return=1582.96337890625\n", + "global step=35106816, episodic return=2354.11376953125\n", + "global step=35108864, episodic return=2358.5439453125\n", + "global step=35108864, episodic return=2431.87744140625\n", + "global step=35108864, episodic return=59.388633728027344\n", + "global step=35110912, episodic return=1109.3553466796875\n", + "global step=35110912, episodic return=1701.0306396484375\n", + "global step=35112960, episodic return=2309.276611328125\n", + "global step=35112960, episodic return=2385.93115234375\n", + "global step=35115008, episodic return=2300.981689453125\n", + "global step=35115008, episodic return=2320.561279296875\n", + "global step=35117056, episodic return=2409.680419921875\n", + "global step=35117056, episodic return=2434.1904296875\n", + "global step=35119104, episodic return=889.549560546875\n", + "global step=35121152, episodic return=2367.600341796875\n", + "global step=35121152, episodic return=1381.9466552734375\n", + "global step=35121152, episodic return=2443.3896484375\n", + "global step=35123200, episodic return=479.9368591308594\n", + "global step=35123200, episodic return=1956.0867919921875\n", + "global step=35123200, episodic return=2289.734619140625\n", + "global step=35123200, episodic return=2358.72412109375\n", + "global step=35125248, episodic return=2314.5625\n", + "global step=35125248, episodic return=986.7049560546875\n", + "global step=35125248, episodic return=1629.2396240234375\n", + "global step=35127296, episodic return=744.0189208984375\n", + "global step=35127296, episodic return=285.2935791015625\n", + "global step=35129344, episodic return=2441.072265625\n", + "global step=35131392, episodic return=2222.392822265625\n", + "global step=35131392, episodic return=2451.585205078125\n", + "global step=35133440, episodic return=2456.4775390625\n", + "global step=35133440, episodic return=2404.410888671875\n", + "global step=35135488, episodic return=2448.66845703125\n", + "global step=35135488, episodic return=2372.503173828125\n", + "global step=35137536, episodic return=1774.680419921875\n", + "global step=35139584, episodic return=398.7942199707031\n", + "global step=35139584, episodic return=2330.59228515625\n", + "global step=35141632, episodic return=2390.9052734375\n", + "global step=35143680, episodic return=2409.798828125\n", + "global step=35143680, episodic return=2315.715576171875\n", + "global step=35145728, episodic return=2413.64111328125\n", + "global step=35145728, episodic return=2474.892822265625\n", + "global step=35147776, episodic return=2438.21728515625\n", + "global step=35149824, episodic return=2249.812255859375\n", + "global step=35149824, episodic return=2422.117919921875\n", + "global step=35151872, episodic return=2372.448486328125\n", + "global step=35151872, episodic return=2453.09228515625\n", + "global step=35155968, episodic return=2435.526123046875\n", + "global step=35155968, episodic return=2360.34814453125\n", + "global step=35158016, episodic return=2432.5146484375\n", + "global step=35160064, episodic return=2441.487548828125\n", + "global step=35162112, episodic return=2460.065673828125\n", + "global step=35166208, episodic return=1077.943359375\n", + "global step=35168256, episodic return=1376.3905029296875\n", + "global step=35168256, episodic return=2412.2490234375\n", + "global step=35168256, episodic return=2394.75439453125\n", + "global step=35168256, episodic return=2423.824951171875\n", + "global step=35168256, episodic return=2391.8486328125\n", + "global step=35168256, episodic return=2334.762939453125\n", + "global step=35170304, episodic return=2452.20458984375\n", + "global step=35172352, episodic return=2481.4013671875\n", + "global step=35174400, episodic return=2427.105712890625\n", + "global step=35174400, episodic return=2330.93505859375\n", + "global step=35176448, episodic return=43.70686721801758\n", + "global step=35176448, episodic return=1875.4393310546875\n", + "global step=35176448, episodic return=2334.465087890625\n", + "global step=35176448, episodic return=781.9550170898438\n", + "global step=35178496, episodic return=2402.047119140625\n", + "global step=35178496, episodic return=2394.92626953125\n", + "global step=35182592, episodic return=2397.651123046875\n", + "global step=35182592, episodic return=184.3278045654297\n", + "global step=35184640, episodic return=2362.244384765625\n", + "global step=35184640, episodic return=2365.122314453125\n", + "global step=35184640, episodic return=2397.13330078125\n", + "global step=35184640, episodic return=2443.41845703125\n", + "global step=35184640, episodic return=2384.890380859375\n", + "global step=35184640, episodic return=2402.0478515625\n", + "global step=35186688, episodic return=1465.8856201171875\n", + "global step=35186688, episodic return=2426.640380859375\n", + "global step=35186688, episodic return=2403.622802734375\n", + "global step=35188736, episodic return=2429.888671875\n", + "global step=35190784, episodic return=2385.654541015625\n", + "global step=35190784, episodic return=2375.05126953125\n", + "global step=35190784, episodic return=2398.96044921875\n", + "global step=35190784, episodic return=2423.7265625\n", + "global step=35192832, episodic return=1846.1651611328125\n", + "global step=35192832, episodic return=2432.575439453125\n", + "global step=35192832, episodic return=2426.00048828125\n", + "global step=35194880, episodic return=2114.82080078125\n", + "global step=35194880, episodic return=2343.469970703125\n", + "global step=35194880, episodic return=2399.15869140625\n", + "global step=35194880, episodic return=2396.8876953125\n", + "global step=35194880, episodic return=2468.102783203125\n", + "global step=35198976, episodic return=2380.26708984375\n", + "global step=35198976, episodic return=2183.663818359375\n", + "global step=35198976, episodic return=2373.9658203125\n", + "global step=35201024, episodic return=2396.173828125\n", + "global step=35201024, episodic return=1901.949951171875\n", + "global step=35201024, episodic return=2401.8818359375\n", + "global step=35203072, episodic return=2426.3759765625\n", + "global step=35203072, episodic return=2317.5986328125\n", + "global step=35209216, episodic return=2385.020751953125\n", + "global step=35209216, episodic return=1553.304443359375\n", + "global step=35213312, episodic return=2302.14208984375\n", + "global step=35213312, episodic return=1509.0523681640625\n", + "global step=35215360, episodic return=111.8638916015625\n", + "global step=35215360, episodic return=2369.081787109375\n", + "global step=35215360, episodic return=2385.314453125\n", + "global step=35221504, episodic return=393.86395263671875\n", + "global step=35221504, episodic return=2370.27734375\n", + "global step=35221504, episodic return=2428.962158203125\n", + "global step=35221504, episodic return=2349.575439453125\n", + "global step=35223552, episodic return=2327.740478515625\n", + "global step=35223552, episodic return=2417.13916015625\n", + "global step=35223552, episodic return=1404.8719482421875\n", + "global step=35227648, episodic return=2391.165283203125\n", + "global step=35227648, episodic return=2421.79296875\n", + "global step=35231744, episodic return=450.9208068847656\n", + "global step=35231744, episodic return=2393.250244140625\n", + "global step=35233792, episodic return=1276.0006103515625\n", + "global step=35233792, episodic return=2415.591552734375\n", + "global step=35235840, episodic return=2362.318359375\n", + "global step=35237888, episodic return=2366.75439453125\n", + "global step=35239936, episodic return=2312.789306640625\n", + "global step=35239936, episodic return=2369.617431640625\n", + "global step=35241984, episodic return=2338.855712890625\n", + "global step=35241984, episodic return=2385.29638671875\n", + "global step=35241984, episodic return=2403.420654296875\n", + "global step=35246080, episodic return=2412.6767578125\n", + "global step=35246080, episodic return=2385.4072265625\n", + "global step=35246080, episodic return=2389.792236328125\n", + "global step=35248128, episodic return=2119.464111328125\n", + "global step=35248128, episodic return=2435.77587890625\n", + "global step=35250176, episodic return=1991.9461669921875\n", + "global step=35252224, episodic return=2405.224609375\n", + "global step=35252224, episodic return=2200.07177734375\n", + "global step=35254272, episodic return=2427.40771484375\n", + "global step=35254272, episodic return=2381.37451171875\n", + "global step=35254272, episodic return=2096.620361328125\n", + "global step=35256320, episodic return=2436.625732421875\n", + "global step=35256320, episodic return=700.7991943359375\n", + "global step=35258368, episodic return=1409.459716796875\n", + "global step=35258368, episodic return=2373.746337890625\n", + "global step=35260416, episodic return=2383.689697265625\n", + "global step=35260416, episodic return=2429.35498046875\n", + "global step=35260416, episodic return=2275.00390625\n", + "global step=35260416, episodic return=2353.12646484375\n", + "global step=35260416, episodic return=465.3674621582031\n", + "global step=35262464, episodic return=2353.157958984375\n", + "global step=35262464, episodic return=2445.754150390625\n", + "global step=35264512, episodic return=1610.5244140625\n", + "global step=35264512, episodic return=2403.662353515625\n", + "global step=35264512, episodic return=1434.09716796875\n", + "global step=35264512, episodic return=16.013051986694336\n", + "global step=35266560, episodic return=2403.711181640625\n", + "global step=35266560, episodic return=2401.864013671875\n", + "global step=35268608, episodic return=2376.156982421875\n", + "global step=35268608, episodic return=2496.751220703125\n", + "global step=35270656, episodic return=2388.841552734375\n", + "global step=35270656, episodic return=2385.065185546875\n", + "global step=35272704, episodic return=935.4074096679688\n", + "global step=35272704, episodic return=2365.40869140625\n", + "global step=35272704, episodic return=2462.490478515625\n", + "global step=35274752, episodic return=2454.241455078125\n", + "global step=35274752, episodic return=2491.1611328125\n", + "global step=35274752, episodic return=2436.00830078125\n", + "global step=35278848, episodic return=2372.322509765625\n", + "global step=35278848, episodic return=2428.265625\n", + "global step=35278848, episodic return=2399.640625\n", + "global step=35278848, episodic return=2404.83447265625\n", + "global step=35280896, episodic return=2218.39794921875\n", + "global step=35282944, episodic return=2446.569091796875\n", + "global step=35282944, episodic return=2388.632568359375\n", + "global step=35282944, episodic return=2452.200439453125\n", + "global step=35282944, episodic return=208.4334259033203\n", + "global step=35282944, episodic return=2441.95263671875\n", + "global step=35284992, episodic return=2407.96630859375\n", + "global step=35287040, episodic return=2397.17333984375\n", + "global step=35287040, episodic return=2329.7451171875\n", + "global step=35287040, episodic return=2395.108642578125\n", + "global step=35287040, episodic return=2467.75537109375\n", + "global step=35287040, episodic return=609.6110229492188\n", + "global step=35291136, episodic return=2388.73095703125\n", + "global step=35291136, episodic return=1146.406494140625\n", + "global step=35293184, episodic return=2432.025146484375\n", + "global step=35295232, episodic return=2397.23583984375\n", + "global step=35295232, episodic return=1760.22119140625\n", + "global step=35295232, episodic return=2453.189697265625\n", + "global step=35295232, episodic return=2303.20361328125\n", + "global step=35295232, episodic return=2406.659423828125\n", + "global step=35297280, episodic return=2475.85498046875\n", + "global step=35299328, episodic return=2319.4228515625\n", + "global step=35299328, episodic return=1410.5458984375\n", + "global step=35299328, episodic return=2380.23974609375\n", + "global step=35299328, episodic return=2418.698974609375\n", + "global step=35299328, episodic return=2390.939208984375\n", + "global step=35299328, episodic return=1065.3868408203125\n", + "global step=35301376, episodic return=1957.4166259765625\n", + "global step=35301376, episodic return=2412.783447265625\n", + "global step=35303424, episodic return=2469.695068359375\n", + "global step=35303424, episodic return=2351.75830078125\n", + "global step=35303424, episodic return=2407.177978515625\n", + "global step=35307520, episodic return=39.74985885620117\n", + "global step=35309568, episodic return=2305.913330078125\n", + "global step=35309568, episodic return=201.8319854736328\n", + "global step=35309568, episodic return=1646.3206787109375\n", + "global step=35309568, episodic return=2395.48583984375\n", + "global step=35309568, episodic return=837.1342163085938\n", + "global step=35311616, episodic return=2407.429443359375\n", + "global step=35311616, episodic return=2326.926025390625\n", + "global step=35311616, episodic return=2383.412109375\n", + "global step=35313664, episodic return=1092.335693359375\n", + "global step=35313664, episodic return=2421.75048828125\n", + "global step=35313664, episodic return=2422.37939453125\n", + "global step=35317760, episodic return=219.1544647216797\n", + "global step=35321856, episodic return=2394.71875\n", + "global step=35323904, episodic return=2428.77099609375\n", + "global step=35323904, episodic return=2413.702392578125\n", + "global step=35325952, episodic return=2466.92529296875\n", + "global step=35325952, episodic return=2353.312744140625\n", + "global step=35330048, episodic return=1591.5086669921875\n", + "global step=35330048, episodic return=2407.568115234375\n", + "global step=35332096, episodic return=1723.94921875\n", + "global step=35332096, episodic return=906.0623779296875\n", + "global step=35332096, episodic return=2454.658203125\n", + "global step=35332096, episodic return=2400.35595703125\n", + "global step=35336192, episodic return=2423.062744140625\n", + "global step=35338240, episodic return=2397.19580078125\n", + "global step=35338240, episodic return=24.382265090942383\n", + "global step=35340288, episodic return=235.63108825683594\n", + "global step=35340288, episodic return=1907.72265625\n", + "global step=35340288, episodic return=2449.87109375\n", + "global step=35344384, episodic return=2449.079833984375\n", + "global step=35346432, episodic return=2337.255859375\n", + "global step=35346432, episodic return=2468.434326171875\n", + "global step=35346432, episodic return=2442.5302734375\n", + "global step=35348480, episodic return=2413.57275390625\n", + "global step=35348480, episodic return=2421.0078125\n", + "global step=35348480, episodic return=1179.518798828125\n", + "global step=35350528, episodic return=2435.635986328125\n", + "global step=35350528, episodic return=704.7739868164062\n", + "global step=35352576, episodic return=1692.350830078125\n", + "global step=35352576, episodic return=2448.359130859375\n", + "global step=35352576, episodic return=176.91439819335938\n", + "global step=35352576, episodic return=1736.2437744140625\n", + "global step=35352576, episodic return=2306.81103515625\n", + "global step=35354624, episodic return=2343.949951171875\n", + "global step=35354624, episodic return=2443.790283203125\n", + "global step=35354624, episodic return=1000.4188842773438\n", + "global step=35354624, episodic return=2312.162841796875\n", + "global step=35354624, episodic return=2445.843994140625\n", + "global step=35358720, episodic return=2491.91064453125\n", + "global step=35358720, episodic return=2401.597900390625\n", + "global step=35360768, episodic return=1128.6959228515625\n", + "global step=35360768, episodic return=2350.784912109375\n", + "global step=35362816, episodic return=2401.998779296875\n", + "global step=35362816, episodic return=1675.8922119140625\n", + "global step=35362816, episodic return=2431.38330078125\n", + "global step=35364864, episodic return=2383.298095703125\n", + "global step=35364864, episodic return=2389.96875\n", + "global step=35364864, episodic return=2434.654296875\n", + "global step=35364864, episodic return=2390.73974609375\n", + "global step=35364864, episodic return=2469.251953125\n", + "global step=35364864, episodic return=2437.28466796875\n", + "global step=35366912, episodic return=2387.218017578125\n", + "global step=35366912, episodic return=2412.0966796875\n", + "global step=35366912, episodic return=2389.886474609375\n", + "global step=35368960, episodic return=2459.81396484375\n", + "global step=35371008, episodic return=2405.407470703125\n", + "global step=35371008, episodic return=2364.706298828125\n", + "global step=35371008, episodic return=2442.36083984375\n", + "global step=35371008, episodic return=2488.076171875\n", + "global step=35371008, episodic return=2437.8330078125\n", + "global step=35373056, episodic return=2434.389404296875\n", + "global step=35373056, episodic return=2510.980712890625\n", + "global step=35373056, episodic return=2371.2041015625\n", + "global step=35375104, episodic return=2427.068115234375\n", + "global step=35375104, episodic return=2210.1455078125\n", + "global step=35375104, episodic return=2457.090576171875\n", + "global step=35375104, episodic return=2346.77685546875\n", + "global step=35377152, episodic return=1667.6533203125\n", + "global step=35379200, episodic return=1548.2530517578125\n", + "global step=35379200, episodic return=1913.0323486328125\n", + "global step=35379200, episodic return=2323.541259765625\n", + "global step=35379200, episodic return=2365.440673828125\n", + "global step=35379200, episodic return=1155.02490234375\n", + "global step=35381248, episodic return=438.00579833984375\n", + "global step=35381248, episodic return=2366.777587890625\n", + "global step=35381248, episodic return=2365.383544921875\n", + "global step=35381248, episodic return=787.7394409179688\n", + "global step=35381248, episodic return=2449.926025390625\n", + "global step=35381248, episodic return=2454.45166015625\n", + "global step=35381248, episodic return=2294.072509765625\n", + "global step=35381248, episodic return=2423.262939453125\n", + "global step=35383296, episodic return=2402.174560546875\n", + "global step=35383296, episodic return=2449.196533203125\n", + "global step=35383296, episodic return=2377.0146484375\n", + "global step=35383296, episodic return=753.7864990234375\n", + "global step=35387392, episodic return=2433.734130859375\n", + "global step=35387392, episodic return=2429.751708984375\n", + "global step=35387392, episodic return=2381.143798828125\n", + "global step=35387392, episodic return=1240.49072265625\n", + "global step=35387392, episodic return=2082.360107421875\n", + "global step=35389440, episodic return=359.9749755859375\n", + "global step=35389440, episodic return=2427.535888671875\n", + "global step=35389440, episodic return=1491.63232421875\n", + "global step=35391488, episodic return=2435.887451171875\n", + "global step=35391488, episodic return=1979.8011474609375\n", + "global step=35391488, episodic return=1244.1778564453125\n", + "global step=35393536, episodic return=2335.513427734375\n", + "global step=35393536, episodic return=2476.407470703125\n", + "global step=35401728, episodic return=2400.323486328125\n", + "global step=35403776, episodic return=1760.15185546875\n", + "global step=35403776, episodic return=2377.099365234375\n", + "global step=35405824, episodic return=2414.299072265625\n", + "global step=35405824, episodic return=2470.946044921875\n", + "global step=35405824, episodic return=2405.2626953125\n", + "global step=35409920, episodic return=2457.343505859375\n", + "global step=35414016, episodic return=2260.952392578125\n", + "global step=35414016, episodic return=1127.1217041015625\n", + "global step=35414016, episodic return=2384.137939453125\n", + "global step=35414016, episodic return=2282.5703125\n", + "global step=35414016, episodic return=2418.657470703125\n", + "global step=35416064, episodic return=910.5944213867188\n", + "global step=35418112, episodic return=2034.8404541015625\n", + "global step=35418112, episodic return=2392.80224609375\n", + "global step=35420160, episodic return=61.54634475708008\n", + "global step=35420160, episodic return=2385.02490234375\n", + "global step=35420160, episodic return=1841.2158203125\n", + "global step=35422208, episodic return=2448.99951171875\n", + "global step=35422208, episodic return=45.17499923706055\n", + "global step=35422208, episodic return=2441.55419921875\n", + "global step=35424256, episodic return=2409.59765625\n", + "global step=35424256, episodic return=29.059362411499023\n", + "global step=35424256, episodic return=2456.914306640625\n", + "global step=35424256, episodic return=2369.073486328125\n", + "global step=35426304, episodic return=2041.4761962890625\n", + "global step=35426304, episodic return=263.8343811035156\n", + "global step=35426304, episodic return=2431.308837890625\n", + "global step=35426304, episodic return=2401.1806640625\n", + "global step=35428352, episodic return=2445.78564453125\n", + "global step=35430400, episodic return=922.0399169921875\n", + "global step=35430400, episodic return=2390.2900390625\n", + "global step=35430400, episodic return=1944.785888671875\n", + "global step=35430400, episodic return=2363.15625\n", + "global step=35434496, episodic return=2417.077392578125\n", + "global step=35436544, episodic return=2211.436279296875\n", + "global step=35436544, episodic return=100.54459381103516\n", + "global step=35436544, episodic return=2399.428955078125\n", + "global step=35438592, episodic return=1963.2039794921875\n", + "global step=35438592, episodic return=801.1172485351562\n", + "global step=35438592, episodic return=2334.404296875\n", + "global step=35440640, episodic return=2308.2802734375\n", + "global step=35440640, episodic return=2348.189697265625\n", + "global step=35442688, episodic return=2122.802734375\n", + "global step=35444736, episodic return=2447.308837890625\n", + "global step=35444736, episodic return=2410.920654296875\n", + "global step=35444736, episodic return=311.9215393066406\n", + "global step=35446784, episodic return=2460.484619140625\n", + "global step=35446784, episodic return=2422.485107421875\n", + "global step=35446784, episodic return=311.6044006347656\n", + "global step=35448832, episodic return=2097.521240234375\n", + "global step=35448832, episodic return=2318.65966796875\n", + "global step=35448832, episodic return=2416.444091796875\n", + "global step=35448832, episodic return=2486.404296875\n", + "global step=35450880, episodic return=2409.14794921875\n", + "global step=35450880, episodic return=2326.77392578125\n", + "global step=35452928, episodic return=2401.327392578125\n", + "global step=35452928, episodic return=2444.4853515625\n", + "global step=35454976, episodic return=2407.0810546875\n", + "global step=35454976, episodic return=2415.1259765625\n", + "global step=35454976, episodic return=2409.822998046875\n", + "global step=35454976, episodic return=2386.839599609375\n", + "global step=35457024, episodic return=2431.1484375\n", + "global step=35457024, episodic return=2396.158203125\n", + "global step=35459072, episodic return=2430.43603515625\n", + "global step=35459072, episodic return=1489.8660888671875\n", + "global step=35459072, episodic return=2388.76171875\n", + "global step=35461120, episodic return=2087.7333984375\n", + "global step=35461120, episodic return=765.3878173828125\n", + "global step=35461120, episodic return=2432.39990234375\n", + "global step=35463168, episodic return=2349.25390625\n", + "global step=35463168, episodic return=62.677574157714844\n", + "global step=35463168, episodic return=2459.489013671875\n", + "global step=35463168, episodic return=2422.696044921875\n", + "global step=35465216, episodic return=1623.0574951171875\n", + "global step=35465216, episodic return=2414.01806640625\n", + "global step=35465216, episodic return=2361.546630859375\n", + "global step=35467264, episodic return=2444.67236328125\n", + "global step=35467264, episodic return=2436.8037109375\n", + "global step=35469312, episodic return=2360.430419921875\n", + "global step=35469312, episodic return=651.0408325195312\n", + "global step=35469312, episodic return=1001.2688598632812\n", + "global step=35471360, episodic return=2455.340087890625\n", + "global step=35471360, episodic return=2452.43310546875\n", + "global step=35471360, episodic return=2421.642578125\n", + "global step=35473408, episodic return=2417.79052734375\n", + "global step=35473408, episodic return=2340.129638671875\n", + "global step=35475456, episodic return=2454.32421875\n", + "global step=35475456, episodic return=2453.359130859375\n", + "global step=35477504, episodic return=2401.8564453125\n", + "global step=35477504, episodic return=2360.847412109375\n", + "global step=35477504, episodic return=497.8291015625\n", + "global step=35481600, episodic return=2457.764404296875\n", + "global step=35483648, episodic return=2498.96484375\n", + "global step=35485696, episodic return=2438.4462890625\n", + "global step=35485696, episodic return=2409.41552734375\n", + "global step=35491840, episodic return=2363.6357421875\n", + "global step=35491840, episodic return=1497.8721923828125\n", + "global step=35493888, episodic return=616.357177734375\n", + "global step=35493888, episodic return=2434.29052734375\n", + "global step=35495936, episodic return=2350.3623046875\n", + "global step=35495936, episodic return=2461.27978515625\n", + "global step=35495936, episodic return=2037.56201171875\n", + "global step=35495936, episodic return=2402.355712890625\n", + "global step=35497984, episodic return=2377.674560546875\n", + "global step=35497984, episodic return=46.588600158691406\n", + "global step=35497984, episodic return=1944.3890380859375\n", + "global step=35497984, episodic return=2418.628173828125\n", + "global step=35500032, episodic return=2442.84716796875\n", + "global step=35502080, episodic return=903.5736694335938\n", + "global step=35506176, episodic return=1255.476318359375\n", + "global step=35506176, episodic return=2374.408935546875\n", + "global step=35506176, episodic return=1076.4940185546875\n", + "global step=35508224, episodic return=2509.715087890625\n", + "global step=35508224, episodic return=2411.991455078125\n", + "global step=35508224, episodic return=1768.4744873046875\n", + "global step=35510272, episodic return=2499.82275390625\n", + "global step=35512320, episodic return=289.6763610839844\n", + "global step=35512320, episodic return=2393.304931640625\n", + "global step=35512320, episodic return=2458.4384765625\n", + "global step=35514368, episodic return=186.9420928955078\n", + "global step=35514368, episodic return=1875.1407470703125\n", + "global step=35518464, episodic return=2452.1123046875\n", + "global step=35518464, episodic return=2437.360107421875\n", + "global step=35520512, episodic return=2472.22021484375\n", + "global step=35520512, episodic return=2244.45458984375\n", + "global step=35520512, episodic return=2458.85546875\n", + "global step=35522560, episodic return=809.4949340820312\n", + "global step=35522560, episodic return=2426.325439453125\n", + "global step=35524608, episodic return=2382.008056640625\n", + "global step=35524608, episodic return=2082.48486328125\n", + "global step=35524608, episodic return=2405.775390625\n", + "global step=35524608, episodic return=2387.68115234375\n", + "global step=35524608, episodic return=2371.84228515625\n", + "global step=35526656, episodic return=2424.75830078125\n", + "global step=35526656, episodic return=2417.318603515625\n", + "global step=35528704, episodic return=1301.3939208984375\n", + "global step=35530752, episodic return=2427.169921875\n", + "global step=35530752, episodic return=2424.291015625\n", + "global step=35534848, episodic return=2457.1259765625\n", + "global step=35534848, episodic return=2343.864501953125\n", + "global step=35534848, episodic return=2458.561279296875\n", + "global step=35534848, episodic return=2435.743896484375\n", + "global step=35536896, episodic return=2516.406982421875\n", + "global step=35536896, episodic return=1251.91064453125\n", + "global step=35538944, episodic return=2443.062255859375\n", + "global step=35540992, episodic return=515.1257934570312\n", + "global step=35540992, episodic return=2022.638671875\n", + "global step=35543040, episodic return=2334.71044921875\n", + "global step=35543040, episodic return=2092.830810546875\n", + "global step=35543040, episodic return=2430.786376953125\n", + "global step=35545088, episodic return=2438.89892578125\n", + "global step=35545088, episodic return=2407.290283203125\n", + "global step=35553280, episodic return=2400.900146484375\n", + "global step=35553280, episodic return=2444.444580078125\n", + "global step=35555328, episodic return=48.13572692871094\n", + "global step=35555328, episodic return=2397.9033203125\n", + "global step=35555328, episodic return=2436.560791015625\n", + "global step=35557376, episodic return=2299.283935546875\n", + "global step=35561472, episodic return=2403.26416015625\n", + "global step=35561472, episodic return=2423.990234375\n", + "global step=35563520, episodic return=2367.13330078125\n", + "global step=35563520, episodic return=2410.2294921875\n", + "global step=35565568, episodic return=2440.13623046875\n", + "global step=35565568, episodic return=2390.13671875\n", + "global step=35565568, episodic return=2381.4755859375\n", + "global step=35567616, episodic return=1687.041015625\n", + "global step=35569664, episodic return=2441.16796875\n", + "global step=35569664, episodic return=2413.0732421875\n", + "global step=35571712, episodic return=2335.42919921875\n", + "global step=35573760, episodic return=2436.137939453125\n", + "global step=35575808, episodic return=2333.106689453125\n", + "global step=35575808, episodic return=2377.94677734375\n", + "global step=35575808, episodic return=2441.370849609375\n", + "global step=35577856, episodic return=2408.279296875\n", + "global step=35577856, episodic return=2419.740966796875\n", + "global step=35579904, episodic return=2472.37353515625\n", + "global step=35579904, episodic return=702.1550903320312\n", + "global step=35579904, episodic return=2289.173828125\n", + "global step=35579904, episodic return=2457.5703125\n", + "global step=35579904, episodic return=924.6382446289062\n", + "global step=35581952, episodic return=1922.980712890625\n", + "global step=35581952, episodic return=2347.325927734375\n", + "global step=35581952, episodic return=1555.913818359375\n", + "global step=35584000, episodic return=2421.166259765625\n", + "global step=35584000, episodic return=2395.743408203125\n", + "global step=35584000, episodic return=2428.123046875\n", + "global step=35584000, episodic return=2428.662353515625\n", + "global step=35586048, episodic return=2368.251220703125\n", + "global step=35586048, episodic return=2383.033203125\n", + "global step=35586048, episodic return=2403.9921875\n", + "global step=35586048, episodic return=2440.346435546875\n", + "global step=35588096, episodic return=2396.860107421875\n", + "global step=35588096, episodic return=2385.962158203125\n", + "global step=35588096, episodic return=2359.177490234375\n", + "global step=35590144, episodic return=1601.6611328125\n", + "global step=35590144, episodic return=2431.801025390625\n", + "global step=35590144, episodic return=2465.590087890625\n", + "global step=35594240, episodic return=1905.6571044921875\n", + "global step=35594240, episodic return=2467.96337890625\n", + "global step=35594240, episodic return=2445.576416015625\n", + "global step=35598336, episodic return=1602.0723876953125\n", + "global step=35598336, episodic return=2400.209228515625\n", + "global step=35598336, episodic return=1549.5032958984375\n", + "global step=35600384, episodic return=2427.733642578125\n", + "global step=35600384, episodic return=2399.912353515625\n", + "global step=35600384, episodic return=2433.9169921875\n", + "global step=35602432, episodic return=1752.4830322265625\n", + "global step=35602432, episodic return=2360.25048828125\n", + "global step=35604480, episodic return=2347.503662109375\n", + "global step=35604480, episodic return=2433.720947265625\n", + "global step=35604480, episodic return=2434.56494140625\n", + "global step=35604480, episodic return=2427.9736328125\n", + "global step=35612672, episodic return=2399.1484375\n", + "global step=35612672, episodic return=2483.175048828125\n", + "global step=35614720, episodic return=2429.026611328125\n", + "global step=35614720, episodic return=1646.87353515625\n", + "global step=35614720, episodic return=2418.633544921875\n", + "global step=35614720, episodic return=2431.2451171875\n", + "global step=35614720, episodic return=2349.43408203125\n", + "global step=35616768, episodic return=2501.954345703125\n", + "global step=35616768, episodic return=2402.98876953125\n", + "global step=35618816, episodic return=2455.4013671875\n", + "global step=35618816, episodic return=2194.760986328125\n", + "global step=35620864, episodic return=2445.247314453125\n", + "global step=35620864, episodic return=2453.399169921875\n", + "global step=35620864, episodic return=2383.753662109375\n", + "global step=35622912, episodic return=2446.569580078125\n", + "global step=35622912, episodic return=2454.427490234375\n", + "global step=35624960, episodic return=2367.0205078125\n", + "global step=35627008, episodic return=1227.1502685546875\n", + "global step=35627008, episodic return=2377.03125\n", + "global step=35627008, episodic return=2455.283203125\n", + "global step=35629056, episodic return=1819.253173828125\n", + "global step=35629056, episodic return=2375.169921875\n", + "global step=35629056, episodic return=2442.170166015625\n", + "global step=35631104, episodic return=2476.697509765625\n", + "global step=35631104, episodic return=2440.687255859375\n", + "global step=35633152, episodic return=2435.0126953125\n", + "global step=35633152, episodic return=2403.373779296875\n", + "global step=35635200, episodic return=2436.358642578125\n", + "global step=35637248, episodic return=2453.45556640625\n", + "global step=35637248, episodic return=2443.197021484375\n", + "global step=35637248, episodic return=2414.120361328125\n", + "global step=35637248, episodic return=2451.904541015625\n", + "global step=35637248, episodic return=2454.3828125\n", + "global step=35639296, episodic return=1938.9249267578125\n", + "global step=35639296, episodic return=2411.244384765625\n", + "global step=35643392, episodic return=2426.472900390625\n", + "global step=35643392, episodic return=2456.041259765625\n", + "global step=35645440, episodic return=2407.7314453125\n", + "global step=35645440, episodic return=2407.989990234375\n", + "global step=35645440, episodic return=2443.114013671875\n", + "global step=35647488, episodic return=1893.7347412109375\n", + "global step=35649536, episodic return=2423.212890625\n", + "global step=35649536, episodic return=2411.623046875\n", + "global step=35651584, episodic return=2416.42529296875\n", + "global step=35653632, episodic return=2439.42626953125\n", + "global step=35653632, episodic return=2259.215087890625\n", + "global step=35655680, episodic return=2412.170654296875\n", + "global step=35657728, episodic return=2468.844970703125\n", + "global step=35657728, episodic return=2421.011474609375\n", + "global step=35659776, episodic return=2474.010009765625\n", + "global step=35659776, episodic return=2416.52099609375\n", + "global step=35659776, episodic return=56.81290054321289\n", + "global step=35661824, episodic return=2408.6884765625\n", + "global step=35663872, episodic return=2335.576904296875\n", + "global step=35663872, episodic return=2456.962646484375\n", + "global step=35663872, episodic return=2416.791748046875\n", + "global step=35665920, episodic return=2159.929931640625\n", + "global step=35665920, episodic return=2405.115966796875\n", + "global step=35667968, episodic return=2391.223876953125\n", + "global step=35670016, episodic return=2408.5751953125\n", + "global step=35670016, episodic return=102.33765411376953\n", + "global step=35672064, episodic return=66.09912872314453\n", + "global step=35672064, episodic return=2470.16455078125\n", + "global step=35674112, episodic return=227.02401733398438\n", + "global step=35676160, episodic return=2443.42626953125\n", + "global step=35678208, episodic return=2415.486083984375\n", + "global step=35678208, episodic return=41.83108901977539\n", + "global step=35678208, episodic return=2449.771240234375\n", + "global step=35680256, episodic return=2418.433349609375\n", + "global step=35682304, episodic return=2437.111083984375\n", + "global step=35682304, episodic return=2401.8212890625\n", + "global step=35682304, episodic return=2462.174560546875\n", + "global step=35682304, episodic return=2459.361328125\n", + "global step=35684352, episodic return=2422.379150390625\n", + "global step=35686400, episodic return=2397.119384765625\n", + "global step=35686400, episodic return=2422.6591796875\n", + "global step=35688448, episodic return=2464.063232421875\n", + "global step=35690496, episodic return=2440.241943359375\n", + "global step=35690496, episodic return=2374.688720703125\n", + "global step=35690496, episodic return=2383.904541015625\n", + "global step=35690496, episodic return=2430.903564453125\n", + "global step=35692544, episodic return=2373.6748046875\n", + "global step=35692544, episodic return=2419.18896484375\n", + "global step=35694592, episodic return=231.47369384765625\n", + "global step=35694592, episodic return=2434.071044921875\n", + "global step=35696640, episodic return=2454.01708984375\n", + "global step=35698688, episodic return=2444.88037109375\n", + "global step=35698688, episodic return=52.5770263671875\n", + "global step=35698688, episodic return=2413.186767578125\n", + "global step=35698688, episodic return=2421.656982421875\n", + "global step=35698688, episodic return=2420.19580078125\n", + "global step=35698688, episodic return=1602.185791015625\n", + "global step=35700736, episodic return=2424.06787109375\n", + "global step=35700736, episodic return=2375.304443359375\n", + "global step=35702784, episodic return=2456.042724609375\n", + "global step=35702784, episodic return=2457.50048828125\n", + "global step=35702784, episodic return=2387.690673828125\n", + "global step=35702784, episodic return=2423.060302734375\n", + "global step=35704832, episodic return=2446.8818359375\n", + "global step=35704832, episodic return=1173.8385009765625\n", + "global step=35708928, episodic return=2518.594970703125\n", + "global step=35708928, episodic return=2476.46142578125\n", + "global step=35708928, episodic return=2496.964599609375\n", + "global step=35708928, episodic return=1444.23828125\n", + "global step=35710976, episodic return=1901.5443115234375\n", + "global step=35713024, episodic return=2446.163330078125\n", + "global step=35713024, episodic return=212.8025360107422\n", + "global step=35715072, episodic return=2463.316650390625\n", + "global step=35717120, episodic return=2417.18017578125\n", + "global step=35717120, episodic return=2467.613525390625\n", + "global step=35719168, episodic return=2434.976318359375\n", + "global step=35721216, episodic return=2466.59375\n", + "global step=35721216, episodic return=2407.851318359375\n", + "global step=35721216, episodic return=2406.17138671875\n", + "global step=35723264, episodic return=2440.30224609375\n", + "global step=35723264, episodic return=2420.497314453125\n", + "global step=35725312, episodic return=2469.4130859375\n", + "global step=35727360, episodic return=2473.7109375\n", + "global step=35729408, episodic return=2440.22705078125\n", + "global step=35729408, episodic return=2445.9130859375\n", + "global step=35729408, episodic return=2437.26953125\n", + "global step=35731456, episodic return=32.98921585083008\n", + "global step=35733504, episodic return=2461.55224609375\n", + "global step=35733504, episodic return=2436.7861328125\n", + "global step=35733504, episodic return=2429.841064453125\n", + "global step=35739648, episodic return=2432.56689453125\n", + "global step=35741696, episodic return=2363.0029296875\n", + "global step=35743744, episodic return=2106.924560546875\n", + "global step=35743744, episodic return=2422.6416015625\n", + "global step=35743744, episodic return=2392.564453125\n", + "global step=35743744, episodic return=2427.13525390625\n", + "global step=35747840, episodic return=2389.233642578125\n", + "global step=35749888, episodic return=374.4935302734375\n", + "global step=35749888, episodic return=2388.121337890625\n", + "global step=35749888, episodic return=2417.976806640625\n", + "global step=35749888, episodic return=401.1072692871094\n", + "global step=35751936, episodic return=1790.057373046875\n", + "global step=35751936, episodic return=2394.781005859375\n", + "global step=35753984, episodic return=2415.0830078125\n", + "global step=35756032, episodic return=2415.884033203125\n", + "global step=35756032, episodic return=2436.6103515625\n", + "global step=35756032, episodic return=2488.49072265625\n", + "global step=35758080, episodic return=2431.173583984375\n", + "global step=35758080, episodic return=2298.181884765625\n", + "global step=35758080, episodic return=2441.88134765625\n", + "global step=35762176, episodic return=1197.593505859375\n", + "global step=35762176, episodic return=2441.49560546875\n", + "global step=35764224, episodic return=2426.3681640625\n", + "global step=35764224, episodic return=2444.0078125\n", + "global step=35764224, episodic return=2378.007080078125\n", + "global step=35766272, episodic return=2390.579345703125\n", + "global step=35766272, episodic return=2440.420166015625\n", + "global step=35766272, episodic return=2412.739501953125\n", + "global step=35768320, episodic return=2413.689453125\n", + "global step=35768320, episodic return=1015.8403930664062\n", + "global step=35770368, episodic return=2491.505859375\n", + "global step=35770368, episodic return=2319.480224609375\n", + "global step=35770368, episodic return=2474.736328125\n", + "global step=35770368, episodic return=19.081525802612305\n", + "global step=35770368, episodic return=2370.70166015625\n", + "global step=35770368, episodic return=2438.923828125\n", + "global step=35770368, episodic return=2435.489501953125\n", + "global step=35770368, episodic return=2373.070068359375\n", + "global step=35770368, episodic return=2444.625244140625\n", + "global step=35772416, episodic return=2427.8056640625\n", + "global step=35772416, episodic return=1071.346435546875\n", + "global step=35772416, episodic return=52.15748596191406\n", + "global step=35774464, episodic return=2475.2880859375\n", + "global step=35776512, episodic return=2432.05224609375\n", + "global step=35776512, episodic return=2437.1630859375\n", + "global step=35776512, episodic return=2493.831787109375\n", + "global step=35778560, episodic return=1556.673583984375\n", + "global step=35778560, episodic return=2405.23583984375\n", + "global step=35778560, episodic return=2448.9375\n", + "global step=35782656, episodic return=1482.8546142578125\n", + "global step=35782656, episodic return=1850.207275390625\n", + "global step=35784704, episodic return=1687.1541748046875\n", + "global step=35784704, episodic return=2426.33251953125\n", + "global step=35786752, episodic return=2389.356201171875\n", + "global step=35786752, episodic return=2380.440673828125\n", + "global step=35788800, episodic return=2464.41064453125\n", + "global step=35788800, episodic return=2434.094482421875\n", + "global step=35788800, episodic return=2378.65771484375\n", + "global step=35790848, episodic return=2471.8291015625\n", + "global step=35790848, episodic return=2417.39453125\n", + "global step=35792896, episodic return=2385.21240234375\n", + "global step=35792896, episodic return=2414.6689453125\n", + "global step=35792896, episodic return=2354.2734375\n", + "global step=35794944, episodic return=2467.383056640625\n", + "global step=35796992, episodic return=1488.2855224609375\n", + "global step=35796992, episodic return=2357.58447265625\n", + "global step=35796992, episodic return=2389.012939453125\n", + "global step=35799040, episodic return=2416.04345703125\n", + "global step=35799040, episodic return=2479.294189453125\n", + "global step=35799040, episodic return=2411.640380859375\n", + "global step=35801088, episodic return=114.73029327392578\n", + "global step=35801088, episodic return=2426.939697265625\n", + "global step=35801088, episodic return=2388.29833984375\n", + "global step=35807232, episodic return=2434.2607421875\n", + "global step=35807232, episodic return=2279.668212890625\n", + "global step=35809280, episodic return=2395.464599609375\n", + "global step=35811328, episodic return=2421.10986328125\n", + "global step=35811328, episodic return=2464.2333984375\n", + "global step=35811328, episodic return=2371.76904296875\n", + "global step=35813376, episodic return=1448.6143798828125\n", + "global step=35817472, episodic return=2455.159423828125\n", + "global step=35817472, episodic return=1709.819580078125\n", + "global step=35819520, episodic return=2395.86181640625\n", + "global step=35821568, episodic return=2343.79638671875\n", + "global step=35823616, episodic return=2452.281494140625\n", + "global step=35825664, episodic return=2453.2802734375\n", + "global step=35825664, episodic return=2351.67724609375\n", + "global step=35825664, episodic return=1255.788818359375\n", + "global step=35825664, episodic return=2419.724853515625\n", + "global step=35827712, episodic return=2324.069091796875\n", + "global step=35827712, episodic return=2451.832763671875\n", + "global step=35829760, episodic return=2423.505615234375\n", + "global step=35829760, episodic return=478.7840881347656\n", + "global step=35829760, episodic return=2409.85205078125\n", + "global step=35831808, episodic return=2446.661376953125\n", + "global step=35831808, episodic return=2420.7705078125\n", + "global step=35831808, episodic return=2434.114501953125\n", + "global step=35831808, episodic return=1711.0262451171875\n", + "global step=35831808, episodic return=1641.40771484375\n", + "global step=35833856, episodic return=2236.602294921875\n", + "global step=35833856, episodic return=2373.80810546875\n", + "global step=35833856, episodic return=2380.43408203125\n", + "global step=35835904, episodic return=2451.839599609375\n", + "global step=35835904, episodic return=2474.6787109375\n", + "global step=35835904, episodic return=359.4554748535156\n", + "global step=35835904, episodic return=2404.35986328125\n", + "global step=35835904, episodic return=2410.610107421875\n", + "global step=35835904, episodic return=2432.883056640625\n", + "global step=35837952, episodic return=2442.1572265625\n", + "global step=35837952, episodic return=2453.577392578125\n", + "global step=35840000, episodic return=2455.45556640625\n", + "global step=35842048, episodic return=2397.39453125\n", + "global step=35842048, episodic return=2416.91357421875\n", + "global step=35842048, episodic return=1367.947509765625\n", + "global step=35842048, episodic return=2459.2548828125\n", + "global step=35842048, episodic return=1425.4803466796875\n", + "global step=35844096, episodic return=1626.3507080078125\n", + "global step=35844096, episodic return=2384.432373046875\n", + "global step=35844096, episodic return=2439.2509765625\n", + "global step=35846144, episodic return=2404.4404296875\n", + "global step=35846144, episodic return=519.8799438476562\n", + "global step=35846144, episodic return=2433.852783203125\n", + "global step=35848192, episodic return=2367.536376953125\n", + "global step=35850240, episodic return=2442.845458984375\n", + "global step=35850240, episodic return=1018.1632080078125\n", + "global step=35852288, episodic return=1788.8018798828125\n", + "global step=35852288, episodic return=386.07586669921875\n", + "global step=35852288, episodic return=2491.380615234375\n", + "global step=35852288, episodic return=2427.638671875\n", + "global step=35852288, episodic return=2421.103271484375\n", + "global step=35854336, episodic return=1273.17431640625\n", + "global step=35856384, episodic return=2433.686279296875\n", + "global step=35856384, episodic return=2469.81640625\n", + "global step=35856384, episodic return=2445.8955078125\n", + "global step=35856384, episodic return=336.15185546875\n", + "global step=35856384, episodic return=2490.775390625\n", + "global step=35856384, episodic return=208.9404754638672\n", + "global step=35858432, episodic return=2441.2705078125\n", + "global step=35858432, episodic return=1517.2669677734375\n", + "global step=35858432, episodic return=2434.020263671875\n", + "global step=35860480, episodic return=2438.787353515625\n", + "global step=35860480, episodic return=734.1895141601562\n", + "global step=35862528, episodic return=520.9417724609375\n", + "global step=35862528, episodic return=2496.98486328125\n", + "global step=35862528, episodic return=1983.5638427734375\n", + "global step=35864576, episodic return=2436.321533203125\n", + "global step=35864576, episodic return=2458.550048828125\n", + "global step=35864576, episodic return=2268.380859375\n", + "global step=35864576, episodic return=826.4569702148438\n", + "global step=35866624, episodic return=2375.5009765625\n", + "global step=35866624, episodic return=2422.757080078125\n", + "global step=35866624, episodic return=2051.93798828125\n", + "global step=35866624, episodic return=2433.532470703125\n", + "global step=35866624, episodic return=2436.515869140625\n", + "global step=35866624, episodic return=413.5073547363281\n", + "global step=35868672, episodic return=2402.098388671875\n", + "global step=35868672, episodic return=2448.576171875\n", + "global step=35868672, episodic return=933.043701171875\n", + "global step=35870720, episodic return=2466.56005859375\n", + "global step=35870720, episodic return=2436.5009765625\n", + "global step=35870720, episodic return=365.736083984375\n", + "global step=35872768, episodic return=403.8122253417969\n", + "global step=35872768, episodic return=2443.623046875\n", + "global step=35874816, episodic return=386.35748291015625\n", + "global step=35874816, episodic return=2430.283447265625\n", + "global step=35874816, episodic return=2421.60400390625\n", + "global step=35874816, episodic return=2441.79833984375\n", + "global step=35876864, episodic return=1681.5150146484375\n", + "global step=35880960, episodic return=2069.595947265625\n", + "global step=35880960, episodic return=1707.6300048828125\n", + "global step=35883008, episodic return=1015.6892700195312\n", + "global step=35883008, episodic return=2434.794189453125\n", + "global step=35885056, episodic return=236.69979858398438\n", + "global step=35885056, episodic return=2196.824462890625\n", + "global step=35885056, episodic return=2432.331298828125\n", + "global step=35887104, episodic return=2456.4208984375\n", + "global step=35887104, episodic return=2402.052001953125\n", + "global step=35887104, episodic return=2100.764892578125\n", + "global step=35889152, episodic return=2439.168701171875\n", + "global step=35889152, episodic return=2454.21826171875\n", + "global step=35889152, episodic return=2447.3017578125\n", + "global step=35891200, episodic return=2429.869140625\n", + "global step=35891200, episodic return=49.62783432006836\n", + "global step=35893248, episodic return=2463.351806640625\n", + "global step=35895296, episodic return=2442.57958984375\n", + "global step=35895296, episodic return=2454.66162109375\n", + "global step=35899392, episodic return=559.9550170898438\n", + "global step=35899392, episodic return=2470.095947265625\n", + "global step=35899392, episodic return=2374.842041015625\n", + "global step=35901440, episodic return=201.10060119628906\n", + "global step=35901440, episodic return=2458.9033203125\n", + "global step=35901440, episodic return=2429.492431640625\n", + "global step=35903488, episodic return=2409.2744140625\n", + "global step=35903488, episodic return=2438.7275390625\n", + "global step=35903488, episodic return=204.0771484375\n", + "global step=35903488, episodic return=2388.674560546875\n", + "global step=35903488, episodic return=2406.475341796875\n", + "global step=35905536, episodic return=2430.111572265625\n", + "global step=35907584, episodic return=300.4327392578125\n", + "global step=35911680, episodic return=2425.41357421875\n", + "global step=35911680, episodic return=2447.089111328125\n", + "global step=35911680, episodic return=2475.818359375\n", + "global step=35913728, episodic return=1988.6397705078125\n", + "global step=35915776, episodic return=2420.4501953125\n", + "global step=35915776, episodic return=2431.868896484375\n", + "global step=35917824, episodic return=2450.660400390625\n", + "global step=35919872, episodic return=2422.40283203125\n", + "global step=35919872, episodic return=2416.362548828125\n", + "global step=35919872, episodic return=792.1021728515625\n", + "global step=35921920, episodic return=2457.1787109375\n", + "global step=35921920, episodic return=2502.49072265625\n", + "global step=35923968, episodic return=2358.1220703125\n", + "global step=35923968, episodic return=2369.351318359375\n", + "global step=35923968, episodic return=2461.45654296875\n", + "global step=35926016, episodic return=2466.535400390625\n", + "global step=35926016, episodic return=2447.487548828125\n", + "global step=35928064, episodic return=2433.154296875\n", + "global step=35928064, episodic return=219.78981018066406\n", + "global step=35928064, episodic return=2043.9686279296875\n", + "global step=35930112, episodic return=1451.611083984375\n", + "global step=35932160, episodic return=1247.6287841796875\n", + "global step=35934208, episodic return=2428.129638671875\n", + "global step=35934208, episodic return=2384.520263671875\n", + "global step=35934208, episodic return=37.38501739501953\n", + "global step=35936256, episodic return=2469.201416015625\n", + "global step=35936256, episodic return=2360.199462890625\n", + "global step=35938304, episodic return=679.298828125\n", + "global step=35938304, episodic return=2439.09521484375\n", + "global step=35942400, episodic return=2446.506103515625\n", + "global step=35942400, episodic return=2463.9052734375\n", + "global step=35944448, episodic return=2462.27783203125\n", + "global step=35944448, episodic return=2420.541259765625\n", + "global step=35944448, episodic return=2387.2568359375\n", + "global step=35944448, episodic return=2453.8388671875\n", + "global step=35944448, episodic return=72.24980163574219\n", + "global step=35944448, episodic return=2437.0693359375\n", + "global step=35946496, episodic return=2414.294921875\n", + "global step=35946496, episodic return=2389.1904296875\n", + "global step=35950592, episodic return=2418.15966796875\n", + "global step=35950592, episodic return=2359.19384765625\n", + "global step=35952640, episodic return=2425.876953125\n", + "global step=35954688, episodic return=991.117919921875\n", + "global step=35954688, episodic return=2417.8154296875\n", + "global step=35954688, episodic return=2049.84228515625\n", + "global step=35954688, episodic return=2460.30078125\n", + "global step=35954688, episodic return=2415.746337890625\n", + "global step=35954688, episodic return=2392.308349609375\n", + "global step=35956736, episodic return=532.4326782226562\n", + "global step=35956736, episodic return=2414.814208984375\n", + "global step=35958784, episodic return=2471.4287109375\n", + "global step=35958784, episodic return=2380.029052734375\n", + "global step=35960832, episodic return=2406.89697265625\n", + "global step=35960832, episodic return=2439.566650390625\n", + "global step=35962880, episodic return=62.62961196899414\n", + "global step=35962880, episodic return=147.97654724121094\n", + "global step=35962880, episodic return=1785.844482421875\n", + "global step=35962880, episodic return=2437.970458984375\n", + "global step=35964928, episodic return=2465.41259765625\n", + "global step=35969024, episodic return=2343.263671875\n", + "global step=35971072, episodic return=2454.57177734375\n", + "global step=35971072, episodic return=2389.18017578125\n", + "global step=35973120, episodic return=2483.448486328125\n", + "global step=35973120, episodic return=2457.1572265625\n", + "global step=35973120, episodic return=2088.86376953125\n", + "global step=35975168, episodic return=2443.116943359375\n", + "global step=35975168, episodic return=2272.66650390625\n", + "global step=35975168, episodic return=2458.939697265625\n", + "global step=35977216, episodic return=2443.08056640625\n", + "global step=35977216, episodic return=2448.750732421875\n", + "global step=35977216, episodic return=2392.743896484375\n", + "global step=35977216, episodic return=2428.57666015625\n", + "global step=35977216, episodic return=2337.925048828125\n", + "global step=35979264, episodic return=2434.197509765625\n", + "global step=35979264, episodic return=2413.56982421875\n", + "global step=35979264, episodic return=339.0898132324219\n", + "global step=35979264, episodic return=2390.83154296875\n", + "global step=35981312, episodic return=2427.59326171875\n", + "global step=35981312, episodic return=2421.033935546875\n", + "global step=35983360, episodic return=2355.11474609375\n", + "global step=35983360, episodic return=2383.594482421875\n", + "global step=35983360, episodic return=2421.0546875\n", + "global step=35985408, episodic return=2449.419677734375\n", + "global step=35985408, episodic return=2435.788818359375\n", + "global step=35987456, episodic return=2391.202880859375\n", + "global step=35987456, episodic return=2407.384521484375\n", + "global step=35987456, episodic return=2403.39111328125\n", + "global step=35987456, episodic return=2307.8466796875\n", + "global step=35987456, episodic return=2390.963134765625\n", + "global step=35989504, episodic return=1437.2772216796875\n", + "global step=35989504, episodic return=1306.9278564453125\n", + "global step=35989504, episodic return=1400.706298828125\n", + "global step=35989504, episodic return=2416.6328125\n", + "global step=35991552, episodic return=1472.391845703125\n", + "global step=35991552, episodic return=2414.017333984375\n", + "global step=35991552, episodic return=2417.2734375\n", + "global step=35993600, episodic return=2451.218017578125\n", + "global step=35993600, episodic return=1256.4222412109375\n", + "global step=35993600, episodic return=2499.55908203125\n", + "global step=35995648, episodic return=368.3536071777344\n", + "global step=35995648, episodic return=2395.781005859375\n", + "global step=35997696, episodic return=2386.362548828125\n", + "global step=35997696, episodic return=1928.297607421875\n", + "global step=35997696, episodic return=2448.260986328125\n", + "global step=35997696, episodic return=1492.6185302734375\n", + "global step=35999744, episodic return=2382.102783203125\n", + "global step=35999744, episodic return=2418.905517578125\n", + "global step=36001792, episodic return=2431.355224609375\n", + "global step=36001792, episodic return=2369.677490234375\n", + "global step=36001792, episodic return=964.7957153320312\n", + "global step=36001792, episodic return=2437.01708984375\n", + "global step=36001792, episodic return=2010.725830078125\n", + "global step=36003840, episodic return=2075.485595703125\n", + "global step=36005888, episodic return=2432.045166015625\n", + "global step=36005888, episodic return=2481.37841796875\n", + "global step=36007936, episodic return=2447.828369140625\n", + "global step=36007936, episodic return=2327.7001953125\n", + "global step=36012032, episodic return=213.96939086914062\n", + "global step=36012032, episodic return=2422.39697265625\n", + "global step=36012032, episodic return=2456.75390625\n", + "global step=36012032, episodic return=2440.088623046875\n", + "global step=36012032, episodic return=2465.126953125\n", + "global step=36012032, episodic return=2426.400146484375\n", + "global step=36014080, episodic return=2391.4833984375\n", + "global step=36014080, episodic return=2451.798095703125\n", + "global step=36016128, episodic return=1967.7744140625\n", + "global step=36016128, episodic return=2448.73974609375\n", + "global step=36020224, episodic return=672.231689453125\n", + "global step=36020224, episodic return=959.7679443359375\n", + "global step=36020224, episodic return=2443.215576171875\n", + "global step=36022272, episodic return=2397.809814453125\n", + "global step=36022272, episodic return=2414.2216796875\n", + "global step=36024320, episodic return=129.24525451660156\n", + "global step=36026368, episodic return=2437.411376953125\n", + "global step=36026368, episodic return=2460.45166015625\n", + "global step=36028416, episodic return=1374.942138671875\n", + "global step=36028416, episodic return=2433.673095703125\n", + "global step=36028416, episodic return=1270.9259033203125\n", + "global step=36030464, episodic return=2449.529541015625\n", + "global step=36032512, episodic return=2484.227294921875\n", + "global step=36034560, episodic return=26.083932876586914\n", + "global step=36034560, episodic return=2465.1005859375\n", + "global step=36034560, episodic return=1559.8123779296875\n", + "global step=36034560, episodic return=2376.546142578125\n", + "global step=36038656, episodic return=2461.077392578125\n", + "global step=36040704, episodic return=1978.5054931640625\n", + "global step=36040704, episodic return=1348.8406982421875\n", + "global step=36042752, episodic return=2334.285400390625\n", + "global step=36044800, episodic return=2457.600830078125\n", + "global step=36044800, episodic return=1537.6387939453125\n", + "global step=36046848, episodic return=2480.4013671875\n", + "global step=36055040, episodic return=2454.87890625\n", + "global step=36055040, episodic return=2458.244873046875\n", + "global step=36055040, episodic return=2458.867919921875\n", + "global step=36057088, episodic return=2395.58154296875\n", + "global step=36057088, episodic return=2220.029541015625\n", + "global step=36057088, episodic return=2386.1337890625\n", + "global step=36059136, episodic return=2369.884765625\n", + "global step=36059136, episodic return=2382.430419921875\n", + "global step=36061184, episodic return=2438.1484375\n", + "global step=36061184, episodic return=2449.27587890625\n", + "global step=36063232, episodic return=1236.828369140625\n", + "global step=36063232, episodic return=2445.595458984375\n", + "global step=36067328, episodic return=2453.9765625\n", + "global step=36067328, episodic return=2395.861083984375\n", + "global step=36067328, episodic return=2454.16259765625\n", + "global step=36067328, episodic return=21.7007999420166\n", + "global step=36067328, episodic return=1907.6292724609375\n", + "global step=36069376, episodic return=2384.54345703125\n", + "global step=36069376, episodic return=953.1431884765625\n", + "global step=36069376, episodic return=2440.749755859375\n", + "global step=36069376, episodic return=1831.51318359375\n", + "global step=36075520, episodic return=2412.275390625\n", + "global step=36075520, episodic return=2483.023681640625\n", + "global step=36081664, episodic return=2446.060791015625\n", + "global step=36083712, episodic return=2358.3408203125\n", + "global step=36085760, episodic return=38.26433563232422\n", + "global step=36085760, episodic return=2400.895751953125\n", + "global step=36087808, episodic return=2433.14208984375\n", + "global step=36087808, episodic return=2467.79296875\n", + "global step=36087808, episodic return=2407.457275390625\n", + "global step=36089856, episodic return=2378.35302734375\n", + "global step=36089856, episodic return=2428.564453125\n", + "global step=36091904, episodic return=312.9847106933594\n", + "global step=36091904, episodic return=2450.864501953125\n", + "global step=36091904, episodic return=2450.755859375\n", + "global step=36091904, episodic return=2372.4287109375\n", + "global step=36091904, episodic return=2417.30224609375\n", + "global step=36093952, episodic return=2478.48046875\n", + "global step=36093952, episodic return=2425.04443359375\n", + "global step=36100096, episodic return=269.5845031738281\n", + "global step=36102144, episodic return=2356.683349609375\n", + "global step=36102144, episodic return=2441.75146484375\n", + "global step=36104192, episodic return=1983.197021484375\n", + "global step=36104192, episodic return=2411.98779296875\n", + "global step=36104192, episodic return=2448.550537109375\n", + "global step=36106240, episodic return=2435.54736328125\n", + "global step=36106240, episodic return=2457.69384765625\n", + "global step=36108288, episodic return=2374.483154296875\n", + "global step=36108288, episodic return=2433.152099609375\n", + "global step=36110336, episodic return=2443.75732421875\n", + "global step=36112384, episodic return=2487.002197265625\n", + "global step=36112384, episodic return=2444.1962890625\n", + "global step=36112384, episodic return=2389.864990234375\n", + "global step=36114432, episodic return=1306.5452880859375\n", + "global step=36116480, episodic return=2466.93994140625\n", + "global step=36118528, episodic return=2165.824462890625\n", + "global step=36118528, episodic return=2398.7646484375\n", + "global step=36120576, episodic return=185.9220428466797\n", + "global step=36120576, episodic return=2440.13623046875\n", + "global step=36122624, episodic return=19.058256149291992\n", + "global step=36122624, episodic return=2482.9150390625\n", + "global step=36124672, episodic return=2285.889404296875\n", + "global step=36126720, episodic return=2420.55126953125\n", + "global step=36126720, episodic return=2348.299072265625\n", + "global step=36128768, episodic return=2455.77490234375\n", + "global step=36128768, episodic return=2468.11328125\n", + "global step=36130816, episodic return=2349.15869140625\n", + "global step=36130816, episodic return=2462.1923828125\n", + "global step=36132864, episodic return=2427.3037109375\n", + "global step=36132864, episodic return=57.646358489990234\n", + "global step=36134912, episodic return=2458.674560546875\n", + "global step=36134912, episodic return=2409.3369140625\n", + "global step=36134912, episodic return=2387.881103515625\n", + "global step=36136960, episodic return=2141.465576171875\n", + "global step=36136960, episodic return=2453.835693359375\n", + "global step=36136960, episodic return=2420.46435546875\n", + "global step=36139008, episodic return=2366.287109375\n", + "global step=36139008, episodic return=2146.22998046875\n", + "global step=36141056, episodic return=2373.25048828125\n", + "global step=36143104, episodic return=1097.2960205078125\n", + "global step=36143104, episodic return=135.1764373779297\n", + "global step=36143104, episodic return=2470.997314453125\n", + "global step=36149248, episodic return=2447.431396484375\n", + "global step=36149248, episodic return=2430.80517578125\n", + "global step=36149248, episodic return=2432.177734375\n", + "global step=36149248, episodic return=2384.081298828125\n", + "global step=36149248, episodic return=2389.111572265625\n", + "global step=36151296, episodic return=2398.37744140625\n", + "global step=36151296, episodic return=2422.88818359375\n", + "global step=36153344, episodic return=2348.517333984375\n", + "global step=36153344, episodic return=166.9485626220703\n", + "global step=36153344, episodic return=2438.09814453125\n", + "global step=36155392, episodic return=132.52413940429688\n", + "global step=36155392, episodic return=503.63836669921875\n", + "global step=36159488, episodic return=1965.5570068359375\n", + "global step=36159488, episodic return=2346.431884765625\n", + "global step=36159488, episodic return=2392.29541015625\n", + "global step=36161536, episodic return=2448.66552734375\n", + "global step=36161536, episodic return=2450.816650390625\n", + "global step=36163584, episodic return=2187.081787109375\n", + "global step=36163584, episodic return=2448.98876953125\n", + "global step=36163584, episodic return=61.67543029785156\n", + "global step=36165632, episodic return=2415.0537109375\n", + "global step=36167680, episodic return=2426.483154296875\n", + "global step=36169728, episodic return=1488.6649169921875\n", + "global step=36169728, episodic return=2450.640869140625\n", + "global step=36171776, episodic return=2406.331298828125\n", + "global step=36171776, episodic return=1319.2977294921875\n", + "global step=36171776, episodic return=2411.38330078125\n", + "global step=36171776, episodic return=2318.477783203125\n", + "global step=36173824, episodic return=2453.323486328125\n", + "global step=36173824, episodic return=2454.022705078125\n", + "global step=36173824, episodic return=2369.349853515625\n", + "global step=36175872, episodic return=2396.588623046875\n", + "global step=36175872, episodic return=1828.2762451171875\n", + "global step=36175872, episodic return=2412.984619140625\n", + "global step=36177920, episodic return=1740.6903076171875\n", + "global step=36177920, episodic return=2441.271240234375\n", + "global step=36177920, episodic return=617.4261474609375\n", + "global step=36179968, episodic return=2297.9658203125\n", + "global step=36179968, episodic return=2453.8642578125\n", + "global step=36179968, episodic return=1282.37939453125\n", + "global step=36182016, episodic return=2151.35107421875\n", + "global step=36184064, episodic return=410.3382263183594\n", + "global step=36184064, episodic return=2403.13525390625\n", + "global step=36184064, episodic return=2366.35107421875\n", + "global step=36184064, episodic return=2410.018798828125\n", + "global step=36184064, episodic return=2399.35205078125\n", + "global step=36184064, episodic return=1151.7589111328125\n", + "global step=36186112, episodic return=2341.230224609375\n", + "global step=36186112, episodic return=2401.990234375\n", + "global step=36186112, episodic return=1793.09375\n", + "global step=36186112, episodic return=2452.4306640625\n", + "global step=36186112, episodic return=2390.04541015625\n", + "global step=36186112, episodic return=2177.67626953125\n", + "global step=36186112, episodic return=2328.207275390625\n", + "global step=36188160, episodic return=2460.85107421875\n", + "global step=36188160, episodic return=2451.267822265625\n", + "global step=36190208, episodic return=1094.7069091796875\n", + "global step=36190208, episodic return=2474.3193359375\n", + "global step=36190208, episodic return=2416.4189453125\n", + "global step=36192256, episodic return=2376.142578125\n", + "global step=36194304, episodic return=2080.87158203125\n", + "global step=36194304, episodic return=2444.859619140625\n", + "global step=36194304, episodic return=2472.65234375\n", + "global step=36196352, episodic return=1163.3369140625\n", + "global step=36196352, episodic return=2418.31201171875\n", + "global step=36196352, episodic return=2489.30322265625\n", + "global step=36198400, episodic return=2004.986083984375\n", + "global step=36198400, episodic return=2382.7216796875\n", + "global step=36198400, episodic return=2393.951416015625\n", + "global step=36200448, episodic return=1850.9093017578125\n", + "global step=36200448, episodic return=2306.81787109375\n", + "global step=36200448, episodic return=2405.37353515625\n", + "global step=36202496, episodic return=2438.304931640625\n", + "global step=36202496, episodic return=2427.632568359375\n", + "global step=36202496, episodic return=2449.43017578125\n", + "global step=36204544, episodic return=2402.53466796875\n", + "global step=36208640, episodic return=391.93743896484375\n", + "global step=36208640, episodic return=2403.8798828125\n", + "global step=36210688, episodic return=2391.1337890625\n", + "global step=36210688, episodic return=2440.378173828125\n", + "global step=36210688, episodic return=2446.089599609375\n", + "global step=36210688, episodic return=2436.461669921875\n", + "global step=36212736, episodic return=2329.591552734375\n", + "global step=36212736, episodic return=1629.796875\n", + "global step=36214784, episodic return=2372.888671875\n", + "global step=36214784, episodic return=2396.69775390625\n", + "global step=36216832, episodic return=2414.3486328125\n", + "global step=36216832, episodic return=2429.579833984375\n", + "global step=36216832, episodic return=2419.04638671875\n", + "global step=36218880, episodic return=2381.52734375\n", + "global step=36218880, episodic return=2373.464599609375\n", + "global step=36218880, episodic return=2402.1220703125\n", + "global step=36218880, episodic return=2419.5107421875\n", + "global step=36220928, episodic return=2355.74267578125\n", + "global step=36222976, episodic return=2373.00634765625\n", + "global step=36222976, episodic return=2366.14111328125\n", + "global step=36222976, episodic return=2298.85205078125\n", + "global step=36222976, episodic return=1253.2657470703125\n", + "global step=36225024, episodic return=2421.681640625\n", + "global step=36225024, episodic return=1123.838134765625\n", + "global step=36227072, episodic return=2476.523193359375\n", + "global step=36227072, episodic return=2409.977294921875\n", + "global step=36227072, episodic return=2463.922119140625\n", + "global step=36231168, episodic return=2370.12646484375\n", + "global step=36231168, episodic return=182.5839080810547\n", + "global step=36231168, episodic return=2401.852783203125\n", + "global step=36231168, episodic return=2111.193603515625\n", + "global step=36231168, episodic return=1466.8984375\n", + "global step=36233216, episodic return=2442.576416015625\n", + "global step=36233216, episodic return=2399.73046875\n", + "global step=36237312, episodic return=2458.484619140625\n", + "global step=36237312, episodic return=2413.13330078125\n", + "global step=36239360, episodic return=2389.81298828125\n", + "global step=36239360, episodic return=2427.1689453125\n", + "global step=36241408, episodic return=2452.734130859375\n", + "global step=36241408, episodic return=2436.0712890625\n", + "global step=36241408, episodic return=2487.59130859375\n", + "global step=36243456, episodic return=2413.531494140625\n", + "global step=36245504, episodic return=2335.22314453125\n", + "global step=36245504, episodic return=2386.6455078125\n", + "global step=36245504, episodic return=2169.9267578125\n", + "global step=36245504, episodic return=2430.520751953125\n", + "global step=36247552, episodic return=2454.3544921875\n", + "global step=36247552, episodic return=2412.930908203125\n", + "global step=36247552, episodic return=2457.781982421875\n", + "global step=36249600, episodic return=2398.9794921875\n", + "global step=36249600, episodic return=2433.260986328125\n", + "global step=36251648, episodic return=2425.867431640625\n", + "global step=36255744, episodic return=2425.32275390625\n", + "global step=36255744, episodic return=2433.198974609375\n", + "global step=36255744, episodic return=2414.013916015625\n", + "global step=36257792, episodic return=815.3146362304688\n", + "global step=36259840, episodic return=2449.730224609375\n", + "global step=36261888, episodic return=2447.342529296875\n", + "global step=36263936, episodic return=2459.89306640625\n", + "global step=36263936, episodic return=2365.539306640625\n", + "global step=36263936, episodic return=1193.765380859375\n", + "global step=36265984, episodic return=2409.38671875\n", + "global step=36265984, episodic return=2368.298583984375\n", + "global step=36265984, episodic return=2299.11767578125\n", + "global step=36265984, episodic return=2360.04150390625\n", + "global step=36270080, episodic return=2391.833251953125\n", + "global step=36270080, episodic return=2352.278564453125\n", + "global step=36270080, episodic return=890.6405029296875\n", + "global step=36272128, episodic return=2432.24951171875\n", + "global step=36274176, episodic return=2447.50048828125\n", + "global step=36274176, episodic return=2280.572998046875\n", + "global step=36274176, episodic return=2424.1640625\n", + "global step=36276224, episodic return=2466.25439453125\n", + "global step=36276224, episodic return=214.57742309570312\n", + "global step=36278272, episodic return=2277.869140625\n", + "global step=36278272, episodic return=2455.368896484375\n", + "global step=36278272, episodic return=2462.332763671875\n", + "global step=36280320, episodic return=2429.267578125\n", + "global step=36282368, episodic return=2451.27294921875\n", + "global step=36284416, episodic return=2411.4453125\n", + "global step=36284416, episodic return=2283.727294921875\n", + "global step=36286464, episodic return=2431.7978515625\n", + "global step=36286464, episodic return=2134.32958984375\n", + "global step=36288512, episodic return=2391.632080078125\n", + "global step=36290560, episodic return=2399.595947265625\n", + "global step=36290560, episodic return=2452.748291015625\n", + "global step=36292608, episodic return=2375.896484375\n", + "global step=36292608, episodic return=2401.893798828125\n", + "global step=36294656, episodic return=171.6254425048828\n", + "global step=36296704, episodic return=2363.053955078125\n", + "global step=36296704, episodic return=2434.62841796875\n", + "global step=36298752, episodic return=2436.2783203125\n", + "global step=36298752, episodic return=2347.334228515625\n", + "global step=36300800, episodic return=2441.052001953125\n", + "global step=36300800, episodic return=2447.71484375\n", + "global step=36302848, episodic return=2395.075927734375\n", + "global step=36302848, episodic return=2311.010009765625\n", + "global step=36304896, episodic return=2396.76318359375\n", + "global step=36306944, episodic return=2407.9140625\n", + "global step=36306944, episodic return=2386.971923828125\n", + "global step=36306944, episodic return=2440.98974609375\n", + "global step=36308992, episodic return=2423.91552734375\n", + "global step=36311040, episodic return=2252.695556640625\n", + "global step=36311040, episodic return=2401.6533203125\n", + "global step=36313088, episodic return=2404.819580078125\n", + "global step=36315136, episodic return=2418.6943359375\n", + "global step=36315136, episodic return=2436.594482421875\n", + "global step=36315136, episodic return=508.0838928222656\n", + "global step=36315136, episodic return=2413.3017578125\n", + "global step=36317184, episodic return=2341.246826171875\n", + "global step=36317184, episodic return=2427.189208984375\n", + "global step=36319232, episodic return=2365.87841796875\n", + "global step=36319232, episodic return=2428.707275390625\n", + "global step=36319232, episodic return=2474.085205078125\n", + "global step=36319232, episodic return=2414.29736328125\n", + "global step=36319232, episodic return=2422.535400390625\n", + "global step=36321280, episodic return=2413.044189453125\n", + "global step=36323328, episodic return=2452.2744140625\n", + "global step=36325376, episodic return=2390.048095703125\n", + "global step=36325376, episodic return=2466.772705078125\n", + "global step=36325376, episodic return=2380.897216796875\n", + "global step=36325376, episodic return=2330.1025390625\n", + "global step=36329472, episodic return=2381.945068359375\n", + "global step=36331520, episodic return=1902.893310546875\n", + "global step=36335616, episodic return=2414.27001953125\n", + "global step=36335616, episodic return=2400.51318359375\n", + "global step=36337664, episodic return=2359.456787109375\n", + "global step=36337664, episodic return=2450.217529296875\n", + "global step=36339712, episodic return=2313.861083984375\n", + "global step=36341760, episodic return=156.13735961914062\n", + "global step=36343808, episodic return=2442.6552734375\n", + "global step=36343808, episodic return=211.461669921875\n", + "global step=36345856, episodic return=2109.5673828125\n", + "global step=36345856, episodic return=358.76153564453125\n", + "global step=36345856, episodic return=1152.9111328125\n", + "global step=36345856, episodic return=60.82838439941406\n", + "global step=36345856, episodic return=2478.2763671875\n", + "global step=36347904, episodic return=2428.75927734375\n", + "global step=36349952, episodic return=2403.67138671875\n", + "global step=36349952, episodic return=2427.84521484375\n", + "global step=36349952, episodic return=53.14181137084961\n", + "global step=36349952, episodic return=2422.97412109375\n", + "global step=36349952, episodic return=56.47703170776367\n", + "global step=36349952, episodic return=2414.081298828125\n", + "global step=36352000, episodic return=2391.7294921875\n", + "global step=36352000, episodic return=2389.76806640625\n", + "global step=36354048, episodic return=2439.134033203125\n", + "global step=36354048, episodic return=2438.625\n", + "global step=36356096, episodic return=1759.80908203125\n", + "global step=36356096, episodic return=2436.429931640625\n", + "global step=36356096, episodic return=2308.48486328125\n", + "global step=36358144, episodic return=2465.192626953125\n", + "global step=36358144, episodic return=2370.170654296875\n", + "global step=36358144, episodic return=2382.372802734375\n", + "global step=36358144, episodic return=2370.852294921875\n", + "global step=36360192, episodic return=2445.76025390625\n", + "global step=36362240, episodic return=2405.635498046875\n", + "global step=36364288, episodic return=2426.93212890625\n", + "global step=36366336, episodic return=2405.1875\n", + "global step=36368384, episodic return=2433.233154296875\n", + "global step=36368384, episodic return=2418.877685546875\n", + "global step=36368384, episodic return=2107.01708984375\n", + "global step=36368384, episodic return=1376.3109130859375\n", + "global step=36370432, episodic return=2444.938720703125\n", + "global step=36372480, episodic return=2407.116943359375\n", + "global step=36374528, episodic return=2336.248291015625\n", + "global step=36374528, episodic return=2407.643310546875\n", + "global step=36374528, episodic return=1534.8330078125\n", + "global step=36376576, episodic return=2036.4698486328125\n", + "global step=36376576, episodic return=204.7998504638672\n", + "global step=36376576, episodic return=72.20234680175781\n", + "global step=36378624, episodic return=2453.068115234375\n", + "global step=36382720, episodic return=2446.2763671875\n", + "global step=36382720, episodic return=2342.787353515625\n", + "global step=36382720, episodic return=2333.31787109375\n", + "global step=36384768, episodic return=2408.54150390625\n", + "global step=36384768, episodic return=2441.752685546875\n", + "global step=36384768, episodic return=2463.00732421875\n", + "global step=36384768, episodic return=2385.4052734375\n", + "global step=36386816, episodic return=614.33154296875\n", + "global step=36386816, episodic return=2434.47314453125\n", + "global step=36386816, episodic return=2433.939453125\n", + "global step=36390912, episodic return=2396.999755859375\n", + "global step=36390912, episodic return=2434.2509765625\n", + "global step=36390912, episodic return=1616.7613525390625\n", + "global step=36390912, episodic return=2471.108154296875\n", + "global step=36392960, episodic return=2396.958251953125\n", + "global step=36392960, episodic return=2413.729736328125\n", + "global step=36392960, episodic return=2302.28955078125\n", + "global step=36392960, episodic return=2363.4208984375\n", + "global step=36392960, episodic return=2329.683349609375\n", + "global step=36395008, episodic return=406.9610900878906\n", + "global step=36395008, episodic return=2467.7890625\n", + "global step=36397056, episodic return=1310.7481689453125\n", + "global step=36397056, episodic return=2438.61376953125\n", + "global step=36399104, episodic return=2413.96533203125\n", + "global step=36399104, episodic return=2389.048583984375\n", + "global step=36399104, episodic return=2415.894287109375\n", + "global step=36399104, episodic return=2438.002685546875\n", + "global step=36401152, episodic return=492.9675598144531\n", + "global step=36401152, episodic return=2449.837158203125\n", + "global step=36403200, episodic return=2372.013427734375\n", + "global step=36403200, episodic return=2410.230224609375\n", + "global step=36403200, episodic return=2384.200439453125\n", + "global step=36403200, episodic return=2424.2177734375\n", + "global step=36403200, episodic return=402.65716552734375\n", + "global step=36405248, episodic return=2351.989501953125\n", + "global step=36405248, episodic return=2162.5732421875\n", + "global step=36405248, episodic return=2090.8466796875\n", + "global step=36405248, episodic return=2369.3896484375\n", + "global step=36405248, episodic return=2269.145751953125\n", + "global step=36407296, episodic return=2354.266357421875\n", + "global step=36407296, episodic return=2442.27978515625\n", + "global step=36409344, episodic return=2413.031982421875\n", + "global step=36409344, episodic return=1739.736083984375\n", + "global step=36409344, episodic return=2439.2919921875\n", + "global step=36411392, episodic return=2419.046142578125\n", + "global step=36411392, episodic return=2449.913330078125\n", + "global step=36411392, episodic return=2064.4765625\n", + "global step=36411392, episodic return=2413.419677734375\n", + "global step=36411392, episodic return=2415.417724609375\n", + "global step=36413440, episodic return=2406.363525390625\n", + "global step=36413440, episodic return=2350.70263671875\n", + "global step=36413440, episodic return=2414.170166015625\n", + "global step=36413440, episodic return=481.76153564453125\n", + "global step=36415488, episodic return=2408.00390625\n", + "global step=36415488, episodic return=2362.810791015625\n", + "global step=36415488, episodic return=2341.822998046875\n", + "global step=36415488, episodic return=2357.4775390625\n", + "global step=36415488, episodic return=2443.68310546875\n", + "global step=36415488, episodic return=2410.160400390625\n", + "global step=36417536, episodic return=2376.7890625\n", + "global step=36417536, episodic return=2396.56982421875\n", + "global step=36417536, episodic return=2379.7822265625\n", + "global step=36417536, episodic return=2413.137451171875\n", + "global step=36417536, episodic return=2410.4716796875\n", + "global step=36419584, episodic return=1671.084716796875\n", + "global step=36419584, episodic return=2389.374267578125\n", + "global step=36421632, episodic return=2354.662841796875\n", + "global step=36421632, episodic return=2440.74755859375\n", + "global step=36423680, episodic return=2395.758544921875\n", + "global step=36423680, episodic return=2116.7392578125\n", + "global step=36423680, episodic return=2443.0390625\n", + "global step=36423680, episodic return=2464.174072265625\n", + "global step=36425728, episodic return=2372.181640625\n", + "global step=36425728, episodic return=47.54228591918945\n", + "global step=36427776, episodic return=2425.819091796875\n", + "global step=36427776, episodic return=467.934326171875\n", + "global step=36427776, episodic return=2429.93115234375\n", + "global step=36429824, episodic return=2414.458984375\n", + "global step=36429824, episodic return=2433.997314453125\n", + "global step=36431872, episodic return=2440.146728515625\n", + "global step=36431872, episodic return=1906.588134765625\n", + "global step=36433920, episodic return=2374.249755859375\n", + "global step=36435968, episodic return=2408.0\n", + "global step=36435968, episodic return=2421.67138671875\n", + "global step=36438016, episodic return=2414.0224609375\n", + "global step=36440064, episodic return=2373.54052734375\n", + "global step=36440064, episodic return=2362.3779296875\n", + "global step=36442112, episodic return=2419.574462890625\n", + "global step=36442112, episodic return=239.6217803955078\n", + "global step=36442112, episodic return=2377.387939453125\n", + "global step=36444160, episodic return=2424.980712890625\n", + "global step=36444160, episodic return=2359.537841796875\n", + "global step=36444160, episodic return=182.75331115722656\n", + "global step=36444160, episodic return=2387.24951171875\n", + "global step=36444160, episodic return=2445.81103515625\n", + "global step=36446208, episodic return=2423.41259765625\n", + "global step=36446208, episodic return=2414.4228515625\n", + "global step=36446208, episodic return=2368.8486328125\n", + "global step=36446208, episodic return=399.283203125\n", + "global step=36448256, episodic return=2368.432373046875\n", + "global step=36448256, episodic return=925.130126953125\n", + "global step=36450304, episodic return=2404.0986328125\n", + "global step=36450304, episodic return=2311.756103515625\n", + "global step=36450304, episodic return=2386.587646484375\n", + "global step=36452352, episodic return=2326.50830078125\n", + "global step=36452352, episodic return=2393.617919921875\n", + "global step=36452352, episodic return=2367.005859375\n", + "global step=36452352, episodic return=836.0082397460938\n", + "global step=36454400, episodic return=2456.17333984375\n", + "global step=36454400, episodic return=2207.722900390625\n", + "global step=36454400, episodic return=2391.98681640625\n", + "global step=36454400, episodic return=2355.221435546875\n", + "global step=36456448, episodic return=223.21888732910156\n", + "global step=36458496, episodic return=2432.30908203125\n", + "global step=36458496, episodic return=2296.63232421875\n", + "global step=36458496, episodic return=2384.748046875\n", + "global step=36460544, episodic return=2391.501953125\n", + "global step=36462592, episodic return=2423.533447265625\n", + "global step=36462592, episodic return=2384.8564453125\n", + "global step=36462592, episodic return=2424.25830078125\n", + "global step=36464640, episodic return=2410.964599609375\n", + "global step=36466688, episodic return=207.55067443847656\n", + "global step=36466688, episodic return=2392.07080078125\n", + "global step=36468736, episodic return=2409.16650390625\n", + "global step=36468736, episodic return=2385.4765625\n", + "global step=36468736, episodic return=2461.338623046875\n", + "global step=36470784, episodic return=2370.954833984375\n", + "global step=36470784, episodic return=2384.679443359375\n", + "global step=36470784, episodic return=2438.316162109375\n", + "global step=36470784, episodic return=2393.135498046875\n", + "global step=36474880, episodic return=2451.548095703125\n", + "global step=36474880, episodic return=2374.58251953125\n", + "global step=36474880, episodic return=1782.6719970703125\n", + "global step=36474880, episodic return=2306.0\n", + "global step=36474880, episodic return=536.5389404296875\n", + "global step=36476928, episodic return=392.46136474609375\n", + "global step=36476928, episodic return=1001.3063354492188\n", + "global step=36478976, episodic return=2409.52490234375\n", + "global step=36478976, episodic return=2431.875\n", + "global step=36481024, episodic return=2446.325927734375\n", + "global step=36483072, episodic return=2424.4599609375\n", + "global step=36483072, episodic return=2402.11767578125\n", + "global step=36485120, episodic return=2428.969970703125\n", + "global step=36487168, episodic return=2426.742919921875\n", + "global step=36487168, episodic return=2368.72802734375\n", + "global step=36487168, episodic return=2393.674560546875\n", + "global step=36489216, episodic return=2464.5927734375\n", + "global step=36491264, episodic return=2430.677001953125\n", + "global step=36491264, episodic return=2425.3642578125\n", + "global step=36491264, episodic return=2430.6337890625\n", + "global step=36491264, episodic return=2390.399658203125\n", + "global step=36491264, episodic return=1723.6112060546875\n", + "global step=36491264, episodic return=2426.4013671875\n", + "global step=36493312, episodic return=365.13360595703125\n", + "global step=36493312, episodic return=2136.974365234375\n", + "global step=36495360, episodic return=2363.232177734375\n", + "global step=36497408, episodic return=2392.14404296875\n", + "global step=36497408, episodic return=195.33950805664062\n", + "global step=36497408, episodic return=2338.5830078125\n", + "global step=36497408, episodic return=2416.768798828125\n", + "global step=36499456, episodic return=2426.39306640625\n", + "global step=36499456, episodic return=2378.971435546875\n", + "global step=36499456, episodic return=2422.115234375\n", + "global step=36499456, episodic return=2314.1435546875\n", + "global step=36501504, episodic return=2390.873779296875\n", + "global step=36501504, episodic return=2434.737548828125\n", + "global step=36503552, episodic return=2396.091796875\n", + "global step=36503552, episodic return=2347.387451171875\n", + "global step=36503552, episodic return=1876.7581787109375\n", + "global step=36503552, episodic return=2043.51611328125\n", + "global step=36503552, episodic return=2399.855712890625\n", + "global step=36503552, episodic return=2355.3427734375\n", + "global step=36505600, episodic return=2340.15380859375\n", + "global step=36505600, episodic return=2170.0791015625\n", + "global step=36505600, episodic return=2386.1474609375\n", + "global step=36507648, episodic return=2473.45263671875\n", + "global step=36507648, episodic return=2417.58203125\n", + "global step=36509696, episodic return=2473.509765625\n", + "global step=36509696, episodic return=2355.915283203125\n", + "global step=36511744, episodic return=2377.9140625\n", + "global step=36511744, episodic return=2422.784912109375\n", + "global step=36511744, episodic return=2364.400634765625\n", + "global step=36515840, episodic return=2410.42822265625\n", + "global step=36515840, episodic return=2427.64990234375\n", + "global step=36517888, episodic return=1231.6170654296875\n", + "global step=36517888, episodic return=2344.146484375\n", + "global step=36517888, episodic return=2420.986328125\n", + "global step=36517888, episodic return=2415.786376953125\n", + "global step=36519936, episodic return=2426.687255859375\n", + "global step=36519936, episodic return=2385.0390625\n", + "global step=36521984, episodic return=668.249755859375\n", + "global step=36521984, episodic return=2445.71630859375\n", + "global step=36524032, episodic return=2408.26806640625\n", + "global step=36524032, episodic return=2398.06201171875\n", + "global step=36526080, episodic return=1509.884765625\n", + "global step=36526080, episodic return=2407.2275390625\n", + "global step=36526080, episodic return=622.558349609375\n", + "global step=36528128, episodic return=2370.634765625\n", + "global step=36530176, episodic return=2347.70703125\n", + "global step=36532224, episodic return=2430.84375\n", + "global step=36532224, episodic return=2412.85302734375\n", + "global step=36534272, episodic return=2311.11865234375\n", + "global step=36534272, episodic return=2420.343505859375\n", + "global step=36536320, episodic return=2429.402099609375\n", + "global step=36536320, episodic return=168.73992919921875\n", + "global step=36538368, episodic return=2434.7822265625\n", + "global step=36538368, episodic return=2361.878173828125\n", + "global step=36538368, episodic return=2400.932373046875\n", + "global step=36538368, episodic return=2415.437255859375\n", + "global step=36540416, episodic return=2314.666748046875\n", + "global step=36542464, episodic return=2473.806640625\n", + "global step=36542464, episodic return=2464.43701171875\n", + "global step=36544512, episodic return=2397.5634765625\n", + "global step=36544512, episodic return=2365.767333984375\n", + "global step=36544512, episodic return=2445.825927734375\n", + "global step=36544512, episodic return=2449.865478515625\n", + "global step=36544512, episodic return=2270.662353515625\n", + "global step=36544512, episodic return=2465.826171875\n", + "global step=36546560, episodic return=2415.87890625\n", + "global step=36546560, episodic return=2406.62744140625\n", + "global step=36548608, episodic return=2356.94970703125\n", + "global step=36548608, episodic return=2482.762451171875\n", + "global step=36550656, episodic return=2432.244384765625\n", + "global step=36550656, episodic return=2393.864990234375\n", + "global step=36552704, episodic return=2445.321533203125\n", + "global step=36552704, episodic return=594.6956176757812\n", + "global step=36552704, episodic return=2401.943603515625\n", + "global step=36552704, episodic return=2364.95947265625\n", + "global step=36552704, episodic return=2427.890869140625\n", + "global step=36554752, episodic return=2363.273681640625\n", + "global step=36554752, episodic return=2403.12744140625\n", + "global step=36554752, episodic return=2363.826904296875\n", + "global step=36554752, episodic return=1149.390625\n", + "global step=36556800, episodic return=2386.738037109375\n", + "global step=36556800, episodic return=2433.05078125\n", + "global step=36560896, episodic return=2416.542724609375\n", + "global step=36560896, episodic return=2396.697998046875\n", + "global step=36560896, episodic return=2352.271484375\n", + "global step=36560896, episodic return=623.385009765625\n", + "global step=36562944, episodic return=566.8851928710938\n", + "global step=36562944, episodic return=2385.801513671875\n", + "global step=36562944, episodic return=2336.49267578125\n", + "global step=36562944, episodic return=2432.719970703125\n", + "global step=36564992, episodic return=2438.438720703125\n", + "global step=36564992, episodic return=2366.00341796875\n", + "global step=36567040, episodic return=2462.41064453125\n", + "global step=36567040, episodic return=2427.431640625\n", + "global step=36569088, episodic return=2426.628173828125\n", + "global step=36569088, episodic return=2374.903076171875\n", + "global step=36569088, episodic return=2420.829833984375\n", + "global step=36569088, episodic return=2320.350341796875\n", + "global step=36569088, episodic return=2410.623779296875\n", + "global step=36571136, episodic return=2397.638427734375\n", + "global step=36571136, episodic return=308.6106872558594\n", + "global step=36573184, episodic return=2226.38671875\n", + "global step=36573184, episodic return=2416.330322265625\n", + "global step=36575232, episodic return=2369.46826171875\n", + "global step=36575232, episodic return=2445.013916015625\n", + "global step=36575232, episodic return=2390.14306640625\n", + "global step=36575232, episodic return=2445.07421875\n", + "global step=36575232, episodic return=2347.2080078125\n", + "global step=36579328, episodic return=2429.3291015625\n", + "global step=36581376, episodic return=2475.365478515625\n", + "global step=36583424, episodic return=2396.40966796875\n", + "global step=36585472, episodic return=2413.00048828125\n", + "global step=36585472, episodic return=1285.323974609375\n", + "global step=36587520, episodic return=2417.4853515625\n", + "global step=36589568, episodic return=2423.456298828125\n", + "global step=36589568, episodic return=831.7003173828125\n", + "global step=36589568, episodic return=2441.46728515625\n", + "global step=36589568, episodic return=2409.81494140625\n", + "global step=36589568, episodic return=2370.49462890625\n", + "global step=36591616, episodic return=2405.2744140625\n", + "global step=36591616, episodic return=2357.3994140625\n", + "global step=36591616, episodic return=801.0623168945312\n", + "global step=36593664, episodic return=2404.731201171875\n", + "global step=36593664, episodic return=862.5709228515625\n", + "global step=36595712, episodic return=2388.197998046875\n", + "global step=36595712, episodic return=2351.27392578125\n", + "global step=36595712, episodic return=2405.236328125\n", + "global step=36597760, episodic return=2437.2490234375\n", + "global step=36599808, episodic return=2163.170654296875\n", + "global step=36599808, episodic return=2360.12841796875\n", + "global step=36599808, episodic return=2426.935546875\n", + "global step=36601856, episodic return=2400.837890625\n", + "global step=36601856, episodic return=2401.9189453125\n", + "global step=36603904, episodic return=2388.6533203125\n", + "global step=36603904, episodic return=2381.858642578125\n", + "global step=36608000, episodic return=2445.8720703125\n", + "global step=36608000, episodic return=2391.57080078125\n", + "global step=36608000, episodic return=2384.423583984375\n", + "global step=36608000, episodic return=2384.204345703125\n", + "global step=36610048, episodic return=2430.156494140625\n", + "global step=36610048, episodic return=2363.28857421875\n", + "global step=36612096, episodic return=2436.275390625\n", + "global step=36612096, episodic return=1332.198486328125\n", + "global step=36612096, episodic return=2489.89892578125\n", + "global step=36614144, episodic return=2429.086669921875\n", + "global step=36614144, episodic return=2399.472900390625\n", + "global step=36614144, episodic return=2429.857177734375\n", + "global step=36614144, episodic return=2348.832275390625\n", + "global step=36616192, episodic return=2415.426513671875\n", + "global step=36620288, episodic return=2376.1162109375\n", + "global step=36622336, episodic return=2327.499755859375\n", + "global step=36622336, episodic return=2435.31884765625\n", + "global step=36622336, episodic return=1748.6851806640625\n", + "global step=36624384, episodic return=2362.21484375\n", + "global step=36624384, episodic return=623.5283813476562\n", + "global step=36624384, episodic return=2418.742919921875\n", + "global step=36626432, episodic return=2438.7158203125\n", + "global step=36626432, episodic return=2407.163330078125\n", + "global step=36628480, episodic return=2462.741943359375\n", + "global step=36628480, episodic return=2422.944580078125\n", + "global step=36628480, episodic return=2374.0771484375\n", + "global step=36630528, episodic return=2437.64306640625\n", + "global step=36630528, episodic return=2222.113525390625\n", + "global step=36630528, episodic return=2379.03466796875\n", + "global step=36630528, episodic return=2350.952880859375\n", + "global step=36630528, episodic return=2419.91748046875\n", + "global step=36630528, episodic return=2468.22900390625\n", + "global step=36632576, episodic return=1594.7921142578125\n", + "global step=36632576, episodic return=2357.946533203125\n", + "global step=36632576, episodic return=2413.111572265625\n", + "global step=36632576, episodic return=2406.044921875\n", + "global step=36634624, episodic return=2437.572998046875\n", + "global step=36634624, episodic return=2384.710693359375\n", + "global step=36636672, episodic return=2415.600341796875\n", + "global step=36640768, episodic return=2415.9052734375\n", + "global step=36640768, episodic return=2442.0986328125\n", + "global step=36640768, episodic return=2387.070068359375\n", + "global step=36642816, episodic return=2366.6162109375\n", + "global step=36642816, episodic return=2352.194580078125\n", + "global step=36644864, episodic return=2421.3271484375\n", + "global step=36644864, episodic return=2396.860107421875\n", + "global step=36646912, episodic return=2417.830078125\n", + "global step=36646912, episodic return=2413.134765625\n", + "global step=36648960, episodic return=2422.006591796875\n", + "global step=36648960, episodic return=2370.787841796875\n", + "global step=36648960, episodic return=2386.608642578125\n", + "global step=36651008, episodic return=2356.120361328125\n", + "global step=36651008, episodic return=2359.193359375\n", + "global step=36653056, episodic return=2443.320556640625\n", + "global step=36655104, episodic return=2197.555419921875\n", + "global step=36655104, episodic return=2347.81787109375\n", + "global step=36655104, episodic return=2445.7890625\n", + "global step=36655104, episodic return=2380.146240234375\n", + "global step=36657152, episodic return=2389.788818359375\n", + "global step=36657152, episodic return=93.3045883178711\n", + "global step=36657152, episodic return=2442.222900390625\n", + "global step=36659200, episodic return=2393.56201171875\n", + "global step=36659200, episodic return=2367.833251953125\n", + "global step=36659200, episodic return=2466.2353515625\n", + "global step=36661248, episodic return=2434.757568359375\n", + "global step=36661248, episodic return=2408.18701171875\n", + "global step=36661248, episodic return=2421.79296875\n", + "global step=36661248, episodic return=2422.61083984375\n", + "global step=36661248, episodic return=2359.999755859375\n", + "global step=36661248, episodic return=2363.403076171875\n", + "global step=36663296, episodic return=2399.770263671875\n", + "global step=36663296, episodic return=2409.884765625\n", + "global step=36663296, episodic return=2339.746826171875\n", + "global step=36669440, episodic return=2414.52490234375\n", + "global step=36669440, episodic return=2453.692626953125\n", + "global step=36671488, episodic return=2364.44482421875\n", + "global step=36671488, episodic return=2448.933349609375\n", + "global step=36671488, episodic return=2391.230224609375\n", + "global step=36673536, episodic return=255.66917419433594\n", + "global step=36673536, episodic return=2385.94921875\n", + "global step=36675584, episodic return=2422.155517578125\n", + "global step=36675584, episodic return=2189.5048828125\n", + "global step=36677632, episodic return=2363.790771484375\n", + "global step=36677632, episodic return=2415.4677734375\n", + "global step=36677632, episodic return=2423.822265625\n", + "global step=36677632, episodic return=2402.139892578125\n", + "global step=36679680, episodic return=2389.803955078125\n", + "global step=36679680, episodic return=2401.64990234375\n", + "global step=36679680, episodic return=2362.844482421875\n", + "global step=36681728, episodic return=2246.294921875\n", + "global step=36683776, episodic return=2409.2412109375\n", + "global step=36683776, episodic return=2418.33154296875\n", + "global step=36685824, episodic return=1104.9613037109375\n", + "global step=36685824, episodic return=2385.61328125\n", + "global step=36687872, episodic return=2394.2685546875\n", + "global step=36687872, episodic return=2411.906005859375\n", + "global step=36687872, episodic return=2410.782470703125\n", + "global step=36689920, episodic return=2366.20654296875\n", + "global step=36689920, episodic return=2455.82861328125\n", + "global step=36691968, episodic return=2387.381591796875\n", + "global step=36696064, episodic return=2401.671630859375\n", + "global step=36698112, episodic return=2448.23583984375\n", + "global step=36698112, episodic return=2494.57861328125\n", + "global step=36698112, episodic return=2375.915771484375\n", + "global step=36698112, episodic return=1009.4066772460938\n", + "global step=36700160, episodic return=2411.21826171875\n", + "global step=36700160, episodic return=2399.218017578125\n", + "global step=36704256, episodic return=2384.54248046875\n", + "global step=36704256, episodic return=2269.552490234375\n", + "global step=36706304, episodic return=2419.529296875\n", + "global step=36706304, episodic return=2463.0302734375\n", + "global step=36706304, episodic return=2280.94921875\n", + "global step=36706304, episodic return=2418.403076171875\n", + "global step=36706304, episodic return=2299.897216796875\n", + "global step=36708352, episodic return=2435.510986328125\n", + "global step=36708352, episodic return=2308.623046875\n", + "global step=36710400, episodic return=2258.64697265625\n", + "global step=36710400, episodic return=2334.22265625\n", + "global step=36712448, episodic return=2430.4521484375\n", + "global step=36714496, episodic return=2420.662109375\n", + "global step=36714496, episodic return=2417.62939453125\n", + "global step=36714496, episodic return=2340.62890625\n", + "global step=36716544, episodic return=2378.904296875\n", + "global step=36718592, episodic return=2016.6201171875\n", + "global step=36718592, episodic return=2362.493408203125\n", + "global step=36720640, episodic return=1259.726806640625\n", + "global step=36722688, episodic return=2315.63134765625\n", + "global step=36722688, episodic return=2406.095458984375\n", + "global step=36724736, episodic return=2437.260986328125\n", + "global step=36726784, episodic return=2356.38818359375\n", + "global step=36726784, episodic return=2392.637451171875\n", + "global step=36726784, episodic return=2356.4384765625\n", + "global step=36726784, episodic return=2365.916015625\n", + "global step=36726784, episodic return=2334.41552734375\n", + "global step=36726784, episodic return=2420.2197265625\n", + "global step=36728832, episodic return=2394.094970703125\n", + "global step=36728832, episodic return=2442.24267578125\n", + "global step=36728832, episodic return=2387.961181640625\n", + "global step=36730880, episodic return=2400.649169921875\n", + "global step=36730880, episodic return=2403.975830078125\n", + "global step=36730880, episodic return=2370.6435546875\n", + "global step=36732928, episodic return=2454.7578125\n", + "global step=36732928, episodic return=2372.156005859375\n", + "global step=36734976, episodic return=2302.9609375\n", + "global step=36734976, episodic return=2319.050048828125\n", + "global step=36737024, episodic return=2360.568603515625\n", + "global step=36737024, episodic return=2322.09423828125\n", + "global step=36737024, episodic return=2311.897705078125\n", + "global step=36737024, episodic return=2263.60302734375\n", + "global step=36739072, episodic return=2389.740966796875\n", + "global step=36739072, episodic return=2395.1923828125\n", + "global step=36739072, episodic return=2388.9990234375\n", + "global step=36739072, episodic return=2381.75927734375\n", + "global step=36741120, episodic return=2286.949462890625\n", + "global step=36741120, episodic return=2403.268310546875\n", + "global step=36741120, episodic return=2337.244140625\n", + "global step=36741120, episodic return=2329.008544921875\n", + "global step=36741120, episodic return=2246.902099609375\n", + "global step=36743168, episodic return=2393.770263671875\n", + "global step=36745216, episodic return=2355.181396484375\n", + "global step=36745216, episodic return=2416.410888671875\n", + "global step=36745216, episodic return=2384.861572265625\n", + "global step=36747264, episodic return=2336.5029296875\n", + "global step=36747264, episodic return=2323.333740234375\n", + "global step=36749312, episodic return=2375.97314453125\n", + "global step=36749312, episodic return=2410.67041015625\n", + "global step=36749312, episodic return=2365.088623046875\n", + "global step=36749312, episodic return=2432.1455078125\n", + "global step=36749312, episodic return=2383.722412109375\n", + "global step=36749312, episodic return=2370.90478515625\n", + "global step=36751360, episodic return=2391.093017578125\n", + "global step=36751360, episodic return=2417.80126953125\n", + "global step=36753408, episodic return=2374.756591796875\n", + "global step=36753408, episodic return=2340.095947265625\n", + "global step=36753408, episodic return=2402.628662109375\n", + "global step=36753408, episodic return=2336.544677734375\n", + "global step=36755456, episodic return=2369.84912109375\n", + "global step=36755456, episodic return=2360.99365234375\n", + "global step=36755456, episodic return=2379.35546875\n", + "global step=36755456, episodic return=2420.0126953125\n", + "global step=36757504, episodic return=1986.7740478515625\n", + "global step=36757504, episodic return=2330.968505859375\n", + "global step=36757504, episodic return=2393.4326171875\n", + "global step=36759552, episodic return=2360.89794921875\n", + "global step=36759552, episodic return=2294.109130859375\n", + "global step=36761600, episodic return=2359.680419921875\n", + "global step=36767744, episodic return=2373.681640625\n", + "global step=36767744, episodic return=2388.128173828125\n", + "global step=36767744, episodic return=2312.963134765625\n", + "global step=36769792, episodic return=2310.037109375\n", + "global step=36769792, episodic return=2437.583740234375\n", + "global step=36771840, episodic return=2294.80126953125\n", + "global step=36771840, episodic return=2405.290283203125\n", + "global step=36771840, episodic return=108.65391540527344\n", + "global step=36773888, episodic return=2344.84423828125\n", + "global step=36773888, episodic return=2417.118408203125\n", + "global step=36773888, episodic return=2419.809814453125\n", + "global step=36773888, episodic return=2317.753662109375\n", + "global step=36773888, episodic return=2364.8642578125\n", + "global step=36773888, episodic return=2398.7919921875\n", + "global step=36773888, episodic return=1127.8262939453125\n", + "global step=36777984, episodic return=2449.6279296875\n", + "global step=36777984, episodic return=2405.158203125\n", + "global step=36780032, episodic return=2350.24267578125\n", + "global step=36780032, episodic return=2389.814208984375\n", + "global step=36780032, episodic return=2492.5703125\n", + "global step=36782080, episodic return=2357.58935546875\n", + "global step=36782080, episodic return=2387.810791015625\n", + "global step=36790272, episodic return=2388.015869140625\n", + "global step=36790272, episodic return=2401.44384765625\n", + "global step=36790272, episodic return=1431.3306884765625\n", + "global step=36790272, episodic return=2302.486328125\n", + "global step=36790272, episodic return=2375.271728515625\n", + "global step=36790272, episodic return=2365.110107421875\n", + "global step=36790272, episodic return=2418.48974609375\n", + "global step=36790272, episodic return=2385.09619140625\n", + "global step=36792320, episodic return=2375.80810546875\n", + "global step=36792320, episodic return=2408.892578125\n", + "global step=36792320, episodic return=2371.03515625\n", + "global step=36794368, episodic return=2397.775390625\n", + "global step=36796416, episodic return=2398.419677734375\n", + "global step=36796416, episodic return=2317.14794921875\n", + "global step=36800512, episodic return=2217.456298828125\n", + "global step=36802560, episodic return=1270.71435546875\n", + "global step=36804608, episodic return=2433.98681640625\n", + "global step=36804608, episodic return=683.4139404296875\n", + "global step=36806656, episodic return=2293.4609375\n", + "global step=36806656, episodic return=2357.435546875\n", + "global step=36808704, episodic return=834.1760864257812\n", + "global step=36808704, episodic return=2417.451171875\n", + "global step=36808704, episodic return=247.3113555908203\n", + "global step=36808704, episodic return=2358.1357421875\n", + "global step=36808704, episodic return=2433.172119140625\n", + "global step=36810752, episodic return=2425.4736328125\n", + "global step=36810752, episodic return=2285.50634765625\n", + "global step=36812800, episodic return=2454.3310546875\n", + "global step=36812800, episodic return=2405.654296875\n", + "global step=36814848, episodic return=2411.443115234375\n", + "global step=36814848, episodic return=2378.27001953125\n", + "global step=36816896, episodic return=2316.844970703125\n", + "global step=36820992, episodic return=2405.766357421875\n", + "global step=36820992, episodic return=2403.587646484375\n", + "global step=36820992, episodic return=2398.853271484375\n", + "global step=36820992, episodic return=2335.59619140625\n", + "global step=36820992, episodic return=2379.513427734375\n", + "global step=36823040, episodic return=2416.79736328125\n", + "global step=36823040, episodic return=2317.09912109375\n", + "global step=36823040, episodic return=2372.130126953125\n", + "global step=36825088, episodic return=19.552682876586914\n", + "global step=36825088, episodic return=2323.328125\n", + "global step=36827136, episodic return=2337.99560546875\n", + "global step=36827136, episodic return=2373.714111328125\n", + "global step=36827136, episodic return=2408.113525390625\n", + "global step=36829184, episodic return=2349.390869140625\n", + "global step=36829184, episodic return=2438.289306640625\n", + "global step=36829184, episodic return=2334.19677734375\n", + "global step=36831232, episodic return=2401.189697265625\n", + "global step=36831232, episodic return=2414.400390625\n", + "global step=36831232, episodic return=2412.16357421875\n", + "global step=36833280, episodic return=2383.758544921875\n", + "global step=36833280, episodic return=40.037384033203125\n", + "global step=36833280, episodic return=2305.480712890625\n", + "global step=36833280, episodic return=2378.7568359375\n", + "global step=36833280, episodic return=2393.300048828125\n", + "global step=36835328, episodic return=2415.818603515625\n", + "global step=36835328, episodic return=2370.292236328125\n", + "global step=36837376, episodic return=2363.31982421875\n", + "global step=36839424, episodic return=2430.255615234375\n", + "global step=36839424, episodic return=2393.0263671875\n", + "global step=36839424, episodic return=2369.70068359375\n", + "global step=36839424, episodic return=2384.954345703125\n", + "global step=36839424, episodic return=2413.410888671875\n", + "global step=36841472, episodic return=2386.759033203125\n", + "global step=36841472, episodic return=2357.13134765625\n", + "global step=36841472, episodic return=2402.3955078125\n", + "global step=36841472, episodic return=2400.253173828125\n", + "global step=36841472, episodic return=2378.9345703125\n", + "global step=36843520, episodic return=2209.08984375\n", + "global step=36843520, episodic return=2246.891357421875\n", + "global step=36843520, episodic return=2407.67236328125\n", + "global step=36845568, episodic return=2353.477783203125\n", + "global step=36845568, episodic return=2421.75390625\n", + "global step=36847616, episodic return=2382.96142578125\n", + "global step=36847616, episodic return=2375.65185546875\n", + "global step=36847616, episodic return=2177.14404296875\n", + "global step=36849664, episodic return=170.42953491210938\n", + "global step=36849664, episodic return=2407.34521484375\n", + "global step=36849664, episodic return=2324.289306640625\n", + "global step=36851712, episodic return=2407.7001953125\n", + "global step=36851712, episodic return=2444.280029296875\n", + "global step=36851712, episodic return=2332.384033203125\n", + "global step=36851712, episodic return=2421.0205078125\n", + "global step=36853760, episodic return=2422.042236328125\n", + "global step=36853760, episodic return=2417.77099609375\n", + "global step=36853760, episodic return=57.64649963378906\n", + "global step=36855808, episodic return=2422.8681640625\n", + "global step=36855808, episodic return=2372.862060546875\n", + "global step=36857856, episodic return=2365.1240234375\n", + "global step=36857856, episodic return=2273.07763671875\n", + "global step=36857856, episodic return=2399.25927734375\n", + "global step=36859904, episodic return=2403.587158203125\n", + "global step=36861952, episodic return=2380.3564453125\n", + "global step=36861952, episodic return=217.99427795410156\n", + "global step=36864000, episodic return=2394.047119140625\n", + "global step=36866048, episodic return=2339.9482421875\n", + "global step=36868096, episodic return=222.87380981445312\n", + "global step=36868096, episodic return=2161.516357421875\n", + "global step=36870144, episodic return=2444.75537109375\n", + "global step=36872192, episodic return=2436.30224609375\n", + "global step=36872192, episodic return=2270.8173828125\n", + "global step=36874240, episodic return=2416.16259765625\n", + "global step=36874240, episodic return=2401.150146484375\n", + "global step=36874240, episodic return=2378.10888671875\n", + "global step=36876288, episodic return=2361.761962890625\n", + "global step=36878336, episodic return=2414.078857421875\n", + "global step=36878336, episodic return=2297.300048828125\n", + "global step=36878336, episodic return=2378.078125\n", + "global step=36878336, episodic return=2394.12158203125\n", + "global step=36880384, episodic return=2428.510009765625\n", + "global step=36880384, episodic return=2396.316650390625\n", + "global step=36880384, episodic return=2301.06201171875\n", + "global step=36882432, episodic return=60.54429244995117\n", + "global step=36882432, episodic return=2406.102783203125\n", + "global step=36882432, episodic return=2375.344970703125\n", + "global step=36884480, episodic return=1414.751708984375\n", + "global step=36886528, episodic return=2387.486083984375\n", + "global step=36886528, episodic return=2422.19580078125\n", + "global step=36886528, episodic return=2312.531982421875\n", + "global step=36888576, episodic return=2421.514892578125\n", + "global step=36888576, episodic return=220.71839904785156\n", + "global step=36890624, episodic return=59.051021575927734\n", + "global step=36890624, episodic return=2381.337646484375\n", + "global step=36890624, episodic return=2418.673828125\n", + "global step=36890624, episodic return=2391.926513671875\n", + "global step=36892672, episodic return=2398.869873046875\n", + "global step=36892672, episodic return=2425.993896484375\n", + "global step=36896768, episodic return=2316.836669921875\n", + "global step=36896768, episodic return=2189.676025390625\n", + "global step=36896768, episodic return=2338.32958984375\n", + "global step=36896768, episodic return=2386.115478515625\n", + "global step=36896768, episodic return=2355.25341796875\n", + "global step=36896768, episodic return=2362.23876953125\n", + "global step=36900864, episodic return=412.3704528808594\n", + "global step=36900864, episodic return=2366.043212890625\n", + "global step=36900864, episodic return=2379.701171875\n", + "global step=36900864, episodic return=2423.9111328125\n", + "global step=36902912, episodic return=2407.0703125\n", + "global step=36902912, episodic return=184.0075225830078\n", + "global step=36904960, episodic return=2370.086669921875\n", + "global step=36904960, episodic return=2416.173828125\n", + "global step=36904960, episodic return=2312.791259765625\n", + "global step=36904960, episodic return=48.77537155151367\n", + "global step=36904960, episodic return=632.57568359375\n", + "global step=36904960, episodic return=2424.8681640625\n", + "global step=36907008, episodic return=2375.779541015625\n", + "global step=36907008, episodic return=2301.77685546875\n", + "global step=36909056, episodic return=2413.05322265625\n", + "global step=36909056, episodic return=2404.741455078125\n", + "global step=36909056, episodic return=2448.68896484375\n", + "global step=36909056, episodic return=2404.3564453125\n", + "global step=36915200, episodic return=2377.70263671875\n", + "global step=36915200, episodic return=2408.822265625\n", + "global step=36915200, episodic return=2404.68212890625\n", + "global step=36917248, episodic return=2331.322509765625\n", + "global step=36919296, episodic return=2286.892822265625\n", + "global step=36919296, episodic return=2400.988525390625\n", + "global step=36919296, episodic return=2404.1474609375\n", + "global step=36921344, episodic return=2434.45166015625\n", + "global step=36923392, episodic return=1582.0048828125\n", + "global step=36923392, episodic return=2327.348876953125\n", + "global step=36927488, episodic return=1519.8214111328125\n", + "global step=36927488, episodic return=2336.306884765625\n", + "global step=36927488, episodic return=2405.25244140625\n", + "global step=36927488, episodic return=2361.365966796875\n", + "global step=36929536, episodic return=2349.79833984375\n", + "global step=36929536, episodic return=2367.4375\n", + "global step=36929536, episodic return=2345.35693359375\n", + "global step=36929536, episodic return=612.841064453125\n", + "global step=36929536, episodic return=2400.09912109375\n", + "global step=36931584, episodic return=2347.4296875\n", + "global step=36931584, episodic return=2380.995849609375\n", + "global step=36931584, episodic return=2379.483154296875\n", + "global step=36933632, episodic return=2393.15966796875\n", + "global step=36933632, episodic return=2430.677978515625\n", + "global step=36935680, episodic return=2401.46923828125\n", + "global step=36937728, episodic return=2333.8271484375\n", + "global step=36937728, episodic return=2376.230712890625\n", + "global step=36937728, episodic return=2370.39599609375\n", + "global step=36937728, episodic return=2381.246337890625\n", + "global step=36937728, episodic return=2357.12890625\n", + "global step=36937728, episodic return=2453.5068359375\n", + "global step=36937728, episodic return=1044.8194580078125\n", + "global step=36941824, episodic return=1306.9239501953125\n", + "global step=36941824, episodic return=2401.879150390625\n", + "global step=36941824, episodic return=1383.3885498046875\n", + "global step=36943872, episodic return=2331.990234375\n", + "global step=36943872, episodic return=2310.555419921875\n", + "global step=36943872, episodic return=2372.80419921875\n", + "global step=36943872, episodic return=2391.9541015625\n", + "global step=36945920, episodic return=2371.026611328125\n", + "global step=36945920, episodic return=2373.175048828125\n", + "global step=36947968, episodic return=2379.125\n", + "global step=36947968, episodic return=2388.26171875\n", + "global step=36947968, episodic return=2399.991943359375\n", + "global step=36950016, episodic return=2397.339111328125\n", + "global step=36950016, episodic return=2412.55712890625\n", + "global step=36950016, episodic return=2338.681396484375\n", + "global step=36952064, episodic return=2422.209228515625\n", + "global step=36952064, episodic return=2361.554931640625\n", + "global step=36954112, episodic return=2379.826171875\n", + "global step=36954112, episodic return=2400.5400390625\n", + "global step=36956160, episodic return=2458.100830078125\n", + "global step=36956160, episodic return=2392.792236328125\n", + "global step=36958208, episodic return=2378.89892578125\n", + "global step=36958208, episodic return=2438.941650390625\n", + "global step=36958208, episodic return=2418.98681640625\n", + "global step=36958208, episodic return=2437.846923828125\n", + "global step=36960256, episodic return=2411.8076171875\n", + "global step=36960256, episodic return=2406.7158203125\n", + "global step=36960256, episodic return=2428.757568359375\n", + "global step=36960256, episodic return=2344.872314453125\n", + "global step=36960256, episodic return=175.26144409179688\n", + "global step=36960256, episodic return=2377.608154296875\n", + "global step=36962304, episodic return=2403.837890625\n", + "global step=36962304, episodic return=2348.696533203125\n", + "global step=36964352, episodic return=2389.5810546875\n", + "global step=36964352, episodic return=2446.095458984375\n", + "global step=36966400, episodic return=2441.05615234375\n", + "global step=36966400, episodic return=2356.260498046875\n", + "global step=36966400, episodic return=2353.89892578125\n", + "global step=36968448, episodic return=2410.1416015625\n", + "global step=36970496, episodic return=523.2451782226562\n", + "global step=36970496, episodic return=2395.222412109375\n", + "global step=36974592, episodic return=2341.46240234375\n", + "global step=36974592, episodic return=2318.864013671875\n", + "global step=36974592, episodic return=2394.697265625\n", + "global step=36974592, episodic return=2344.709716796875\n", + "global step=36974592, episodic return=2338.143310546875\n", + "global step=36976640, episodic return=2373.063232421875\n", + "global step=36976640, episodic return=1156.47509765625\n", + "global step=36976640, episodic return=173.47056579589844\n", + "global step=36978688, episodic return=2373.87353515625\n", + "global step=36978688, episodic return=2370.775146484375\n", + "global step=36978688, episodic return=2031.5179443359375\n", + "global step=36980736, episodic return=2432.15576171875\n", + "global step=36980736, episodic return=2344.60888671875\n", + "global step=36980736, episodic return=2339.723876953125\n", + "global step=36980736, episodic return=2357.515869140625\n", + "global step=36982784, episodic return=2373.2578125\n", + "global step=36982784, episodic return=2369.812744140625\n", + "global step=36982784, episodic return=2403.427001953125\n", + "global step=36982784, episodic return=2420.306396484375\n", + "global step=36984832, episodic return=2376.976318359375\n", + "global step=36984832, episodic return=2394.56689453125\n", + "global step=36986880, episodic return=2359.293701171875\n", + "global step=36986880, episodic return=2389.41845703125\n", + "global step=36986880, episodic return=2370.556884765625\n", + "global step=36988928, episodic return=2389.94287109375\n", + "global step=36988928, episodic return=2442.37890625\n", + "global step=36988928, episodic return=2314.7900390625\n", + "global step=36990976, episodic return=2356.434814453125\n", + "global step=36993024, episodic return=456.7821350097656\n", + "global step=36995072, episodic return=1815.8017578125\n", + "global step=36995072, episodic return=2332.515869140625\n", + "global step=36997120, episodic return=2405.567138671875\n", + "global step=36997120, episodic return=2358.317138671875\n", + "global step=36997120, episodic return=2437.21630859375\n", + "global step=36997120, episodic return=1180.506591796875\n", + "global step=36997120, episodic return=1134.600341796875\n", + "global step=36997120, episodic return=2428.19091796875\n", + "global step=37001216, episodic return=2388.792236328125\n", + "global step=37001216, episodic return=2382.75439453125\n", + "global step=37001216, episodic return=2464.24658203125\n", + "global step=37001216, episodic return=2397.45703125\n", + "global step=37003264, episodic return=2395.625732421875\n", + "global step=37003264, episodic return=2341.459228515625\n", + "global step=37003264, episodic return=2300.017822265625\n", + "global step=37003264, episodic return=2403.05078125\n", + "global step=37005312, episodic return=2385.45166015625\n", + "global step=37005312, episodic return=2382.180908203125\n", + "global step=37005312, episodic return=2389.080810546875\n", + "global step=37007360, episodic return=1726.511474609375\n", + "global step=37009408, episodic return=2391.151123046875\n", + "global step=37009408, episodic return=2400.467529296875\n", + "global step=37009408, episodic return=2387.158447265625\n", + "global step=37009408, episodic return=2418.135498046875\n", + "global step=37011456, episodic return=61.071781158447266\n", + "global step=37011456, episodic return=2320.3056640625\n", + "global step=37011456, episodic return=692.7025146484375\n", + "global step=37013504, episodic return=2344.442138671875\n", + "global step=37015552, episodic return=2402.37841796875\n", + "global step=37017600, episodic return=2390.402099609375\n", + "global step=37017600, episodic return=2381.2451171875\n", + "global step=37017600, episodic return=2334.242919921875\n", + "global step=37019648, episodic return=2367.709716796875\n", + "global step=37019648, episodic return=2378.71826171875\n", + "global step=37019648, episodic return=2380.70068359375\n", + "global step=37021696, episodic return=2347.42724609375\n", + "global step=37021696, episodic return=2344.43798828125\n", + "global step=37021696, episodic return=2449.85009765625\n", + "global step=37023744, episodic return=25.9188232421875\n", + "global step=37023744, episodic return=1222.06884765625\n", + "global step=37023744, episodic return=2386.2294921875\n", + "global step=37025792, episodic return=2355.51904296875\n", + "global step=37025792, episodic return=2406.301513671875\n", + "global step=37025792, episodic return=2364.1416015625\n", + "global step=37027840, episodic return=1887.2275390625\n", + "global step=37027840, episodic return=2401.389404296875\n", + "global step=37027840, episodic return=2423.681396484375\n", + "global step=37029888, episodic return=2369.540771484375\n", + "global step=37029888, episodic return=2378.676025390625\n", + "global step=37029888, episodic return=2420.45263671875\n", + "global step=37031936, episodic return=2414.71337890625\n", + "global step=37031936, episodic return=2373.587646484375\n", + "global step=37033984, episodic return=2345.044677734375\n", + "global step=37033984, episodic return=2418.295166015625\n", + "global step=37033984, episodic return=2361.359130859375\n", + "global step=37033984, episodic return=2418.36865234375\n", + "global step=37033984, episodic return=2399.583740234375\n", + "global step=37040128, episodic return=2440.230712890625\n", + "global step=37040128, episodic return=2366.083251953125\n", + "global step=37042176, episodic return=2347.166748046875\n", + "global step=37042176, episodic return=2340.099609375\n", + "global step=37042176, episodic return=2409.568359375\n", + "global step=37046272, episodic return=2330.20458984375\n", + "global step=37052416, episodic return=2330.26513671875\n", + "global step=37052416, episodic return=2345.268310546875\n", + "global step=37052416, episodic return=2415.685791015625\n", + "global step=37052416, episodic return=2341.661376953125\n", + "global step=37054464, episodic return=2351.049072265625\n", + "global step=37056512, episodic return=2420.52490234375\n", + "global step=37056512, episodic return=2349.31494140625\n", + "global step=37058560, episodic return=1342.1859130859375\n", + "global step=37058560, episodic return=2335.162109375\n", + "global step=37058560, episodic return=2381.37109375\n", + "global step=37060608, episodic return=2361.435791015625\n", + "global step=37060608, episodic return=2368.757080078125\n", + "global step=37062656, episodic return=2401.531982421875\n", + "global step=37062656, episodic return=2356.58642578125\n", + "global step=37062656, episodic return=2363.86328125\n", + "global step=37064704, episodic return=2418.509765625\n", + "global step=37068800, episodic return=2428.534912109375\n", + "global step=37068800, episodic return=2432.105712890625\n", + "global step=37070848, episodic return=2406.456298828125\n", + "global step=37070848, episodic return=2297.469970703125\n", + "global step=37070848, episodic return=2333.857421875\n", + "global step=37070848, episodic return=2257.524658203125\n", + "global step=37070848, episodic return=2343.91748046875\n", + "global step=37070848, episodic return=2369.673095703125\n", + "global step=37072896, episodic return=188.25912475585938\n", + "global step=37072896, episodic return=2436.666259765625\n", + "global step=37072896, episodic return=2338.967041015625\n", + "global step=37072896, episodic return=2330.167236328125\n", + "global step=37074944, episodic return=1154.73486328125\n", + "global step=37083136, episodic return=2329.31787109375\n", + "global step=37085184, episodic return=2375.505126953125\n", + "global step=37089280, episodic return=2401.226318359375\n", + "global step=37089280, episodic return=2410.16796875\n", + "global step=37089280, episodic return=2409.552490234375\n", + "global step=37089280, episodic return=1578.67041015625\n", + "global step=37091328, episodic return=2363.068603515625\n", + "global step=37091328, episodic return=2375.685791015625\n", + "global step=37091328, episodic return=2436.68310546875\n", + "global step=37095424, episodic return=2426.650146484375\n", + "global step=37097472, episodic return=2387.088134765625\n", + "global step=37097472, episodic return=197.1099395751953\n", + "global step=37097472, episodic return=767.4609985351562\n", + "global step=37101568, episodic return=2324.980224609375\n", + "global step=37103616, episodic return=2386.003662109375\n", + "global step=37103616, episodic return=2423.036376953125\n", + "global step=37103616, episodic return=2439.4228515625\n", + "global step=37105664, episodic return=2368.12109375\n", + "global step=37105664, episodic return=2399.178466796875\n", + "global step=37111808, episodic return=195.13600158691406\n", + "global step=37111808, episodic return=2400.329345703125\n", + "global step=37111808, episodic return=2317.087158203125\n", + "global step=37111808, episodic return=2417.352294921875\n", + "global step=37111808, episodic return=2431.985107421875\n", + "global step=37111808, episodic return=44.40004348754883\n", + "global step=37113856, episodic return=2382.901611328125\n", + "global step=37113856, episodic return=2348.717041015625\n", + "global step=37113856, episodic return=2419.025634765625\n", + "global step=37115904, episodic return=2436.5966796875\n", + "global step=37120000, episodic return=2433.701904296875\n", + "global step=37124096, episodic return=2318.145751953125\n", + "global step=37126144, episodic return=1072.68994140625\n", + "global step=37128192, episodic return=2392.474609375\n", + "global step=37128192, episodic return=2347.10107421875\n", + "global step=37128192, episodic return=2358.6611328125\n", + "global step=37130240, episodic return=105.59907531738281\n", + "global step=37130240, episodic return=106.50777435302734\n", + "global step=37130240, episodic return=2466.75634765625\n", + "global step=37132288, episodic return=2373.81201171875\n", + "global step=37132288, episodic return=509.3126220703125\n", + "global step=37132288, episodic return=2410.04150390625\n", + "global step=37132288, episodic return=2391.068603515625\n", + "global step=37134336, episodic return=2453.034912109375\n", + "global step=37134336, episodic return=915.4220581054688\n", + "global step=37136384, episodic return=2211.0078125\n", + "global step=37136384, episodic return=2275.576171875\n", + "global step=37138432, episodic return=2413.362060546875\n", + "global step=37140480, episodic return=2330.079833984375\n", + "global step=37140480, episodic return=2336.9091796875\n", + "global step=37140480, episodic return=2336.594482421875\n", + "global step=37140480, episodic return=2367.057861328125\n", + "global step=37142528, episodic return=2135.253662109375\n", + "global step=37142528, episodic return=2387.783447265625\n", + "global step=37144576, episodic return=2303.10546875\n", + "global step=37144576, episodic return=2057.08447265625\n", + "global step=37144576, episodic return=1011.5664672851562\n", + "global step=37144576, episodic return=2368.915283203125\n", + "global step=37144576, episodic return=1430.35107421875\n", + "global step=37144576, episodic return=2409.5322265625\n", + "global step=37144576, episodic return=40.440982818603516\n", + "global step=37146624, episodic return=2378.10302734375\n", + "global step=37146624, episodic return=2336.797119140625\n", + "global step=37146624, episodic return=2351.813232421875\n", + "global step=37146624, episodic return=2426.89013671875\n", + "global step=37148672, episodic return=2396.023681640625\n", + "global step=37148672, episodic return=2397.591796875\n", + "global step=37148672, episodic return=977.4677734375\n", + "global step=37150720, episodic return=2334.876953125\n", + "global step=37152768, episodic return=2380.407958984375\n", + "global step=37152768, episodic return=2439.948486328125\n", + "global step=37152768, episodic return=2338.150390625\n", + "global step=37152768, episodic return=2407.87939453125\n", + "global step=37154816, episodic return=2391.22705078125\n", + "global step=37154816, episodic return=2379.859375\n", + "global step=37154816, episodic return=2354.21533203125\n", + "global step=37154816, episodic return=2414.42138671875\n", + "global step=37156864, episodic return=2358.25146484375\n", + "global step=37156864, episodic return=2374.688232421875\n", + "global step=37156864, episodic return=2323.7587890625\n", + "global step=37158912, episodic return=2389.27099609375\n", + "global step=37158912, episodic return=2400.794189453125\n", + "global step=37160960, episodic return=2338.208740234375\n", + "global step=37160960, episodic return=171.4899139404297\n", + "global step=37160960, episodic return=2368.728515625\n", + "global step=37163008, episodic return=2366.09521484375\n", + "global step=37163008, episodic return=2247.87158203125\n", + "global step=37163008, episodic return=78.9716796875\n", + "global step=37163008, episodic return=2372.623046875\n", + "global step=37165056, episodic return=2365.464599609375\n", + "global step=37165056, episodic return=2345.474853515625\n", + "global step=37167104, episodic return=2355.63525390625\n", + "global step=37167104, episodic return=1289.7294921875\n", + "global step=37167104, episodic return=1143.4561767578125\n", + "global step=37169152, episodic return=2227.2333984375\n", + "global step=37169152, episodic return=2394.939453125\n", + "global step=37171200, episodic return=2402.392333984375\n", + "global step=37171200, episodic return=2394.0927734375\n", + "global step=37171200, episodic return=2333.60009765625\n", + "global step=37171200, episodic return=2407.23046875\n", + "global step=37173248, episodic return=2303.4931640625\n", + "global step=37173248, episodic return=179.92828369140625\n", + "global step=37173248, episodic return=213.1244354248047\n", + "global step=37173248, episodic return=418.2066345214844\n", + "global step=37173248, episodic return=1505.28515625\n", + "global step=37173248, episodic return=1047.98486328125\n", + "global step=37173248, episodic return=2349.455322265625\n", + "global step=37173248, episodic return=87.66608428955078\n", + "global step=37175296, episodic return=833.582275390625\n", + "global step=37175296, episodic return=2416.456298828125\n", + "global step=37175296, episodic return=2371.927001953125\n", + "global step=37177344, episodic return=2379.40771484375\n", + "global step=37179392, episodic return=2329.57080078125\n", + "global step=37179392, episodic return=2392.352294921875\n", + "global step=37181440, episodic return=2335.789794921875\n", + "global step=37181440, episodic return=2400.4052734375\n", + "global step=37181440, episodic return=1823.865478515625\n", + "global step=37183488, episodic return=1923.2874755859375\n", + "global step=37183488, episodic return=2401.5517578125\n", + "global step=37183488, episodic return=2376.84228515625\n", + "global step=37185536, episodic return=2442.663330078125\n", + "global step=37187584, episodic return=2369.6796875\n", + "global step=37187584, episodic return=2420.485107421875\n", + "global step=37189632, episodic return=2381.694580078125\n", + "global step=37189632, episodic return=450.2185974121094\n", + "global step=37191680, episodic return=2388.683349609375\n", + "global step=37193728, episodic return=2312.316162109375\n", + "global step=37193728, episodic return=2378.0712890625\n", + "global step=37195776, episodic return=1070.578125\n", + "global step=37197824, episodic return=2387.97216796875\n", + "global step=37197824, episodic return=2385.248046875\n", + "global step=37199872, episodic return=2381.69775390625\n", + "global step=37199872, episodic return=2402.506103515625\n", + "global step=37199872, episodic return=300.7118835449219\n", + "global step=37199872, episodic return=187.00901794433594\n", + "global step=37201920, episodic return=196.12249755859375\n", + "global step=37203968, episodic return=2365.72998046875\n", + "global step=37203968, episodic return=2399.590087890625\n", + "global step=37206016, episodic return=2382.695556640625\n", + "global step=37208064, episodic return=232.4888916015625\n", + "global step=37214208, episodic return=2412.24853515625\n", + "global step=37214208, episodic return=60.8972282409668\n", + "global step=37214208, episodic return=2395.998779296875\n", + "global step=37216256, episodic return=2318.27392578125\n", + "global step=37216256, episodic return=2376.654052734375\n", + "global step=37216256, episodic return=2150.08056640625\n", + "global step=37216256, episodic return=2363.2900390625\n", + "global step=37216256, episodic return=2350.212890625\n", + "global step=37216256, episodic return=2356.681640625\n", + "global step=37216256, episodic return=2277.177978515625\n", + "global step=37218304, episodic return=1477.770751953125\n", + "global step=37218304, episodic return=220.13633728027344\n", + "global step=37218304, episodic return=2434.40380859375\n", + "global step=37222400, episodic return=2235.4541015625\n", + "global step=37222400, episodic return=2247.541748046875\n", + "global step=37224448, episodic return=2326.8408203125\n", + "global step=37224448, episodic return=2427.084228515625\n", + "global step=37224448, episodic return=2383.94775390625\n", + "global step=37224448, episodic return=2383.9609375\n", + "global step=37226496, episodic return=2394.279296875\n", + "global step=37228544, episodic return=131.53269958496094\n", + "global step=37230592, episodic return=2407.699951171875\n", + "global step=37232640, episodic return=2319.56201171875\n", + "global step=37232640, episodic return=2424.2392578125\n", + "global step=37232640, episodic return=2391.612060546875\n", + "global step=37232640, episodic return=2323.002685546875\n", + "global step=37232640, episodic return=2368.62939453125\n", + "global step=37232640, episodic return=2422.359130859375\n", + "global step=37234688, episodic return=2310.98291015625\n", + "global step=37234688, episodic return=2243.609130859375\n", + "global step=37234688, episodic return=2320.421875\n", + "global step=37236736, episodic return=2333.2265625\n", + "global step=37238784, episodic return=2280.213134765625\n", + "global step=37238784, episodic return=2351.004638671875\n", + "global step=37238784, episodic return=2335.345458984375\n", + "global step=37240832, episodic return=2314.927001953125\n", + "global step=37240832, episodic return=2364.826416015625\n", + "global step=37240832, episodic return=2408.797607421875\n", + "global step=37240832, episodic return=208.1622314453125\n", + "global step=37242880, episodic return=855.5655517578125\n", + "global step=37242880, episodic return=2438.6806640625\n", + "global step=37242880, episodic return=1103.678955078125\n", + "global step=37242880, episodic return=1734.199951171875\n", + "global step=37242880, episodic return=2392.34423828125\n", + "global step=37242880, episodic return=2365.47216796875\n", + "global step=37242880, episodic return=2386.6630859375\n", + "global step=37246976, episodic return=2265.450439453125\n", + "global step=37246976, episodic return=2416.856689453125\n", + "global step=37246976, episodic return=2314.211181640625\n", + "global step=37246976, episodic return=263.2934875488281\n", + "global step=37249024, episodic return=2422.956787109375\n", + "global step=37249024, episodic return=2394.114013671875\n", + "global step=37249024, episodic return=2355.52587890625\n", + "global step=37251072, episodic return=2429.030029296875\n", + "global step=37251072, episodic return=2386.04541015625\n", + "global step=37251072, episodic return=57.907657623291016\n", + "global step=37253120, episodic return=1565.2623291015625\n", + "global step=37255168, episodic return=1128.5205078125\n", + "global step=37261312, episodic return=2285.7060546875\n", + "global step=37261312, episodic return=2382.16259765625\n", + "global step=37263360, episodic return=2423.45263671875\n", + "global step=37263360, episodic return=2372.75390625\n", + "global step=37263360, episodic return=2333.857177734375\n", + "global step=37263360, episodic return=899.1605834960938\n", + "global step=37267456, episodic return=1586.46826171875\n", + "global step=37269504, episodic return=2345.485595703125\n", + "global step=37269504, episodic return=2318.714111328125\n", + "global step=37269504, episodic return=2319.5185546875\n", + "global step=37269504, episodic return=2289.38623046875\n", + "global step=37271552, episodic return=2391.520751953125\n", + "global step=37271552, episodic return=2417.45751953125\n", + "global step=37271552, episodic return=831.1074829101562\n", + "global step=37271552, episodic return=2363.532958984375\n", + "global step=37275648, episodic return=2356.295166015625\n", + "global step=37275648, episodic return=2351.693603515625\n", + "global step=37277696, episodic return=59.42926788330078\n", + "global step=37279744, episodic return=2390.27197265625\n", + "global step=37279744, episodic return=2333.405029296875\n", + "global step=37281792, episodic return=2402.918701171875\n", + "global step=37281792, episodic return=54.14289093017578\n", + "global step=37281792, episodic return=2374.52197265625\n", + "global step=37283840, episodic return=2423.366943359375\n", + "global step=37285888, episodic return=2326.8984375\n", + "global step=37287936, episodic return=991.6014404296875\n", + "global step=37287936, episodic return=2403.47216796875\n", + "global step=37287936, episodic return=2356.147705078125\n", + "global step=37289984, episodic return=2375.925048828125\n", + "global step=37289984, episodic return=394.2865295410156\n", + "global step=37289984, episodic return=2337.421142578125\n", + "global step=37289984, episodic return=2364.03515625\n", + "global step=37292032, episodic return=1614.73388671875\n", + "global step=37294080, episodic return=2414.501220703125\n", + "global step=37294080, episodic return=2384.369873046875\n", + "global step=37296128, episodic return=2419.24853515625\n", + "global step=37296128, episodic return=1438.2010498046875\n", + "global step=37298176, episodic return=919.6548461914062\n", + "global step=37298176, episodic return=2358.58447265625\n", + "global step=37300224, episodic return=1273.9163818359375\n", + "global step=37300224, episodic return=2331.38134765625\n", + "global step=37300224, episodic return=2393.73046875\n", + "global step=37302272, episodic return=2411.800537109375\n", + "global step=37302272, episodic return=2342.016357421875\n", + "global step=37302272, episodic return=2341.53857421875\n", + "global step=37304320, episodic return=2388.585205078125\n", + "global step=37304320, episodic return=2405.493408203125\n", + "global step=37308416, episodic return=2327.778076171875\n", + "global step=37308416, episodic return=2386.559814453125\n", + "global step=37308416, episodic return=2422.418701171875\n", + "global step=37308416, episodic return=2396.56982421875\n", + "global step=37310464, episodic return=2303.887939453125\n", + "global step=37310464, episodic return=2388.498291015625\n", + "global step=37312512, episodic return=2362.6953125\n", + "global step=37312512, episodic return=2299.564453125\n", + "global step=37312512, episodic return=2379.80419921875\n", + "global step=37314560, episodic return=2403.4033203125\n", + "global step=37314560, episodic return=273.77056884765625\n", + "global step=37316608, episodic return=2360.81298828125\n", + "global step=37316608, episodic return=2347.924560546875\n", + "global step=37318656, episodic return=2374.6494140625\n", + "global step=37318656, episodic return=2373.20361328125\n", + "global step=37320704, episodic return=2319.70947265625\n", + "global step=37320704, episodic return=2400.59423828125\n", + "global step=37320704, episodic return=1545.557861328125\n", + "global step=37322752, episodic return=2356.61767578125\n", + "global step=37322752, episodic return=2377.147705078125\n", + "global step=37326848, episodic return=2415.195068359375\n", + "global step=37326848, episodic return=2324.057861328125\n", + "global step=37326848, episodic return=2340.23046875\n", + "global step=37326848, episodic return=2424.77099609375\n", + "global step=37328896, episodic return=2397.923583984375\n", + "global step=37330944, episodic return=2355.550048828125\n", + "global step=37330944, episodic return=2367.1181640625\n", + "global step=37330944, episodic return=2372.58642578125\n", + "global step=37330944, episodic return=2401.684326171875\n", + "global step=37332992, episodic return=2414.857666015625\n", + "global step=37332992, episodic return=728.5059204101562\n", + "global step=37332992, episodic return=1453.774658203125\n", + "global step=37335040, episodic return=2299.12939453125\n", + "global step=37335040, episodic return=2330.40087890625\n", + "global step=37335040, episodic return=2395.576416015625\n", + "global step=37335040, episodic return=2368.244384765625\n", + "global step=37339136, episodic return=2355.376708984375\n", + "global step=37339136, episodic return=2338.07763671875\n", + "global step=37341184, episodic return=2382.256103515625\n", + "global step=37343232, episodic return=2359.68505859375\n", + "global step=37343232, episodic return=2404.131591796875\n", + "global step=37343232, episodic return=2257.16650390625\n", + "global step=37343232, episodic return=2372.662353515625\n", + "global step=37343232, episodic return=784.1360473632812\n", + "global step=37345280, episodic return=2354.377197265625\n", + "global step=37347328, episodic return=2362.15869140625\n", + "global step=37347328, episodic return=2384.1787109375\n", + "global step=37347328, episodic return=2369.03955078125\n", + "global step=37347328, episodic return=2353.0703125\n", + "global step=37347328, episodic return=2309.302734375\n", + "global step=37349376, episodic return=2344.22021484375\n", + "global step=37349376, episodic return=2248.716064453125\n", + "global step=37351424, episodic return=2373.2587890625\n", + "global step=37351424, episodic return=2436.409912109375\n", + "global step=37351424, episodic return=2313.288818359375\n", + "global step=37355520, episodic return=2366.1396484375\n", + "global step=37357568, episodic return=2373.654541015625\n", + "global step=37357568, episodic return=2303.92333984375\n", + "global step=37357568, episodic return=2331.52783203125\n", + "global step=37359616, episodic return=1631.3194580078125\n", + "global step=37359616, episodic return=49.00258255004883\n", + "global step=37359616, episodic return=2483.661865234375\n", + "global step=37359616, episodic return=2423.55712890625\n", + "global step=37361664, episodic return=2284.54541015625\n", + "global step=37361664, episodic return=2401.214599609375\n", + "global step=37365760, episodic return=1916.816650390625\n", + "global step=37365760, episodic return=2363.53515625\n", + "global step=37365760, episodic return=22.442405700683594\n", + "global step=37369856, episodic return=533.7943725585938\n", + "global step=37369856, episodic return=18.536863327026367\n", + "global step=37369856, episodic return=2370.479736328125\n", + "global step=37371904, episodic return=2333.261474609375\n", + "global step=37371904, episodic return=2408.267822265625\n", + "global step=37373952, episodic return=2413.61279296875\n", + "global step=37373952, episodic return=2395.217529296875\n", + "global step=37376000, episodic return=1941.4713134765625\n", + "global step=37376000, episodic return=154.3469696044922\n", + "global step=37378048, episodic return=2377.85498046875\n", + "global step=37378048, episodic return=2338.12255859375\n", + "global step=37380096, episodic return=2356.256591796875\n", + "global step=37380096, episodic return=2397.900634765625\n", + "global step=37380096, episodic return=2336.870361328125\n", + "global step=37380096, episodic return=2425.107177734375\n", + "global step=37384192, episodic return=2339.78173828125\n", + "global step=37386240, episodic return=2391.499267578125\n", + "global step=37386240, episodic return=2322.650390625\n", + "global step=37386240, episodic return=444.587158203125\n", + "global step=37388288, episodic return=2347.124755859375\n", + "global step=37388288, episodic return=2368.6318359375\n", + "global step=37388288, episodic return=2335.9326171875\n", + "global step=37388288, episodic return=37.11602783203125\n", + "global step=37390336, episodic return=1435.5909423828125\n", + "global step=37392384, episodic return=251.14378356933594\n", + "global step=37392384, episodic return=2407.9384765625\n", + "global step=37394432, episodic return=68.30787658691406\n", + "global step=37394432, episodic return=2176.9765625\n", + "global step=37394432, episodic return=2315.830322265625\n", + "global step=37396480, episodic return=2339.048095703125\n", + "global step=37396480, episodic return=2392.52734375\n", + "global step=37396480, episodic return=2403.624267578125\n", + "global step=37398528, episodic return=2307.472900390625\n", + "global step=37398528, episodic return=2429.89208984375\n", + "global step=37400576, episodic return=790.9235229492188\n", + "global step=37400576, episodic return=2356.9111328125\n", + "global step=37400576, episodic return=2382.08544921875\n", + "global step=37402624, episodic return=2425.7451171875\n", + "global step=37402624, episodic return=2422.491455078125\n", + "global step=37402624, episodic return=2383.923583984375\n", + "global step=37402624, episodic return=2332.998291015625\n", + "global step=37402624, episodic return=2263.985107421875\n", + "global step=37404672, episodic return=875.9502563476562\n", + "global step=37404672, episodic return=611.5263061523438\n", + "global step=37404672, episodic return=401.45343017578125\n", + "global step=37406720, episodic return=2414.6328125\n", + "global step=37406720, episodic return=2355.609375\n", + "global step=37408768, episodic return=2398.484375\n", + "global step=37408768, episodic return=530.4693603515625\n", + "global step=37408768, episodic return=2319.074951171875\n", + "global step=37410816, episodic return=29.054471969604492\n", + "global step=37410816, episodic return=2317.728515625\n", + "global step=37410816, episodic return=2370.4892578125\n", + "global step=37410816, episodic return=2310.75048828125\n", + "global step=37412864, episodic return=2347.421142578125\n", + "global step=37412864, episodic return=2256.4150390625\n", + "global step=37412864, episodic return=2371.335693359375\n", + "global step=37412864, episodic return=2235.18798828125\n", + "global step=37412864, episodic return=2279.599853515625\n", + "global step=37412864, episodic return=2213.59716796875\n", + "global step=37414912, episodic return=2372.06591796875\n", + "global step=37414912, episodic return=1359.7847900390625\n", + "global step=37414912, episodic return=819.4286499023438\n", + "global step=37419008, episodic return=2320.545166015625\n", + "global step=37419008, episodic return=2268.56591796875\n", + "global step=37419008, episodic return=2347.355224609375\n", + "global step=37419008, episodic return=2366.28125\n", + "global step=37421056, episodic return=2350.765625\n", + "global step=37421056, episodic return=2324.009765625\n", + "global step=37421056, episodic return=2415.948974609375\n", + "global step=37423104, episodic return=2411.527587890625\n", + "global step=37423104, episodic return=2236.99560546875\n", + "global step=37423104, episodic return=2338.661376953125\n", + "global step=37423104, episodic return=74.27078247070312\n", + "global step=37423104, episodic return=2272.1796875\n", + "global step=37423104, episodic return=647.7002563476562\n", + "global step=37423104, episodic return=63.458377838134766\n", + "global step=37425152, episodic return=870.2816162109375\n", + "global step=37427200, episodic return=2298.41455078125\n", + "global step=37427200, episodic return=2315.494384765625\n", + "global step=37427200, episodic return=1885.6846923828125\n", + "global step=37427200, episodic return=2404.586181640625\n", + "global step=37427200, episodic return=2354.110107421875\n", + "global step=37427200, episodic return=2401.580810546875\n", + "global step=37429248, episodic return=2313.1455078125\n", + "global step=37429248, episodic return=2300.989013671875\n", + "global step=37429248, episodic return=2327.393798828125\n", + "global step=37429248, episodic return=2302.0908203125\n", + "global step=37429248, episodic return=2353.76953125\n", + "global step=37429248, episodic return=2342.867431640625\n", + "global step=37431296, episodic return=2340.85888671875\n", + "global step=37431296, episodic return=2246.119873046875\n", + "global step=37431296, episodic return=2288.44091796875\n", + "global step=37431296, episodic return=2350.095947265625\n", + "global step=37433344, episodic return=887.8732299804688\n", + "global step=37433344, episodic return=2302.093994140625\n", + "global step=37435392, episodic return=363.5770568847656\n", + "global step=37435392, episodic return=84.40724182128906\n", + "global step=37435392, episodic return=2310.088623046875\n", + "global step=37435392, episodic return=2219.01318359375\n", + "global step=37435392, episodic return=2365.671630859375\n", + "global step=37435392, episodic return=729.6138916015625\n", + "global step=37437440, episodic return=2081.014404296875\n", + "global step=37437440, episodic return=2321.773681640625\n", + "global step=37437440, episodic return=2362.790771484375\n", + "global step=37439488, episodic return=1574.474365234375\n", + "global step=37439488, episodic return=1382.854248046875\n", + "global step=37439488, episodic return=2398.1298828125\n", + "global step=37441536, episodic return=36.73206329345703\n", + "global step=37441536, episodic return=2268.170654296875\n", + "global step=37441536, episodic return=2367.9443359375\n", + "global step=37441536, episodic return=1079.4503173828125\n", + "global step=37443584, episodic return=391.6640625\n", + "global step=37443584, episodic return=953.8444213867188\n", + "global step=37445632, episodic return=148.3797607421875\n", + "global step=37445632, episodic return=535.0490112304688\n", + "global step=37447680, episodic return=490.1236267089844\n", + "global step=37447680, episodic return=1274.9923095703125\n", + "global step=37447680, episodic return=1275.092041015625\n", + "global step=37447680, episodic return=1882.1546630859375\n", + "global step=37447680, episodic return=98.78634643554688\n", + "global step=37449728, episodic return=2329.219482421875\n", + "global step=37449728, episodic return=510.554443359375\n", + "global step=37451776, episodic return=2297.680419921875\n", + "global step=37453824, episodic return=2274.1572265625\n", + "global step=37453824, episodic return=1968.8892822265625\n", + "global step=37453824, episodic return=2365.607421875\n", + "global step=37455872, episodic return=710.8370971679688\n", + "global step=37455872, episodic return=1635.69189453125\n", + "global step=37457920, episodic return=2345.141357421875\n", + "global step=37457920, episodic return=871.1256103515625\n", + "global step=37462016, episodic return=2208.0439453125\n", + "global step=37462016, episodic return=2315.806396484375\n", + "global step=37462016, episodic return=2337.24609375\n", + "global step=37462016, episodic return=2313.906494140625\n", + "global step=37464064, episodic return=1871.321533203125\n", + "global step=37466112, episodic return=2400.859130859375\n", + "global step=37466112, episodic return=448.0229797363281\n", + "global step=37466112, episodic return=2357.690673828125\n", + "global step=37466112, episodic return=1176.4683837890625\n", + "global step=37468160, episodic return=2355.884033203125\n", + "global step=37468160, episodic return=2390.599609375\n", + "global step=37468160, episodic return=2381.4482421875\n", + "global step=37468160, episodic return=1601.86767578125\n", + "global step=37470208, episodic return=2380.248046875\n", + "global step=37470208, episodic return=1570.250244140625\n", + "global step=37470208, episodic return=2289.547607421875\n", + "global step=37470208, episodic return=2329.687744140625\n", + "global step=37470208, episodic return=714.4905395507812\n", + "global step=37470208, episodic return=590.9404907226562\n", + "global step=37472256, episodic return=2371.83935546875\n", + "global step=37472256, episodic return=2317.511474609375\n", + "global step=37472256, episodic return=2326.13623046875\n", + "global step=37472256, episodic return=2298.423095703125\n", + "global step=37474304, episodic return=2371.55224609375\n", + "global step=37474304, episodic return=2378.0703125\n", + "global step=37474304, episodic return=2212.442626953125\n", + "global step=37474304, episodic return=2341.371337890625\n", + "global step=37476352, episodic return=266.7265930175781\n", + "global step=37476352, episodic return=2416.3984375\n", + "global step=37476352, episodic return=2258.405029296875\n", + "global step=37478400, episodic return=2355.16845703125\n", + "global step=37478400, episodic return=2324.54833984375\n", + "global step=37478400, episodic return=2325.36767578125\n", + "global step=37480448, episodic return=1730.243408203125\n", + "global step=37482496, episodic return=2406.549560546875\n", + "global step=37482496, episodic return=2237.59521484375\n", + "global step=37482496, episodic return=2296.124755859375\n", + "global step=37484544, episodic return=2259.560546875\n", + "global step=37484544, episodic return=2422.306884765625\n", + "global step=37484544, episodic return=2269.22998046875\n", + "global step=37486592, episodic return=2467.063720703125\n", + "global step=37486592, episodic return=2366.575439453125\n", + "global step=37490688, episodic return=2323.321533203125\n", + "global step=37492736, episodic return=2368.5107421875\n", + "global step=37494784, episodic return=2267.181396484375\n", + "global step=37494784, episodic return=2340.0751953125\n", + "global step=37494784, episodic return=2387.499267578125\n", + "global step=37496832, episodic return=2345.883056640625\n", + "global step=37496832, episodic return=2286.06396484375\n", + "global step=37496832, episodic return=2326.4306640625\n", + "global step=37496832, episodic return=2310.7900390625\n", + "global step=37498880, episodic return=2220.6015625\n", + "global step=37498880, episodic return=2343.95068359375\n", + "global step=37500928, episodic return=2199.449462890625\n", + "global step=37500928, episodic return=2295.2978515625\n", + "global step=37502976, episodic return=2285.612548828125\n", + "global step=37502976, episodic return=2371.906982421875\n", + "global step=37502976, episodic return=194.18218994140625\n", + "global step=37502976, episodic return=2348.66162109375\n", + "global step=37505024, episodic return=2338.989501953125\n", + "global step=37507072, episodic return=2361.3798828125\n", + "global step=37507072, episodic return=2332.731201171875\n", + "global step=37507072, episodic return=1614.99169921875\n", + "global step=37509120, episodic return=2340.631591796875\n", + "global step=37509120, episodic return=2325.391845703125\n", + "global step=37509120, episodic return=2417.078369140625\n", + "global step=37511168, episodic return=2362.276123046875\n", + "global step=37511168, episodic return=2419.536376953125\n", + "global step=37511168, episodic return=2429.28515625\n", + "global step=37513216, episodic return=2296.83154296875\n", + "global step=37513216, episodic return=2230.109375\n", + "global step=37513216, episodic return=2384.536865234375\n", + "global step=37515264, episodic return=2361.6533203125\n", + "global step=37515264, episodic return=2396.241943359375\n", + "global step=37517312, episodic return=2400.723388671875\n", + "global step=37517312, episodic return=2282.35302734375\n", + "global step=37517312, episodic return=2434.79638671875\n", + "global step=37519360, episodic return=2293.74755859375\n", + "global step=37519360, episodic return=2348.808837890625\n", + "global step=37519360, episodic return=2392.443603515625\n", + "global step=37521408, episodic return=2380.658203125\n", + "global step=37523456, episodic return=2344.5830078125\n", + "global step=37525504, episodic return=2334.523193359375\n", + "global step=37525504, episodic return=2360.323486328125\n", + "global step=37525504, episodic return=2392.862060546875\n", + "global step=37529600, episodic return=2306.366943359375\n", + "global step=37531648, episodic return=2321.094482421875\n", + "global step=37533696, episodic return=2389.92236328125\n", + "global step=37533696, episodic return=2309.199462890625\n", + "global step=37539840, episodic return=2408.560302734375\n", + "global step=37541888, episodic return=2338.70556640625\n", + "global step=37543936, episodic return=1205.72900390625\n", + "global step=37543936, episodic return=2326.46923828125\n", + "global step=37543936, episodic return=2399.52734375\n", + "global step=37543936, episodic return=2261.927001953125\n", + "global step=37545984, episodic return=2370.28466796875\n", + "global step=37545984, episodic return=2333.861572265625\n", + "global step=37545984, episodic return=2417.742919921875\n", + "global step=37548032, episodic return=2387.9013671875\n", + "global step=37550080, episodic return=2317.988525390625\n", + "global step=37550080, episodic return=303.9820556640625\n", + "global step=37554176, episodic return=211.7148895263672\n", + "global step=37554176, episodic return=2379.3876953125\n", + "global step=37554176, episodic return=2359.396728515625\n", + "global step=37556224, episodic return=2299.674560546875\n", + "global step=37556224, episodic return=2402.70947265625\n", + "global step=37556224, episodic return=2414.30810546875\n", + "global step=37558272, episodic return=2246.64892578125\n", + "global step=37560320, episodic return=2313.435546875\n", + "global step=37560320, episodic return=2471.235595703125\n", + "global step=37560320, episodic return=2369.70947265625\n", + "global step=37562368, episodic return=2340.669677734375\n", + "global step=37562368, episodic return=2369.732666015625\n", + "global step=37566464, episodic return=2253.11376953125\n", + "global step=37568512, episodic return=54.66526412963867\n", + "global step=37568512, episodic return=513.3267822265625\n", + "global step=37568512, episodic return=2384.05517578125\n", + "global step=37568512, episodic return=2342.3564453125\n", + "global step=37568512, episodic return=2411.80859375\n", + "global step=37570560, episodic return=2308.15478515625\n", + "global step=37572608, episodic return=2252.25537109375\n", + "global step=37572608, episodic return=2285.51611328125\n", + "global step=37572608, episodic return=1173.6617431640625\n", + "global step=37572608, episodic return=2321.302490234375\n", + "global step=37572608, episodic return=2410.766357421875\n", + "global step=37572608, episodic return=622.9192504882812\n", + "global step=37572608, episodic return=2411.435302734375\n", + "global step=37572608, episodic return=2377.952880859375\n", + "global step=37574656, episodic return=2377.603515625\n", + "global step=37574656, episodic return=2375.990234375\n", + "global step=37576704, episodic return=2294.525390625\n", + "global step=37576704, episodic return=1066.361328125\n", + "global step=37578752, episodic return=2350.381103515625\n", + "global step=37578752, episodic return=2413.424072265625\n", + "global step=37582848, episodic return=2340.8583984375\n", + "global step=37582848, episodic return=2328.118896484375\n", + "global step=37582848, episodic return=2362.4970703125\n", + "global step=37584896, episodic return=91.96822357177734\n", + "global step=37584896, episodic return=2402.71533203125\n", + "global step=37584896, episodic return=348.2686767578125\n", + "global step=37584896, episodic return=505.3610534667969\n", + "global step=37586944, episodic return=109.14344787597656\n", + "global step=37588992, episodic return=2342.696044921875\n", + "global step=37588992, episodic return=1193.0284423828125\n", + "global step=37588992, episodic return=2387.924072265625\n", + "global step=37591040, episodic return=2297.36962890625\n", + "global step=37591040, episodic return=2273.8505859375\n", + "global step=37591040, episodic return=2359.202392578125\n", + "global step=37593088, episodic return=2379.15283203125\n", + "global step=37595136, episodic return=1254.9937744140625\n", + "global step=37599232, episodic return=1572.3707275390625\n", + "global step=37601280, episodic return=2340.159423828125\n", + "global step=37601280, episodic return=2355.025390625\n", + "global step=37603328, episodic return=216.27764892578125\n", + "global step=37603328, episodic return=2335.395751953125\n", + "global step=37603328, episodic return=2313.09033203125\n", + "global step=37603328, episodic return=747.9415283203125\n", + "global step=37603328, episodic return=2336.603271484375\n", + "global step=37605376, episodic return=2368.8642578125\n", + "global step=37605376, episodic return=1206.1876220703125\n", + "global step=37607424, episodic return=363.254638671875\n", + "global step=37609472, episodic return=2418.27099609375\n", + "global step=37609472, episodic return=2396.255615234375\n", + "global step=37611520, episodic return=2383.092041015625\n", + "global step=37613568, episodic return=2348.88720703125\n", + "global step=37613568, episodic return=31.878307342529297\n", + "global step=37613568, episodic return=2354.642333984375\n", + "global step=37615616, episodic return=2366.9833984375\n", + "global step=37617664, episodic return=2366.35546875\n", + "global step=37617664, episodic return=2359.623291015625\n", + "global step=37619712, episodic return=2359.4228515625\n", + "global step=37623808, episodic return=2370.16357421875\n", + "global step=37623808, episodic return=2443.7373046875\n", + "global step=37623808, episodic return=2334.629150390625\n", + "global step=37625856, episodic return=679.3892822265625\n", + "global step=37625856, episodic return=2377.050537109375\n", + "global step=37625856, episodic return=2269.66357421875\n", + "global step=37625856, episodic return=1956.640869140625\n", + "global step=37627904, episodic return=2336.5009765625\n", + "global step=37627904, episodic return=2348.177978515625\n", + "global step=37627904, episodic return=2414.447998046875\n", + "global step=37627904, episodic return=2391.517822265625\n", + "global step=37627904, episodic return=2337.51025390625\n", + "global step=37627904, episodic return=575.49072265625\n", + "global step=37629952, episodic return=2402.19921875\n", + "global step=37629952, episodic return=2330.762451171875\n", + "global step=37629952, episodic return=2382.3232421875\n", + "global step=37632000, episodic return=2389.885498046875\n", + "global step=37632000, episodic return=2351.343017578125\n", + "global step=37632000, episodic return=2269.91748046875\n", + "global step=37634048, episodic return=2345.18603515625\n", + "global step=37634048, episodic return=2347.41259765625\n", + "global step=37634048, episodic return=2352.943115234375\n", + "global step=37634048, episodic return=2324.85009765625\n", + "global step=37636096, episodic return=2442.873291015625\n", + "global step=37636096, episodic return=2401.982666015625\n", + "global step=37636096, episodic return=2334.24169921875\n", + "global step=37638144, episodic return=2356.4453125\n", + "global step=37638144, episodic return=2451.71533203125\n", + "global step=37642240, episodic return=2337.6806640625\n", + "global step=37642240, episodic return=2312.039794921875\n", + "global step=37642240, episodic return=2384.459228515625\n", + "global step=37644288, episodic return=1805.166015625\n", + "global step=37646336, episodic return=2301.705322265625\n", + "global step=37646336, episodic return=2344.961181640625\n", + "global step=37648384, episodic return=2325.659912109375\n", + "global step=37648384, episodic return=2359.423828125\n", + "global step=37648384, episodic return=2373.590087890625\n", + "global step=37650432, episodic return=2350.59375\n", + "global step=37650432, episodic return=2355.95703125\n", + "global step=37652480, episodic return=1791.806396484375\n", + "global step=37652480, episodic return=2255.409423828125\n", + "global step=37652480, episodic return=2340.422607421875\n", + "global step=37652480, episodic return=2384.35009765625\n", + "global step=37660672, episodic return=2382.12548828125\n", + "global step=37660672, episodic return=2371.211669921875\n", + "global step=37662720, episodic return=2272.31005859375\n", + "global step=37662720, episodic return=2355.4189453125\n", + "global step=37662720, episodic return=2400.18408203125\n", + "global step=37662720, episodic return=2372.05224609375\n", + "global step=37664768, episodic return=1493.6094970703125\n", + "global step=37664768, episodic return=2386.8701171875\n", + "global step=37664768, episodic return=2346.3896484375\n", + "global step=37666816, episodic return=2307.0927734375\n", + "global step=37668864, episodic return=2350.564453125\n", + "global step=37668864, episodic return=2342.156982421875\n", + "global step=37668864, episodic return=2407.34765625\n", + "global step=37670912, episodic return=2274.467529296875\n", + "global step=37670912, episodic return=2343.72314453125\n", + "global step=37672960, episodic return=2292.2451171875\n", + "global step=37675008, episodic return=2386.906005859375\n", + "global step=37675008, episodic return=2335.58056640625\n", + "global step=37675008, episodic return=2232.697998046875\n", + "global step=37677056, episodic return=1333.255859375\n", + "global step=37677056, episodic return=2355.841796875\n", + "global step=37677056, episodic return=2418.998291015625\n", + "global step=37679104, episodic return=2487.07666015625\n", + "global step=37681152, episodic return=2329.97265625\n", + "global step=37683200, episodic return=2344.487060546875\n", + "global step=37685248, episodic return=2339.142822265625\n", + "global step=37685248, episodic return=2390.5634765625\n", + "global step=37685248, episodic return=2348.437255859375\n", + "global step=37687296, episodic return=2430.671142578125\n", + "global step=37689344, episodic return=19.3592529296875\n", + "global step=37691392, episodic return=2368.82275390625\n", + "global step=37691392, episodic return=2331.881103515625\n", + "global step=37693440, episodic return=2383.2197265625\n", + "global step=37693440, episodic return=2374.67333984375\n", + "global step=37693440, episodic return=2433.48828125\n", + "global step=37697536, episodic return=2362.224365234375\n", + "global step=37699584, episodic return=2332.989501953125\n", + "global step=37701632, episodic return=2393.919677734375\n", + "global step=37701632, episodic return=2395.85498046875\n", + "global step=37703680, episodic return=2372.150146484375\n", + "global step=37705728, episodic return=2385.408447265625\n", + "global step=37705728, episodic return=2309.6865234375\n", + "global step=37707776, episodic return=2370.031005859375\n", + "global step=37707776, episodic return=2374.238037109375\n", + "global step=37707776, episodic return=690.7553100585938\n", + "global step=37707776, episodic return=1579.0631103515625\n", + "global step=37711872, episodic return=2377.28271484375\n", + "global step=37711872, episodic return=2379.2109375\n", + "global step=37711872, episodic return=2164.79541015625\n", + "global step=37711872, episodic return=2395.875\n", + "global step=37713920, episodic return=2401.443603515625\n", + "global step=37713920, episodic return=2352.51220703125\n", + "global step=37715968, episodic return=2370.277587890625\n", + "global step=37718016, episodic return=2302.23974609375\n", + "global step=37720064, episodic return=2311.402099609375\n", + "global step=37722112, episodic return=2306.2353515625\n", + "global step=37724160, episodic return=2366.96142578125\n", + "global step=37724160, episodic return=1433.3717041015625\n", + "global step=37726208, episodic return=2377.29052734375\n", + "global step=37726208, episodic return=2403.424560546875\n", + "global step=37726208, episodic return=2384.635009765625\n", + "global step=37728256, episodic return=2335.42578125\n", + "global step=37730304, episodic return=2415.758056640625\n", + "global step=37730304, episodic return=2372.6865234375\n", + "global step=37730304, episodic return=2395.356201171875\n", + "global step=37732352, episodic return=47.038795471191406\n", + "global step=37734400, episodic return=2451.01416015625\n", + "global step=37734400, episodic return=2334.87744140625\n", + "global step=37736448, episodic return=2395.057373046875\n", + "global step=37738496, episodic return=2405.48095703125\n", + "global step=37738496, episodic return=2344.54736328125\n", + "global step=37738496, episodic return=2391.316650390625\n", + "global step=37740544, episodic return=2284.40625\n", + "global step=37740544, episodic return=2435.16259765625\n", + "global step=37742592, episodic return=2438.31982421875\n", + "global step=37746688, episodic return=2348.75146484375\n", + "global step=37746688, episodic return=2372.3349609375\n", + "global step=37746688, episodic return=2353.163818359375\n", + "global step=37746688, episodic return=2289.633544921875\n", + "global step=37746688, episodic return=2283.22509765625\n", + "global step=37748736, episodic return=2437.458740234375\n", + "global step=37748736, episodic return=2350.742431640625\n", + "global step=37748736, episodic return=207.65110778808594\n", + "global step=37750784, episodic return=2342.5732421875\n", + "global step=37750784, episodic return=2340.97265625\n", + "global step=37752832, episodic return=2356.87158203125\n", + "global step=37752832, episodic return=2324.267333984375\n", + "global step=37756928, episodic return=2360.96826171875\n", + "global step=37756928, episodic return=2376.976318359375\n", + "global step=37756928, episodic return=2379.799072265625\n", + "global step=37756928, episodic return=2364.403564453125\n", + "global step=37758976, episodic return=2408.396484375\n", + "global step=37761024, episodic return=2344.47021484375\n", + "global step=37761024, episodic return=578.6728515625\n", + "global step=37761024, episodic return=2272.628173828125\n", + "global step=37765120, episodic return=2404.083984375\n", + "global step=37765120, episodic return=2385.17138671875\n", + "global step=37765120, episodic return=914.4452514648438\n", + "global step=37767168, episodic return=244.09152221679688\n", + "global step=37767168, episodic return=2352.9375\n", + "global step=37769216, episodic return=939.4590454101562\n", + "global step=37769216, episodic return=2429.029296875\n", + "global step=37769216, episodic return=2326.515625\n", + "global step=37769216, episodic return=2285.919921875\n", + "global step=37769216, episodic return=97.45536804199219\n", + "global step=37771264, episodic return=2348.07861328125\n", + "global step=37771264, episodic return=244.5325164794922\n", + "global step=37771264, episodic return=106.89628601074219\n", + "global step=37771264, episodic return=2372.87841796875\n", + "global step=37773312, episodic return=206.70779418945312\n", + "global step=37773312, episodic return=2292.2412109375\n", + "global step=37775360, episodic return=2291.751220703125\n", + "global step=37777408, episodic return=2397.72998046875\n", + "global step=37777408, episodic return=2341.384765625\n", + "global step=37779456, episodic return=2394.587646484375\n", + "global step=37779456, episodic return=214.40716552734375\n", + "global step=37779456, episodic return=215.46096801757812\n", + "global step=37781504, episodic return=1070.7269287109375\n", + "global step=37783552, episodic return=1118.64990234375\n", + "global step=37787648, episodic return=2272.815673828125\n", + "global step=37789696, episodic return=2297.610595703125\n", + "global step=37791744, episodic return=2384.594970703125\n", + "global step=37791744, episodic return=2429.50390625\n", + "global step=37791744, episodic return=2450.425048828125\n", + "global step=37797888, episodic return=2349.74169921875\n", + "global step=37797888, episodic return=2389.9560546875\n", + "global step=37797888, episodic return=2398.498046875\n", + "global step=37799936, episodic return=2308.92431640625\n", + "global step=37799936, episodic return=2413.055419921875\n", + "global step=37801984, episodic return=2328.444091796875\n", + "global step=37804032, episodic return=2390.2998046875\n", + "global step=37804032, episodic return=2296.2109375\n", + "global step=37804032, episodic return=2411.55859375\n", + "global step=37806080, episodic return=2379.595458984375\n", + "global step=37806080, episodic return=605.3941650390625\n", + "global step=37806080, episodic return=1125.1787109375\n", + "global step=37806080, episodic return=2385.12158203125\n", + "global step=37806080, episodic return=2285.86474609375\n", + "global step=37808128, episodic return=1976.2034912109375\n", + "global step=37810176, episodic return=2376.349853515625\n", + "global step=37810176, episodic return=2224.087158203125\n", + "global step=37812224, episodic return=2395.83740234375\n", + "global step=37812224, episodic return=2294.420166015625\n", + "global step=37812224, episodic return=2357.080322265625\n", + "global step=37814272, episodic return=2357.802490234375\n", + "global step=37816320, episodic return=2410.771728515625\n", + "global step=37816320, episodic return=2407.790771484375\n", + "global step=37818368, episodic return=2296.01123046875\n", + "global step=37818368, episodic return=2428.568603515625\n", + "global step=37818368, episodic return=2357.424560546875\n", + "global step=37818368, episodic return=2305.93115234375\n", + "global step=37818368, episodic return=2352.497802734375\n", + "global step=37818368, episodic return=2431.336181640625\n", + "global step=37818368, episodic return=2358.738037109375\n", + "global step=37818368, episodic return=2353.61865234375\n", + "global step=37820416, episodic return=2362.173828125\n", + "global step=37820416, episodic return=2329.49658203125\n", + "global step=37822464, episodic return=1368.7965087890625\n", + "global step=37822464, episodic return=2359.73974609375\n", + "global step=37824512, episodic return=2334.164794921875\n", + "global step=37824512, episodic return=2307.65380859375\n", + "global step=37826560, episodic return=2288.353759765625\n", + "global step=37826560, episodic return=2374.510986328125\n", + "global step=37826560, episodic return=181.8386993408203\n", + "global step=37830656, episodic return=2268.9814453125\n", + "global step=37830656, episodic return=2282.18603515625\n", + "global step=37832704, episodic return=2312.75341796875\n", + "global step=37832704, episodic return=2400.10986328125\n", + "global step=37834752, episodic return=2340.30615234375\n", + "global step=37834752, episodic return=2325.700927734375\n", + "global step=37836800, episodic return=2358.962646484375\n", + "global step=37836800, episodic return=2398.5185546875\n", + "global step=37838848, episodic return=2353.881591796875\n", + "global step=37838848, episodic return=157.98348999023438\n", + "global step=37838848, episodic return=2377.234375\n", + "global step=37840896, episodic return=2362.94189453125\n", + "global step=37840896, episodic return=2349.8662109375\n", + "global step=37840896, episodic return=167.7472381591797\n", + "global step=37842944, episodic return=2306.736572265625\n", + "global step=37844992, episodic return=2308.913818359375\n", + "global step=37844992, episodic return=2366.47998046875\n", + "global step=37847040, episodic return=2360.875\n", + "global step=37847040, episodic return=2331.33837890625\n", + "global step=37847040, episodic return=2303.554443359375\n", + "global step=37849088, episodic return=2301.624267578125\n", + "global step=37849088, episodic return=1390.481689453125\n", + "global step=37849088, episodic return=2396.181884765625\n", + "global step=37849088, episodic return=2385.87890625\n", + "global step=37855232, episodic return=2358.9404296875\n", + "global step=37855232, episodic return=2363.529052734375\n", + "global step=37857280, episodic return=2356.388427734375\n", + "global step=37859328, episodic return=2363.262939453125\n", + "global step=37859328, episodic return=2441.5673828125\n", + "global step=37865472, episodic return=2329.7421875\n", + "global step=37865472, episodic return=2343.8984375\n", + "global step=37867520, episodic return=2356.10546875\n", + "global step=37867520, episodic return=2298.7646484375\n", + "global step=37869568, episodic return=199.19342041015625\n", + "global step=37869568, episodic return=2392.455810546875\n", + "global step=37871616, episodic return=2340.498779296875\n", + "global step=37873664, episodic return=2378.98046875\n", + "global step=37873664, episodic return=2378.311767578125\n", + "global step=37873664, episodic return=2310.0458984375\n", + "global step=37875712, episodic return=2385.813232421875\n", + "global step=37875712, episodic return=177.6248016357422\n", + "global step=37877760, episodic return=1950.2608642578125\n", + "global step=37877760, episodic return=2325.763671875\n", + "global step=37879808, episodic return=2374.816162109375\n", + "global step=37879808, episodic return=2427.1826171875\n", + "global step=37879808, episodic return=2351.20751953125\n", + "global step=37879808, episodic return=2211.505615234375\n", + "global step=37881856, episodic return=2440.6513671875\n", + "global step=37881856, episodic return=2346.989990234375\n", + "global step=37881856, episodic return=2260.455810546875\n", + "global step=37883904, episodic return=2362.024658203125\n", + "global step=37883904, episodic return=2373.591796875\n", + "global step=37883904, episodic return=2385.623291015625\n", + "global step=37883904, episodic return=2464.685546875\n", + "global step=37883904, episodic return=2329.0537109375\n", + "global step=37885952, episodic return=2398.718017578125\n", + "global step=37885952, episodic return=2278.20263671875\n", + "global step=37888000, episodic return=2419.0634765625\n", + "global step=37888000, episodic return=1948.7921142578125\n", + "global step=37890048, episodic return=2349.05078125\n", + "global step=37890048, episodic return=2357.07958984375\n", + "global step=37890048, episodic return=2233.46142578125\n", + "global step=37890048, episodic return=2325.6591796875\n", + "global step=37890048, episodic return=2332.76806640625\n", + "global step=37892096, episodic return=2326.14208984375\n", + "global step=37892096, episodic return=1581.684326171875\n", + "global step=37892096, episodic return=2389.42236328125\n", + "global step=37892096, episodic return=2409.69287109375\n", + "global step=37894144, episodic return=2364.22314453125\n", + "global step=37894144, episodic return=2358.135498046875\n", + "global step=37894144, episodic return=2288.996826171875\n", + "global step=37896192, episodic return=1418.2628173828125\n", + "global step=37896192, episodic return=2404.260986328125\n", + "global step=37898240, episodic return=2399.062744140625\n", + "global step=37898240, episodic return=240.27589416503906\n", + "global step=37898240, episodic return=2343.581787109375\n", + "global step=37900288, episodic return=2271.116455078125\n", + "global step=37900288, episodic return=2364.647705078125\n", + "global step=37900288, episodic return=2345.65673828125\n", + "global step=37900288, episodic return=2359.549072265625\n", + "global step=37904384, episodic return=2370.457275390625\n", + "global step=37904384, episodic return=2368.392333984375\n", + "global step=37904384, episodic return=2341.302001953125\n", + "global step=37904384, episodic return=2347.992431640625\n", + "global step=37906432, episodic return=232.01454162597656\n", + "global step=37906432, episodic return=2323.18359375\n", + "global step=37906432, episodic return=2350.82861328125\n", + "global step=37908480, episodic return=2451.872314453125\n", + "global step=37910528, episodic return=2367.636962890625\n", + "global step=37910528, episodic return=2207.691650390625\n", + "global step=37912576, episodic return=2393.37890625\n", + "global step=37912576, episodic return=1778.8995361328125\n", + "global step=37912576, episodic return=2414.271728515625\n", + "global step=37912576, episodic return=2394.20751953125\n", + "global step=37912576, episodic return=2324.834716796875\n", + "global step=37912576, episodic return=2188.177734375\n", + "global step=37914624, episodic return=2337.70263671875\n", + "global step=37914624, episodic return=2285.40478515625\n", + "global step=37914624, episodic return=2345.8876953125\n", + "global step=37914624, episodic return=2408.916748046875\n", + "global step=37914624, episodic return=2340.27099609375\n", + "global step=37914624, episodic return=2315.5927734375\n", + "global step=37916672, episodic return=690.5772094726562\n", + "global step=37916672, episodic return=2310.684326171875\n", + "global step=37916672, episodic return=2410.347412109375\n", + "global step=37918720, episodic return=2386.57958984375\n", + "global step=37918720, episodic return=2355.02783203125\n", + "global step=37918720, episodic return=2409.017333984375\n", + "global step=37920768, episodic return=2426.98876953125\n", + "global step=37920768, episodic return=2363.985107421875\n", + "global step=37922816, episodic return=2346.9580078125\n", + "global step=37922816, episodic return=2398.03564453125\n", + "global step=37922816, episodic return=2260.983154296875\n", + "global step=37922816, episodic return=2330.642578125\n", + "global step=37924864, episodic return=283.851806640625\n", + "global step=37924864, episodic return=2402.14599609375\n", + "global step=37924864, episodic return=741.90283203125\n", + "global step=37928960, episodic return=2354.91748046875\n", + "global step=37931008, episodic return=2415.392333984375\n", + "global step=37933056, episodic return=2264.40185546875\n", + "global step=37935104, episodic return=2362.578857421875\n", + "global step=37935104, episodic return=2323.9365234375\n", + "global step=37937152, episodic return=2356.8271484375\n", + "global step=37937152, episodic return=2376.1953125\n", + "global step=37937152, episodic return=2368.870849609375\n", + "global step=37943296, episodic return=2265.264892578125\n", + "global step=37943296, episodic return=2325.88427734375\n", + "global step=37947392, episodic return=1314.24853515625\n", + "global step=37947392, episodic return=2385.1865234375\n", + "global step=37947392, episodic return=2337.581298828125\n", + "global step=37949440, episodic return=188.66746520996094\n", + "global step=37949440, episodic return=2408.577880859375\n", + "global step=37949440, episodic return=182.89276123046875\n", + "global step=37949440, episodic return=2393.16064453125\n", + "global step=37951488, episodic return=2382.689697265625\n", + "global step=37951488, episodic return=2345.72412109375\n", + "global step=37951488, episodic return=2361.720947265625\n", + "global step=37953536, episodic return=2257.21044921875\n", + "global step=37959680, episodic return=2332.671142578125\n", + "global step=37959680, episodic return=2324.4716796875\n", + "global step=37959680, episodic return=2341.97705078125\n", + "global step=37961728, episodic return=2392.082275390625\n", + "global step=37963776, episodic return=2404.44140625\n", + "global step=37965824, episodic return=2324.4599609375\n", + "global step=37967872, episodic return=2345.443359375\n", + "global step=37967872, episodic return=2397.367919921875\n", + "global step=37967872, episodic return=2381.13232421875\n", + "global step=37969920, episodic return=2342.0166015625\n", + "global step=37971968, episodic return=2288.14697265625\n", + "global step=37971968, episodic return=2408.29541015625\n", + "global step=37971968, episodic return=2358.107666015625\n", + "global step=37974016, episodic return=2277.33154296875\n", + "global step=37974016, episodic return=2413.135986328125\n", + "global step=37976064, episodic return=2343.377197265625\n", + "global step=37976064, episodic return=187.44125366210938\n", + "global step=37976064, episodic return=2237.294677734375\n", + "global step=37980160, episodic return=2356.259765625\n", + "global step=37982208, episodic return=2411.929931640625\n", + "global step=37984256, episodic return=2394.29052734375\n", + "global step=37984256, episodic return=2400.282958984375\n", + "global step=37986304, episodic return=2314.437255859375\n", + "global step=37990400, episodic return=2399.536376953125\n", + "global step=37990400, episodic return=2339.279052734375\n", + "global step=37992448, episodic return=2384.907470703125\n", + "global step=37992448, episodic return=2351.49755859375\n", + "global step=37992448, episodic return=2339.76708984375\n", + "global step=37992448, episodic return=2375.50830078125\n", + "global step=37992448, episodic return=2346.052978515625\n", + "global step=37992448, episodic return=2289.70654296875\n", + "global step=37994496, episodic return=2296.135009765625\n", + "global step=37994496, episodic return=2382.7822265625\n", + "global step=37994496, episodic return=1162.6650390625\n", + "global step=37998592, episodic return=2319.16259765625\n", + "global step=37998592, episodic return=2353.845458984375\n", + "global step=38000640, episodic return=2395.537353515625\n", + "global step=38002688, episodic return=2384.079345703125\n", + "global step=38002688, episodic return=2369.12158203125\n", + "global step=38002688, episodic return=2464.0595703125\n", + "global step=38002688, episodic return=2364.37646484375\n", + "global step=38002688, episodic return=2245.873779296875\n", + "global step=38004736, episodic return=2367.097900390625\n", + "global step=38004736, episodic return=2429.837646484375\n", + "global step=38006784, episodic return=2308.176513671875\n", + "global step=38008832, episodic return=2276.3876953125\n", + "global step=38008832, episodic return=2344.20751953125\n", + "global step=38010880, episodic return=2409.62939453125\n", + "global step=38010880, episodic return=2390.582763671875\n", + "global step=38010880, episodic return=2383.83056640625\n", + "global step=38012928, episodic return=2397.6767578125\n", + "global step=38017024, episodic return=2414.458740234375\n", + "global step=38017024, episodic return=1923.169677734375\n", + "global step=38019072, episodic return=2416.33935546875\n", + "global step=38019072, episodic return=2300.5087890625\n", + "global step=38021120, episodic return=2380.6171875\n", + "global step=38021120, episodic return=2408.47314453125\n", + "global step=38021120, episodic return=2339.892578125\n", + "global step=38023168, episodic return=2346.997802734375\n", + "global step=38023168, episodic return=2403.706298828125\n", + "global step=38023168, episodic return=2372.59716796875\n", + "global step=38025216, episodic return=2345.26318359375\n", + "global step=38025216, episodic return=2227.739990234375\n", + "global step=38025216, episodic return=2380.664794921875\n", + "global step=38027264, episodic return=2306.336669921875\n", + "global step=38027264, episodic return=1391.701416015625\n", + "global step=38027264, episodic return=2427.027099609375\n", + "global step=38027264, episodic return=2301.76025390625\n", + "global step=38027264, episodic return=2364.498291015625\n", + "global step=38029312, episodic return=2422.9111328125\n", + "global step=38029312, episodic return=2307.747314453125\n", + "global step=38031360, episodic return=2359.42529296875\n", + "global step=38031360, episodic return=2404.872802734375\n", + "global step=38033408, episodic return=2396.564208984375\n", + "global step=38033408, episodic return=2404.870361328125\n", + "global step=38035456, episodic return=2386.890869140625\n", + "global step=38035456, episodic return=2419.36767578125\n", + "global step=38035456, episodic return=2334.98046875\n", + "global step=38035456, episodic return=2367.650634765625\n", + "global step=38035456, episodic return=2327.375732421875\n", + "global step=38037504, episodic return=2421.829833984375\n", + "global step=38037504, episodic return=2291.74462890625\n", + "global step=38039552, episodic return=1148.1375732421875\n", + "global step=38039552, episodic return=2429.797607421875\n", + "global step=38039552, episodic return=2293.82373046875\n", + "global step=38041600, episodic return=2345.558837890625\n", + "global step=38041600, episodic return=2439.897216796875\n", + "global step=38041600, episodic return=2368.777587890625\n", + "global step=38041600, episodic return=334.52203369140625\n", + "global step=38043648, episodic return=2368.43603515625\n", + "global step=38045696, episodic return=2352.487548828125\n", + "global step=38045696, episodic return=2371.027587890625\n", + "global step=38045696, episodic return=2350.165771484375\n", + "global step=38047744, episodic return=2343.4638671875\n", + "global step=38049792, episodic return=2368.16748046875\n", + "global step=38049792, episodic return=2277.78369140625\n", + "global step=38049792, episodic return=2439.2177734375\n", + "global step=38049792, episodic return=2418.504150390625\n", + "global step=38051840, episodic return=2354.646728515625\n", + "global step=38051840, episodic return=79.28244018554688\n", + "global step=38053888, episodic return=2374.92236328125\n", + "global step=38053888, episodic return=2252.2421875\n", + "global step=38055936, episodic return=2374.746337890625\n", + "global step=38060032, episodic return=2370.8896484375\n", + "global step=38060032, episodic return=2283.158203125\n", + "global step=38060032, episodic return=2361.791259765625\n", + "global step=38060032, episodic return=2271.5126953125\n", + "global step=38060032, episodic return=2378.749755859375\n", + "global step=38062080, episodic return=2396.76708984375\n", + "global step=38062080, episodic return=2336.707275390625\n", + "global step=38064128, episodic return=2358.555419921875\n", + "global step=38064128, episodic return=2334.979248046875\n", + "global step=38068224, episodic return=2432.845458984375\n", + "global step=38068224, episodic return=2353.281494140625\n", + "global step=38068224, episodic return=2286.720458984375\n", + "global step=38070272, episodic return=2398.611083984375\n", + "global step=38074368, episodic return=2394.45361328125\n", + "global step=38076416, episodic return=2353.33837890625\n", + "global step=38076416, episodic return=2396.61669921875\n", + "global step=38078464, episodic return=2331.960693359375\n", + "global step=38080512, episodic return=2388.7900390625\n", + "global step=38080512, episodic return=179.9608612060547\n", + "global step=38082560, episodic return=2375.95947265625\n", + "global step=38082560, episodic return=2358.65673828125\n", + "global step=38082560, episodic return=2403.175048828125\n", + "global step=38082560, episodic return=2340.52294921875\n", + "global step=38082560, episodic return=193.29124450683594\n", + "global step=38086656, episodic return=2377.97607421875\n", + "global step=38088704, episodic return=2312.614013671875\n", + "global step=38088704, episodic return=2379.623046875\n", + "global step=38092800, episodic return=2364.181884765625\n", + "global step=38092800, episodic return=2365.671142578125\n", + "global step=38092800, episodic return=783.2095336914062\n", + "global step=38098944, episodic return=218.7056121826172\n", + "global step=38100992, episodic return=177.75714111328125\n", + "global step=38103040, episodic return=2328.829345703125\n", + "global step=38103040, episodic return=2368.473388671875\n", + "global step=38103040, episodic return=2369.726806640625\n", + "global step=38105088, episodic return=2331.08447265625\n", + "global step=38105088, episodic return=2367.9765625\n", + "global step=38107136, episodic return=2345.749755859375\n", + "global step=38111232, episodic return=2421.003662109375\n", + "global step=38111232, episodic return=2387.674560546875\n", + "global step=38115328, episodic return=2342.516357421875\n", + "global step=38115328, episodic return=183.6941680908203\n", + "global step=38115328, episodic return=2324.7587890625\n", + "global step=38115328, episodic return=2309.462646484375\n", + "global step=38115328, episodic return=2329.792724609375\n", + "global step=38115328, episodic return=2411.68408203125\n", + "global step=38117376, episodic return=2335.0244140625\n", + "global step=38117376, episodic return=2350.999755859375\n", + "global step=38123520, episodic return=2374.023193359375\n", + "global step=38123520, episodic return=2357.169921875\n", + "global step=38131712, episodic return=2389.8525390625\n", + "global step=38133760, episodic return=2294.949951171875\n", + "global step=38133760, episodic return=2376.73583984375\n", + "global step=38135808, episodic return=2394.267822265625\n", + "global step=38135808, episodic return=2331.79638671875\n", + "global step=38135808, episodic return=2392.4638671875\n", + "global step=38137856, episodic return=2370.955078125\n", + "global step=38137856, episodic return=2257.699951171875\n", + "global step=38137856, episodic return=2436.092529296875\n", + "global step=38139904, episodic return=2382.923095703125\n", + "global step=38139904, episodic return=2393.7060546875\n", + "global step=38139904, episodic return=2327.971923828125\n", + "global step=38141952, episodic return=2332.990966796875\n", + "global step=38141952, episodic return=2359.08056640625\n", + "global step=38150144, episodic return=2346.900634765625\n", + "global step=38150144, episodic return=2250.33251953125\n", + "global step=38152192, episodic return=2328.76904296875\n", + "global step=38152192, episodic return=2360.79638671875\n", + "global step=38152192, episodic return=840.7540283203125\n", + "global step=38154240, episodic return=2317.021728515625\n", + "global step=38156288, episodic return=2289.192626953125\n", + "global step=38158336, episodic return=2309.001708984375\n", + "global step=38160384, episodic return=2332.339111328125\n", + "global step=38160384, episodic return=2376.871337890625\n", + "global step=38160384, episodic return=2340.396240234375\n", + "global step=38162432, episodic return=2354.09375\n", + "global step=38164480, episodic return=2366.668212890625\n", + "global step=38166528, episodic return=2422.787353515625\n", + "global step=38166528, episodic return=2386.090576171875\n", + "global step=38168576, episodic return=2361.28515625\n", + "global step=38168576, episodic return=2336.98876953125\n", + "global step=38170624, episodic return=2225.60498046875\n", + "global step=38172672, episodic return=2332.9921875\n", + "global step=38172672, episodic return=208.15570068359375\n", + "global step=38174720, episodic return=2391.1884765625\n", + "global step=38174720, episodic return=2410.013671875\n", + "global step=38176768, episodic return=2351.36376953125\n", + "global step=38176768, episodic return=2367.3740234375\n", + "global step=38178816, episodic return=2343.38330078125\n", + "global step=38178816, episodic return=2302.008544921875\n", + "global step=38180864, episodic return=2290.524169921875\n", + "global step=38182912, episodic return=2360.20947265625\n", + "global step=38182912, episodic return=2335.693115234375\n", + "global step=38182912, episodic return=2341.40283203125\n", + "global step=38184960, episodic return=2384.883544921875\n", + "global step=38184960, episodic return=2342.146240234375\n", + "global step=38184960, episodic return=477.7225036621094\n", + "global step=38184960, episodic return=2378.8642578125\n", + "global step=38187008, episodic return=2314.97314453125\n", + "global step=38187008, episodic return=2390.829345703125\n", + "global step=38189056, episodic return=2393.122314453125\n", + "global step=38191104, episodic return=2350.8720703125\n", + "global step=38197248, episodic return=2332.459228515625\n", + "global step=38197248, episodic return=2305.491455078125\n", + "global step=38197248, episodic return=2409.146484375\n", + "global step=38197248, episodic return=2305.420166015625\n", + "global step=38199296, episodic return=2390.28564453125\n", + "global step=38199296, episodic return=2412.7255859375\n", + "global step=38201344, episodic return=2359.376708984375\n", + "global step=38201344, episodic return=2289.3076171875\n", + "global step=38201344, episodic return=102.86490631103516\n", + "global step=38201344, episodic return=2403.385986328125\n", + "global step=38203392, episodic return=43.28453063964844\n", + "global step=38207488, episodic return=2335.95556640625\n", + "global step=38207488, episodic return=2016.1287841796875\n", + "global step=38207488, episodic return=2392.1259765625\n", + "global step=38209536, episodic return=2342.9794921875\n", + "global step=38209536, episodic return=2334.024169921875\n", + "global step=38211584, episodic return=2326.7548828125\n", + "global step=38211584, episodic return=2362.54150390625\n", + "global step=38213632, episodic return=2319.451416015625\n", + "global step=38215680, episodic return=2398.629150390625\n", + "global step=38217728, episodic return=2370.839599609375\n", + "global step=38217728, episodic return=2415.71923828125\n", + "global step=38219776, episodic return=68.44401550292969\n", + "global step=38219776, episodic return=2259.617919921875\n", + "global step=38219776, episodic return=2418.185302734375\n", + "global step=38219776, episodic return=2365.962158203125\n", + "global step=38219776, episodic return=2364.975830078125\n", + "global step=38219776, episodic return=914.8197631835938\n", + "global step=38221824, episodic return=2405.52490234375\n", + "global step=38221824, episodic return=2364.868408203125\n", + "global step=38221824, episodic return=2241.898681640625\n", + "global step=38223872, episodic return=2278.763671875\n", + "global step=38223872, episodic return=2367.392578125\n", + "global step=38223872, episodic return=2326.1337890625\n", + "global step=38223872, episodic return=183.5694122314453\n", + "global step=38225920, episodic return=2358.884033203125\n", + "global step=38225920, episodic return=2306.234619140625\n", + "global step=38225920, episodic return=2388.319091796875\n", + "global step=38227968, episodic return=2403.708251953125\n", + "global step=38227968, episodic return=2382.581298828125\n", + "global step=38232064, episodic return=2313.9716796875\n", + "global step=38232064, episodic return=210.2271270751953\n", + "global step=38232064, episodic return=2360.67578125\n", + "global step=38232064, episodic return=2419.108642578125\n", + "global step=38232064, episodic return=2446.51953125\n", + "global step=38232064, episodic return=2345.074462890625\n", + "global step=38232064, episodic return=2416.469482421875\n", + "global step=38234112, episodic return=23.704195022583008\n", + "global step=38234112, episodic return=2425.274658203125\n", + "global step=38234112, episodic return=2314.014892578125\n", + "global step=38234112, episodic return=2334.91259765625\n", + "global step=38234112, episodic return=2334.37841796875\n", + "global step=38234112, episodic return=2229.770751953125\n", + "global step=38234112, episodic return=2383.308349609375\n", + "global step=38234112, episodic return=2434.960693359375\n", + "global step=38236160, episodic return=2305.6787109375\n", + "global step=38236160, episodic return=2341.26025390625\n", + "global step=38236160, episodic return=29.38943099975586\n", + "global step=38238208, episodic return=2354.247802734375\n", + "global step=38238208, episodic return=30.29733657836914\n", + "global step=38240256, episodic return=2378.32177734375\n", + "global step=38242304, episodic return=1513.688232421875\n", + "global step=38242304, episodic return=2302.853759765625\n", + "global step=38242304, episodic return=149.2232208251953\n", + "global step=38242304, episodic return=2303.32421875\n", + "global step=38244352, episodic return=2401.0615234375\n", + "global step=38244352, episodic return=2343.607177734375\n", + "global step=38246400, episodic return=2429.733154296875\n", + "global step=38246400, episodic return=2403.89599609375\n", + "global step=38246400, episodic return=2388.132568359375\n", + "global step=38246400, episodic return=802.6989135742188\n", + "global step=38248448, episodic return=2345.751220703125\n", + "global step=38250496, episodic return=2436.61181640625\n", + "global step=38250496, episodic return=2381.741455078125\n", + "global step=38252544, episodic return=2389.038330078125\n", + "global step=38256640, episodic return=384.49237060546875\n", + "global step=38256640, episodic return=2325.68798828125\n", + "global step=38258688, episodic return=2395.445556640625\n", + "global step=38258688, episodic return=2336.468994140625\n", + "global step=38258688, episodic return=2340.9580078125\n", + "global step=38258688, episodic return=2406.467529296875\n", + "global step=38260736, episodic return=2397.162109375\n", + "global step=38260736, episodic return=67.471923828125\n", + "global step=38260736, episodic return=175.77139282226562\n", + "global step=38260736, episodic return=2384.1259765625\n", + "global step=38262784, episodic return=2403.8525390625\n", + "global step=38262784, episodic return=2304.059814453125\n", + "global step=38264832, episodic return=2377.6962890625\n", + "global step=38264832, episodic return=2408.810302734375\n", + "global step=38266880, episodic return=2366.104248046875\n", + "global step=38266880, episodic return=2354.46923828125\n", + "global step=38266880, episodic return=2333.50537109375\n", + "global step=38268928, episodic return=2391.9609375\n", + "global step=38270976, episodic return=2283.422607421875\n", + "global step=38270976, episodic return=2376.041748046875\n", + "global step=38270976, episodic return=2316.560546875\n", + "global step=38270976, episodic return=32.175296783447266\n", + "global step=38270976, episodic return=2390.833251953125\n", + "global step=38273024, episodic return=250.4906768798828\n", + "global step=38273024, episodic return=174.54519653320312\n", + "global step=38273024, episodic return=2386.029541015625\n", + "global step=38273024, episodic return=2312.7275390625\n", + "global step=38275072, episodic return=2383.440185546875\n", + "global step=38275072, episodic return=2336.474853515625\n", + "global step=38275072, episodic return=2343.870361328125\n", + "global step=38279168, episodic return=2386.732177734375\n", + "global step=38279168, episodic return=2414.7138671875\n", + "global step=38279168, episodic return=24.841272354125977\n", + "global step=38279168, episodic return=2399.927978515625\n", + "global step=38279168, episodic return=2353.929931640625\n", + "global step=38279168, episodic return=244.97897338867188\n", + "global step=38279168, episodic return=2325.236572265625\n", + "global step=38281216, episodic return=2359.9033203125\n", + "global step=38281216, episodic return=2401.89404296875\n", + "global step=38281216, episodic return=2107.40966796875\n", + "global step=38283264, episodic return=1456.531494140625\n", + "global step=38285312, episodic return=2413.5576171875\n", + "global step=38285312, episodic return=2417.78125\n", + "global step=38287360, episodic return=2268.34228515625\n", + "global step=38287360, episodic return=2335.705322265625\n", + "global step=38289408, episodic return=2270.057373046875\n", + "global step=38289408, episodic return=2354.384033203125\n", + "global step=38289408, episodic return=2368.417236328125\n", + "global step=38291456, episodic return=2356.79248046875\n", + "global step=38293504, episodic return=2384.34521484375\n", + "global step=38293504, episodic return=2383.826171875\n", + "global step=38293504, episodic return=2383.393310546875\n", + "global step=38295552, episodic return=2341.579833984375\n", + "global step=38295552, episodic return=2367.00146484375\n", + "global step=38295552, episodic return=2334.17919921875\n", + "global step=38297600, episodic return=2427.3955078125\n", + "global step=38297600, episodic return=2352.48388671875\n", + "global step=38299648, episodic return=272.66619873046875\n", + "global step=38299648, episodic return=2354.900146484375\n", + "global step=38301696, episodic return=900.4720458984375\n", + "global step=38301696, episodic return=777.0862426757812\n", + "global step=38303744, episodic return=2419.596923828125\n", + "global step=38305792, episodic return=2365.949462890625\n", + "global step=38307840, episodic return=2357.281494140625\n", + "global step=38309888, episodic return=2388.403076171875\n", + "global step=38311936, episodic return=2316.3671875\n", + "global step=38311936, episodic return=2365.1943359375\n", + "global step=38313984, episodic return=2367.151611328125\n", + "global step=38316032, episodic return=243.3882293701172\n", + "global step=38318080, episodic return=2325.188232421875\n", + "global step=38318080, episodic return=2358.345703125\n", + "global step=38318080, episodic return=2383.234375\n", + "global step=38322176, episodic return=2368.7822265625\n", + "global step=38322176, episodic return=2378.56298828125\n", + "global step=38324224, episodic return=326.0220642089844\n", + "global step=38324224, episodic return=67.59112548828125\n", + "global step=38324224, episodic return=2410.65576171875\n", + "global step=38326272, episodic return=793.0200805664062\n", + "global step=38326272, episodic return=2374.055419921875\n", + "global step=38326272, episodic return=2397.18017578125\n", + "global step=38328320, episodic return=320.0079650878906\n", + "global step=38328320, episodic return=2324.847412109375\n", + "global step=38330368, episodic return=2351.7109375\n", + "global step=38332416, episodic return=1192.2607421875\n", + "global step=38332416, episodic return=2311.8662109375\n", + "global step=38332416, episodic return=2280.1640625\n", + "global step=38334464, episodic return=2370.3291015625\n", + "global step=38336512, episodic return=2382.861328125\n", + "global step=38338560, episodic return=2389.528564453125\n", + "global step=38340608, episodic return=2339.076904296875\n", + "global step=38340608, episodic return=2397.533447265625\n", + "global step=38342656, episodic return=37.724586486816406\n", + "global step=38342656, episodic return=2242.03076171875\n", + "global step=38344704, episodic return=2338.4287109375\n", + "global step=38344704, episodic return=1143.0855712890625\n", + "global step=38344704, episodic return=2297.031494140625\n", + "global step=38346752, episodic return=2388.552734375\n", + "global step=38346752, episodic return=2347.033935546875\n", + "global step=38346752, episodic return=185.69113159179688\n", + "global step=38348800, episodic return=2326.03857421875\n", + "global step=38348800, episodic return=1317.1123046875\n", + "global step=38348800, episodic return=2403.95458984375\n", + "global step=38350848, episodic return=2448.330322265625\n", + "global step=38350848, episodic return=2352.940673828125\n", + "global step=38352896, episodic return=713.221923828125\n", + "global step=38354944, episodic return=2405.90771484375\n", + "global step=38354944, episodic return=129.24879455566406\n", + "global step=38354944, episodic return=2405.86962890625\n", + "global step=38356992, episodic return=2413.482177734375\n", + "global step=38359040, episodic return=2381.9228515625\n", + "global step=38361088, episodic return=2355.271240234375\n", + "global step=38363136, episodic return=2347.660400390625\n", + "global step=38363136, episodic return=2333.6259765625\n", + "global step=38363136, episodic return=2354.097900390625\n", + "global step=38363136, episodic return=2323.210693359375\n", + "global step=38365184, episodic return=2401.568603515625\n", + "global step=38367232, episodic return=2315.297119140625\n", + "global step=38367232, episodic return=2337.118408203125\n", + "global step=38367232, episodic return=2296.602783203125\n", + "global step=38367232, episodic return=2341.2822265625\n", + "global step=38369280, episodic return=2330.882568359375\n", + "global step=38369280, episodic return=178.0291290283203\n", + "global step=38371328, episodic return=2308.720458984375\n", + "global step=38371328, episodic return=2113.626953125\n", + "global step=38373376, episodic return=2347.327392578125\n", + "global step=38373376, episodic return=2364.384033203125\n", + "global step=38373376, episodic return=2260.493896484375\n", + "global step=38373376, episodic return=224.47413635253906\n", + "global step=38373376, episodic return=2391.822998046875\n", + "global step=38377472, episodic return=2298.56689453125\n", + "global step=38379520, episodic return=2372.1259765625\n", + "global step=38381568, episodic return=1298.333984375\n", + "global step=38383616, episodic return=2324.080810546875\n", + "global step=38385664, episodic return=2334.3115234375\n", + "global step=38385664, episodic return=2362.65234375\n", + "global step=38387712, episodic return=1218.9298095703125\n", + "global step=38387712, episodic return=2360.210693359375\n", + "global step=38389760, episodic return=2365.65625\n", + "global step=38389760, episodic return=328.76190185546875\n", + "global step=38391808, episodic return=170.466796875\n", + "global step=38391808, episodic return=2410.81494140625\n", + "global step=38391808, episodic return=1188.7459716796875\n", + "global step=38391808, episodic return=2385.900390625\n", + "global step=38393856, episodic return=2227.50927734375\n", + "global step=38393856, episodic return=2369.080078125\n", + "global step=38393856, episodic return=261.8409729003906\n", + "global step=38393856, episodic return=211.61854553222656\n", + "global step=38393856, episodic return=2354.297607421875\n", + "global step=38393856, episodic return=2351.136474609375\n", + "global step=38393856, episodic return=2373.09716796875\n", + "global step=38395904, episodic return=2264.55126953125\n", + "global step=38395904, episodic return=2318.540771484375\n", + "global step=38395904, episodic return=685.4817504882812\n", + "global step=38397952, episodic return=2350.032958984375\n", + "global step=38397952, episodic return=1012.7467651367188\n", + "global step=38397952, episodic return=2353.952392578125\n", + "global step=38397952, episodic return=2307.5537109375\n", + "global step=38397952, episodic return=2360.0634765625\n", + "global step=38400000, episodic return=2284.32177734375\n", + "global step=38400000, episodic return=2355.593017578125\n", + "global step=38402048, episodic return=2351.183837890625\n", + "global step=38402048, episodic return=2331.909912109375\n", + "global step=38404096, episodic return=2423.7890625\n", + "global step=38404096, episodic return=2336.813720703125\n", + "global step=38404096, episodic return=2362.856201171875\n", + "global step=38406144, episodic return=2297.0751953125\n", + "global step=38406144, episodic return=2328.405517578125\n", + "global step=38406144, episodic return=2353.190185546875\n", + "global step=38406144, episodic return=2342.4716796875\n", + "global step=38408192, episodic return=2472.48583984375\n", + "global step=38410240, episodic return=2422.435302734375\n", + "global step=38412288, episodic return=2401.663330078125\n", + "global step=38414336, episodic return=2374.9599609375\n", + "global step=38416384, episodic return=2258.658203125\n", + "global step=38416384, episodic return=2361.150390625\n", + "global step=38416384, episodic return=2382.79736328125\n", + "global step=38418432, episodic return=2326.144775390625\n", + "global step=38420480, episodic return=2407.537353515625\n", + "global step=38420480, episodic return=21.993289947509766\n", + "global step=38422528, episodic return=2402.71337890625\n", + "global step=38424576, episodic return=683.9174194335938\n", + "global step=38424576, episodic return=2263.45849609375\n", + "global step=38424576, episodic return=2336.60888671875\n", + "global step=38426624, episodic return=1171.0914306640625\n", + "global step=38426624, episodic return=2369.28125\n", + "global step=38428672, episodic return=2100.37451171875\n", + "global step=38430720, episodic return=2384.131103515625\n", + "global step=38430720, episodic return=2346.5537109375\n", + "global step=38430720, episodic return=2350.7578125\n", + "global step=38432768, episodic return=2438.9443359375\n", + "global step=38432768, episodic return=2282.88720703125\n", + "global step=38432768, episodic return=2300.539794921875\n", + "global step=38434816, episodic return=2334.410888671875\n", + "global step=38434816, episodic return=2353.281494140625\n", + "global step=38434816, episodic return=2385.392333984375\n", + "global step=38434816, episodic return=1620.283203125\n", + "global step=38438912, episodic return=2280.78466796875\n", + "global step=38438912, episodic return=2352.8310546875\n", + "global step=38438912, episodic return=2375.17529296875\n", + "global step=38440960, episodic return=2403.06103515625\n", + "global step=38440960, episodic return=2304.09228515625\n", + "global step=38440960, episodic return=2299.071533203125\n", + "global step=38440960, episodic return=2409.12744140625\n", + "global step=38440960, episodic return=2359.83154296875\n", + "global step=38443008, episodic return=2326.623291015625\n", + "global step=38443008, episodic return=2355.98486328125\n", + "global step=38445056, episodic return=243.1890411376953\n", + "global step=38445056, episodic return=2378.0478515625\n", + "global step=38445056, episodic return=2385.99560546875\n", + "global step=38447104, episodic return=2334.56396484375\n", + "global step=38447104, episodic return=2437.63916015625\n", + "global step=38447104, episodic return=2367.80419921875\n", + "global step=38449152, episodic return=195.68321228027344\n", + "global step=38449152, episodic return=2376.4150390625\n", + "global step=38451200, episodic return=2405.57470703125\n", + "global step=38451200, episodic return=2335.232421875\n", + "global step=38451200, episodic return=1044.7392578125\n", + "global step=38451200, episodic return=2332.48681640625\n", + "global step=38451200, episodic return=2269.182861328125\n", + "global step=38453248, episodic return=2316.31494140625\n", + "global step=38453248, episodic return=2376.83056640625\n", + "global step=38453248, episodic return=392.3458251953125\n", + "global step=38453248, episodic return=2418.3369140625\n", + "global step=38453248, episodic return=2374.794677734375\n", + "global step=38453248, episodic return=2350.964599609375\n", + "global step=38455296, episodic return=2367.094482421875\n", + "global step=38455296, episodic return=632.6831665039062\n", + "global step=38455296, episodic return=2400.98974609375\n", + "global step=38457344, episodic return=2348.041259765625\n", + "global step=38457344, episodic return=2377.085693359375\n", + "global step=38459392, episodic return=2341.386474609375\n", + "global step=38459392, episodic return=2386.2705078125\n", + "global step=38459392, episodic return=2400.299072265625\n", + "global step=38459392, episodic return=2324.173095703125\n", + "global step=38461440, episodic return=2408.055908203125\n", + "global step=38461440, episodic return=165.08956909179688\n", + "global step=38461440, episodic return=2413.32666015625\n", + "global step=38461440, episodic return=2415.135009765625\n", + "global step=38463488, episodic return=2341.892333984375\n", + "global step=38463488, episodic return=2383.858154296875\n", + "global step=38463488, episodic return=2367.862060546875\n", + "global step=38463488, episodic return=2332.092041015625\n", + "global step=38463488, episodic return=1793.5462646484375\n", + "global step=38463488, episodic return=2321.37255859375\n", + "global step=38463488, episodic return=2383.943603515625\n", + "global step=38465536, episodic return=2347.513427734375\n", + "global step=38465536, episodic return=2399.0341796875\n", + "global step=38465536, episodic return=2304.565673828125\n", + "global step=38465536, episodic return=2371.127685546875\n", + "global step=38465536, episodic return=2338.31787109375\n", + "global step=38467584, episodic return=2385.70458984375\n", + "global step=38467584, episodic return=2355.536865234375\n", + "global step=38469632, episodic return=2354.673583984375\n", + "global step=38469632, episodic return=2380.878662109375\n", + "global step=38471680, episodic return=2363.402099609375\n", + "global step=38471680, episodic return=2370.838623046875\n", + "global step=38471680, episodic return=1135.595458984375\n", + "global step=38471680, episodic return=2269.8193359375\n", + "global step=38471680, episodic return=2314.006591796875\n", + "global step=38473728, episodic return=2398.797119140625\n", + "global step=38473728, episodic return=177.4144287109375\n", + "global step=38475776, episodic return=2358.1572265625\n", + "global step=38475776, episodic return=2325.713623046875\n", + "global step=38475776, episodic return=2295.0546875\n", + "global step=38477824, episodic return=2417.298828125\n", + "global step=38477824, episodic return=2340.07861328125\n", + "global step=38479872, episodic return=2356.962158203125\n", + "global step=38479872, episodic return=1711.24267578125\n", + "global step=38479872, episodic return=1039.8438720703125\n", + "global step=38481920, episodic return=2317.586181640625\n", + "global step=38483968, episodic return=2382.258056640625\n", + "global step=38483968, episodic return=2372.984375\n", + "global step=38483968, episodic return=1643.2069091796875\n", + "global step=38486016, episodic return=2418.427001953125\n", + "global step=38486016, episodic return=1655.01220703125\n", + "global step=38488064, episodic return=2315.96826171875\n", + "global step=38488064, episodic return=2370.439208984375\n", + "global step=38488064, episodic return=1481.2010498046875\n", + "global step=38490112, episodic return=2414.4677734375\n", + "global step=38490112, episodic return=2385.272216796875\n", + "global step=38490112, episodic return=2352.6142578125\n", + "global step=38492160, episodic return=2358.986083984375\n", + "global step=38492160, episodic return=2332.705078125\n", + "global step=38492160, episodic return=2398.16650390625\n", + "global step=38494208, episodic return=2360.25634765625\n", + "global step=38494208, episodic return=2405.48095703125\n", + "global step=38494208, episodic return=2392.04443359375\n", + "global step=38494208, episodic return=2378.079833984375\n", + "global step=38496256, episodic return=1910.443359375\n", + "global step=38498304, episodic return=2345.588623046875\n", + "global step=38498304, episodic return=2380.77734375\n", + "global step=38500352, episodic return=2368.850341796875\n", + "global step=38500352, episodic return=2408.601318359375\n", + "global step=38500352, episodic return=2364.304931640625\n", + "global step=38500352, episodic return=2334.722412109375\n", + "global step=38502400, episodic return=281.3583679199219\n", + "global step=38502400, episodic return=2395.31005859375\n", + "global step=38502400, episodic return=2372.60400390625\n", + "global step=38502400, episodic return=2348.775390625\n", + "global step=38502400, episodic return=2421.193603515625\n", + "global step=38504448, episodic return=2354.29443359375\n", + "global step=38506496, episodic return=2425.6357421875\n", + "global step=38506496, episodic return=2326.192626953125\n", + "global step=38506496, episodic return=2434.42041015625\n", + "global step=38508544, episodic return=2382.610107421875\n", + "global step=38508544, episodic return=109.79405975341797\n", + "global step=38510592, episodic return=2361.4599609375\n", + "global step=38510592, episodic return=2381.378662109375\n", + "global step=38512640, episodic return=2366.8017578125\n", + "global step=38514688, episodic return=2366.8564453125\n", + "global step=38514688, episodic return=2457.7900390625\n", + "global step=38516736, episodic return=2411.24609375\n", + "global step=38516736, episodic return=2357.90576171875\n", + "global step=38516736, episodic return=2365.50537109375\n", + "global step=38516736, episodic return=1005.9636840820312\n", + "global step=38518784, episodic return=2337.12890625\n", + "global step=38518784, episodic return=2383.9052734375\n", + "global step=38518784, episodic return=167.6514129638672\n", + "global step=38518784, episodic return=2408.7685546875\n", + "global step=38518784, episodic return=2328.555419921875\n", + "global step=38520832, episodic return=418.9127197265625\n", + "global step=38522880, episodic return=2353.4716796875\n", + "global step=38522880, episodic return=2381.490234375\n", + "global step=38522880, episodic return=2390.640869140625\n", + "global step=38522880, episodic return=2374.37255859375\n", + "global step=38524928, episodic return=2378.758544921875\n", + "global step=38524928, episodic return=2352.408447265625\n", + "global step=38526976, episodic return=2391.628173828125\n", + "global step=38526976, episodic return=2379.71240234375\n", + "global step=38529024, episodic return=2452.034423828125\n", + "global step=38531072, episodic return=2369.996826171875\n", + "global step=38531072, episodic return=2388.35693359375\n", + "global step=38533120, episodic return=2381.19677734375\n", + "global step=38535168, episodic return=482.1818542480469\n", + "global step=38535168, episodic return=2313.403076171875\n", + "global step=38535168, episodic return=2328.865234375\n", + "global step=38535168, episodic return=1435.0062255859375\n", + "global step=38535168, episodic return=2357.88134765625\n", + "global step=38537216, episodic return=2263.278564453125\n", + "global step=38539264, episodic return=2439.037841796875\n", + "global step=38539264, episodic return=2434.3251953125\n", + "global step=38539264, episodic return=2363.90966796875\n", + "global step=38539264, episodic return=2327.06201171875\n", + "global step=38539264, episodic return=2371.50146484375\n", + "global step=38539264, episodic return=1264.9161376953125\n", + "global step=38539264, episodic return=2277.544677734375\n", + "global step=38541312, episodic return=2418.237060546875\n", + "global step=38541312, episodic return=2311.698974609375\n", + "global step=38543360, episodic return=2358.505859375\n", + "global step=38543360, episodic return=1804.1627197265625\n", + "global step=38545408, episodic return=2358.514892578125\n", + "global step=38545408, episodic return=2326.470458984375\n", + "global step=38545408, episodic return=2336.30615234375\n", + "global step=38545408, episodic return=2428.38671875\n", + "global step=38547456, episodic return=2412.79248046875\n", + "global step=38547456, episodic return=2439.68115234375\n", + "global step=38547456, episodic return=2251.5966796875\n", + "global step=38547456, episodic return=2393.372802734375\n", + "global step=38549504, episodic return=2316.092529296875\n", + "global step=38549504, episodic return=2243.494140625\n", + "global step=38551552, episodic return=2340.56494140625\n", + "global step=38551552, episodic return=2359.296630859375\n", + "global step=38551552, episodic return=2390.877197265625\n", + "global step=38551552, episodic return=2382.3046875\n", + "global step=38551552, episodic return=2416.031494140625\n", + "global step=38551552, episodic return=2434.034912109375\n", + "global step=38553600, episodic return=2384.314208984375\n", + "global step=38553600, episodic return=2414.128662109375\n", + "global step=38553600, episodic return=2365.303955078125\n", + "global step=38555648, episodic return=2355.582763671875\n", + "global step=38555648, episodic return=2411.69580078125\n", + "global step=38557696, episodic return=2416.29541015625\n", + "global step=38557696, episodic return=2342.6171875\n", + "global step=38559744, episodic return=2333.7138671875\n", + "global step=38559744, episodic return=2376.87109375\n", + "global step=38559744, episodic return=2388.407958984375\n", + "global step=38563840, episodic return=2404.34375\n", + "global step=38563840, episodic return=611.9315185546875\n", + "global step=38563840, episodic return=2349.279052734375\n", + "global step=38565888, episodic return=2354.390625\n", + "global step=38565888, episodic return=2330.2392578125\n", + "global step=38565888, episodic return=2410.501953125\n", + "global step=38565888, episodic return=2346.52294921875\n", + "global step=38567936, episodic return=2456.59033203125\n", + "global step=38567936, episodic return=2378.98388671875\n", + "global step=38569984, episodic return=2358.1376953125\n", + "global step=38569984, episodic return=2394.16259765625\n", + "global step=38572032, episodic return=2362.87841796875\n", + "global step=38574080, episodic return=2292.6123046875\n", + "global step=38574080, episodic return=2377.6669921875\n", + "global step=38574080, episodic return=2406.560546875\n", + "global step=38578176, episodic return=2399.084228515625\n", + "global step=38580224, episodic return=2365.222412109375\n", + "global step=38580224, episodic return=2342.177978515625\n", + "global step=38582272, episodic return=2393.8251953125\n", + "global step=38584320, episodic return=2374.546630859375\n", + "global step=38584320, episodic return=2272.504150390625\n", + "global step=38584320, episodic return=58.130062103271484\n", + "global step=38584320, episodic return=136.86968994140625\n", + "global step=38586368, episodic return=2390.0615234375\n", + "global step=38586368, episodic return=2397.448486328125\n", + "global step=38586368, episodic return=2379.307373046875\n", + "global step=38586368, episodic return=2362.72119140625\n", + "global step=38588416, episodic return=565.1709594726562\n", + "global step=38588416, episodic return=2344.166748046875\n", + "global step=38590464, episodic return=2374.342529296875\n", + "global step=38590464, episodic return=2338.85498046875\n", + "global step=38592512, episodic return=2428.115234375\n", + "global step=38592512, episodic return=2402.127685546875\n", + "global step=38592512, episodic return=2325.90283203125\n", + "global step=38592512, episodic return=2323.4541015625\n", + "global step=38592512, episodic return=2356.653076171875\n", + "global step=38594560, episodic return=2451.658203125\n", + "global step=38594560, episodic return=2352.53173828125\n", + "global step=38596608, episodic return=2425.91259765625\n", + "global step=38596608, episodic return=2412.765869140625\n", + "global step=38596608, episodic return=57.51219940185547\n", + "global step=38598656, episodic return=1688.00732421875\n", + "global step=38598656, episodic return=2315.14453125\n", + "global step=38598656, episodic return=2379.5908203125\n", + "global step=38600704, episodic return=2384.502685546875\n", + "global step=38600704, episodic return=2374.966064453125\n", + "global step=38602752, episodic return=2407.3095703125\n", + "global step=38602752, episodic return=2394.1455078125\n", + "global step=38602752, episodic return=2414.910888671875\n", + "global step=38604800, episodic return=2350.89501953125\n", + "global step=38604800, episodic return=2314.006103515625\n", + "global step=38606848, episodic return=175.2943572998047\n", + "global step=38606848, episodic return=1269.597900390625\n", + "global step=38608896, episodic return=2290.87890625\n", + "global step=38608896, episodic return=2409.02099609375\n", + "global step=38608896, episodic return=2352.919677734375\n", + "global step=38610944, episodic return=2340.539794921875\n", + "global step=38610944, episodic return=2376.072021484375\n", + "global step=38610944, episodic return=2335.101806640625\n", + "global step=38610944, episodic return=2375.34619140625\n", + "global step=38612992, episodic return=2317.3798828125\n", + "global step=38617088, episodic return=2333.678466796875\n", + "global step=38617088, episodic return=2403.03125\n", + "global step=38617088, episodic return=2317.9150390625\n", + "global step=38617088, episodic return=2406.069091796875\n", + "global step=38617088, episodic return=2399.441650390625\n", + "global step=38619136, episodic return=2347.5595703125\n", + "global step=38619136, episodic return=2401.313232421875\n", + "global step=38621184, episodic return=2358.1962890625\n", + "global step=38621184, episodic return=218.81820678710938\n", + "global step=38621184, episodic return=2383.181640625\n", + "global step=38623232, episodic return=2426.262451171875\n", + "global step=38623232, episodic return=2374.7333984375\n", + "global step=38623232, episodic return=2372.5703125\n", + "global step=38623232, episodic return=2310.94873046875\n", + "global step=38623232, episodic return=2391.725341796875\n", + "global step=38627328, episodic return=226.00869750976562\n", + "global step=38627328, episodic return=2334.5908203125\n", + "global step=38627328, episodic return=718.0888671875\n", + "global step=38629376, episodic return=1572.944091796875\n", + "global step=38629376, episodic return=2324.446533203125\n", + "global step=38631424, episodic return=2236.472900390625\n", + "global step=38631424, episodic return=2400.21826171875\n", + "global step=38633472, episodic return=2393.188720703125\n", + "global step=38635520, episodic return=2385.678955078125\n", + "global step=38637568, episodic return=2340.883056640625\n", + "global step=38637568, episodic return=2143.6669921875\n", + "global step=38637568, episodic return=2389.09130859375\n", + "global step=38637568, episodic return=2424.164794921875\n", + "global step=38637568, episodic return=2387.47412109375\n", + "global step=38637568, episodic return=2359.435302734375\n", + "global step=38639616, episodic return=2336.197265625\n", + "global step=38639616, episodic return=2323.99609375\n", + "global step=38639616, episodic return=2282.17138671875\n", + "global step=38641664, episodic return=2351.57763671875\n", + "global step=38643712, episodic return=2349.9912109375\n", + "global step=38643712, episodic return=2183.184814453125\n", + "global step=38645760, episodic return=2332.948974609375\n", + "global step=38645760, episodic return=1775.5684814453125\n", + "global step=38645760, episodic return=1583.0452880859375\n", + "global step=38647808, episodic return=2431.85693359375\n", + "global step=38647808, episodic return=2434.196533203125\n", + "global step=38647808, episodic return=2297.893310546875\n", + "global step=38649856, episodic return=2345.466796875\n", + "global step=38649856, episodic return=2440.582275390625\n", + "global step=38651904, episodic return=2295.104248046875\n", + "global step=38653952, episodic return=2031.5335693359375\n", + "global step=38656000, episodic return=2301.171630859375\n", + "global step=38656000, episodic return=1370.187255859375\n", + "global step=38656000, episodic return=2393.810791015625\n", + "global step=38656000, episodic return=2391.736083984375\n", + "global step=38656000, episodic return=2387.364013671875\n", + "global step=38658048, episodic return=2361.9208984375\n", + "global step=38660096, episodic return=2381.997802734375\n", + "global step=38660096, episodic return=2453.03271484375\n", + "global step=38660096, episodic return=2371.5087890625\n", + "global step=38660096, episodic return=1229.653076171875\n", + "global step=38660096, episodic return=1455.1392822265625\n", + "global step=38662144, episodic return=2373.38623046875\n", + "global step=38662144, episodic return=2372.31201171875\n", + "global step=38662144, episodic return=2296.821044921875\n", + "global step=38662144, episodic return=2380.808837890625\n", + "global step=38662144, episodic return=2418.448486328125\n", + "global step=38664192, episodic return=2340.169921875\n", + "global step=38668288, episodic return=2361.953857421875\n", + "global step=38668288, episodic return=2239.1708984375\n", + "global step=38670336, episodic return=2351.68798828125\n", + "global step=38670336, episodic return=2313.76416015625\n", + "global step=38670336, episodic return=2321.6787109375\n", + "global step=38670336, episodic return=359.0782775878906\n", + "global step=38672384, episodic return=2309.7392578125\n", + "global step=38672384, episodic return=2368.87353515625\n", + "global step=38672384, episodic return=2312.91064453125\n", + "global step=38674432, episodic return=2348.62255859375\n", + "global step=38674432, episodic return=2399.36181640625\n", + "global step=38676480, episodic return=2386.89501953125\n", + "global step=38676480, episodic return=2396.253662109375\n", + "global step=38676480, episodic return=2450.762451171875\n", + "global step=38678528, episodic return=2317.67041015625\n", + "global step=38678528, episodic return=2367.270263671875\n", + "global step=38678528, episodic return=2342.59912109375\n", + "global step=38678528, episodic return=2376.3095703125\n", + "global step=38678528, episodic return=2364.579833984375\n", + "global step=38678528, episodic return=2270.43212890625\n", + "global step=38680576, episodic return=2273.107666015625\n", + "global step=38680576, episodic return=2390.11572265625\n", + "global step=38680576, episodic return=114.22944641113281\n", + "global step=38680576, episodic return=2370.608642578125\n", + "global step=38680576, episodic return=2376.54443359375\n", + "global step=38680576, episodic return=1766.9866943359375\n", + "global step=38682624, episodic return=2300.35546875\n", + "global step=38682624, episodic return=2350.417236328125\n", + "global step=38682624, episodic return=2250.398193359375\n", + "global step=38684672, episodic return=1570.255859375\n", + "global step=38684672, episodic return=2420.330810546875\n", + "global step=38684672, episodic return=972.78955078125\n", + "global step=38688768, episodic return=2362.6533203125\n", + "global step=38690816, episodic return=2364.68603515625\n", + "global step=38690816, episodic return=2368.859375\n", + "global step=38692864, episodic return=2398.26416015625\n", + "global step=38692864, episodic return=2327.864990234375\n", + "global step=38696960, episodic return=2338.568359375\n", + "global step=38696960, episodic return=286.5575866699219\n", + "global step=38696960, episodic return=2241.856689453125\n", + "global step=38696960, episodic return=2307.239013671875\n", + "global step=38696960, episodic return=1952.4906005859375\n", + "global step=38699008, episodic return=2330.531494140625\n", + "global step=38699008, episodic return=2443.57666015625\n", + "global step=38699008, episodic return=2247.951416015625\n", + "global step=38703104, episodic return=2324.742431640625\n", + "global step=38703104, episodic return=2386.900390625\n", + "global step=38703104, episodic return=2324.73876953125\n", + "global step=38703104, episodic return=2333.394775390625\n", + "global step=38705152, episodic return=2408.672607421875\n", + "global step=38705152, episodic return=2433.7451171875\n", + "global step=38705152, episodic return=2396.320068359375\n", + "global step=38707200, episodic return=2320.0478515625\n", + "global step=38707200, episodic return=2420.96630859375\n", + "global step=38709248, episodic return=2318.0859375\n", + "global step=38709248, episodic return=2407.347412109375\n", + "global step=38709248, episodic return=2258.213623046875\n", + "global step=38709248, episodic return=2406.4716796875\n", + "global step=38709248, episodic return=2300.24462890625\n", + "global step=38709248, episodic return=2298.025146484375\n", + "global step=38711296, episodic return=2291.753662109375\n", + "global step=38711296, episodic return=2347.046875\n", + "global step=38711296, episodic return=2396.11083984375\n", + "global step=38717440, episodic return=2334.8994140625\n", + "global step=38719488, episodic return=2385.47314453125\n", + "global step=38719488, episodic return=671.0620727539062\n", + "global step=38719488, episodic return=2314.11962890625\n", + "global step=38719488, episodic return=2296.4345703125\n", + "global step=38721536, episodic return=1597.02783203125\n", + "global step=38721536, episodic return=2100.9208984375\n", + "global step=38721536, episodic return=2372.630126953125\n", + "global step=38721536, episodic return=2223.245849609375\n", + "global step=38723584, episodic return=1560.0511474609375\n", + "global step=38723584, episodic return=2347.429443359375\n", + "global step=38723584, episodic return=2397.609375\n", + "global step=38723584, episodic return=1248.52490234375\n", + "global step=38725632, episodic return=2320.21826171875\n", + "global step=38725632, episodic return=2362.240478515625\n", + "global step=38725632, episodic return=2416.86328125\n", + "global step=38725632, episodic return=2308.1123046875\n", + "global step=38727680, episodic return=2442.68798828125\n", + "global step=38727680, episodic return=2380.008544921875\n", + "global step=38729728, episodic return=1390.182861328125\n", + "global step=38729728, episodic return=2093.898681640625\n", + "global step=38729728, episodic return=2372.229736328125\n", + "global step=38729728, episodic return=2041.2467041015625\n", + "global step=38731776, episodic return=2353.848388671875\n", + "global step=38731776, episodic return=2439.026611328125\n", + "global step=38733824, episodic return=2339.311279296875\n", + "global step=38733824, episodic return=2416.718017578125\n", + "global step=38735872, episodic return=2349.5205078125\n", + "global step=38735872, episodic return=2235.557373046875\n", + "global step=38735872, episodic return=2312.57470703125\n", + "global step=38737920, episodic return=2403.22998046875\n", + "global step=38737920, episodic return=1641.7108154296875\n", + "global step=38739968, episodic return=2371.6591796875\n", + "global step=38739968, episodic return=1359.8397216796875\n", + "global step=38739968, episodic return=1757.8651123046875\n", + "global step=38739968, episodic return=975.543701171875\n", + "global step=38742016, episodic return=391.56402587890625\n", + "global step=38746112, episodic return=2362.843994140625\n", + "global step=38746112, episodic return=2263.87646484375\n", + "global step=38748160, episodic return=1837.65673828125\n", + "global step=38748160, episodic return=2403.650390625\n", + "global step=38750208, episodic return=1261.015380859375\n", + "global step=38752256, episodic return=1659.6085205078125\n", + "global step=38752256, episodic return=1610.3328857421875\n", + "global step=38752256, episodic return=2345.43115234375\n", + "global step=38752256, episodic return=2276.435546875\n", + "global step=38754304, episodic return=2370.92041015625\n", + "global step=38754304, episodic return=2401.156494140625\n", + "global step=38754304, episodic return=2250.106689453125\n", + "global step=38754304, episodic return=2347.921142578125\n", + "global step=38756352, episodic return=2256.62109375\n", + "global step=38756352, episodic return=2428.536865234375\n", + "global step=38758400, episodic return=2398.116943359375\n", + "global step=38758400, episodic return=2410.71142578125\n", + "global step=38760448, episodic return=2354.447998046875\n", + "global step=38762496, episodic return=1312.3973388671875\n", + "global step=38762496, episodic return=2402.6455078125\n", + "global step=38762496, episodic return=2402.577392578125\n", + "global step=38764544, episodic return=1479.4298095703125\n", + "global step=38764544, episodic return=1158.4708251953125\n", + "global step=38764544, episodic return=2362.416259765625\n", + "global step=38764544, episodic return=2067.57666015625\n", + "global step=38766592, episodic return=1620.7412109375\n", + "global step=38766592, episodic return=2365.84423828125\n", + "global step=38766592, episodic return=2342.021484375\n", + "global step=38768640, episodic return=2342.149658203125\n", + "global step=38770688, episodic return=2433.618408203125\n", + "global step=38770688, episodic return=2378.19921875\n", + "global step=38772736, episodic return=2380.51611328125\n", + "global step=38774784, episodic return=2310.923095703125\n", + "global step=38774784, episodic return=2421.56396484375\n", + "global step=38774784, episodic return=2383.6728515625\n", + "global step=38774784, episodic return=2338.68798828125\n", + "global step=38774784, episodic return=2328.191162109375\n", + "global step=38774784, episodic return=2378.08984375\n", + "global step=38776832, episodic return=2395.51123046875\n", + "global step=38776832, episodic return=1897.869140625\n", + "global step=38776832, episodic return=2272.698486328125\n", + "global step=38776832, episodic return=2365.76904296875\n", + "global step=38776832, episodic return=1699.91552734375\n", + "global step=38778880, episodic return=2309.583740234375\n", + "global step=38778880, episodic return=2389.5595703125\n", + "global step=38778880, episodic return=2344.288818359375\n", + "global step=38780928, episodic return=2328.6171875\n", + "global step=38782976, episodic return=2401.623046875\n", + "global step=38782976, episodic return=1103.19970703125\n", + "global step=38785024, episodic return=2391.6884765625\n", + "global step=38785024, episodic return=2113.237548828125\n", + "global step=38785024, episodic return=2319.13232421875\n", + "global step=38785024, episodic return=2367.84619140625\n", + "global step=38785024, episodic return=2450.330810546875\n", + "global step=38787072, episodic return=2281.19580078125\n", + "global step=38787072, episodic return=2351.660888671875\n", + "global step=38787072, episodic return=1630.0057373046875\n", + "global step=38787072, episodic return=2401.73046875\n", + "global step=38787072, episodic return=1261.2310791015625\n", + "global step=38787072, episodic return=2317.086669921875\n", + "global step=38787072, episodic return=2369.22314453125\n", + "global step=38787072, episodic return=2043.6448974609375\n", + "global step=38789120, episodic return=2392.521484375\n", + "global step=38789120, episodic return=2319.46240234375\n", + "global step=38791168, episodic return=2400.064208984375\n", + "global step=38793216, episodic return=2297.61376953125\n", + "global step=38793216, episodic return=2403.286376953125\n", + "global step=38793216, episodic return=2343.6552734375\n", + "global step=38795264, episodic return=2401.56689453125\n", + "global step=38795264, episodic return=2340.77001953125\n", + "global step=38795264, episodic return=2368.206787109375\n", + "global step=38797312, episodic return=2376.36328125\n", + "global step=38797312, episodic return=2333.41650390625\n", + "global step=38797312, episodic return=2397.216796875\n", + "global step=38797312, episodic return=2422.228271484375\n", + "global step=38797312, episodic return=1157.03662109375\n", + "global step=38797312, episodic return=2385.994384765625\n", + "global step=38799360, episodic return=2371.392822265625\n", + "global step=38799360, episodic return=294.47271728515625\n", + "global step=38799360, episodic return=1774.3726806640625\n", + "global step=38801408, episodic return=2360.84521484375\n", + "global step=38801408, episodic return=2390.04345703125\n", + "global step=38801408, episodic return=2417.67431640625\n", + "global step=38801408, episodic return=2385.189208984375\n", + "global step=38803456, episodic return=928.9757690429688\n", + "global step=38803456, episodic return=29.15989875793457\n", + "global step=38803456, episodic return=2407.392578125\n", + "global step=38803456, episodic return=1458.252685546875\n", + "global step=38803456, episodic return=2404.119140625\n", + "global step=38805504, episodic return=2380.801513671875\n", + "global step=38805504, episodic return=2404.397216796875\n", + "global step=38805504, episodic return=2372.658203125\n", + "global step=38807552, episodic return=44.246761322021484\n", + "global step=38807552, episodic return=2412.84716796875\n", + "global step=38807552, episodic return=2349.694580078125\n", + "global step=38809600, episodic return=2386.062744140625\n", + "global step=38815744, episodic return=2367.7197265625\n", + "global step=38815744, episodic return=2325.2705078125\n", + "global step=38815744, episodic return=2397.750732421875\n", + "global step=38817792, episodic return=2379.449951171875\n", + "global step=38819840, episodic return=2146.12353515625\n", + "global step=38819840, episodic return=2293.438720703125\n", + "global step=38819840, episodic return=2374.510986328125\n", + "global step=38819840, episodic return=2430.718017578125\n", + "global step=38819840, episodic return=2183.107421875\n", + "global step=38821888, episodic return=753.2103271484375\n", + "global step=38821888, episodic return=2340.93603515625\n", + "global step=38821888, episodic return=2407.683837890625\n", + "global step=38821888, episodic return=2436.97216796875\n", + "global step=38821888, episodic return=2384.46826171875\n", + "global step=38821888, episodic return=2335.655517578125\n", + "global step=38821888, episodic return=189.98361206054688\n", + "global step=38821888, episodic return=2292.14306640625\n", + "global step=38821888, episodic return=2306.414794921875\n", + "global step=38821888, episodic return=1995.97216796875\n", + "global step=38825984, episodic return=2370.3271484375\n", + "global step=38825984, episodic return=2394.63427734375\n", + "global step=38828032, episodic return=1790.1473388671875\n", + "global step=38828032, episodic return=2350.380615234375\n", + "global step=38828032, episodic return=765.1884155273438\n", + "global step=38828032, episodic return=2358.264892578125\n", + "global step=38830080, episodic return=633.7379760742188\n", + "global step=38830080, episodic return=2377.421875\n", + "global step=38830080, episodic return=2413.889404296875\n", + "global step=38836224, episodic return=171.8461151123047\n", + "global step=38836224, episodic return=1677.945068359375\n", + "global step=38836224, episodic return=1178.2489013671875\n", + "global step=38836224, episodic return=2295.10693359375\n", + "global step=38838272, episodic return=501.9497375488281\n", + "global step=38838272, episodic return=2383.869140625\n", + "global step=38838272, episodic return=2392.413818359375\n", + "global step=38838272, episodic return=2330.7900390625\n", + "global step=38838272, episodic return=2408.608642578125\n", + "global step=38838272, episodic return=2348.487548828125\n", + "global step=38838272, episodic return=2342.068359375\n", + "global step=38840320, episodic return=2340.587158203125\n", + "global step=38840320, episodic return=2335.8037109375\n", + "global step=38840320, episodic return=695.00390625\n", + "global step=38840320, episodic return=2411.37451171875\n", + "global step=38842368, episodic return=2277.938232421875\n", + "global step=38842368, episodic return=1793.846923828125\n", + "global step=38842368, episodic return=2340.946044921875\n", + "global step=38842368, episodic return=1267.5052490234375\n", + "global step=38844416, episodic return=1381.0950927734375\n", + "global step=38844416, episodic return=2291.53466796875\n", + "global step=38844416, episodic return=2290.389892578125\n", + "global step=38848512, episodic return=987.7982788085938\n", + "global step=38848512, episodic return=2367.584716796875\n", + "global step=38850560, episodic return=2445.007568359375\n", + "global step=38852608, episodic return=1743.6136474609375\n", + "global step=38852608, episodic return=2346.8662109375\n", + "global step=38852608, episodic return=2307.74755859375\n", + "global step=38852608, episodic return=2411.62060546875\n", + "global step=38852608, episodic return=1592.4058837890625\n", + "global step=38854656, episodic return=156.04299926757812\n", + "global step=38854656, episodic return=2283.354736328125\n", + "global step=38854656, episodic return=166.7700653076172\n", + "global step=38856704, episodic return=2406.1806640625\n", + "global step=38856704, episodic return=240.20285034179688\n", + "global step=38856704, episodic return=2380.98388671875\n", + "global step=38858752, episodic return=215.95758056640625\n", + "global step=38858752, episodic return=2371.01025390625\n", + "global step=38858752, episodic return=2354.9296875\n", + "global step=38860800, episodic return=2391.13916015625\n", + "global step=38860800, episodic return=1559.140869140625\n", + "global step=38862848, episodic return=2392.993896484375\n", + "global step=38862848, episodic return=1995.69189453125\n", + "global step=38864896, episodic return=2327.375244140625\n", + "global step=38864896, episodic return=1648.146484375\n", + "global step=38868992, episodic return=2396.51220703125\n", + "global step=38868992, episodic return=1766.3681640625\n", + "global step=38868992, episodic return=294.6486511230469\n", + "global step=38868992, episodic return=2273.983154296875\n", + "global step=38871040, episodic return=1916.0106201171875\n", + "global step=38871040, episodic return=2349.096923828125\n", + "global step=38873088, episodic return=2329.8291015625\n", + "global step=38875136, episodic return=2387.69189453125\n", + "global step=38875136, episodic return=2442.092529296875\n", + "global step=38875136, episodic return=2433.345947265625\n", + "global step=38877184, episodic return=1840.8406982421875\n", + "global step=38877184, episodic return=2325.906982421875\n", + "global step=38877184, episodic return=2453.282470703125\n", + "global step=38877184, episodic return=1925.40234375\n", + "global step=38879232, episodic return=971.3629760742188\n", + "global step=38879232, episodic return=2373.39453125\n", + "global step=38879232, episodic return=2379.79638671875\n", + "global step=38879232, episodic return=2345.995849609375\n", + "global step=38881280, episodic return=2253.8525390625\n", + "global step=38881280, episodic return=2323.7802734375\n", + "global step=38881280, episodic return=2288.958740234375\n", + "global step=38881280, episodic return=2352.28515625\n", + "global step=38881280, episodic return=2377.837158203125\n", + "global step=38883328, episodic return=2348.785400390625\n", + "global step=38883328, episodic return=2265.1962890625\n", + "global step=38885376, episodic return=67.84120178222656\n", + "global step=38885376, episodic return=2332.345703125\n", + "global step=38887424, episodic return=2381.7431640625\n", + "global step=38887424, episodic return=2403.559814453125\n", + "global step=38887424, episodic return=2365.2607421875\n", + "global step=38887424, episodic return=164.54388427734375\n", + "global step=38887424, episodic return=2355.36669921875\n", + "global step=38889472, episodic return=2398.283447265625\n", + "global step=38889472, episodic return=2432.554931640625\n", + "global step=38889472, episodic return=2293.400634765625\n", + "global step=38889472, episodic return=2376.4716796875\n", + "global step=38891520, episodic return=2297.11474609375\n", + "global step=38891520, episodic return=2299.255126953125\n", + "global step=38893568, episodic return=2358.776123046875\n", + "global step=38893568, episodic return=2410.359375\n", + "global step=38895616, episodic return=2397.861328125\n", + "global step=38895616, episodic return=2391.550537109375\n", + "global step=38895616, episodic return=2324.413330078125\n", + "global step=38897664, episodic return=1393.5106201171875\n", + "global step=38897664, episodic return=1320.109375\n", + "global step=38897664, episodic return=2360.11865234375\n", + "global step=38899712, episodic return=1035.25927734375\n", + "global step=38899712, episodic return=273.8377990722656\n", + "global step=38899712, episodic return=2359.8671875\n", + "global step=38899712, episodic return=2339.548828125\n", + "global step=38899712, episodic return=2341.58056640625\n", + "global step=38899712, episodic return=2464.89697265625\n", + "global step=38899712, episodic return=184.18832397460938\n", + "global step=38901760, episodic return=2389.525634765625\n", + "global step=38901760, episodic return=2298.1845703125\n", + "global step=38901760, episodic return=943.3939819335938\n", + "global step=38901760, episodic return=2345.589599609375\n", + "global step=38903808, episodic return=2320.281005859375\n", + "global step=38903808, episodic return=2421.137451171875\n", + "global step=38905856, episodic return=2310.450927734375\n", + "global step=38905856, episodic return=197.92311096191406\n", + "global step=38905856, episodic return=2405.33740234375\n", + "global step=38907904, episodic return=276.71087646484375\n", + "global step=38907904, episodic return=1531.90673828125\n", + "global step=38907904, episodic return=674.7963256835938\n", + "global step=38909952, episodic return=2397.22607421875\n", + "global step=38909952, episodic return=939.8037719726562\n", + "global step=38912000, episodic return=1472.445556640625\n", + "global step=38912000, episodic return=2318.260986328125\n", + "global step=38912000, episodic return=740.49560546875\n", + "global step=38918144, episodic return=2371.0732421875\n", + "global step=38920192, episodic return=2390.4375\n", + "global step=38920192, episodic return=1384.0760498046875\n", + "global step=38922240, episodic return=2327.3662109375\n", + "global step=38922240, episodic return=1011.9508056640625\n", + "global step=38922240, episodic return=2311.806884765625\n", + "global step=38922240, episodic return=2303.5458984375\n", + "global step=38924288, episodic return=2415.059814453125\n", + "global step=38926336, episodic return=2406.901611328125\n", + "global step=38926336, episodic return=2294.968505859375\n", + "global step=38926336, episodic return=2343.558837890625\n", + "global step=38928384, episodic return=2300.645751953125\n", + "global step=38928384, episodic return=2336.698486328125\n", + "global step=38930432, episodic return=621.2166137695312\n", + "global step=38930432, episodic return=2332.902099609375\n", + "global step=38930432, episodic return=2379.7373046875\n", + "global step=38930432, episodic return=78.12208557128906\n", + "global step=38932480, episodic return=1093.0030517578125\n", + "global step=38934528, episodic return=2404.16162109375\n", + "global step=38934528, episodic return=2362.755859375\n", + "global step=38936576, episodic return=2332.969482421875\n", + "global step=38938624, episodic return=2360.43408203125\n", + "global step=38938624, episodic return=2344.272216796875\n", + "global step=38938624, episodic return=2271.02490234375\n", + "global step=38938624, episodic return=1488.98974609375\n", + "global step=38938624, episodic return=2368.21337890625\n", + "global step=38940672, episodic return=2321.275634765625\n", + "global step=38940672, episodic return=1193.2705078125\n", + "global step=38940672, episodic return=1442.0379638671875\n", + "global step=38944768, episodic return=2294.12548828125\n", + "global step=38944768, episodic return=2340.540771484375\n", + "global step=38944768, episodic return=2389.420654296875\n", + "global step=38944768, episodic return=2285.988037109375\n", + "global step=38944768, episodic return=2451.885986328125\n", + "global step=38948864, episodic return=2313.068359375\n", + "global step=38948864, episodic return=2267.252197265625\n", + "global step=38948864, episodic return=2349.86669921875\n", + "global step=38948864, episodic return=2305.328125\n", + "global step=38950912, episodic return=2404.512939453125\n", + "global step=38950912, episodic return=2402.47314453125\n", + "global step=38952960, episodic return=2336.416748046875\n", + "global step=38952960, episodic return=2359.37646484375\n", + "global step=38952960, episodic return=2366.806640625\n", + "global step=38952960, episodic return=2399.998291015625\n", + "global step=38955008, episodic return=2372.817138671875\n", + "global step=38955008, episodic return=2378.68017578125\n", + "global step=38955008, episodic return=717.495361328125\n", + "global step=38957056, episodic return=2371.400146484375\n", + "global step=38957056, episodic return=2404.5302734375\n", + "global step=38957056, episodic return=269.6318664550781\n", + "global step=38957056, episodic return=2374.007568359375\n", + "global step=38961152, episodic return=2298.221435546875\n", + "global step=38963200, episodic return=2326.456298828125\n", + "global step=38963200, episodic return=2402.548095703125\n", + "global step=38965248, episodic return=609.8226318359375\n", + "global step=38965248, episodic return=2352.59033203125\n", + "global step=38967296, episodic return=2363.1298828125\n", + "global step=38967296, episodic return=2355.98828125\n", + "global step=38967296, episodic return=2339.615478515625\n", + "global step=38969344, episodic return=2273.396240234375\n", + "global step=38969344, episodic return=380.3002014160156\n", + "global step=38971392, episodic return=2289.74267578125\n", + "global step=38973440, episodic return=1689.632568359375\n", + "global step=38975488, episodic return=2395.967529296875\n", + "global step=38975488, episodic return=2415.117431640625\n", + "global step=38977536, episodic return=2384.843994140625\n", + "global step=38977536, episodic return=1697.50244140625\n", + "global step=38977536, episodic return=2360.9892578125\n", + "global step=38977536, episodic return=2432.88232421875\n", + "global step=38977536, episodic return=2338.844482421875\n", + "global step=38979584, episodic return=2362.6201171875\n", + "global step=38979584, episodic return=2381.1044921875\n", + "global step=38985728, episodic return=2405.189208984375\n", + "global step=38985728, episodic return=2319.55712890625\n", + "global step=38985728, episodic return=2323.42919921875\n", + "global step=38985728, episodic return=2404.496337890625\n", + "global step=38985728, episodic return=2377.79443359375\n", + "global step=38989824, episodic return=2341.58837890625\n", + "global step=38989824, episodic return=354.8978271484375\n", + "global step=38989824, episodic return=2413.275146484375\n", + "global step=38991872, episodic return=2269.1044921875\n", + "global step=38991872, episodic return=2398.691162109375\n", + "global step=38991872, episodic return=2367.81591796875\n", + "global step=38991872, episodic return=2337.55126953125\n", + "global step=38993920, episodic return=2378.391845703125\n", + "global step=38995968, episodic return=190.97137451171875\n", + "global step=38995968, episodic return=2382.96728515625\n", + "global step=38995968, episodic return=2376.1826171875\n", + "global step=38995968, episodic return=2289.995361328125\n", + "global step=38998016, episodic return=2360.06787109375\n", + "global step=38998016, episodic return=2331.429443359375\n", + "global step=38998016, episodic return=2324.924560546875\n", + "global step=39000064, episodic return=1561.0587158203125\n", + "global step=39000064, episodic return=2338.325927734375\n", + "global step=39000064, episodic return=2298.111083984375\n", + "global step=39002112, episodic return=2397.59765625\n", + "global step=39002112, episodic return=832.5750122070312\n", + "global step=39002112, episodic return=2197.80517578125\n", + "global step=39002112, episodic return=2304.292724609375\n", + "global step=39004160, episodic return=2360.552490234375\n", + "global step=39004160, episodic return=2300.607177734375\n", + "global step=39006208, episodic return=2331.4658203125\n", + "global step=39006208, episodic return=2376.182861328125\n", + "global step=39006208, episodic return=2334.656005859375\n", + "global step=39006208, episodic return=2406.041259765625\n", + "global step=39008256, episodic return=2374.103759765625\n", + "global step=39008256, episodic return=2384.04541015625\n", + "global step=39008256, episodic return=2331.01513671875\n", + "global step=39008256, episodic return=2357.83154296875\n", + "global step=39010304, episodic return=2020.7933349609375\n", + "global step=39010304, episodic return=2307.4072265625\n", + "global step=39012352, episodic return=2335.64404296875\n", + "global step=39012352, episodic return=2277.5693359375\n", + "global step=39014400, episodic return=2331.27294921875\n", + "global step=39014400, episodic return=2375.44140625\n", + "global step=39014400, episodic return=2440.4208984375\n", + "global step=39014400, episodic return=14.616482734680176\n", + "global step=39016448, episodic return=2436.40087890625\n", + "global step=39018496, episodic return=2353.77001953125\n", + "global step=39018496, episodic return=2399.546630859375\n", + "global step=39022592, episodic return=2357.76171875\n", + "global step=39022592, episodic return=2355.249267578125\n", + "global step=39024640, episodic return=2374.117431640625\n", + "global step=39026688, episodic return=2376.03125\n", + "global step=39026688, episodic return=1994.491943359375\n", + "global step=39026688, episodic return=2335.4765625\n", + "global step=39028736, episodic return=2367.522216796875\n", + "global step=39028736, episodic return=2358.123046875\n", + "global step=39028736, episodic return=2359.832763671875\n", + "global step=39028736, episodic return=1960.1378173828125\n", + "global step=39030784, episodic return=2442.208251953125\n", + "global step=39030784, episodic return=2322.56396484375\n", + "global step=39030784, episodic return=2342.154052734375\n", + "global step=39032832, episodic return=2348.973876953125\n", + "global step=39032832, episodic return=2386.97900390625\n", + "global step=39034880, episodic return=2287.835205078125\n", + "global step=39036928, episodic return=2398.37841796875\n", + "global step=39036928, episodic return=2348.02490234375\n", + "global step=39036928, episodic return=2474.72119140625\n", + "global step=39038976, episodic return=2348.173583984375\n", + "global step=39041024, episodic return=201.91592407226562\n", + "global step=39041024, episodic return=2357.986328125\n", + "global step=39043072, episodic return=2332.000244140625\n", + "global step=39043072, episodic return=1612.083251953125\n", + "global step=39043072, episodic return=2422.4130859375\n", + "global step=39045120, episodic return=147.8155517578125\n", + "global step=39045120, episodic return=2356.612060546875\n", + "global step=39045120, episodic return=2345.005126953125\n", + "global step=39045120, episodic return=2436.272705078125\n", + "global step=39045120, episodic return=2254.31982421875\n", + "global step=39045120, episodic return=2373.84033203125\n", + "global step=39047168, episodic return=228.32022094726562\n", + "global step=39049216, episodic return=2393.825439453125\n", + "global step=39049216, episodic return=2383.77392578125\n", + "global step=39049216, episodic return=2452.227294921875\n", + "global step=39051264, episodic return=2371.4580078125\n", + "global step=39051264, episodic return=473.5410461425781\n", + "global step=39051264, episodic return=2362.114501953125\n", + "global step=39051264, episodic return=2355.716796875\n", + "global step=39051264, episodic return=2397.1904296875\n", + "global step=39053312, episodic return=2430.340087890625\n", + "global step=39053312, episodic return=2365.96533203125\n", + "global step=39053312, episodic return=2344.853271484375\n", + "global step=39055360, episodic return=2402.252685546875\n", + "global step=39057408, episodic return=2380.49365234375\n", + "global step=39057408, episodic return=2327.15673828125\n", + "global step=39057408, episodic return=2415.316650390625\n", + "global step=39057408, episodic return=2395.31005859375\n", + "global step=39059456, episodic return=2378.119384765625\n", + "global step=39059456, episodic return=2328.331787109375\n", + "global step=39061504, episodic return=2395.835205078125\n", + "global step=39061504, episodic return=1600.9537353515625\n", + "global step=39063552, episodic return=2420.099853515625\n", + "global step=39065600, episodic return=2414.574462890625\n", + "global step=39065600, episodic return=1825.8475341796875\n", + "global step=39065600, episodic return=1305.1043701171875\n", + "global step=39065600, episodic return=2315.5888671875\n", + "global step=39067648, episodic return=1891.5880126953125\n", + "global step=39067648, episodic return=2378.693603515625\n", + "global step=39067648, episodic return=2425.5048828125\n", + "global step=39069696, episodic return=2424.682373046875\n", + "global step=39069696, episodic return=2294.147705078125\n", + "global step=39071744, episodic return=2392.490478515625\n", + "global step=39071744, episodic return=2402.517578125\n", + "global step=39071744, episodic return=2407.398681640625\n", + "global step=39073792, episodic return=2409.06103515625\n", + "global step=39073792, episodic return=2395.557373046875\n", + "global step=39075840, episodic return=2396.851806640625\n", + "global step=39075840, episodic return=2416.8740234375\n", + "global step=39075840, episodic return=2408.572998046875\n", + "global step=39077888, episodic return=2359.936279296875\n", + "global step=39077888, episodic return=2365.781494140625\n", + "global step=39077888, episodic return=2377.05029296875\n", + "global step=39079936, episodic return=2343.9755859375\n", + "global step=39079936, episodic return=2322.756103515625\n", + "global step=39081984, episodic return=2389.65869140625\n", + "global step=39081984, episodic return=2352.40283203125\n", + "global step=39081984, episodic return=2477.171875\n", + "global step=39081984, episodic return=2392.35009765625\n", + "global step=39081984, episodic return=2381.599609375\n", + "global step=39088128, episodic return=2391.973388671875\n", + "global step=39088128, episodic return=2322.0712890625\n", + "global step=39090176, episodic return=2337.03271484375\n", + "global step=39090176, episodic return=2309.76953125\n", + "global step=39094272, episodic return=2069.214599609375\n", + "global step=39094272, episodic return=2350.375244140625\n", + "global step=39094272, episodic return=1653.6314697265625\n", + "global step=39100416, episodic return=2066.463134765625\n", + "global step=39100416, episodic return=2343.079345703125\n", + "global step=39100416, episodic return=2405.688232421875\n", + "global step=39100416, episodic return=2372.76904296875\n", + "global step=39102464, episodic return=2379.552734375\n", + "global step=39104512, episodic return=1926.9642333984375\n", + "global step=39104512, episodic return=2434.6484375\n", + "global step=39106560, episodic return=2401.125244140625\n", + "global step=39106560, episodic return=1333.19482421875\n", + "global step=39106560, episodic return=2469.172119140625\n", + "global step=39108608, episodic return=2391.26123046875\n", + "global step=39110656, episodic return=2382.7353515625\n", + "global step=39110656, episodic return=2340.27880859375\n", + "global step=39110656, episodic return=2414.4287109375\n", + "global step=39112704, episodic return=2379.51953125\n", + "global step=39116800, episodic return=2364.102783203125\n", + "global step=39116800, episodic return=2178.793701171875\n", + "global step=39118848, episodic return=112.22173309326172\n", + "global step=39118848, episodic return=2274.5771484375\n", + "global step=39118848, episodic return=2419.1171875\n", + "global step=39120896, episodic return=2400.924560546875\n", + "global step=39120896, episodic return=2390.74365234375\n", + "global step=39120896, episodic return=2374.6171875\n", + "global step=39120896, episodic return=2434.39990234375\n", + "global step=39122944, episodic return=2435.05859375\n", + "global step=39124992, episodic return=636.6823120117188\n", + "global step=39124992, episodic return=1607.756591796875\n", + "global step=39129088, episodic return=1374.5721435546875\n", + "global step=39131136, episodic return=2393.9208984375\n", + "global step=39133184, episodic return=667.5899047851562\n", + "global step=39133184, episodic return=2341.082763671875\n", + "global step=39137280, episodic return=2296.765380859375\n", + "global step=39137280, episodic return=2332.884033203125\n", + "global step=39137280, episodic return=2385.094482421875\n", + "global step=39139328, episodic return=2422.241943359375\n", + "global step=39139328, episodic return=2364.703125\n", + "global step=39139328, episodic return=2280.17333984375\n", + "global step=39141376, episodic return=2116.508544921875\n", + "global step=39143424, episodic return=2381.35498046875\n", + "global step=39145472, episodic return=2370.79296875\n", + "global step=39145472, episodic return=1664.372314453125\n", + "global step=39145472, episodic return=2396.672119140625\n", + "global step=39145472, episodic return=2320.097412109375\n", + "global step=39149568, episodic return=114.17632293701172\n", + "global step=39149568, episodic return=229.62738037109375\n", + "global step=39151616, episodic return=2446.087158203125\n", + "global step=39153664, episodic return=2348.401123046875\n", + "global step=39153664, episodic return=2357.43408203125\n", + "global step=39155712, episodic return=198.9152374267578\n", + "global step=39159808, episodic return=2403.57421875\n", + "global step=39159808, episodic return=2367.18994140625\n", + "global step=39159808, episodic return=2382.97509765625\n", + "global step=39159808, episodic return=2341.022705078125\n", + "global step=39159808, episodic return=161.6898651123047\n", + "global step=39161856, episodic return=2436.365234375\n", + "global step=39161856, episodic return=2398.604248046875\n", + "global step=39163904, episodic return=176.90481567382812\n", + "global step=39163904, episodic return=2159.08251953125\n", + "global step=39165952, episodic return=2148.509765625\n", + "global step=39172096, episodic return=2014.20361328125\n", + "global step=39172096, episodic return=173.4304656982422\n", + "global step=39172096, episodic return=2400.20068359375\n", + "global step=39172096, episodic return=468.0989990234375\n", + "global step=39174144, episodic return=2339.45361328125\n", + "global step=39176192, episodic return=2449.546875\n", + "global step=39176192, episodic return=2363.05908203125\n", + "global step=39178240, episodic return=2296.22998046875\n", + "global step=39178240, episodic return=2313.246826171875\n", + "global step=39178240, episodic return=2334.396240234375\n", + "global step=39178240, episodic return=32.17220687866211\n", + "global step=39180288, episodic return=2399.481689453125\n", + "global step=39180288, episodic return=2331.84619140625\n", + "global step=39180288, episodic return=2330.579345703125\n", + "global step=39182336, episodic return=2342.218017578125\n", + "global step=39182336, episodic return=1098.31787109375\n", + "global step=39182336, episodic return=666.966796875\n", + "global step=39182336, episodic return=2370.43310546875\n", + "global step=39184384, episodic return=2395.79443359375\n", + "global step=39184384, episodic return=2471.047119140625\n", + "global step=39186432, episodic return=2394.215576171875\n", + "global step=39188480, episodic return=2384.468017578125\n", + "global step=39188480, episodic return=2393.267578125\n", + "global step=39188480, episodic return=2387.694091796875\n", + "global step=39188480, episodic return=2308.7001953125\n", + "global step=39190528, episodic return=2391.134033203125\n", + "global step=39192576, episodic return=2368.299560546875\n", + "global step=39192576, episodic return=2334.025390625\n", + "global step=39192576, episodic return=2350.17822265625\n", + "global step=39192576, episodic return=2388.8203125\n", + "global step=39192576, episodic return=2353.1552734375\n", + "global step=39192576, episodic return=2370.727783203125\n", + "global step=39192576, episodic return=2395.858642578125\n", + "global step=39194624, episodic return=2385.7080078125\n", + "global step=39194624, episodic return=2366.375732421875\n", + "global step=39194624, episodic return=2325.967041015625\n", + "global step=39196672, episodic return=2385.28125\n", + "global step=39196672, episodic return=967.2943115234375\n", + "global step=39196672, episodic return=2430.617919921875\n", + "global step=39196672, episodic return=2402.904541015625\n", + "global step=39198720, episodic return=2352.580078125\n", + "global step=39200768, episodic return=2337.3349609375\n", + "global step=39200768, episodic return=2306.281005859375\n", + "global step=39200768, episodic return=2354.711181640625\n", + "global step=39200768, episodic return=2385.824462890625\n", + "global step=39202816, episodic return=2359.853515625\n", + "global step=39202816, episodic return=2398.51611328125\n", + "global step=39202816, episodic return=2352.964599609375\n", + "global step=39202816, episodic return=1175.8519287109375\n", + "global step=39202816, episodic return=2324.890869140625\n", + "global step=39204864, episodic return=2345.477783203125\n", + "global step=39204864, episodic return=268.94744873046875\n", + "global step=39204864, episodic return=2384.75732421875\n", + "global step=39204864, episodic return=2401.953369140625\n", + "global step=39206912, episodic return=2402.177001953125\n", + "global step=39206912, episodic return=1054.1170654296875\n", + "global step=39206912, episodic return=761.7872314453125\n", + "global step=39208960, episodic return=2421.33935546875\n", + "global step=39208960, episodic return=2060.121337890625\n", + "global step=39208960, episodic return=2380.6669921875\n", + "global step=39208960, episodic return=2369.372802734375\n", + "global step=39208960, episodic return=24.85060691833496\n", + "global step=39211008, episodic return=2348.802734375\n", + "global step=39211008, episodic return=1955.088134765625\n", + "global step=39211008, episodic return=2430.81787109375\n", + "global step=39211008, episodic return=2328.467041015625\n", + "global step=39213056, episodic return=2407.130615234375\n", + "global step=39213056, episodic return=2408.210205078125\n", + "global step=39215104, episodic return=2325.23291015625\n", + "global step=39215104, episodic return=2334.364990234375\n", + "global step=39215104, episodic return=2290.2216796875\n", + "global step=39217152, episodic return=2417.922119140625\n", + "global step=39219200, episodic return=2366.955810546875\n", + "global step=39219200, episodic return=2316.935791015625\n", + "global step=39219200, episodic return=2383.296630859375\n", + "global step=39221248, episodic return=2425.4482421875\n", + "global step=39221248, episodic return=2392.916259765625\n", + "global step=39221248, episodic return=2305.502197265625\n", + "global step=39221248, episodic return=2334.640869140625\n", + "global step=39221248, episodic return=2426.18505859375\n", + "global step=39221248, episodic return=2346.3056640625\n", + "global step=39221248, episodic return=2403.1962890625\n", + "global step=39223296, episodic return=2442.47119140625\n", + "global step=39223296, episodic return=2428.71923828125\n", + "global step=39223296, episodic return=2306.583984375\n", + "global step=39225344, episodic return=2396.009033203125\n", + "global step=39227392, episodic return=828.083740234375\n", + "global step=39227392, episodic return=2293.347900390625\n", + "global step=39227392, episodic return=2282.896728515625\n", + "global step=39229440, episodic return=2410.294189453125\n", + "global step=39231488, episodic return=2358.4921875\n", + "global step=39231488, episodic return=2390.764892578125\n", + "global step=39233536, episodic return=2387.05859375\n", + "global step=39237632, episodic return=2403.02294921875\n", + "global step=39237632, episodic return=2361.039794921875\n", + "global step=39237632, episodic return=2202.26318359375\n", + "global step=39239680, episodic return=2347.3193359375\n", + "global step=39241728, episodic return=2351.310302734375\n", + "global step=39241728, episodic return=2359.239990234375\n", + "global step=39243776, episodic return=1677.5877685546875\n", + "global step=39245824, episodic return=38.61249542236328\n", + "global step=39247872, episodic return=2380.40380859375\n", + "global step=39247872, episodic return=2363.86767578125\n", + "global step=39247872, episodic return=2383.335205078125\n", + "global step=39249920, episodic return=2358.491943359375\n", + "global step=39251968, episodic return=2315.083984375\n", + "global step=39251968, episodic return=2444.549072265625\n", + "global step=39254016, episodic return=2392.18798828125\n", + "global step=39258112, episodic return=192.71885681152344\n", + "global step=39258112, episodic return=1471.3201904296875\n", + "global step=39258112, episodic return=70.04318237304688\n", + "global step=39262208, episodic return=2392.571533203125\n", + "global step=39262208, episodic return=2335.41650390625\n", + "global step=39264256, episodic return=2426.891357421875\n", + "global step=39264256, episodic return=2398.369384765625\n", + "global step=39264256, episodic return=2388.85107421875\n", + "global step=39264256, episodic return=2435.618408203125\n", + "global step=39264256, episodic return=2445.444580078125\n", + "global step=39264256, episodic return=2394.561767578125\n", + "global step=39264256, episodic return=2363.61474609375\n", + "global step=39264256, episodic return=64.79353332519531\n", + "global step=39266304, episodic return=2404.3427734375\n", + "global step=39270400, episodic return=2385.63330078125\n", + "global step=39270400, episodic return=2367.414306640625\n", + "global step=39272448, episodic return=2417.944580078125\n", + "global step=39272448, episodic return=2355.8037109375\n", + "global step=39272448, episodic return=475.2752990722656\n", + "global step=39272448, episodic return=2404.62109375\n", + "global step=39272448, episodic return=2417.39697265625\n", + "global step=39274496, episodic return=2455.77197265625\n", + "global step=39276544, episodic return=2442.29052734375\n", + "global step=39280640, episodic return=576.7764282226562\n", + "global step=39280640, episodic return=2344.47314453125\n", + "global step=39280640, episodic return=2282.908935546875\n", + "global step=39280640, episodic return=2308.103515625\n", + "global step=39282688, episodic return=2423.330810546875\n", + "global step=39282688, episodic return=2372.9619140625\n", + "global step=39282688, episodic return=2374.97265625\n", + "global step=39284736, episodic return=730.0541381835938\n", + "global step=39286784, episodic return=2396.716552734375\n", + "global step=39286784, episodic return=2442.99951171875\n", + "global step=39286784, episodic return=1553.0897216796875\n", + "global step=39288832, episodic return=2362.427490234375\n", + "global step=39288832, episodic return=1566.861328125\n", + "global step=39288832, episodic return=2387.72900390625\n", + "global step=39288832, episodic return=2470.30517578125\n", + "global step=39290880, episodic return=2384.9052734375\n", + "global step=39290880, episodic return=2361.641357421875\n", + "global step=39290880, episodic return=2362.22900390625\n", + "global step=39290880, episodic return=2370.200927734375\n", + "global step=39290880, episodic return=2336.44580078125\n", + "global step=39290880, episodic return=2381.812255859375\n", + "global step=39294976, episodic return=2398.87353515625\n", + "global step=39294976, episodic return=2401.65869140625\n", + "global step=39294976, episodic return=2364.8701171875\n", + "global step=39297024, episodic return=2429.330322265625\n", + "global step=39297024, episodic return=2448.55712890625\n", + "global step=39299072, episodic return=2400.18115234375\n", + "global step=39299072, episodic return=2330.27978515625\n", + "global step=39299072, episodic return=2387.96142578125\n", + "global step=39301120, episodic return=2355.03125\n", + "global step=39301120, episodic return=879.3147583007812\n", + "global step=39303168, episodic return=1531.3968505859375\n", + "global step=39303168, episodic return=2286.98486328125\n", + "global step=39305216, episodic return=917.1525268554688\n", + "global step=39307264, episodic return=262.69708251953125\n", + "global step=39309312, episodic return=2414.68798828125\n", + "global step=39309312, episodic return=2366.35595703125\n", + "global step=39311360, episodic return=2441.435302734375\n", + "global step=39311360, episodic return=2345.331787109375\n", + "global step=39311360, episodic return=2280.04345703125\n", + "global step=39313408, episodic return=2334.450439453125\n", + "global step=39315456, episodic return=2394.974365234375\n", + "global step=39317504, episodic return=2418.492919921875\n", + "global step=39317504, episodic return=2394.22265625\n", + "global step=39319552, episodic return=2413.0576171875\n", + "global step=39319552, episodic return=2416.755859375\n", + "global step=39319552, episodic return=2391.22900390625\n", + "global step=39323648, episodic return=2376.618408203125\n", + "global step=39323648, episodic return=2425.09228515625\n", + "global step=39325696, episodic return=2353.5830078125\n", + "global step=39327744, episodic return=2378.234619140625\n", + "global step=39327744, episodic return=2418.98095703125\n", + "global step=39329792, episodic return=2375.866943359375\n", + "global step=39329792, episodic return=2327.719482421875\n", + "global step=39331840, episodic return=2384.3984375\n", + "global step=39335936, episodic return=1932.587158203125\n", + "global step=39337984, episodic return=2365.943115234375\n", + "global step=39337984, episodic return=2455.0693359375\n", + "global step=39337984, episodic return=2378.18603515625\n", + "global step=39337984, episodic return=2454.69140625\n", + "global step=39340032, episodic return=2423.1162109375\n", + "global step=39340032, episodic return=488.07537841796875\n", + "global step=39342080, episodic return=1736.821044921875\n", + "global step=39342080, episodic return=2356.3642578125\n", + "global step=39344128, episodic return=2411.081787109375\n", + "global step=39344128, episodic return=2384.688232421875\n", + "global step=39346176, episodic return=2416.3251953125\n", + "global step=39348224, episodic return=2352.981201171875\n", + "global step=39348224, episodic return=2345.455810546875\n", + "global step=39350272, episodic return=2362.4755859375\n", + "global step=39350272, episodic return=2320.30322265625\n", + "global step=39356416, episodic return=2382.4033203125\n", + "global step=39358464, episodic return=2319.680908203125\n", + "global step=39358464, episodic return=2378.903076171875\n", + "global step=39360512, episodic return=1839.5325927734375\n", + "global step=39360512, episodic return=1519.3243408203125\n", + "global step=39360512, episodic return=2359.51123046875\n", + "global step=39360512, episodic return=2347.207275390625\n", + "global step=39362560, episodic return=2428.091796875\n", + "global step=39362560, episodic return=2387.50927734375\n", + "global step=39364608, episodic return=2416.43212890625\n", + "global step=39364608, episodic return=2438.40869140625\n", + "global step=39366656, episodic return=2373.255615234375\n", + "global step=39368704, episodic return=2419.61962890625\n", + "global step=39368704, episodic return=534.8825073242188\n", + "global step=39368704, episodic return=2393.076904296875\n", + "global step=39370752, episodic return=2348.382568359375\n", + "global step=39370752, episodic return=2442.67919921875\n", + "global step=39370752, episodic return=863.48291015625\n", + "global step=39372800, episodic return=1616.72509765625\n", + "global step=39374848, episodic return=2422.373291015625\n", + "global step=39374848, episodic return=583.3160400390625\n", + "global step=39374848, episodic return=2364.50537109375\n", + "global step=39374848, episodic return=2418.89697265625\n", + "global step=39376896, episodic return=444.7382507324219\n", + "global step=39380992, episodic return=2403.9794921875\n", + "global step=39380992, episodic return=2384.114501953125\n", + "global step=39383040, episodic return=2386.753662109375\n", + "global step=39383040, episodic return=2361.485595703125\n", + "global step=39387136, episodic return=2360.5029296875\n", + "global step=39387136, episodic return=2369.776123046875\n", + "global step=39389184, episodic return=70.00826263427734\n", + "global step=39389184, episodic return=2407.43896484375\n", + "global step=39391232, episodic return=1857.64111328125\n", + "global step=39391232, episodic return=2379.907470703125\n", + "global step=39391232, episodic return=2354.917724609375\n", + "global step=39393280, episodic return=2363.14501953125\n", + "global step=39395328, episodic return=2321.43310546875\n", + "global step=39395328, episodic return=2339.199951171875\n", + "global step=39395328, episodic return=2357.369384765625\n", + "global step=39395328, episodic return=2397.604248046875\n", + "global step=39397376, episodic return=2344.5361328125\n", + "global step=39397376, episodic return=668.136962890625\n", + "global step=39399424, episodic return=2291.792236328125\n", + "global step=39401472, episodic return=372.5163879394531\n", + "global step=39403520, episodic return=2461.82080078125\n", + "global step=39403520, episodic return=714.8213500976562\n", + "global step=39403520, episodic return=175.44522094726562\n", + "global step=39405568, episodic return=2392.977294921875\n", + "global step=39405568, episodic return=2437.851318359375\n", + "global step=39407616, episodic return=2381.7783203125\n", + "global step=39407616, episodic return=2405.23779296875\n", + "global step=39407616, episodic return=2343.97802734375\n", + "global step=39407616, episodic return=2370.6318359375\n", + "global step=39409664, episodic return=2269.526611328125\n", + "global step=39409664, episodic return=2342.39697265625\n", + "global step=39411712, episodic return=2282.17626953125\n", + "global step=39413760, episodic return=2399.38427734375\n", + "global step=39417856, episodic return=2334.041015625\n", + "global step=39417856, episodic return=2352.31396484375\n", + "global step=39417856, episodic return=2417.037109375\n", + "global step=39419904, episodic return=1259.271728515625\n", + "global step=39419904, episodic return=2341.720458984375\n", + "global step=39419904, episodic return=2376.36279296875\n", + "global step=39419904, episodic return=176.9668426513672\n", + "global step=39421952, episodic return=2381.38623046875\n", + "global step=39421952, episodic return=2425.90478515625\n", + "global step=39424000, episodic return=2354.800537109375\n", + "global step=39424000, episodic return=2334.853759765625\n", + "global step=39426048, episodic return=1213.7957763671875\n", + "global step=39426048, episodic return=2401.354736328125\n", + "global step=39426048, episodic return=906.0021362304688\n", + "global step=39426048, episodic return=2329.012451171875\n", + "global step=39428096, episodic return=2335.663330078125\n", + "global step=39428096, episodic return=2407.377197265625\n", + "global step=39432192, episodic return=1325.4327392578125\n", + "global step=39434240, episodic return=2410.7421875\n", + "global step=39434240, episodic return=2329.172119140625\n", + "global step=39434240, episodic return=732.7235717773438\n", + "global step=39434240, episodic return=2309.132568359375\n", + "global step=39436288, episodic return=2359.11474609375\n", + "global step=39436288, episodic return=2368.240234375\n", + "global step=39436288, episodic return=2362.529052734375\n", + "global step=39436288, episodic return=2469.658935546875\n", + "global step=39438336, episodic return=2462.464111328125\n", + "global step=39440384, episodic return=2332.2275390625\n", + "global step=39440384, episodic return=2384.437744140625\n", + "global step=39442432, episodic return=2425.826904296875\n", + "global step=39444480, episodic return=2312.576416015625\n", + "global step=39444480, episodic return=2407.81884765625\n", + "global step=39444480, episodic return=2417.513427734375\n", + "global step=39446528, episodic return=2364.043701171875\n", + "global step=39446528, episodic return=2157.115966796875\n", + "global step=39446528, episodic return=2366.32177734375\n", + "global step=39446528, episodic return=500.2132873535156\n", + "global step=39448576, episodic return=2449.003173828125\n", + "global step=39448576, episodic return=2305.900390625\n", + "global step=39448576, episodic return=2345.569091796875\n", + "global step=39450624, episodic return=2434.5732421875\n", + "global step=39450624, episodic return=312.741455078125\n", + "global step=39450624, episodic return=2399.614501953125\n", + "global step=39450624, episodic return=2269.982177734375\n", + "global step=39450624, episodic return=2333.62841796875\n", + "global step=39450624, episodic return=2362.724609375\n", + "global step=39452672, episodic return=2439.737060546875\n", + "global step=39452672, episodic return=2417.13330078125\n", + "global step=39452672, episodic return=2388.634033203125\n", + "global step=39454720, episodic return=2356.2880859375\n", + "global step=39454720, episodic return=2434.475341796875\n", + "global step=39456768, episodic return=2386.490234375\n", + "global step=39456768, episodic return=2339.043701171875\n", + "global step=39456768, episodic return=2306.8828125\n", + "global step=39456768, episodic return=2411.618896484375\n", + "global step=39458816, episodic return=2415.06298828125\n", + "global step=39458816, episodic return=2361.765869140625\n", + "global step=39458816, episodic return=2348.8076171875\n", + "global step=39458816, episodic return=2420.082275390625\n", + "global step=39460864, episodic return=2320.986572265625\n", + "global step=39460864, episodic return=2380.88916015625\n", + "global step=39460864, episodic return=683.7982788085938\n", + "global step=39460864, episodic return=2404.25\n", + "global step=39460864, episodic return=2419.44287109375\n", + "global step=39460864, episodic return=2423.676025390625\n", + "global step=39462912, episodic return=2404.44384765625\n", + "global step=39462912, episodic return=1182.14892578125\n", + "global step=39462912, episodic return=2181.567138671875\n", + "global step=39462912, episodic return=634.1405029296875\n", + "global step=39462912, episodic return=2424.218017578125\n", + "global step=39467008, episodic return=2375.931396484375\n", + "global step=39469056, episodic return=2376.829833984375\n", + "global step=39469056, episodic return=2369.591552734375\n", + "global step=39471104, episodic return=2340.454345703125\n", + "global step=39471104, episodic return=2369.192138671875\n", + "global step=39471104, episodic return=2317.859619140625\n", + "global step=39471104, episodic return=2402.364013671875\n", + "global step=39471104, episodic return=2464.12744140625\n", + "global step=39471104, episodic return=2383.401611328125\n", + "global step=39473152, episodic return=2399.623779296875\n", + "global step=39475200, episodic return=2451.216796875\n", + "global step=39475200, episodic return=2448.107177734375\n", + "global step=39475200, episodic return=2413.055908203125\n", + "global step=39475200, episodic return=2381.557373046875\n", + "global step=39475200, episodic return=2395.457763671875\n", + "global step=39475200, episodic return=2420.44384765625\n", + "global step=39477248, episodic return=2440.4765625\n", + "global step=39477248, episodic return=2452.411865234375\n", + "global step=39477248, episodic return=2388.884033203125\n", + "global step=39477248, episodic return=2394.74609375\n", + "global step=39477248, episodic return=2421.942626953125\n", + "global step=39479296, episodic return=2321.091064453125\n", + "global step=39479296, episodic return=66.7411117553711\n", + "global step=39479296, episodic return=2390.130859375\n", + "global step=39479296, episodic return=2357.33642578125\n", + "global step=39479296, episodic return=2424.626220703125\n", + "global step=39481344, episodic return=327.53131103515625\n", + "global step=39481344, episodic return=2368.236328125\n", + "global step=39481344, episodic return=2422.31396484375\n", + "global step=39483392, episodic return=2393.9150390625\n", + "global step=39483392, episodic return=2412.4580078125\n", + "global step=39483392, episodic return=2419.34619140625\n", + "global step=39483392, episodic return=2422.2412109375\n", + "global step=39483392, episodic return=2456.876220703125\n", + "global step=39483392, episodic return=1284.3829345703125\n", + "global step=39485440, episodic return=2424.03173828125\n", + "global step=39485440, episodic return=2404.686279296875\n", + "global step=39485440, episodic return=2319.48681640625\n", + "global step=39487488, episodic return=2308.340087890625\n", + "global step=39487488, episodic return=2303.70361328125\n", + "global step=39487488, episodic return=2196.37939453125\n", + "global step=39487488, episodic return=2361.24462890625\n", + "global step=39489536, episodic return=2274.92626953125\n", + "global step=39489536, episodic return=2310.07373046875\n", + "global step=39489536, episodic return=2347.259033203125\n", + "global step=39491584, episodic return=2381.537841796875\n", + "global step=39491584, episodic return=2379.337158203125\n", + "global step=39493632, episodic return=2385.82373046875\n", + "global step=39493632, episodic return=2403.1103515625\n", + "global step=39495680, episodic return=1281.98095703125\n", + "global step=39495680, episodic return=2455.9609375\n", + "global step=39495680, episodic return=2434.3857421875\n", + "global step=39495680, episodic return=2334.994140625\n", + "global step=39497728, episodic return=2385.390869140625\n", + "global step=39497728, episodic return=2426.954833984375\n", + "global step=39499776, episodic return=2472.82861328125\n", + "global step=39501824, episodic return=2370.3310546875\n", + "global step=39501824, episodic return=2328.58984375\n", + "global step=39501824, episodic return=52.121437072753906\n", + "global step=39503872, episodic return=2411.513427734375\n", + "global step=39503872, episodic return=466.04742431640625\n", + "global step=39503872, episodic return=2466.9423828125\n", + "global step=39505920, episodic return=2397.486083984375\n", + "global step=39505920, episodic return=1234.885986328125\n", + "global step=39505920, episodic return=2378.443359375\n", + "global step=39507968, episodic return=46.51060485839844\n", + "global step=39510016, episodic return=395.7779541015625\n", + "global step=39510016, episodic return=2442.1572265625\n", + "global step=39510016, episodic return=2338.29833984375\n", + "global step=39510016, episodic return=2398.045654296875\n", + "global step=39510016, episodic return=2482.68505859375\n", + "global step=39512064, episodic return=2414.015869140625\n", + "global step=39514112, episodic return=35.11907958984375\n", + "global step=39514112, episodic return=2379.592529296875\n", + "global step=39514112, episodic return=2420.620849609375\n", + "global step=39514112, episodic return=2356.58642578125\n", + "global step=39514112, episodic return=2403.913330078125\n", + "global step=39516160, episodic return=879.5265502929688\n", + "global step=39516160, episodic return=2388.142822265625\n", + "global step=39516160, episodic return=2350.579833984375\n", + "global step=39518208, episodic return=2369.728515625\n", + "global step=39518208, episodic return=2314.940185546875\n", + "global step=39518208, episodic return=2441.79931640625\n", + "global step=39518208, episodic return=2421.04248046875\n", + "global step=39520256, episodic return=1807.9083251953125\n", + "global step=39520256, episodic return=2386.000732421875\n", + "global step=39520256, episodic return=2415.991455078125\n", + "global step=39520256, episodic return=2408.230712890625\n", + "global step=39520256, episodic return=2341.314208984375\n", + "global step=39522304, episodic return=2409.222900390625\n", + "global step=39522304, episodic return=2415.228271484375\n", + "global step=39524352, episodic return=2429.503662109375\n", + "global step=39524352, episodic return=1473.1302490234375\n", + "global step=39524352, episodic return=2440.567138671875\n", + "global step=39526400, episodic return=2420.015625\n", + "global step=39526400, episodic return=2392.0244140625\n", + "global step=39526400, episodic return=1330.57373046875\n", + "global step=39528448, episodic return=2379.791259765625\n", + "global step=39530496, episodic return=2402.490478515625\n", + "global step=39530496, episodic return=2409.3359375\n", + "global step=39530496, episodic return=2396.61669921875\n", + "global step=39532544, episodic return=2384.952392578125\n", + "global step=39532544, episodic return=1791.8226318359375\n", + "global step=39534592, episodic return=1450.9661865234375\n", + "global step=39534592, episodic return=2397.0791015625\n", + "global step=39534592, episodic return=2450.328857421875\n", + "global step=39536640, episodic return=875.3262329101562\n", + "global step=39538688, episodic return=2424.44384765625\n", + "global step=39540736, episodic return=2474.670166015625\n", + "global step=39542784, episodic return=2372.005126953125\n", + "global step=39542784, episodic return=2454.415283203125\n", + "global step=39542784, episodic return=2437.13330078125\n", + "global step=39544832, episodic return=2364.203369140625\n", + "global step=39544832, episodic return=2398.314453125\n", + "global step=39544832, episodic return=2425.360107421875\n", + "global step=39544832, episodic return=2437.385986328125\n", + "global step=39546880, episodic return=2444.207763671875\n", + "global step=39546880, episodic return=2455.853271484375\n", + "global step=39548928, episodic return=2398.80224609375\n", + "global step=39548928, episodic return=2409.7724609375\n", + "global step=39550976, episodic return=2416.36669921875\n", + "global step=39550976, episodic return=2452.029541015625\n", + "global step=39550976, episodic return=340.2005615234375\n", + "global step=39550976, episodic return=2423.4560546875\n", + "global step=39553024, episodic return=2460.131591796875\n", + "global step=39555072, episodic return=1711.6949462890625\n", + "global step=39555072, episodic return=2349.437255859375\n", + "global step=39557120, episodic return=2363.623046875\n", + "global step=39557120, episodic return=2350.310546875\n", + "global step=39557120, episodic return=2409.87158203125\n", + "global step=39557120, episodic return=198.53933715820312\n", + "global step=39559168, episodic return=2414.801513671875\n", + "global step=39559168, episodic return=2403.162109375\n", + "global step=39559168, episodic return=2423.03857421875\n", + "global step=39561216, episodic return=2456.104736328125\n", + "global step=39561216, episodic return=2336.477294921875\n", + "global step=39561216, episodic return=2413.596435546875\n", + "global step=39561216, episodic return=135.4404296875\n", + "global step=39563264, episodic return=2386.94091796875\n", + "global step=39563264, episodic return=2378.639892578125\n", + "global step=39565312, episodic return=2383.72705078125\n", + "global step=39565312, episodic return=2349.388427734375\n", + "global step=39565312, episodic return=1100.119384765625\n", + "global step=39565312, episodic return=2384.781494140625\n", + "global step=39567360, episodic return=2436.018310546875\n", + "global step=39567360, episodic return=2396.302001953125\n", + "global step=39567360, episodic return=2430.3427734375\n", + "global step=39569408, episodic return=2416.567138671875\n", + "global step=39569408, episodic return=134.47592163085938\n", + "global step=39571456, episodic return=2420.864501953125\n", + "global step=39573504, episodic return=2388.167236328125\n", + "global step=39573504, episodic return=2419.440185546875\n", + "global step=39575552, episodic return=179.73162841796875\n", + "global step=39575552, episodic return=179.0740203857422\n", + "global step=39577600, episodic return=1051.306884765625\n", + "global step=39579648, episodic return=2413.064697265625\n", + "global step=39581696, episodic return=2405.22802734375\n", + "global step=39581696, episodic return=2336.524658203125\n", + "global step=39585792, episodic return=905.083740234375\n", + "global step=39587840, episodic return=237.23765563964844\n", + "global step=39587840, episodic return=2409.1259765625\n", + "global step=39589888, episodic return=2385.96630859375\n", + "global step=39591936, episodic return=2388.916015625\n", + "global step=39591936, episodic return=2446.03662109375\n", + "global step=39591936, episodic return=2375.850830078125\n", + "global step=39591936, episodic return=2393.861328125\n", + "global step=39593984, episodic return=2356.477783203125\n", + "global step=39596032, episodic return=184.89431762695312\n", + "global step=39596032, episodic return=1200.635986328125\n", + "global step=39598080, episodic return=2358.07861328125\n", + "global step=39598080, episodic return=1541.555908203125\n", + "global step=39598080, episodic return=2338.563232421875\n", + "global step=39600128, episodic return=945.4296875\n", + "global step=39600128, episodic return=487.6724853515625\n", + "global step=39600128, episodic return=1403.1937255859375\n", + "global step=39602176, episodic return=156.9680633544922\n", + "global step=39602176, episodic return=2415.61865234375\n", + "global step=39602176, episodic return=2382.055419921875\n", + "global step=39604224, episodic return=2388.489501953125\n", + "global step=39604224, episodic return=2397.0654296875\n", + "global step=39606272, episodic return=2453.3173828125\n", + "global step=39608320, episodic return=2386.92431640625\n", + "global step=39608320, episodic return=2362.37158203125\n", + "global step=39608320, episodic return=2419.914306640625\n", + "global step=39610368, episodic return=1342.885986328125\n", + "global step=39610368, episodic return=2396.465087890625\n", + "global step=39614464, episodic return=2419.015869140625\n", + "global step=39616512, episodic return=2414.130126953125\n", + "global step=39616512, episodic return=2344.8759765625\n", + "global step=39618560, episodic return=1372.34619140625\n", + "global step=39618560, episodic return=2457.825927734375\n", + "global step=39620608, episodic return=2474.9736328125\n", + "global step=39620608, episodic return=2372.751220703125\n", + "global step=39620608, episodic return=2349.241455078125\n", + "global step=39620608, episodic return=2318.620361328125\n", + "global step=39620608, episodic return=2364.82275390625\n", + "global step=39622656, episodic return=2398.89013671875\n", + "global step=39624704, episodic return=2485.221923828125\n", + "global step=39624704, episodic return=2388.371337890625\n", + "global step=39626752, episodic return=2444.198974609375\n", + "global step=39626752, episodic return=2405.8564453125\n", + "global step=39630848, episodic return=2100.886962890625\n", + "global step=39630848, episodic return=2341.1240234375\n", + "global step=39630848, episodic return=2421.343505859375\n", + "global step=39630848, episodic return=2379.839111328125\n", + "global step=39632896, episodic return=2405.23388671875\n", + "global step=39632896, episodic return=2469.51806640625\n", + "global step=39632896, episodic return=145.56466674804688\n", + "global step=39634944, episodic return=2410.607421875\n", + "global step=39634944, episodic return=64.69771575927734\n", + "global step=39636992, episodic return=2442.408203125\n", + "global step=39636992, episodic return=2407.9833984375\n", + "global step=39636992, episodic return=1416.7392578125\n", + "global step=39639040, episodic return=167.41293334960938\n", + "global step=39639040, episodic return=2403.022216796875\n", + "global step=39641088, episodic return=77.20552825927734\n", + "global step=39641088, episodic return=2393.656005859375\n", + "global step=39645184, episodic return=55.805397033691406\n", + "global step=39647232, episodic return=2350.69384765625\n", + "global step=39649280, episodic return=2398.398681640625\n", + "global step=39651328, episodic return=2313.394287109375\n", + "global step=39651328, episodic return=2454.346435546875\n", + "global step=39651328, episodic return=2421.011962890625\n", + "global step=39651328, episodic return=2427.92578125\n", + "global step=39651328, episodic return=2397.4091796875\n", + "global step=39653376, episodic return=1240.7984619140625\n", + "global step=39653376, episodic return=2405.59619140625\n", + "global step=39655424, episodic return=1837.419189453125\n", + "global step=39655424, episodic return=2444.430419921875\n", + "global step=39657472, episodic return=2413.385009765625\n", + "global step=39661568, episodic return=2367.950927734375\n", + "global step=39663616, episodic return=2356.52783203125\n", + "global step=39665664, episodic return=2371.706298828125\n", + "global step=39667712, episodic return=1532.2652587890625\n", + "global step=39667712, episodic return=2240.31591796875\n", + "global step=39671808, episodic return=2394.0\n", + "global step=39671808, episodic return=2444.646484375\n", + "global step=39671808, episodic return=2446.367431640625\n", + "global step=39673856, episodic return=2421.80859375\n", + "global step=39673856, episodic return=2455.486083984375\n", + "global step=39673856, episodic return=2424.773681640625\n", + "global step=39675904, episodic return=2383.45751953125\n", + "global step=39675904, episodic return=2423.87060546875\n", + "global step=39675904, episodic return=2364.96826171875\n", + "global step=39675904, episodic return=2417.304931640625\n", + "global step=39675904, episodic return=2399.82763671875\n", + "global step=39677952, episodic return=2435.54443359375\n", + "global step=39677952, episodic return=2354.01806640625\n", + "global step=39677952, episodic return=2411.3603515625\n", + "global step=39680000, episodic return=2399.45751953125\n", + "global step=39680000, episodic return=2348.150634765625\n", + "global step=39682048, episodic return=2337.9501953125\n", + "global step=39682048, episodic return=1603.5205078125\n", + "global step=39682048, episodic return=2408.492919921875\n", + "global step=39682048, episodic return=44.51749801635742\n", + "global step=39682048, episodic return=2434.189208984375\n", + "global step=39684096, episodic return=2440.361083984375\n", + "global step=39684096, episodic return=153.73565673828125\n", + "global step=39684096, episodic return=2423.029052734375\n", + "global step=39686144, episodic return=2411.369384765625\n", + "global step=39686144, episodic return=2387.38916015625\n", + "global step=39690240, episodic return=2388.61962890625\n", + "global step=39692288, episodic return=2421.204345703125\n", + "global step=39694336, episodic return=2040.12646484375\n", + "global step=39694336, episodic return=2381.44970703125\n", + "global step=39694336, episodic return=2294.3828125\n", + "global step=39694336, episodic return=2053.617919921875\n", + "global step=39696384, episodic return=2430.83984375\n", + "global step=39696384, episodic return=2416.018310546875\n", + "global step=39696384, episodic return=2388.744140625\n", + "global step=39698432, episodic return=2401.322265625\n", + "global step=39698432, episodic return=2408.4716796875\n", + "global step=39700480, episodic return=2433.051513671875\n", + "global step=39700480, episodic return=2437.76513671875\n", + "global step=39700480, episodic return=2391.479736328125\n", + "global step=39708672, episodic return=2412.754638671875\n", + "global step=39708672, episodic return=2416.259765625\n", + "global step=39710720, episodic return=1173.664306640625\n", + "global step=39710720, episodic return=166.88876342773438\n", + "global step=39710720, episodic return=2437.40478515625\n", + "global step=39710720, episodic return=2402.20166015625\n", + "global step=39712768, episodic return=2432.291259765625\n", + "global step=39712768, episodic return=1717.92333984375\n", + "global step=39712768, episodic return=2361.877685546875\n", + "global step=39716864, episodic return=2469.17822265625\n", + "global step=39716864, episodic return=2371.59912109375\n", + "global step=39716864, episodic return=1341.846923828125\n", + "global step=39718912, episodic return=2424.88134765625\n", + "global step=39718912, episodic return=2429.419189453125\n", + "global step=39720960, episodic return=2353.759765625\n", + "global step=39720960, episodic return=1162.41064453125\n", + "global step=39723008, episodic return=1303.0306396484375\n", + "global step=39723008, episodic return=2409.28076171875\n", + "global step=39723008, episodic return=1019.5308227539062\n", + "global step=39725056, episodic return=2373.551513671875\n", + "global step=39725056, episodic return=2364.537841796875\n", + "global step=39727104, episodic return=2353.74462890625\n", + "global step=39729152, episodic return=2458.041259765625\n", + "global step=39731200, episodic return=2382.58203125\n", + "global step=39733248, episodic return=2426.735107421875\n", + "global step=39733248, episodic return=2284.987548828125\n", + "global step=39733248, episodic return=2349.121337890625\n", + "global step=39737344, episodic return=2458.302001953125\n", + "global step=39739392, episodic return=2428.459228515625\n", + "global step=39739392, episodic return=2428.171630859375\n", + "global step=39741440, episodic return=2373.1796875\n", + "global step=39741440, episodic return=2455.0498046875\n", + "global step=39741440, episodic return=2398.527099609375\n", + "global step=39745536, episodic return=2397.563720703125\n", + "global step=39747584, episodic return=2453.333251953125\n", + "global step=39749632, episodic return=2411.75390625\n", + "global step=39749632, episodic return=57.012672424316406\n", + "global step=39751680, episodic return=2406.155517578125\n", + "global step=39751680, episodic return=55.10871124267578\n", + "global step=39751680, episodic return=2223.75732421875\n", + "global step=39753728, episodic return=2456.1435546875\n", + "global step=39753728, episodic return=2411.914306640625\n", + "global step=39755776, episodic return=2332.847412109375\n", + "global step=39755776, episodic return=2431.423828125\n", + "global step=39755776, episodic return=2426.20556640625\n", + "global step=39759872, episodic return=2362.894287109375\n", + "global step=39759872, episodic return=2364.65576171875\n", + "global step=39759872, episodic return=2417.27734375\n", + "global step=39759872, episodic return=2036.164794921875\n", + "global step=39759872, episodic return=2410.650390625\n", + "global step=39761920, episodic return=2321.916015625\n", + "global step=39761920, episodic return=2390.796875\n", + "global step=39763968, episodic return=2372.3544921875\n", + "global step=39766016, episodic return=2347.363037109375\n", + "global step=39768064, episodic return=496.43646240234375\n", + "global step=39768064, episodic return=2402.94482421875\n", + "global step=39772160, episodic return=2407.1669921875\n", + "global step=39772160, episodic return=2428.539306640625\n", + "global step=39774208, episodic return=2443.968994140625\n", + "global step=39774208, episodic return=2391.77001953125\n", + "global step=39774208, episodic return=2340.16162109375\n", + "global step=39776256, episodic return=2405.426513671875\n", + "global step=39778304, episodic return=2427.770751953125\n", + "global step=39778304, episodic return=2405.588134765625\n", + "global step=39778304, episodic return=2417.512451171875\n", + "global step=39782400, episodic return=2324.513671875\n", + "global step=39782400, episodic return=2447.0166015625\n", + "global step=39784448, episodic return=2471.793701171875\n", + "global step=39786496, episodic return=2356.13525390625\n", + "global step=39786496, episodic return=2392.215576171875\n", + "global step=39788544, episodic return=2343.075439453125\n", + "global step=39788544, episodic return=2431.256591796875\n", + "global step=39790592, episodic return=172.56430053710938\n", + "global step=39790592, episodic return=837.3834838867188\n", + "global step=39790592, episodic return=2356.046142578125\n", + "global step=39792640, episodic return=2436.0966796875\n", + "global step=39794688, episodic return=2362.059326171875\n", + "global step=39794688, episodic return=2471.03125\n", + "global step=39794688, episodic return=1983.9974365234375\n", + "global step=39794688, episodic return=1368.2928466796875\n", + "global step=39794688, episodic return=2413.92626953125\n", + "global step=39796736, episodic return=2373.467529296875\n", + "global step=39796736, episodic return=2413.288818359375\n", + "global step=39798784, episodic return=2448.523681640625\n", + "global step=39798784, episodic return=2435.406494140625\n", + "global step=39800832, episodic return=2434.328125\n", + "global step=39800832, episodic return=2421.740478515625\n", + "global step=39804928, episodic return=2456.180419921875\n", + "global step=39804928, episodic return=15.19659423828125\n", + "global step=39804928, episodic return=2464.021484375\n", + "global step=39804928, episodic return=2365.69482421875\n", + "global step=39809024, episodic return=2417.494384765625\n", + "global step=39809024, episodic return=2480.16552734375\n", + "global step=39809024, episodic return=222.171630859375\n", + "global step=39809024, episodic return=306.9822998046875\n", + "global step=39813120, episodic return=2414.14013671875\n", + "global step=39813120, episodic return=2443.6318359375\n", + "global step=39813120, episodic return=2310.74072265625\n", + "global step=39815168, episodic return=2427.94580078125\n", + "global step=39815168, episodic return=2436.775146484375\n", + "global step=39817216, episodic return=2382.904296875\n", + "global step=39817216, episodic return=2425.115966796875\n", + "global step=39817216, episodic return=2396.6396484375\n", + "global step=39817216, episodic return=2396.12255859375\n", + "global step=39819264, episodic return=2384.57568359375\n", + "global step=39819264, episodic return=2468.668701171875\n", + "global step=39819264, episodic return=2376.8046875\n", + "global step=39819264, episodic return=2374.14892578125\n", + "global step=39821312, episodic return=2371.05615234375\n", + "global step=39823360, episodic return=2431.110107421875\n", + "global step=39823360, episodic return=740.6481323242188\n", + "global step=39825408, episodic return=2447.475341796875\n", + "global step=39827456, episodic return=2393.870361328125\n", + "global step=39827456, episodic return=2414.648681640625\n", + "global step=39827456, episodic return=2434.017333984375\n", + "global step=39829504, episodic return=2332.66162109375\n", + "global step=39831552, episodic return=2402.086669921875\n", + "global step=39833600, episodic return=1529.2913818359375\n", + "global step=39835648, episodic return=2472.208740234375\n", + "global step=39837696, episodic return=2323.798583984375\n", + "global step=39839744, episodic return=2398.944580078125\n", + "global step=39839744, episodic return=2470.20458984375\n", + "global step=39839744, episodic return=2429.129150390625\n", + "global step=39845888, episodic return=2427.635498046875\n", + "global step=39845888, episodic return=2452.8818359375\n", + "global step=39847936, episodic return=2347.93310546875\n", + "global step=39847936, episodic return=2407.25537109375\n", + "global step=39849984, episodic return=2404.673828125\n", + "global step=39852032, episodic return=2387.306884765625\n", + "global step=39852032, episodic return=2391.024169921875\n", + "global step=39852032, episodic return=2383.381591796875\n", + "global step=39854080, episodic return=2358.430419921875\n", + "global step=39854080, episodic return=2423.376220703125\n", + "global step=39854080, episodic return=2420.589599609375\n", + "global step=39854080, episodic return=2253.92724609375\n", + "global step=39854080, episodic return=2383.7978515625\n", + "global step=39856128, episodic return=1324.4970703125\n", + "global step=39856128, episodic return=2326.113525390625\n", + "global step=39858176, episodic return=2325.4853515625\n", + "global step=39858176, episodic return=2413.091552734375\n", + "global step=39860224, episodic return=2398.427978515625\n", + "global step=39860224, episodic return=2441.24560546875\n", + "global step=39862272, episodic return=2406.165283203125\n", + "global step=39864320, episodic return=2390.302490234375\n", + "global step=39866368, episodic return=32.27011489868164\n", + "global step=39866368, episodic return=2354.85791015625\n", + "global step=39866368, episodic return=2410.55712890625\n", + "global step=39866368, episodic return=2430.718017578125\n", + "global step=39866368, episodic return=2445.582275390625\n", + "global step=39866368, episodic return=2409.693359375\n", + "global step=39868416, episodic return=2415.177001953125\n", + "global step=39868416, episodic return=2416.246337890625\n", + "global step=39870464, episodic return=2262.257080078125\n", + "global step=39870464, episodic return=1186.526611328125\n", + "global step=39870464, episodic return=2420.6279296875\n", + "global step=39872512, episodic return=2362.62255859375\n", + "global step=39874560, episodic return=2378.656982421875\n", + "global step=39874560, episodic return=2430.587890625\n", + "global step=39874560, episodic return=2358.295654296875\n", + "global step=39876608, episodic return=1904.910400390625\n", + "global step=39878656, episodic return=2473.12158203125\n", + "global step=39878656, episodic return=2429.732177734375\n", + "global step=39880704, episodic return=1531.3914794921875\n", + "global step=39880704, episodic return=2472.0341796875\n", + "global step=39880704, episodic return=2367.25634765625\n", + "global step=39882752, episodic return=2471.8623046875\n", + "global step=39884800, episodic return=191.74554443359375\n", + "global step=39884800, episodic return=2348.010009765625\n", + "global step=39886848, episodic return=2445.66650390625\n", + "global step=39886848, episodic return=2298.253662109375\n", + "global step=39888896, episodic return=2420.175048828125\n", + "global step=39888896, episodic return=2373.135009765625\n", + "global step=39888896, episodic return=313.1644592285156\n", + "global step=39888896, episodic return=2356.775390625\n", + "global step=39890944, episodic return=2422.2529296875\n", + "global step=39892992, episodic return=2380.428466796875\n", + "global step=39892992, episodic return=2287.791748046875\n", + "global step=39895040, episodic return=2367.954345703125\n", + "global step=39895040, episodic return=2358.82275390625\n", + "global step=39897088, episodic return=588.396728515625\n", + "global step=39897088, episodic return=2443.788330078125\n", + "global step=39897088, episodic return=2407.200439453125\n", + "global step=39897088, episodic return=2379.5703125\n", + "global step=39903232, episodic return=193.88575744628906\n", + "global step=39903232, episodic return=2312.295166015625\n", + "global step=39905280, episodic return=2409.181640625\n", + "global step=39907328, episodic return=2402.362060546875\n", + "global step=39907328, episodic return=837.2933349609375\n", + "global step=39909376, episodic return=1136.0474853515625\n", + "global step=39913472, episodic return=2421.032958984375\n", + "global step=39913472, episodic return=2420.5048828125\n", + "global step=39915520, episodic return=2414.073974609375\n", + "global step=39915520, episodic return=2418.755126953125\n", + "global step=39917568, episodic return=2368.92919921875\n", + "global step=39919616, episodic return=2488.498291015625\n", + "global step=39921664, episodic return=2441.384033203125\n", + "global step=39921664, episodic return=2410.613037109375\n", + "global step=39921664, episodic return=2434.484375\n", + "global step=39923712, episodic return=2399.436767578125\n", + "global step=39925760, episodic return=2327.195068359375\n", + "global step=39927808, episodic return=2405.048828125\n", + "global step=39927808, episodic return=2397.232666015625\n", + "global step=39927808, episodic return=2438.499755859375\n", + "global step=39929856, episodic return=2366.050048828125\n", + "global step=39929856, episodic return=2415.205322265625\n", + "global step=39929856, episodic return=2347.51025390625\n", + "global step=39931904, episodic return=2322.042724609375\n", + "global step=39931904, episodic return=2390.41748046875\n", + "global step=39933952, episodic return=2426.576904296875\n", + "global step=39933952, episodic return=2327.0009765625\n", + "global step=39936000, episodic return=2357.037353515625\n", + "global step=39936000, episodic return=2383.763916015625\n", + "global step=39938048, episodic return=2448.0380859375\n", + "global step=39938048, episodic return=2449.198486328125\n", + "global step=39938048, episodic return=2429.65625\n", + "global step=39938048, episodic return=2394.473388671875\n", + "global step=39940096, episodic return=2363.833251953125\n", + "global step=39940096, episodic return=2459.10205078125\n", + "global step=39940096, episodic return=2374.11962890625\n", + "global step=39940096, episodic return=2233.325439453125\n", + "global step=39942144, episodic return=2471.23291015625\n", + "global step=39942144, episodic return=2394.845703125\n", + "global step=39944192, episodic return=2388.58447265625\n", + "global step=39944192, episodic return=2364.655029296875\n", + "global step=39946240, episodic return=2393.113525390625\n", + "global step=39946240, episodic return=2412.224853515625\n", + "global step=39948288, episodic return=2395.497802734375\n", + "global step=39948288, episodic return=2381.0498046875\n", + "global step=39948288, episodic return=2466.548828125\n", + "global step=39948288, episodic return=2354.06787109375\n", + "global step=39950336, episodic return=480.4476013183594\n", + "global step=39952384, episodic return=2407.39599609375\n", + "global step=39952384, episodic return=2414.10107421875\n", + "global step=39952384, episodic return=2459.30712890625\n", + "global step=39952384, episodic return=2390.9736328125\n", + "global step=39954432, episodic return=2395.32275390625\n", + "global step=39954432, episodic return=2302.38037109375\n", + "global step=39956480, episodic return=2336.549560546875\n", + "global step=39958528, episodic return=2439.147216796875\n", + "global step=39958528, episodic return=2443.217041015625\n", + "global step=39960576, episodic return=2411.775390625\n", + "global step=39960576, episodic return=2426.89501953125\n", + "global step=39960576, episodic return=2442.508056640625\n", + "global step=39960576, episodic return=2388.95703125\n", + "global step=39960576, episodic return=2369.484619140625\n", + "global step=39962624, episodic return=2387.83349609375\n", + "global step=39962624, episodic return=2315.25830078125\n", + "global step=39962624, episodic return=2408.75048828125\n", + "global step=39962624, episodic return=2337.4443359375\n", + "global step=39962624, episodic return=2397.98486328125\n", + "global step=39964672, episodic return=2388.067626953125\n", + "global step=39964672, episodic return=2383.178955078125\n", + "global step=39964672, episodic return=2400.62841796875\n", + "global step=39966720, episodic return=2355.14599609375\n", + "global step=39966720, episodic return=2435.104736328125\n", + "global step=39966720, episodic return=2365.55224609375\n", + "global step=39970816, episodic return=1320.70556640625\n", + "global step=39970816, episodic return=2367.135986328125\n", + "global step=39970816, episodic return=2430.06689453125\n", + "global step=39970816, episodic return=2425.20751953125\n", + "global step=39972864, episodic return=2391.506591796875\n", + "global step=39972864, episodic return=2432.933837890625\n", + "global step=39972864, episodic return=2317.440673828125\n", + "global step=39976960, episodic return=2324.2802734375\n", + "global step=39976960, episodic return=631.433349609375\n", + "global step=39979008, episodic return=2381.9755859375\n", + "global step=39981056, episodic return=2409.545654296875\n", + "global step=39983104, episodic return=2423.82470703125\n", + "global step=39983104, episodic return=2440.7919921875\n", + "global step=39985152, episodic return=273.1963806152344\n", + "global step=39985152, episodic return=2420.046142578125\n", + "global step=39989248, episodic return=184.92706298828125\n", + "global step=39989248, episodic return=185.641357421875\n", + "global step=39991296, episodic return=2451.665283203125\n", + "global step=39991296, episodic return=2431.818603515625\n", + "global step=39995392, episodic return=2446.429443359375\n", + "global step=39995392, episodic return=2385.5888671875\n", + "global step=39997440, episodic return=2446.564453125\n", + "global step=39997440, episodic return=2330.14306640625\n", + "global step=39999488, episodic return=2389.231689453125\n", + "global step=39999488, episodic return=2426.44091796875\n", + "global step=40001536, episodic return=2397.465576171875\n", + "global step=40001536, episodic return=166.8794708251953\n", + "global step=40005632, episodic return=1803.50341796875\n", + "global step=40007680, episodic return=2302.866455078125\n", + "global step=40007680, episodic return=2422.81787109375\n", + "global step=40007680, episodic return=2412.614501953125\n", + "global step=40011776, episodic return=2452.193359375\n", + "global step=40011776, episodic return=53.604469299316406\n", + "global step=40013824, episodic return=2314.75732421875\n", + "global step=40013824, episodic return=37.879581451416016\n", + "global step=40013824, episodic return=55.696346282958984\n", + "global step=40013824, episodic return=2167.6123046875\n", + "global step=40015872, episodic return=2428.600830078125\n", + "global step=40015872, episodic return=2441.533203125\n", + "global step=40017920, episodic return=2438.06494140625\n", + "global step=40019968, episodic return=2490.118408203125\n", + "global step=40019968, episodic return=109.62068939208984\n", + "global step=40019968, episodic return=2393.36181640625\n", + "global step=40022016, episodic return=2477.527099609375\n", + "global step=40024064, episodic return=49.558876037597656\n", + "global step=40024064, episodic return=2426.522705078125\n", + "global step=40024064, episodic return=2424.638916015625\n", + "global step=40024064, episodic return=2420.943115234375\n", + "global step=40026112, episodic return=46.80976486206055\n", + "global step=40026112, episodic return=87.74974060058594\n", + "global step=40030208, episodic return=2147.467041015625\n", + "global step=40030208, episodic return=879.5447998046875\n", + "global step=40030208, episodic return=2333.444091796875\n", + "global step=40032256, episodic return=2417.030517578125\n", + "global step=40032256, episodic return=83.60356140136719\n", + "global step=40032256, episodic return=80.10368347167969\n", + "global step=40034304, episodic return=49.77891159057617\n", + "global step=40038400, episodic return=2423.992919921875\n", + "global step=40038400, episodic return=811.8666381835938\n", + "global step=40038400, episodic return=58.391719818115234\n", + "global step=40038400, episodic return=2388.588623046875\n", + "global step=40040448, episodic return=2452.703857421875\n", + "global step=40040448, episodic return=709.750732421875\n", + "global step=40040448, episodic return=2310.184326171875\n", + "global step=40040448, episodic return=1575.2342529296875\n", + "global step=40040448, episodic return=469.9573974609375\n", + "global step=40040448, episodic return=2382.45654296875\n", + "global step=40040448, episodic return=2326.233642578125\n", + "global step=40040448, episodic return=2411.8837890625\n", + "global step=40042496, episodic return=2439.14892578125\n", + "global step=40042496, episodic return=2356.56005859375\n", + "global step=40042496, episodic return=1337.186767578125\n", + "global step=40042496, episodic return=2448.69873046875\n", + "global step=40044544, episodic return=1875.2681884765625\n", + "global step=40046592, episodic return=2386.65771484375\n", + "global step=40046592, episodic return=21.77275848388672\n", + "global step=40046592, episodic return=1660.1976318359375\n", + "global step=40050688, episodic return=2461.3369140625\n", + "global step=40050688, episodic return=191.3057861328125\n", + "global step=40050688, episodic return=2396.10546875\n", + "global step=40050688, episodic return=2431.912109375\n", + "global step=40050688, episodic return=2417.142578125\n", + "global step=40050688, episodic return=2431.126220703125\n", + "global step=40052736, episodic return=2431.970703125\n", + "global step=40052736, episodic return=2342.708740234375\n", + "global step=40054784, episodic return=2362.2255859375\n", + "global step=40054784, episodic return=554.5252685546875\n", + "global step=40056832, episodic return=2369.2236328125\n", + "global step=40056832, episodic return=2411.224365234375\n", + "global step=40058880, episodic return=2404.443359375\n", + "global step=40058880, episodic return=2437.24072265625\n", + "global step=40060928, episodic return=21.31812858581543\n", + "global step=40065024, episodic return=2371.546875\n", + "global step=40065024, episodic return=2369.56494140625\n", + "global step=40065024, episodic return=2207.171630859375\n", + "global step=40067072, episodic return=2377.11181640625\n", + "global step=40067072, episodic return=2387.202880859375\n", + "global step=40069120, episodic return=2394.82568359375\n", + "global step=40069120, episodic return=2397.850341796875\n", + "global step=40069120, episodic return=2438.44189453125\n", + "global step=40071168, episodic return=2432.438232421875\n", + "global step=40071168, episodic return=2415.427734375\n", + "global step=40073216, episodic return=2418.775634765625\n", + "global step=40073216, episodic return=2384.426513671875\n", + "global step=40075264, episodic return=2417.4951171875\n", + "global step=40075264, episodic return=2419.087890625\n", + "global step=40075264, episodic return=1476.3702392578125\n", + "global step=40075264, episodic return=2439.175537109375\n", + "global step=40077312, episodic return=2437.47705078125\n", + "global step=40079360, episodic return=2417.853515625\n", + "global step=40079360, episodic return=2476.49072265625\n", + "global step=40081408, episodic return=2363.010498046875\n", + "global step=40081408, episodic return=2363.04443359375\n", + "global step=40083456, episodic return=2461.350341796875\n", + "global step=40083456, episodic return=2462.277587890625\n", + "global step=40083456, episodic return=2397.2548828125\n", + "global step=40083456, episodic return=2381.884521484375\n", + "global step=40083456, episodic return=2389.603271484375\n", + "global step=40085504, episodic return=2423.220458984375\n", + "global step=40085504, episodic return=2446.73486328125\n", + "global step=40087552, episodic return=2331.833984375\n", + "global step=40087552, episodic return=1235.3758544921875\n", + "global step=40089600, episodic return=2448.76953125\n", + "global step=40089600, episodic return=2451.516845703125\n", + "global step=40089600, episodic return=157.1510009765625\n", + "global step=40089600, episodic return=2431.19189453125\n", + "global step=40089600, episodic return=2373.797607421875\n", + "global step=40091648, episodic return=2439.612548828125\n", + "global step=40093696, episodic return=2396.669189453125\n", + "global step=40093696, episodic return=2359.49951171875\n", + "global step=40095744, episodic return=623.7039794921875\n", + "global step=40097792, episodic return=2456.42529296875\n", + "global step=40097792, episodic return=2391.96875\n", + "global step=40097792, episodic return=2407.87646484375\n", + "global step=40097792, episodic return=394.1960144042969\n", + "global step=40097792, episodic return=2305.567138671875\n", + "global step=40097792, episodic return=2260.404541015625\n", + "global step=40099840, episodic return=2400.58154296875\n", + "global step=40099840, episodic return=2406.983154296875\n", + "global step=40101888, episodic return=2386.957275390625\n", + "global step=40103936, episodic return=2470.787353515625\n", + "global step=40108032, episodic return=2450.18310546875\n", + "global step=40108032, episodic return=2388.001953125\n", + "global step=40108032, episodic return=2355.769775390625\n", + "global step=40108032, episodic return=2425.353515625\n", + "global step=40108032, episodic return=2400.565185546875\n", + "global step=40110080, episodic return=2437.4375\n", + "global step=40110080, episodic return=2431.7373046875\n", + "global step=40112128, episodic return=2367.604248046875\n", + "global step=40112128, episodic return=2422.3798828125\n", + "global step=40116224, episodic return=2405.726318359375\n", + "global step=40116224, episodic return=2431.11376953125\n", + "global step=40118272, episodic return=2431.157958984375\n", + "global step=40122368, episodic return=2455.919189453125\n", + "global step=40124416, episodic return=2408.501953125\n", + "global step=40124416, episodic return=960.99609375\n", + "global step=40128512, episodic return=2367.37548828125\n", + "global step=40128512, episodic return=2469.53857421875\n", + "global step=40130560, episodic return=2375.754150390625\n", + "global step=40130560, episodic return=2407.66650390625\n", + "global step=40130560, episodic return=2443.799560546875\n", + "global step=40130560, episodic return=2391.826171875\n", + "global step=40130560, episodic return=2400.388671875\n", + "global step=40134656, episodic return=2481.4150390625\n", + "global step=40136704, episodic return=2407.508056640625\n", + "global step=40136704, episodic return=2413.636474609375\n", + "global step=40140800, episodic return=2418.052978515625\n", + "global step=40140800, episodic return=2427.556640625\n", + "global step=40140800, episodic return=2417.15869140625\n", + "global step=40146944, episodic return=205.58387756347656\n", + "global step=40148992, episodic return=2408.5771484375\n", + "global step=40151040, episodic return=2453.490234375\n", + "global step=40151040, episodic return=2421.25537109375\n", + "global step=40153088, episodic return=2331.427490234375\n", + "global step=40153088, episodic return=2440.701904296875\n", + "global step=40155136, episodic return=2465.472412109375\n", + "global step=40159232, episodic return=2350.170654296875\n", + "global step=40159232, episodic return=2437.10693359375\n", + "global step=40163328, episodic return=2457.545654296875\n", + "global step=40163328, episodic return=2453.032470703125\n", + "global step=40163328, episodic return=2414.034912109375\n", + "global step=40163328, episodic return=2380.367919921875\n", + "global step=40163328, episodic return=2410.57373046875\n", + "global step=40165376, episodic return=2471.8330078125\n", + "global step=40167424, episodic return=247.409423828125\n", + "global step=40167424, episodic return=34.464881896972656\n", + "global step=40171520, episodic return=2423.5849609375\n", + "global step=40181760, episodic return=2406.128662109375\n", + "global step=40181760, episodic return=2410.80615234375\n", + "global step=40183808, episodic return=2469.141845703125\n", + "global step=40183808, episodic return=2343.162353515625\n", + "global step=40185856, episodic return=2389.360595703125\n", + "global step=40185856, episodic return=86.54132843017578\n", + "global step=40185856, episodic return=2383.197509765625\n", + "global step=40187904, episodic return=2369.4443359375\n", + "global step=40187904, episodic return=2401.120849609375\n", + "global step=40189952, episodic return=2314.554931640625\n", + "global step=40198144, episodic return=2409.573974609375\n", + "global step=40198144, episodic return=1098.5374755859375\n", + "global step=40198144, episodic return=2427.64453125\n", + "global step=40200192, episodic return=2393.013916015625\n", + "global step=40200192, episodic return=2378.885498046875\n", + "global step=40206336, episodic return=236.5869598388672\n", + "global step=40206336, episodic return=2410.057861328125\n", + "global step=40208384, episodic return=2325.4560546875\n", + "global step=40208384, episodic return=2343.592529296875\n", + "global step=40210432, episodic return=2387.188232421875\n", + "global step=40212480, episodic return=2427.44921875\n", + "global step=40214528, episodic return=2417.027099609375\n", + "global step=40214528, episodic return=2396.529541015625\n", + "global step=40216576, episodic return=2408.5302734375\n", + "global step=40216576, episodic return=2402.09033203125\n", + "global step=40220672, episodic return=2456.479248046875\n", + "global step=40220672, episodic return=2369.831787109375\n", + "global step=40222720, episodic return=512.1517333984375\n", + "global step=40222720, episodic return=2422.016845703125\n", + "global step=40222720, episodic return=2344.310546875\n", + "global step=40222720, episodic return=1945.539794921875\n", + "global step=40224768, episodic return=2410.536865234375\n", + "global step=40224768, episodic return=60.87197494506836\n", + "global step=40226816, episodic return=2336.014404296875\n", + "global step=40228864, episodic return=2411.62060546875\n", + "global step=40230912, episodic return=2432.6171875\n", + "global step=40232960, episodic return=2408.749755859375\n", + "global step=40232960, episodic return=2441.1494140625\n", + "global step=40232960, episodic return=2338.465087890625\n", + "global step=40232960, episodic return=2358.267578125\n", + "global step=40235008, episodic return=2126.570068359375\n", + "global step=40235008, episodic return=2353.045166015625\n", + "global step=40235008, episodic return=2416.497314453125\n", + "global step=40245248, episodic return=2407.437255859375\n", + "global step=40245248, episodic return=2447.207763671875\n", + "global step=40245248, episodic return=2386.296875\n", + "global step=40247296, episodic return=2371.44287109375\n", + "global step=40249344, episodic return=2414.08203125\n", + "global step=40249344, episodic return=2375.33056640625\n", + "global step=40249344, episodic return=2353.433837890625\n", + "global step=40251392, episodic return=2401.176025390625\n", + "global step=40255488, episodic return=2395.68994140625\n", + "global step=40257536, episodic return=2425.940185546875\n", + "global step=40259584, episodic return=2368.46728515625\n", + "global step=40259584, episodic return=2263.322265625\n", + "global step=40261632, episodic return=2366.986083984375\n", + "global step=40263680, episodic return=2403.396484375\n", + "global step=40265728, episodic return=2398.56103515625\n", + "global step=40265728, episodic return=2419.154541015625\n", + "global step=40267776, episodic return=2436.686767578125\n", + "global step=40267776, episodic return=2367.597412109375\n", + "global step=40267776, episodic return=2416.514892578125\n", + "global step=40267776, episodic return=2343.9951171875\n", + "global step=40267776, episodic return=2380.424560546875\n", + "global step=40269824, episodic return=2451.468017578125\n", + "global step=40269824, episodic return=2380.564208984375\n", + "global step=40269824, episodic return=2322.765869140625\n", + "global step=40271872, episodic return=2430.17333984375\n", + "global step=40271872, episodic return=2401.762451171875\n", + "global step=40271872, episodic return=2427.244140625\n", + "global step=40273920, episodic return=2387.694580078125\n", + "global step=40273920, episodic return=2423.543212890625\n", + "global step=40273920, episodic return=2351.160400390625\n", + "global step=40275968, episodic return=2387.37255859375\n", + "global step=40275968, episodic return=2351.66455078125\n", + "global step=40280064, episodic return=2392.99267578125\n", + "global step=40280064, episodic return=2450.759033203125\n", + "global step=40280064, episodic return=2422.328857421875\n", + "global step=40280064, episodic return=2442.127197265625\n", + "global step=40280064, episodic return=2372.180908203125\n", + "global step=40280064, episodic return=2350.82275390625\n", + "global step=40282112, episodic return=2362.565673828125\n", + "global step=40282112, episodic return=2440.370361328125\n", + "global step=40282112, episodic return=2408.289794921875\n", + "global step=40282112, episodic return=2433.071044921875\n", + "global step=40282112, episodic return=2456.382568359375\n", + "global step=40282112, episodic return=2424.943603515625\n", + "global step=40282112, episodic return=2392.024169921875\n", + "global step=40284160, episodic return=2426.78759765625\n", + "global step=40286208, episodic return=2364.61279296875\n", + "global step=40286208, episodic return=704.0546264648438\n", + "global step=40286208, episodic return=2393.189453125\n", + "global step=40288256, episodic return=63.469459533691406\n", + "global step=40290304, episodic return=2346.658935546875\n", + "global step=40290304, episodic return=2351.05517578125\n", + "global step=40292352, episodic return=2411.017822265625\n", + "global step=40292352, episodic return=2376.20263671875\n", + "global step=40294400, episodic return=2371.97607421875\n", + "global step=40294400, episodic return=2457.647216796875\n", + "global step=40294400, episodic return=1304.8282470703125\n", + "global step=40294400, episodic return=2387.654296875\n", + "global step=40294400, episodic return=2446.062255859375\n", + "global step=40298496, episodic return=2425.2568359375\n", + "global step=40298496, episodic return=2429.190185546875\n", + "global step=40300544, episodic return=2435.439208984375\n", + "global step=40304640, episodic return=2378.59912109375\n", + "global step=40304640, episodic return=2384.4169921875\n", + "global step=40306688, episodic return=2408.42578125\n", + "global step=40306688, episodic return=2379.644287109375\n", + "global step=40306688, episodic return=2411.0732421875\n", + "global step=40306688, episodic return=2443.35302734375\n", + "global step=40308736, episodic return=2404.9091796875\n", + "global step=40308736, episodic return=2432.15625\n", + "global step=40310784, episodic return=2382.424560546875\n", + "global step=40312832, episodic return=2437.016357421875\n", + "global step=40312832, episodic return=2429.228271484375\n", + "global step=40312832, episodic return=38.77287673950195\n", + "global step=40314880, episodic return=2379.555908203125\n", + "global step=40314880, episodic return=2437.128173828125\n", + "global step=40314880, episodic return=2412.29736328125\n", + "global step=40316928, episodic return=2421.691650390625\n", + "global step=40318976, episodic return=2428.044189453125\n", + "global step=40318976, episodic return=2361.522705078125\n", + "global step=40318976, episodic return=2410.584228515625\n", + "global step=40318976, episodic return=2401.73876953125\n", + "global step=40318976, episodic return=2426.75439453125\n", + "global step=40321024, episodic return=2423.151611328125\n", + "global step=40321024, episodic return=2417.073974609375\n", + "global step=40321024, episodic return=34.583984375\n", + "global step=40321024, episodic return=2425.595947265625\n", + "global step=40321024, episodic return=2392.240478515625\n", + "global step=40323072, episodic return=2457.23828125\n", + "global step=40323072, episodic return=2391.658203125\n", + "global step=40327168, episodic return=2404.812255859375\n", + "global step=40327168, episodic return=2409.848876953125\n", + "global step=40327168, episodic return=2423.93017578125\n", + "global step=40327168, episodic return=2431.129150390625\n", + "global step=40327168, episodic return=2419.707275390625\n", + "global step=40327168, episodic return=2412.621826171875\n", + "global step=40329216, episodic return=2373.61669921875\n", + "global step=40329216, episodic return=15.429759979248047\n", + "global step=40329216, episodic return=2398.59228515625\n", + "global step=40331264, episodic return=2379.809814453125\n", + "global step=40331264, episodic return=22.57862091064453\n", + "global step=40333312, episodic return=2458.0458984375\n", + "global step=40335360, episodic return=62.29867935180664\n", + "global step=40335360, episodic return=2441.44580078125\n", + "global step=40337408, episodic return=2387.328857421875\n", + "global step=40337408, episodic return=2380.044677734375\n", + "global step=40339456, episodic return=2371.728759765625\n", + "global step=40341504, episodic return=2419.619140625\n", + "global step=40341504, episodic return=2352.60205078125\n", + "global step=40343552, episodic return=2416.772705078125\n", + "global step=40343552, episodic return=2385.729736328125\n", + "global step=40345600, episodic return=2410.01953125\n", + "global step=40345600, episodic return=181.22564697265625\n", + "global step=40347648, episodic return=2418.968017578125\n", + "global step=40347648, episodic return=359.4305419921875\n", + "global step=40347648, episodic return=2399.77880859375\n", + "global step=40349696, episodic return=32.73686218261719\n", + "global step=40349696, episodic return=2391.8193359375\n", + "global step=40351744, episodic return=2344.485107421875\n", + "global step=40353792, episodic return=2435.963134765625\n", + "global step=40355840, episodic return=2329.16015625\n", + "global step=40357888, episodic return=2403.21337890625\n", + "global step=40359936, episodic return=2360.14697265625\n", + "global step=40359936, episodic return=2441.472900390625\n", + "global step=40361984, episodic return=2406.36279296875\n", + "global step=40364032, episodic return=2403.412841796875\n", + "global step=40364032, episodic return=239.93045043945312\n", + "global step=40366080, episodic return=2354.14111328125\n", + "global step=40366080, episodic return=2439.045166015625\n", + "global step=40366080, episodic return=2403.90185546875\n", + "global step=40370176, episodic return=2383.4833984375\n", + "global step=40370176, episodic return=2434.748291015625\n", + "global step=40372224, episodic return=2421.06982421875\n", + "global step=40372224, episodic return=2446.046875\n", + "global step=40374272, episodic return=2394.94091796875\n", + "global step=40374272, episodic return=2417.47314453125\n", + "global step=40376320, episodic return=2349.48828125\n", + "global step=40376320, episodic return=22.239368438720703\n", + "global step=40376320, episodic return=2365.937744140625\n", + "global step=40378368, episodic return=2414.77392578125\n", + "global step=40380416, episodic return=2360.423583984375\n", + "global step=40380416, episodic return=2330.623046875\n", + "global step=40380416, episodic return=2289.075439453125\n", + "global step=40380416, episodic return=261.7731628417969\n", + "global step=40382464, episodic return=2417.241943359375\n", + "global step=40386560, episodic return=2493.849853515625\n", + "global step=40388608, episodic return=2442.843994140625\n", + "global step=40390656, episodic return=2434.724609375\n", + "global step=40390656, episodic return=2386.058837890625\n", + "global step=40392704, episodic return=2372.6591796875\n", + "global step=40392704, episodic return=2403.52490234375\n", + "global step=40394752, episodic return=2407.680419921875\n", + "global step=40394752, episodic return=2416.1259765625\n", + "global step=40396800, episodic return=2354.189453125\n", + "global step=40396800, episodic return=2383.88037109375\n", + "global step=40396800, episodic return=2363.50341796875\n", + "global step=40398848, episodic return=2395.273681640625\n", + "global step=40398848, episodic return=2388.076904296875\n", + "global step=40402944, episodic return=996.0706787109375\n", + "global step=40402944, episodic return=2394.472900390625\n", + "global step=40404992, episodic return=2455.1591796875\n", + "global step=40407040, episodic return=2442.0263671875\n", + "global step=40411136, episodic return=2336.636962890625\n", + "global step=40411136, episodic return=2409.2138671875\n", + "global step=40411136, episodic return=2355.587158203125\n", + "global step=40411136, episodic return=2387.025634765625\n", + "global step=40415232, episodic return=2393.527587890625\n", + "global step=40415232, episodic return=209.67376708984375\n", + "global step=40415232, episodic return=2336.978271484375\n", + "global step=40415232, episodic return=2359.114990234375\n", + "global step=40415232, episodic return=2388.682861328125\n", + "global step=40417280, episodic return=2383.835205078125\n", + "global step=40417280, episodic return=2342.582275390625\n", + "global step=40419328, episodic return=2413.25439453125\n", + "global step=40421376, episodic return=2352.138916015625\n", + "global step=40421376, episodic return=2407.744384765625\n", + "global step=40421376, episodic return=2384.193359375\n", + "global step=40421376, episodic return=2387.212646484375\n", + "global step=40421376, episodic return=801.2855834960938\n", + "global step=40423424, episodic return=548.3858032226562\n", + "global step=40425472, episodic return=2343.550048828125\n", + "global step=40425472, episodic return=37.895729064941406\n", + "global step=40427520, episodic return=2339.4716796875\n", + "global step=40427520, episodic return=1121.6282958984375\n", + "global step=40429568, episodic return=1352.4512939453125\n", + "global step=40431616, episodic return=1720.3575439453125\n", + "global step=40431616, episodic return=2423.973388671875\n", + "global step=40433664, episodic return=2386.347900390625\n", + "global step=40433664, episodic return=2330.714111328125\n", + "global step=40435712, episodic return=2361.663330078125\n", + "global step=40435712, episodic return=2391.37841796875\n", + "global step=40437760, episodic return=2387.116943359375\n", + "global step=40437760, episodic return=2409.781494140625\n", + "global step=40439808, episodic return=2329.7861328125\n", + "global step=40439808, episodic return=2367.934814453125\n", + "global step=40439808, episodic return=2367.882080078125\n", + "global step=40439808, episodic return=700.7665405273438\n", + "global step=40441856, episodic return=2361.688232421875\n", + "global step=40441856, episodic return=2298.941162109375\n", + "global step=40441856, episodic return=2482.357177734375\n", + "global step=40441856, episodic return=2375.94140625\n", + "global step=40441856, episodic return=2403.9111328125\n", + "global step=40441856, episodic return=2410.19970703125\n", + "global step=40441856, episodic return=258.982177734375\n", + "global step=40443904, episodic return=2368.518310546875\n", + "global step=40443904, episodic return=2406.01806640625\n", + "global step=40445952, episodic return=101.13325500488281\n", + "global step=40445952, episodic return=2354.80419921875\n", + "global step=40445952, episodic return=2371.40283203125\n", + "global step=40445952, episodic return=2373.128173828125\n", + "global step=40445952, episodic return=2346.779541015625\n", + "global step=40448000, episodic return=2359.789306640625\n", + "global step=40450048, episodic return=2417.65625\n", + "global step=40452096, episodic return=2400.087646484375\n", + "global step=40452096, episodic return=2374.27099609375\n", + "global step=40452096, episodic return=2404.0380859375\n", + "global step=40454144, episodic return=2299.2412109375\n", + "global step=40454144, episodic return=181.42803955078125\n", + "global step=40454144, episodic return=2417.10546875\n", + "global step=40454144, episodic return=2410.991943359375\n", + "global step=40454144, episodic return=2366.203857421875\n", + "global step=40456192, episodic return=2439.0126953125\n", + "global step=40456192, episodic return=878.4468994140625\n", + "global step=40458240, episodic return=2418.943359375\n", + "global step=40458240, episodic return=16.782318115234375\n", + "global step=40462336, episodic return=2387.61767578125\n", + "global step=40462336, episodic return=179.9786834716797\n", + "global step=40464384, episodic return=2403.612548828125\n", + "global step=40464384, episodic return=1226.090576171875\n", + "global step=40464384, episodic return=1643.4114990234375\n", + "global step=40464384, episodic return=2405.070556640625\n", + "global step=40464384, episodic return=2338.4140625\n", + "global step=40466432, episodic return=2429.52099609375\n", + "global step=40466432, episodic return=277.3887023925781\n", + "global step=40468480, episodic return=681.6328125\n", + "global step=40468480, episodic return=2432.357421875\n", + "global step=40468480, episodic return=2406.99755859375\n", + "global step=40470528, episodic return=1152.887939453125\n", + "global step=40470528, episodic return=2417.335205078125\n", + "global step=40472576, episodic return=2376.574462890625\n", + "global step=40472576, episodic return=2358.1328125\n", + "global step=40472576, episodic return=2340.0693359375\n", + "global step=40472576, episodic return=1598.7528076171875\n", + "global step=40474624, episodic return=2466.644287109375\n", + "global step=40474624, episodic return=2417.473388671875\n", + "global step=40476672, episodic return=1352.3936767578125\n", + "global step=40476672, episodic return=2333.402587890625\n", + "global step=40478720, episodic return=2424.4814453125\n", + "global step=40478720, episodic return=2379.2294921875\n", + "global step=40480768, episodic return=2404.736328125\n", + "global step=40480768, episodic return=2341.409912109375\n", + "global step=40480768, episodic return=2410.931884765625\n", + "global step=40482816, episodic return=2317.697265625\n", + "global step=40482816, episodic return=2394.450927734375\n", + "global step=40482816, episodic return=2447.432373046875\n", + "global step=40486912, episodic return=2409.140625\n", + "global step=40486912, episodic return=2375.023681640625\n", + "global step=40486912, episodic return=2360.36669921875\n", + "global step=40488960, episodic return=2396.86962890625\n", + "global step=40488960, episodic return=2402.47509765625\n", + "global step=40488960, episodic return=2352.098388671875\n", + "global step=40488960, episodic return=2355.02685546875\n", + "global step=40491008, episodic return=2451.093505859375\n", + "global step=40491008, episodic return=2358.76416015625\n", + "global step=40493056, episodic return=2330.61181640625\n", + "global step=40493056, episodic return=2374.29638671875\n", + "global step=40493056, episodic return=2358.81201171875\n", + "global step=40495104, episodic return=2344.24609375\n", + "global step=40495104, episodic return=2376.89794921875\n", + "global step=40497152, episodic return=2406.87158203125\n", + "global step=40497152, episodic return=2389.152587890625\n", + "global step=40499200, episodic return=2370.953857421875\n", + "global step=40499200, episodic return=2422.198486328125\n", + "global step=40499200, episodic return=2426.342041015625\n", + "global step=40499200, episodic return=2395.305419921875\n", + "global step=40499200, episodic return=2414.080810546875\n", + "global step=40501248, episodic return=2396.081298828125\n", + "global step=40501248, episodic return=2365.164794921875\n", + "global step=40501248, episodic return=2324.1591796875\n", + "global step=40501248, episodic return=2349.13037109375\n", + "global step=40501248, episodic return=2303.40869140625\n", + "global step=40503296, episodic return=2365.286865234375\n", + "global step=40503296, episodic return=2330.1337890625\n", + "global step=40503296, episodic return=2336.2021484375\n", + "global step=40503296, episodic return=28.089393615722656\n", + "global step=40505344, episodic return=2363.4248046875\n", + "global step=40507392, episodic return=2375.887451171875\n", + "global step=40507392, episodic return=2379.783935546875\n", + "global step=40507392, episodic return=2404.83935546875\n", + "global step=40509440, episodic return=2366.47216796875\n", + "global step=40509440, episodic return=2369.00927734375\n", + "global step=40509440, episodic return=732.2283325195312\n", + "global step=40509440, episodic return=2360.764892578125\n", + "global step=40511488, episodic return=2379.08740234375\n", + "global step=40511488, episodic return=2394.120849609375\n", + "global step=40511488, episodic return=2356.267822265625\n", + "global step=40511488, episodic return=2357.4931640625\n", + "global step=40511488, episodic return=2365.11767578125\n", + "global step=40513536, episodic return=2258.101806640625\n", + "global step=40513536, episodic return=2353.38427734375\n", + "global step=40513536, episodic return=2366.93701171875\n", + "global step=40513536, episodic return=2394.490234375\n", + "global step=40513536, episodic return=2388.374267578125\n", + "global step=40515584, episodic return=2451.612548828125\n", + "global step=40515584, episodic return=2369.802734375\n", + "global step=40517632, episodic return=2384.2470703125\n", + "global step=40517632, episodic return=2405.075439453125\n", + "global step=40519680, episodic return=2405.072509765625\n", + "global step=40519680, episodic return=2398.5205078125\n", + "global step=40519680, episodic return=2424.93359375\n", + "global step=40519680, episodic return=2401.563720703125\n", + "global step=40519680, episodic return=2370.481689453125\n", + "global step=40521728, episodic return=2306.50732421875\n", + "global step=40521728, episodic return=1404.664794921875\n", + "global step=40521728, episodic return=2338.9697265625\n", + "global step=40523776, episodic return=2403.840576171875\n", + "global step=40523776, episodic return=2408.394287109375\n", + "global step=40523776, episodic return=2393.6259765625\n", + "global step=40525824, episodic return=2410.563720703125\n", + "global step=40525824, episodic return=2386.1611328125\n", + "global step=40527872, episodic return=2379.822021484375\n", + "global step=40527872, episodic return=2410.21533203125\n", + "global step=40527872, episodic return=2403.786376953125\n", + "global step=40529920, episodic return=2456.216552734375\n", + "global step=40531968, episodic return=2406.81591796875\n", + "global step=40531968, episodic return=2401.5693359375\n", + "global step=40531968, episodic return=2366.92236328125\n", + "global step=40534016, episodic return=2418.23193359375\n", + "global step=40534016, episodic return=2383.14208984375\n", + "global step=40536064, episodic return=2403.8994140625\n", + "global step=40536064, episodic return=2345.987060546875\n", + "global step=40536064, episodic return=2379.793701171875\n", + "global step=40538112, episodic return=2275.7607421875\n", + "global step=40538112, episodic return=2419.3876953125\n", + "global step=40538112, episodic return=2337.659912109375\n", + "global step=40540160, episodic return=2384.12890625\n", + "global step=40540160, episodic return=2341.610107421875\n", + "global step=40540160, episodic return=2357.262451171875\n", + "global step=40542208, episodic return=897.3216552734375\n", + "global step=40542208, episodic return=2277.685546875\n", + "global step=40542208, episodic return=2431.117431640625\n", + "global step=40542208, episodic return=2333.86474609375\n", + "global step=40542208, episodic return=2180.09033203125\n", + "global step=40542208, episodic return=2297.440185546875\n", + "global step=40546304, episodic return=2413.73095703125\n", + "global step=40546304, episodic return=2364.33984375\n", + "global step=40548352, episodic return=2407.525634765625\n", + "global step=40548352, episodic return=2428.579833984375\n", + "global step=40548352, episodic return=2369.8779296875\n", + "global step=40550400, episodic return=2318.194091796875\n", + "global step=40550400, episodic return=2426.284912109375\n", + "global step=40550400, episodic return=2374.368896484375\n", + "global step=40550400, episodic return=2359.013427734375\n", + "global step=40550400, episodic return=2396.344482421875\n", + "global step=40552448, episodic return=2424.853515625\n", + "global step=40554496, episodic return=2364.54296875\n", + "global step=40554496, episodic return=2336.717529296875\n", + "global step=40556544, episodic return=2363.0517578125\n", + "global step=40558592, episodic return=2407.712646484375\n", + "global step=40558592, episodic return=2410.302734375\n", + "global step=40560640, episodic return=2417.9755859375\n", + "global step=40560640, episodic return=940.232177734375\n", + "global step=40562688, episodic return=2316.81787109375\n", + "global step=40564736, episodic return=2293.608154296875\n", + "global step=40564736, episodic return=2379.97119140625\n", + "global step=40564736, episodic return=2391.6962890625\n", + "global step=40566784, episodic return=2343.1865234375\n", + "global step=40566784, episodic return=2381.145263671875\n", + "global step=40566784, episodic return=2438.396240234375\n", + "global step=40566784, episodic return=2365.47607421875\n", + "global step=40566784, episodic return=2336.823974609375\n", + "global step=40568832, episodic return=2416.430908203125\n", + "global step=40570880, episodic return=2416.85498046875\n", + "global step=40570880, episodic return=2337.80517578125\n", + "global step=40570880, episodic return=2384.635498046875\n", + "global step=40570880, episodic return=2389.2421875\n", + "global step=40572928, episodic return=2375.311767578125\n", + "global step=40572928, episodic return=2335.21875\n", + "global step=40574976, episodic return=2425.111083984375\n", + "global step=40574976, episodic return=48.62504959106445\n", + "global step=40577024, episodic return=52.49776840209961\n", + "global step=40577024, episodic return=2442.462646484375\n", + "global step=40579072, episodic return=2331.610595703125\n", + "global step=40579072, episodic return=2415.869384765625\n", + "global step=40581120, episodic return=2331.089599609375\n", + "global step=40583168, episodic return=2378.679443359375\n", + "global step=40583168, episodic return=2340.702392578125\n", + "global step=40583168, episodic return=2422.959716796875\n", + "global step=40583168, episodic return=2358.937744140625\n", + "global step=40583168, episodic return=2413.65234375\n", + "global step=40585216, episodic return=2364.89599609375\n", + "global step=40587264, episodic return=2414.91455078125\n", + "global step=40587264, episodic return=2287.896728515625\n", + "global step=40587264, episodic return=2392.545166015625\n", + "global step=40587264, episodic return=2412.7041015625\n", + "global step=40587264, episodic return=2315.672607421875\n", + "global step=40587264, episodic return=2362.1865234375\n", + "global step=40589312, episodic return=2381.107421875\n", + "global step=40589312, episodic return=1228.2379150390625\n", + "global step=40593408, episodic return=2288.03759765625\n", + "global step=40593408, episodic return=2369.463623046875\n", + "global step=40593408, episodic return=2337.37060546875\n", + "global step=40595456, episodic return=2304.77490234375\n", + "global step=40595456, episodic return=2428.871337890625\n", + "global step=40597504, episodic return=2422.2021484375\n", + "global step=40597504, episodic return=199.1702117919922\n", + "global step=40597504, episodic return=2343.673583984375\n", + "global step=40599552, episodic return=2361.42529296875\n", + "global step=40599552, episodic return=2405.375\n", + "global step=40599552, episodic return=2383.8662109375\n", + "global step=40599552, episodic return=2362.33544921875\n", + "global step=40599552, episodic return=2399.6279296875\n", + "global step=40601600, episodic return=2419.403564453125\n", + "global step=40601600, episodic return=2382.96728515625\n", + "global step=40601600, episodic return=2388.44482421875\n", + "global step=40603648, episodic return=2349.803955078125\n", + "global step=40603648, episodic return=2396.11279296875\n", + "global step=40605696, episodic return=2372.787353515625\n", + "global step=40605696, episodic return=2375.608154296875\n", + "global step=40607744, episodic return=2376.812744140625\n", + "global step=40607744, episodic return=1168.7576904296875\n", + "global step=40607744, episodic return=2376.958251953125\n", + "global step=40609792, episodic return=203.16151428222656\n", + "global step=40611840, episodic return=2358.46142578125\n", + "global step=40611840, episodic return=2350.424560546875\n", + "global step=40611840, episodic return=2381.349853515625\n", + "global step=40613888, episodic return=1791.5323486328125\n", + "global step=40613888, episodic return=2407.7333984375\n", + "global step=40613888, episodic return=2302.143798828125\n", + "global step=40613888, episodic return=292.8381042480469\n", + "global step=40613888, episodic return=2280.630126953125\n", + "global step=40613888, episodic return=596.9338989257812\n", + "global step=40615936, episodic return=2390.935791015625\n", + "global step=40617984, episodic return=2234.25244140625\n", + "global step=40620032, episodic return=1949.2158203125\n", + "global step=40620032, episodic return=2299.109130859375\n", + "global step=40622080, episodic return=2376.996337890625\n", + "global step=40622080, episodic return=2393.281005859375\n", + "global step=40622080, episodic return=2422.32568359375\n", + "global step=40624128, episodic return=208.97410583496094\n", + "global step=40628224, episodic return=2388.41650390625\n", + "global step=40628224, episodic return=2298.2978515625\n", + "global step=40630272, episodic return=2314.566162109375\n", + "global step=40632320, episodic return=2366.271728515625\n", + "global step=40632320, episodic return=2314.784423828125\n", + "global step=40632320, episodic return=2323.20751953125\n", + "global step=40632320, episodic return=1559.96240234375\n", + "global step=40632320, episodic return=229.35525512695312\n", + "global step=40634368, episodic return=2244.5224609375\n", + "global step=40634368, episodic return=2421.523193359375\n", + "global step=40634368, episodic return=2387.508056640625\n", + "global step=40634368, episodic return=2410.431884765625\n", + "global step=40636416, episodic return=2366.64453125\n", + "global step=40636416, episodic return=2423.439453125\n", + "global step=40638464, episodic return=2391.083984375\n", + "global step=40638464, episodic return=2377.103515625\n", + "global step=40638464, episodic return=285.6923522949219\n", + "global step=40640512, episodic return=248.6525115966797\n", + "global step=40640512, episodic return=2341.081298828125\n", + "global step=40640512, episodic return=2397.7783203125\n", + "global step=40640512, episodic return=2407.37158203125\n", + "global step=40640512, episodic return=2400.08935546875\n", + "global step=40642560, episodic return=818.5316162109375\n", + "global step=40642560, episodic return=2354.198974609375\n", + "global step=40644608, episodic return=2328.494140625\n", + "global step=40644608, episodic return=2366.37060546875\n", + "global step=40644608, episodic return=2409.2451171875\n", + "global step=40646656, episodic return=2306.703369140625\n", + "global step=40646656, episodic return=2415.097900390625\n", + "global step=40646656, episodic return=2316.902587890625\n", + "global step=40648704, episodic return=2386.774658203125\n", + "global step=40650752, episodic return=2348.219970703125\n", + "global step=40650752, episodic return=2416.836181640625\n", + "global step=40652800, episodic return=2416.34814453125\n", + "global step=40652800, episodic return=2319.376708984375\n", + "global step=40654848, episodic return=2373.111083984375\n", + "global step=40654848, episodic return=2348.9150390625\n", + "global step=40656896, episodic return=2357.2119140625\n", + "global step=40656896, episodic return=2312.142578125\n", + "global step=40656896, episodic return=81.2096176147461\n", + "global step=40656896, episodic return=159.74627685546875\n", + "global step=40656896, episodic return=2125.82177734375\n", + "global step=40658944, episodic return=2321.711181640625\n", + "global step=40658944, episodic return=2303.37060546875\n", + "global step=40658944, episodic return=2325.30224609375\n", + "global step=40660992, episodic return=2312.623046875\n", + "global step=40663040, episodic return=2068.837158203125\n", + "global step=40665088, episodic return=2454.463134765625\n", + "global step=40665088, episodic return=2412.078125\n", + "global step=40665088, episodic return=2406.793212890625\n", + "global step=40665088, episodic return=213.8287353515625\n", + "global step=40665088, episodic return=2276.658935546875\n", + "global step=40667136, episodic return=2306.724853515625\n", + "global step=40667136, episodic return=328.4015808105469\n", + "global step=40667136, episodic return=2448.226318359375\n", + "global step=40669184, episodic return=2385.715087890625\n", + "global step=40669184, episodic return=2366.195068359375\n", + "global step=40669184, episodic return=2342.593505859375\n", + "global step=40669184, episodic return=1643.025634765625\n", + "global step=40671232, episodic return=2358.29248046875\n", + "global step=40671232, episodic return=2435.5\n", + "global step=40671232, episodic return=2294.03466796875\n", + "global step=40671232, episodic return=2339.72998046875\n", + "global step=40671232, episodic return=25.242826461791992\n", + "global step=40675328, episodic return=2285.663818359375\n", + "global step=40675328, episodic return=2275.698486328125\n", + "global step=40675328, episodic return=2386.526611328125\n", + "global step=40675328, episodic return=318.1627502441406\n", + "global step=40677376, episodic return=2327.03271484375\n", + "global step=40677376, episodic return=2348.87548828125\n", + "global step=40679424, episodic return=2397.184326171875\n", + "global step=40679424, episodic return=2320.62353515625\n", + "global step=40681472, episodic return=2299.71435546875\n", + "global step=40685568, episodic return=2439.886474609375\n", + "global step=40685568, episodic return=2426.0283203125\n", + "global step=40685568, episodic return=20.330129623413086\n", + "global step=40685568, episodic return=2327.87890625\n", + "global step=40685568, episodic return=2377.24560546875\n", + "global step=40685568, episodic return=2359.484375\n", + "global step=40687616, episodic return=2379.652099609375\n", + "global step=40687616, episodic return=2276.447509765625\n", + "global step=40687616, episodic return=2338.10595703125\n", + "global step=40689664, episodic return=2366.632568359375\n", + "global step=40691712, episodic return=2346.651123046875\n", + "global step=40691712, episodic return=2364.725341796875\n", + "global step=40693760, episodic return=2370.421630859375\n", + "global step=40695808, episodic return=2364.90673828125\n", + "global step=40697856, episodic return=90.00395965576172\n", + "global step=40697856, episodic return=2341.952392578125\n", + "global step=40697856, episodic return=864.1474609375\n", + "global step=40697856, episodic return=2300.698486328125\n", + "global step=40699904, episodic return=2373.60009765625\n", + "global step=40701952, episodic return=2384.72705078125\n", + "global step=40704000, episodic return=2371.733642578125\n", + "global step=40704000, episodic return=2364.27001953125\n", + "global step=40704000, episodic return=2299.140380859375\n", + "global step=40704000, episodic return=2365.2861328125\n", + "global step=40704000, episodic return=2330.818603515625\n", + "global step=40706048, episodic return=2318.886474609375\n", + "global step=40708096, episodic return=2358.836669921875\n", + "global step=40708096, episodic return=2313.59375\n", + "global step=40708096, episodic return=2391.770263671875\n", + "global step=40708096, episodic return=29.40099334716797\n", + "global step=40708096, episodic return=2299.744873046875\n", + "global step=40710144, episodic return=2365.909912109375\n", + "global step=40710144, episodic return=2386.7998046875\n", + "global step=40710144, episodic return=2331.89208984375\n", + "global step=40710144, episodic return=2406.0380859375\n", + "global step=40710144, episodic return=916.7987060546875\n", + "global step=40710144, episodic return=2395.1240234375\n", + "global step=40712192, episodic return=1395.6923828125\n", + "global step=40712192, episodic return=2293.26318359375\n", + "global step=40716288, episodic return=2373.536376953125\n", + "global step=40716288, episodic return=2416.83056640625\n", + "global step=40718336, episodic return=224.2804412841797\n", + "global step=40718336, episodic return=2322.13330078125\n", + "global step=40718336, episodic return=2378.79541015625\n", + "global step=40718336, episodic return=2390.706298828125\n", + "global step=40720384, episodic return=2336.625\n", + "global step=40720384, episodic return=2404.390625\n", + "global step=40720384, episodic return=2282.03369140625\n", + "global step=40722432, episodic return=2318.34326171875\n", + "global step=40724480, episodic return=2411.438232421875\n", + "global step=40724480, episodic return=2308.71435546875\n", + "global step=40726528, episodic return=2336.55810546875\n", + "global step=40726528, episodic return=2347.95751953125\n", + "global step=40726528, episodic return=2343.399169921875\n", + "global step=40726528, episodic return=2370.0263671875\n", + "global step=40726528, episodic return=2339.25244140625\n", + "global step=40728576, episodic return=2351.501708984375\n", + "global step=40728576, episodic return=2389.345458984375\n", + "global step=40728576, episodic return=2388.729736328125\n", + "global step=40728576, episodic return=2341.736083984375\n", + "global step=40728576, episodic return=2279.333740234375\n", + "global step=40730624, episodic return=2416.797607421875\n", + "global step=40730624, episodic return=2323.258544921875\n", + "global step=40730624, episodic return=2411.04541015625\n", + "global step=40732672, episodic return=2269.604248046875\n", + "global step=40736768, episodic return=2372.040771484375\n", + "global step=40738816, episodic return=2309.9423828125\n", + "global step=40738816, episodic return=2382.62158203125\n", + "global step=40740864, episodic return=2251.0615234375\n", + "global step=40740864, episodic return=2352.096435546875\n", + "global step=40744960, episodic return=2339.73291015625\n", + "global step=40744960, episodic return=2274.177001953125\n", + "global step=40744960, episodic return=2334.983642578125\n", + "global step=40744960, episodic return=2316.231689453125\n", + "global step=40744960, episodic return=2413.438232421875\n", + "global step=40747008, episodic return=2363.19970703125\n", + "global step=40747008, episodic return=2382.806884765625\n", + "global step=40747008, episodic return=24.4912052154541\n", + "global step=40747008, episodic return=2431.6904296875\n", + "global step=40751104, episodic return=2408.8779296875\n", + "global step=40751104, episodic return=51.24483871459961\n", + "global step=40751104, episodic return=2390.812255859375\n", + "global step=40751104, episodic return=2343.99755859375\n", + "global step=40751104, episodic return=2366.31103515625\n", + "global step=40753152, episodic return=2381.633544921875\n", + "global step=40753152, episodic return=2323.439697265625\n", + "global step=40753152, episodic return=2355.104736328125\n", + "global step=40755200, episodic return=2420.359375\n", + "global step=40755200, episodic return=2354.678955078125\n", + "global step=40757248, episodic return=2389.66162109375\n", + "global step=40757248, episodic return=2270.884521484375\n", + "global step=40757248, episodic return=2243.34765625\n", + "global step=40757248, episodic return=2270.279052734375\n", + "global step=40757248, episodic return=2359.66845703125\n", + "global step=40757248, episodic return=1991.837890625\n", + "global step=40759296, episodic return=2260.498291015625\n", + "global step=40759296, episodic return=2386.016357421875\n", + "global step=40759296, episodic return=2382.966552734375\n", + "global step=40765440, episodic return=2341.621337890625\n", + "global step=40767488, episodic return=2382.51611328125\n", + "global step=40767488, episodic return=2298.391845703125\n", + "global step=40767488, episodic return=2326.609130859375\n", + "global step=40767488, episodic return=2379.368896484375\n", + "global step=40769536, episodic return=2208.674072265625\n", + "global step=40769536, episodic return=2412.489013671875\n", + "global step=40769536, episodic return=2386.464111328125\n", + "global step=40769536, episodic return=2310.416748046875\n", + "global step=40771584, episodic return=2308.462158203125\n", + "global step=40771584, episodic return=2287.68359375\n", + "global step=40771584, episodic return=2385.437744140625\n", + "global step=40771584, episodic return=2462.557373046875\n", + "global step=40773632, episodic return=2327.094482421875\n", + "global step=40773632, episodic return=2369.773193359375\n", + "global step=40773632, episodic return=2261.900634765625\n", + "global step=40773632, episodic return=2344.14111328125\n", + "global step=40775680, episodic return=2371.2421875\n", + "global step=40775680, episodic return=2346.7001953125\n", + "global step=40777728, episodic return=2272.82958984375\n", + "global step=40777728, episodic return=1093.401123046875\n", + "global step=40777728, episodic return=2339.9541015625\n", + "global step=40777728, episodic return=2379.9443359375\n", + "global step=40779776, episodic return=2381.07861328125\n", + "global step=40779776, episodic return=2348.306396484375\n", + "global step=40781824, episodic return=2344.56103515625\n", + "global step=40783872, episodic return=2401.53857421875\n", + "global step=40783872, episodic return=2269.33203125\n", + "global step=40783872, episodic return=2260.690673828125\n", + "global step=40785920, episodic return=2278.831787109375\n", + "global step=40785920, episodic return=1477.8267822265625\n", + "global step=40787968, episodic return=2327.24755859375\n", + "global step=40787968, episodic return=2334.455810546875\n", + "global step=40787968, episodic return=2316.713134765625\n", + "global step=40790016, episodic return=143.1299285888672\n", + "global step=40790016, episodic return=2277.6806640625\n", + "global step=40794112, episodic return=2357.20068359375\n", + "global step=40794112, episodic return=2349.115966796875\n", + "global step=40794112, episodic return=778.64404296875\n", + "global step=40796160, episodic return=2402.806396484375\n", + "global step=40796160, episodic return=47.721153259277344\n", + "global step=40796160, episodic return=2348.775390625\n", + "global step=40796160, episodic return=1409.927001953125\n", + "global step=40798208, episodic return=2249.19677734375\n", + "global step=40800256, episodic return=2354.11279296875\n", + "global step=40800256, episodic return=2414.6064453125\n", + "global step=40800256, episodic return=2344.106201171875\n", + "global step=40802304, episodic return=2371.303955078125\n", + "global step=40802304, episodic return=2408.705322265625\n", + "global step=40802304, episodic return=2338.354736328125\n", + "global step=40804352, episodic return=2334.055419921875\n", + "global step=40804352, episodic return=2325.9443359375\n", + "global step=40804352, episodic return=234.8818359375\n", + "global step=40806400, episodic return=2428.7265625\n", + "global step=40806400, episodic return=2376.21142578125\n", + "global step=40808448, episodic return=1620.4788818359375\n", + "global step=40808448, episodic return=2384.90380859375\n", + "global step=40810496, episodic return=2392.072998046875\n", + "global step=40810496, episodic return=2368.643310546875\n", + "global step=40810496, episodic return=27.27578353881836\n", + "global step=40812544, episodic return=2437.78857421875\n", + "global step=40812544, episodic return=2400.425537109375\n", + "global step=40812544, episodic return=2413.619140625\n", + "global step=40812544, episodic return=2356.47900390625\n", + "global step=40814592, episodic return=2402.9599609375\n", + "global step=40816640, episodic return=151.43666076660156\n", + "global step=40818688, episodic return=2344.400390625\n", + "global step=40818688, episodic return=2384.318359375\n", + "global step=40820736, episodic return=2364.397705078125\n", + "global step=40822784, episodic return=2354.480712890625\n", + "global step=40822784, episodic return=2357.34033203125\n", + "global step=40822784, episodic return=2350.57958984375\n", + "global step=40822784, episodic return=2371.4130859375\n", + "global step=40822784, episodic return=2296.36962890625\n", + "global step=40822784, episodic return=498.82049560546875\n", + "global step=40824832, episodic return=2270.52490234375\n", + "global step=40824832, episodic return=2286.2939453125\n", + "global step=40824832, episodic return=2393.838623046875\n", + "global step=40824832, episodic return=2336.943115234375\n", + "global step=40824832, episodic return=2357.114013671875\n", + "global step=40826880, episodic return=2359.744384765625\n", + "global step=40826880, episodic return=163.3505096435547\n", + "global step=40826880, episodic return=2303.3720703125\n", + "global step=40828928, episodic return=2350.046142578125\n", + "global step=40830976, episodic return=2308.55908203125\n", + "global step=40830976, episodic return=2331.392333984375\n", + "global step=40830976, episodic return=727.4664916992188\n", + "global step=40833024, episodic return=2389.59716796875\n", + "global step=40833024, episodic return=2435.250732421875\n", + "global step=40833024, episodic return=2293.137451171875\n", + "global step=40833024, episodic return=2211.493408203125\n", + "global step=40833024, episodic return=2345.299072265625\n", + "global step=40835072, episodic return=2368.673583984375\n", + "global step=40835072, episodic return=2376.987060546875\n", + "global step=40835072, episodic return=1935.213623046875\n", + "global step=40835072, episodic return=2374.37255859375\n", + "global step=40835072, episodic return=2314.782958984375\n", + "global step=40835072, episodic return=2297.637939453125\n", + "global step=40835072, episodic return=2333.039794921875\n", + "global step=40835072, episodic return=2429.943359375\n", + "global step=40837120, episodic return=2311.53564453125\n", + "global step=40837120, episodic return=2371.59423828125\n", + "global step=40839168, episodic return=2294.428955078125\n", + "global step=40841216, episodic return=2331.54345703125\n", + "global step=40841216, episodic return=2293.797607421875\n", + "global step=40841216, episodic return=2216.80078125\n", + "global step=40843264, episodic return=2367.830810546875\n", + "global step=40843264, episodic return=2267.521728515625\n", + "global step=40843264, episodic return=2239.28857421875\n", + "global step=40845312, episodic return=2370.79736328125\n", + "global step=40845312, episodic return=2335.089111328125\n", + "global step=40845312, episodic return=2325.35595703125\n", + "global step=40845312, episodic return=2355.966552734375\n", + "global step=40845312, episodic return=2266.7509765625\n", + "global step=40845312, episodic return=2287.94677734375\n", + "global step=40847360, episodic return=2395.036376953125\n", + "global step=40847360, episodic return=2398.86767578125\n", + "global step=40847360, episodic return=2348.93505859375\n", + "global step=40849408, episodic return=2353.05322265625\n", + "global step=40849408, episodic return=2399.09375\n", + "global step=40849408, episodic return=2321.02880859375\n", + "global step=40851456, episodic return=2428.032958984375\n", + "global step=40851456, episodic return=2298.81982421875\n", + "global step=40851456, episodic return=2291.46923828125\n", + "global step=40853504, episodic return=2242.249267578125\n", + "global step=40853504, episodic return=2329.1796875\n", + "global step=40855552, episodic return=2353.56591796875\n", + "global step=40855552, episodic return=2275.3837890625\n", + "global step=40855552, episodic return=2341.995361328125\n", + "global step=40857600, episodic return=2347.5927734375\n", + "global step=40863744, episodic return=2281.760986328125\n", + "global step=40863744, episodic return=2387.2578125\n", + "global step=40863744, episodic return=2264.820068359375\n", + "global step=40867840, episodic return=2329.87646484375\n", + "global step=40867840, episodic return=2239.442626953125\n", + "global step=40867840, episodic return=291.0774841308594\n", + "global step=40867840, episodic return=2160.259033203125\n", + "global step=40867840, episodic return=2372.5556640625\n", + "global step=40867840, episodic return=2362.22021484375\n", + "global step=40869888, episodic return=2396.384765625\n", + "global step=40869888, episodic return=2337.906005859375\n", + "global step=40869888, episodic return=2341.41845703125\n", + "global step=40869888, episodic return=2391.610595703125\n", + "global step=40869888, episodic return=2359.90966796875\n", + "global step=40869888, episodic return=2352.055908203125\n", + "global step=40869888, episodic return=2286.25537109375\n", + "global step=40869888, episodic return=2357.554931640625\n", + "global step=40869888, episodic return=2364.14208984375\n", + "global step=40869888, episodic return=2374.123779296875\n", + "global step=40873984, episodic return=2336.136962890625\n", + "global step=40873984, episodic return=2322.72802734375\n", + "global step=40876032, episodic return=2281.338623046875\n", + "global step=40876032, episodic return=2335.076416015625\n", + "global step=40876032, episodic return=2328.81591796875\n", + "global step=40876032, episodic return=2327.899169921875\n", + "global step=40878080, episodic return=2236.0234375\n", + "global step=40878080, episodic return=2255.67041015625\n", + "global step=40878080, episodic return=2264.0625\n", + "global step=40884224, episodic return=2194.4912109375\n", + "global step=40884224, episodic return=2365.20068359375\n", + "global step=40884224, episodic return=2339.200927734375\n", + "global step=40884224, episodic return=2248.647705078125\n", + "global step=40886272, episodic return=2344.26904296875\n", + "global step=40886272, episodic return=2333.228515625\n", + "global step=40886272, episodic return=2307.557861328125\n", + "global step=40886272, episodic return=2386.83154296875\n", + "global step=40886272, episodic return=2228.08984375\n", + "global step=40886272, episodic return=2372.121337890625\n", + "global step=40886272, episodic return=2386.550048828125\n", + "global step=40888320, episodic return=2333.12939453125\n", + "global step=40888320, episodic return=2320.3984375\n", + "global step=40888320, episodic return=2346.508544921875\n", + "global step=40888320, episodic return=2350.82080078125\n", + "global step=40890368, episodic return=2291.968994140625\n", + "global step=40890368, episodic return=2347.769775390625\n", + "global step=40890368, episodic return=2331.81982421875\n", + "global step=40892416, episodic return=2303.323486328125\n", + "global step=40892416, episodic return=1264.3792724609375\n", + "global step=40892416, episodic return=2257.834228515625\n", + "global step=40892416, episodic return=2421.53125\n", + "global step=40896512, episodic return=2299.113525390625\n", + "global step=40896512, episodic return=2412.307861328125\n", + "global step=40898560, episodic return=2426.4462890625\n", + "global step=40900608, episodic return=2406.19189453125\n", + "global step=40900608, episodic return=2215.005126953125\n", + "global step=40900608, episodic return=2281.35009765625\n", + "global step=40900608, episodic return=2166.171142578125\n", + "global step=40902656, episodic return=2381.1337890625\n", + "global step=40902656, episodic return=2357.103759765625\n", + "global step=40902656, episodic return=2349.890869140625\n", + "global step=40904704, episodic return=2233.5078125\n", + "global step=40904704, episodic return=2351.002685546875\n", + "global step=40906752, episodic return=2306.2802734375\n", + "global step=40906752, episodic return=2323.02197265625\n", + "global step=40908800, episodic return=2318.362060546875\n", + "global step=40908800, episodic return=2289.673583984375\n", + "global step=40910848, episodic return=2264.13232421875\n", + "global step=40910848, episodic return=2311.0810546875\n", + "global step=40912896, episodic return=2231.849609375\n", + "global step=40916992, episodic return=2348.051025390625\n", + "global step=40916992, episodic return=2254.55029296875\n", + "global step=40916992, episodic return=2335.01806640625\n", + "global step=40919040, episodic return=2218.793212890625\n", + "global step=40919040, episodic return=2373.009765625\n", + "global step=40921088, episodic return=2413.865478515625\n", + "global step=40923136, episodic return=2258.41796875\n", + "global step=40923136, episodic return=2248.418701171875\n", + "global step=40923136, episodic return=2237.962890625\n", + "global step=40925184, episodic return=2405.1533203125\n", + "global step=40925184, episodic return=2311.332275390625\n", + "global step=40925184, episodic return=1861.390380859375\n", + "global step=40925184, episodic return=2389.515869140625\n", + "global step=40925184, episodic return=2361.303466796875\n", + "global step=40927232, episodic return=2344.95166015625\n", + "global step=40927232, episodic return=2384.0859375\n", + "global step=40927232, episodic return=2325.66015625\n", + "global step=40927232, episodic return=2325.54052734375\n", + "global step=40929280, episodic return=2367.089599609375\n", + "global step=40929280, episodic return=2337.586669921875\n", + "global step=40929280, episodic return=2371.340576171875\n", + "global step=40929280, episodic return=2374.961669921875\n", + "global step=40929280, episodic return=2273.23583984375\n", + "global step=40931328, episodic return=2257.5771484375\n", + "global step=40933376, episodic return=2250.66162109375\n", + "global step=40933376, episodic return=2304.39013671875\n", + "global step=40935424, episodic return=2190.6337890625\n", + "global step=40935424, episodic return=2380.79638671875\n", + "global step=40935424, episodic return=2213.83203125\n", + "global step=40935424, episodic return=2350.728759765625\n", + "global step=40937472, episodic return=2373.397216796875\n", + "global step=40937472, episodic return=2312.482666015625\n", + "global step=40937472, episodic return=2276.07421875\n", + "global step=40937472, episodic return=2386.03857421875\n", + "global step=40939520, episodic return=379.8942565917969\n", + "global step=40939520, episodic return=163.88323974609375\n", + "global step=40939520, episodic return=2327.32568359375\n", + "global step=40941568, episodic return=1601.361083984375\n", + "global step=40941568, episodic return=2280.528076171875\n", + "global step=40941568, episodic return=2275.14697265625\n", + "global step=40943616, episodic return=2376.435546875\n", + "global step=40943616, episodic return=2322.671630859375\n", + "global step=40943616, episodic return=2439.903564453125\n", + "global step=40945664, episodic return=2315.9609375\n", + "global step=40945664, episodic return=2320.647216796875\n", + "global step=40945664, episodic return=952.0392456054688\n", + "global step=40945664, episodic return=1877.8175048828125\n", + "global step=40945664, episodic return=2342.460693359375\n", + "global step=40947712, episodic return=2309.707275390625\n", + "global step=40947712, episodic return=2329.30859375\n", + "global step=40947712, episodic return=2174.36328125\n", + "global step=40947712, episodic return=2220.027099609375\n", + "global step=40947712, episodic return=763.7391967773438\n", + "global step=40947712, episodic return=2347.674072265625\n", + "global step=40947712, episodic return=2238.09375\n", + "global step=40947712, episodic return=2375.089111328125\n", + "global step=40947712, episodic return=2381.24658203125\n", + "global step=40949760, episodic return=157.7756805419922\n", + "global step=40949760, episodic return=2371.384765625\n", + "global step=40949760, episodic return=978.4487915039062\n", + "global step=40949760, episodic return=637.6593017578125\n", + "global step=40949760, episodic return=2252.252197265625\n", + "global step=40949760, episodic return=2222.296875\n", + "global step=40951808, episodic return=2250.34765625\n", + "global step=40951808, episodic return=2276.978271484375\n", + "global step=40953856, episodic return=2182.543212890625\n", + "global step=40953856, episodic return=2407.493896484375\n", + "global step=40953856, episodic return=2357.319580078125\n", + "global step=40953856, episodic return=2242.395263671875\n", + "global step=40955904, episodic return=2343.20068359375\n", + "global step=40955904, episodic return=2101.84619140625\n", + "global step=40955904, episodic return=2309.804443359375\n", + "global step=40955904, episodic return=2322.80859375\n", + "global step=40955904, episodic return=169.4409637451172\n", + "global step=40955904, episodic return=1862.346923828125\n", + "global step=40957952, episodic return=2385.87060546875\n", + "global step=40957952, episodic return=2309.436767578125\n", + "global step=40960000, episodic return=2256.8818359375\n", + "global step=40960000, episodic return=2322.573486328125\n", + "global step=40960000, episodic return=1724.88037109375\n", + "global step=40960000, episodic return=2376.586181640625\n", + "global step=40964096, episodic return=484.7898864746094\n", + "global step=40964096, episodic return=1709.9749755859375\n", + "global step=40966144, episodic return=1057.8140869140625\n", + "global step=40968192, episodic return=2404.164794921875\n", + "global step=40968192, episodic return=2263.21533203125\n", + "global step=40970240, episodic return=2324.951904296875\n", + "global step=40970240, episodic return=2380.015380859375\n", + "global step=40970240, episodic return=2280.281982421875\n", + "global step=40970240, episodic return=2282.4208984375\n", + "global step=40972288, episodic return=2176.972900390625\n", + "global step=40972288, episodic return=2321.867431640625\n", + "global step=40974336, episodic return=1988.1861572265625\n", + "global step=40974336, episodic return=2302.774169921875\n", + "global step=40974336, episodic return=2349.51611328125\n", + "global step=40974336, episodic return=2361.244384765625\n", + "global step=40976384, episodic return=2396.381103515625\n", + "global step=40976384, episodic return=2383.64697265625\n", + "global step=40978432, episodic return=2312.364990234375\n", + "global step=40978432, episodic return=2374.1083984375\n", + "global step=40978432, episodic return=2339.219970703125\n", + "global step=40980480, episodic return=2281.2578125\n", + "global step=40982528, episodic return=2302.36328125\n", + "global step=40986624, episodic return=2260.59619140625\n", + "global step=40986624, episodic return=2321.50244140625\n", + "global step=40986624, episodic return=2326.1572265625\n", + "global step=40986624, episodic return=2305.830810546875\n", + "global step=40986624, episodic return=2320.397216796875\n", + "global step=40986624, episodic return=1686.5826416015625\n", + "global step=40986624, episodic return=793.946533203125\n", + "global step=40988672, episodic return=2302.439697265625\n", + "global step=40988672, episodic return=2376.11962890625\n", + "global step=40988672, episodic return=2042.7777099609375\n", + "global step=40988672, episodic return=2365.482177734375\n", + "global step=40988672, episodic return=2087.71630859375\n", + "global step=40988672, episodic return=2233.1669921875\n", + "global step=40990720, episodic return=2202.892333984375\n", + "global step=40992768, episodic return=2342.966796875\n", + "global step=40992768, episodic return=2272.0625\n", + "global step=40992768, episodic return=2371.05615234375\n", + "global step=40994816, episodic return=1661.46728515625\n", + "global step=40996864, episodic return=2410.385498046875\n", + "global step=40996864, episodic return=2306.650146484375\n", + "global step=40996864, episodic return=2270.088623046875\n", + "global step=40996864, episodic return=2350.001953125\n", + "global step=40998912, episodic return=2327.939453125\n", + "global step=40998912, episodic return=2315.351318359375\n", + "global step=41000960, episodic return=2259.559326171875\n", + "global step=41000960, episodic return=2356.5517578125\n", + "global step=41000960, episodic return=2288.446533203125\n", + "global step=41000960, episodic return=2322.3828125\n", + "global step=41003008, episodic return=2372.27197265625\n", + "global step=41003008, episodic return=2345.985107421875\n", + "global step=41005056, episodic return=2328.30908203125\n", + "global step=41005056, episodic return=2309.984375\n", + "global step=41005056, episodic return=2351.8359375\n", + "global step=41009152, episodic return=668.5586547851562\n", + "global step=41009152, episodic return=2347.489990234375\n", + "global step=41011200, episodic return=2340.068603515625\n", + "global step=41011200, episodic return=2178.18017578125\n", + "global step=41013248, episodic return=2298.86767578125\n", + "global step=41013248, episodic return=811.1740112304688\n", + "global step=41013248, episodic return=2386.217529296875\n", + "global step=41015296, episodic return=2257.89697265625\n", + "global step=41015296, episodic return=2246.630859375\n", + "global step=41015296, episodic return=2339.82421875\n", + "global step=41017344, episodic return=2369.90673828125\n", + "global step=41017344, episodic return=2150.7490234375\n", + "global step=41019392, episodic return=2353.777099609375\n", + "global step=41021440, episodic return=199.52127075195312\n", + "global step=41021440, episodic return=2333.910400390625\n", + "global step=41023488, episodic return=2430.204345703125\n", + "global step=41023488, episodic return=2388.060302734375\n", + "global step=41025536, episodic return=2439.9912109375\n", + "global step=41025536, episodic return=2367.580810546875\n", + "global step=41025536, episodic return=2341.19775390625\n", + "global step=41025536, episodic return=2356.6728515625\n", + "global step=41025536, episodic return=1674.45556640625\n", + "global step=41025536, episodic return=2290.882080078125\n", + "global step=41027584, episodic return=402.67340087890625\n", + "global step=41027584, episodic return=2405.887451171875\n", + "global step=41027584, episodic return=810.21337890625\n", + "global step=41027584, episodic return=2343.134033203125\n", + "global step=41031680, episodic return=1096.081298828125\n", + "global step=41033728, episodic return=2321.718994140625\n", + "global step=41033728, episodic return=2359.755859375\n", + "global step=41033728, episodic return=2231.830322265625\n", + "global step=41033728, episodic return=2204.174072265625\n", + "global step=41037824, episodic return=2279.3173828125\n", + "global step=41039872, episodic return=2349.7890625\n", + "global step=41039872, episodic return=2364.57568359375\n", + "global step=41039872, episodic return=2332.572265625\n", + "global step=41039872, episodic return=2363.791015625\n", + "global step=41041920, episodic return=2308.032958984375\n", + "global step=41043968, episodic return=2301.636962890625\n", + "global step=41043968, episodic return=2333.383056640625\n", + "global step=41043968, episodic return=1187.15576171875\n", + "global step=41043968, episodic return=2321.79833984375\n", + "global step=41046016, episodic return=2293.75048828125\n", + "global step=41046016, episodic return=2214.30078125\n", + "global step=41046016, episodic return=1700.970458984375\n", + "global step=41046016, episodic return=2260.783447265625\n", + "global step=41048064, episodic return=2315.677490234375\n", + "global step=41048064, episodic return=2393.608154296875\n", + "global step=41048064, episodic return=2280.526611328125\n", + "global step=41050112, episodic return=25.059511184692383\n", + "global step=41050112, episodic return=2178.961669921875\n", + "global step=41050112, episodic return=2340.691162109375\n", + "global step=41050112, episodic return=2345.765380859375\n", + "global step=41050112, episodic return=2179.548828125\n", + "global step=41052160, episodic return=2395.64599609375\n", + "global step=41052160, episodic return=2333.768310546875\n", + "global step=41054208, episodic return=2257.3310546875\n", + "global step=41054208, episodic return=2289.516357421875\n", + "global step=41054208, episodic return=2320.250732421875\n", + "global step=41054208, episodic return=2396.266357421875\n", + "global step=41056256, episodic return=2372.962158203125\n", + "global step=41056256, episodic return=28.557605743408203\n", + "global step=41056256, episodic return=2395.56982421875\n", + "global step=41056256, episodic return=2332.83544921875\n", + "global step=41058304, episodic return=2394.517822265625\n", + "global step=41060352, episodic return=2331.7412109375\n", + "global step=41060352, episodic return=2267.85791015625\n", + "global step=41062400, episodic return=2267.64697265625\n", + "global step=41062400, episodic return=2346.848876953125\n", + "global step=41062400, episodic return=2279.36669921875\n", + "global step=41062400, episodic return=2344.6005859375\n", + "global step=41066496, episodic return=2250.182861328125\n", + "global step=41070592, episodic return=1843.4696044921875\n", + "global step=41070592, episodic return=2234.71240234375\n", + "global step=41070592, episodic return=2325.337646484375\n", + "global step=41072640, episodic return=2278.35205078125\n", + "global step=41072640, episodic return=1073.0418701171875\n", + "global step=41074688, episodic return=2210.169921875\n", + "global step=41074688, episodic return=2312.59716796875\n", + "global step=41074688, episodic return=2334.696044921875\n", + "global step=41074688, episodic return=117.45618438720703\n", + "global step=41076736, episodic return=2202.661376953125\n", + "global step=41076736, episodic return=2321.7607421875\n", + "global step=41076736, episodic return=2350.856689453125\n", + "global step=41076736, episodic return=2266.2998046875\n", + "global step=41080832, episodic return=2249.805419921875\n", + "global step=41080832, episodic return=1439.1402587890625\n", + "global step=41082880, episodic return=2361.835205078125\n", + "global step=41082880, episodic return=26.996185302734375\n", + "global step=41084928, episodic return=2277.828857421875\n", + "global step=41084928, episodic return=2330.876708984375\n", + "global step=41086976, episodic return=2207.06005859375\n", + "global step=41089024, episodic return=2167.3515625\n", + "global step=41089024, episodic return=2006.907958984375\n", + "global step=41089024, episodic return=2302.211181640625\n", + "global step=41091072, episodic return=2294.32568359375\n", + "global step=41091072, episodic return=2318.280029296875\n", + "global step=41091072, episodic return=2315.4345703125\n", + "global step=41093120, episodic return=2302.754638671875\n", + "global step=41093120, episodic return=2257.853759765625\n", + "global step=41095168, episodic return=2394.1171875\n", + "global step=41095168, episodic return=1457.635986328125\n", + "global step=41097216, episodic return=2325.021484375\n", + "global step=41097216, episodic return=2253.229736328125\n", + "global step=41099264, episodic return=2230.614501953125\n", + "global step=41099264, episodic return=194.54896545410156\n", + "global step=41099264, episodic return=2174.059326171875\n", + "global step=41099264, episodic return=2342.70556640625\n", + "global step=41099264, episodic return=2381.5185546875\n", + "global step=41099264, episodic return=2314.6494140625\n", + "global step=41101312, episodic return=2321.997314453125\n", + "global step=41101312, episodic return=802.4970703125\n", + "global step=41101312, episodic return=2344.585693359375\n", + "global step=41101312, episodic return=2111.700927734375\n", + "global step=41101312, episodic return=2317.94873046875\n", + "global step=41105408, episodic return=2290.337646484375\n", + "global step=41105408, episodic return=2262.129638671875\n", + "global step=41105408, episodic return=2287.705078125\n", + "global step=41105408, episodic return=2276.432373046875\n", + "global step=41105408, episodic return=188.65167236328125\n", + "global step=41107456, episodic return=2177.513671875\n", + "global step=41107456, episodic return=2174.062744140625\n", + "global step=41109504, episodic return=1247.3907470703125\n", + "global step=41109504, episodic return=2362.9599609375\n", + "global step=41109504, episodic return=2391.07177734375\n", + "global step=41111552, episodic return=2339.1923828125\n", + "global step=41113600, episodic return=2424.6220703125\n", + "global step=41113600, episodic return=2341.794189453125\n", + "global step=41113600, episodic return=1654.226318359375\n", + "global step=41113600, episodic return=2367.930908203125\n", + "global step=41113600, episodic return=2337.7265625\n", + "global step=41115648, episodic return=2351.083740234375\n", + "global step=41115648, episodic return=2212.341796875\n", + "global step=41115648, episodic return=2327.78125\n", + "global step=41117696, episodic return=2311.22119140625\n", + "global step=41119744, episodic return=2385.4716796875\n", + "global step=41119744, episodic return=2357.308837890625\n", + "global step=41121792, episodic return=2299.375244140625\n", + "global step=41121792, episodic return=2161.630615234375\n", + "global step=41123840, episodic return=2286.820068359375\n", + "global step=41123840, episodic return=2206.11181640625\n", + "global step=41123840, episodic return=2302.8212890625\n", + "global step=41125888, episodic return=2310.3974609375\n", + "global step=41125888, episodic return=2222.492431640625\n", + "global step=41125888, episodic return=2266.58056640625\n", + "global step=41127936, episodic return=2224.345703125\n", + "global step=41127936, episodic return=2339.596923828125\n", + "global step=41129984, episodic return=2395.955322265625\n", + "global step=41129984, episodic return=2346.76220703125\n", + "global step=41129984, episodic return=2342.36083984375\n", + "global step=41129984, episodic return=2233.539794921875\n", + "global step=41136128, episodic return=2330.153076171875\n", + "global step=41136128, episodic return=2336.0732421875\n", + "global step=41138176, episodic return=2336.771240234375\n", + "global step=41138176, episodic return=136.5041046142578\n", + "global step=41138176, episodic return=2324.79931640625\n", + "global step=41140224, episodic return=1831.6781005859375\n", + "global step=41142272, episodic return=101.38687133789062\n", + "global step=41142272, episodic return=2239.77685546875\n", + "global step=41142272, episodic return=2339.939697265625\n", + "global step=41142272, episodic return=2315.2373046875\n", + "global step=41144320, episodic return=139.8640899658203\n", + "global step=41148416, episodic return=2393.782470703125\n", + "global step=41148416, episodic return=2363.586669921875\n", + "global step=41148416, episodic return=2300.48046875\n", + "global step=41148416, episodic return=2250.916748046875\n", + "global step=41150464, episodic return=1930.143798828125\n", + "global step=41150464, episodic return=2321.091064453125\n", + "global step=41152512, episodic return=2180.668212890625\n", + "global step=41154560, episodic return=2349.42724609375\n", + "global step=41154560, episodic return=2298.6728515625\n", + "global step=41154560, episodic return=2235.46875\n", + "global step=41154560, episodic return=546.3482666015625\n", + "global step=41156608, episodic return=2283.9013671875\n", + "global step=41158656, episodic return=177.07606506347656\n", + "global step=41158656, episodic return=2184.363037109375\n", + "global step=41158656, episodic return=2292.16943359375\n", + "global step=41160704, episodic return=1578.9627685546875\n", + "global step=41160704, episodic return=2248.856201171875\n", + "global step=41162752, episodic return=1911.60498046875\n", + "global step=41164800, episodic return=2348.51123046875\n", + "global step=41164800, episodic return=2294.220947265625\n", + "global step=41166848, episodic return=2314.942138671875\n", + "global step=41166848, episodic return=166.2627716064453\n", + "global step=41166848, episodic return=2355.529296875\n", + "global step=41166848, episodic return=2252.453369140625\n", + "global step=41166848, episodic return=2276.55517578125\n", + "global step=41168896, episodic return=2090.758056640625\n", + "global step=41168896, episodic return=164.78712463378906\n", + "global step=41168896, episodic return=2227.162841796875\n", + "global step=41168896, episodic return=2354.193603515625\n", + "global step=41168896, episodic return=2354.608154296875\n", + "global step=41170944, episodic return=2330.484375\n", + "global step=41172992, episodic return=2164.91259765625\n", + "global step=41172992, episodic return=2315.41796875\n", + "global step=41172992, episodic return=2375.389404296875\n", + "global step=41175040, episodic return=1406.18408203125\n", + "global step=41177088, episodic return=2308.425048828125\n", + "global step=41179136, episodic return=170.8248748779297\n", + "global step=41179136, episodic return=2366.201416015625\n", + "global step=41181184, episodic return=2250.087646484375\n", + "global step=41181184, episodic return=2319.32373046875\n", + "global step=41185280, episodic return=2345.570556640625\n", + "global step=41185280, episodic return=2172.140380859375\n", + "global step=41185280, episodic return=2349.174072265625\n", + "global step=41187328, episodic return=2346.4697265625\n", + "global step=41187328, episodic return=2276.73193359375\n", + "global step=41187328, episodic return=2210.93115234375\n", + "global step=41189376, episodic return=1262.489501953125\n", + "global step=41191424, episodic return=2347.2021484375\n", + "global step=41193472, episodic return=2376.75537109375\n", + "global step=41193472, episodic return=2314.124755859375\n", + "global step=41193472, episodic return=2306.3759765625\n", + "global step=41197568, episodic return=2178.576416015625\n", + "global step=41197568, episodic return=2361.23095703125\n", + "global step=41199616, episodic return=390.07220458984375\n", + "global step=41199616, episodic return=2327.564697265625\n", + "global step=41201664, episodic return=2378.08056640625\n", + "global step=41201664, episodic return=2369.833251953125\n", + "global step=41203712, episodic return=2306.123046875\n", + "global step=41207808, episodic return=2295.96484375\n", + "global step=41207808, episodic return=2376.961669921875\n", + "global step=41207808, episodic return=2370.728759765625\n", + "global step=41207808, episodic return=2367.338134765625\n", + "global step=41207808, episodic return=2341.773681640625\n", + "global step=41209856, episodic return=2282.747802734375\n", + "global step=41209856, episodic return=1540.92236328125\n", + "global step=41209856, episodic return=2364.013916015625\n", + "global step=41211904, episodic return=2335.033935546875\n", + "global step=41211904, episodic return=2318.5712890625\n", + "global step=41213952, episodic return=2358.749755859375\n", + "global step=41216000, episodic return=2198.869140625\n", + "global step=41220096, episodic return=2327.65576171875\n", + "global step=41220096, episodic return=2345.86328125\n", + "global step=41220096, episodic return=1723.6268310546875\n", + "global step=41222144, episodic return=167.35987854003906\n", + "global step=41222144, episodic return=1153.274169921875\n", + "global step=41224192, episodic return=254.00186157226562\n", + "global step=41224192, episodic return=2346.882568359375\n", + "global step=41224192, episodic return=2373.888671875\n", + "global step=41226240, episodic return=2249.113037109375\n", + "global step=41226240, episodic return=2182.5380859375\n", + "global step=41226240, episodic return=2286.04833984375\n", + "global step=41226240, episodic return=2306.804931640625\n", + "global step=41226240, episodic return=158.35231018066406\n", + "global step=41228288, episodic return=1379.9708251953125\n", + "global step=41228288, episodic return=2241.305908203125\n", + "global step=41228288, episodic return=2326.870361328125\n", + "global step=41228288, episodic return=2306.039794921875\n", + "global step=41230336, episodic return=2371.879638671875\n", + "global step=41230336, episodic return=2222.764892578125\n", + "global step=41230336, episodic return=2248.029541015625\n", + "global step=41230336, episodic return=2269.53857421875\n", + "global step=41234432, episodic return=2309.02880859375\n", + "global step=41236480, episodic return=2280.046875\n", + "global step=41236480, episodic return=2291.16357421875\n", + "global step=41236480, episodic return=2215.344482421875\n", + "global step=41238528, episodic return=262.3259582519531\n", + "global step=41240576, episodic return=2283.878173828125\n", + "global step=41240576, episodic return=2236.388671875\n", + "global step=41240576, episodic return=2308.137451171875\n", + "global step=41240576, episodic return=2328.56103515625\n", + "global step=41240576, episodic return=1737.946044921875\n", + "global step=41240576, episodic return=2321.6279296875\n", + "global step=41240576, episodic return=2258.637939453125\n", + "global step=41240576, episodic return=560.7379150390625\n", + "global step=41242624, episodic return=2265.266357421875\n", + "global step=41242624, episodic return=2321.6357421875\n", + "global step=41244672, episodic return=2387.287109375\n", + "global step=41244672, episodic return=1359.0462646484375\n", + "global step=41244672, episodic return=2236.884033203125\n", + "global step=41244672, episodic return=2293.3212890625\n", + "global step=41244672, episodic return=2375.15234375\n", + "global step=41246720, episodic return=2119.9833984375\n", + "global step=41246720, episodic return=2310.576416015625\n", + "global step=41248768, episodic return=2302.57421875\n", + "global step=41248768, episodic return=2406.172119140625\n", + "global step=41248768, episodic return=2279.41455078125\n", + "global step=41250816, episodic return=2302.2744140625\n", + "global step=41250816, episodic return=2145.11474609375\n", + "global step=41250816, episodic return=2326.77880859375\n", + "global step=41250816, episodic return=2358.137451171875\n", + "global step=41250816, episodic return=2336.05322265625\n", + "global step=41252864, episodic return=178.1357421875\n", + "global step=41252864, episodic return=2321.9501953125\n", + "global step=41252864, episodic return=2287.59521484375\n", + "global step=41254912, episodic return=2364.59521484375\n", + "global step=41254912, episodic return=2378.760498046875\n", + "global step=41256960, episodic return=2277.85009765625\n", + "global step=41256960, episodic return=2386.223388671875\n", + "global step=41256960, episodic return=2338.138916015625\n", + "global step=41256960, episodic return=2217.914306640625\n", + "global step=41256960, episodic return=2354.993408203125\n", + "global step=41259008, episodic return=2252.386474609375\n", + "global step=41259008, episodic return=2193.82275390625\n", + "global step=41259008, episodic return=2385.7451171875\n", + "global step=41259008, episodic return=2288.8203125\n", + "global step=41261056, episodic return=2255.388671875\n", + "global step=41261056, episodic return=2222.097900390625\n", + "global step=41263104, episodic return=2319.25732421875\n", + "global step=41263104, episodic return=2342.91455078125\n", + "global step=41263104, episodic return=2291.405517578125\n", + "global step=41265152, episodic return=2342.9912109375\n", + "global step=41267200, episodic return=2306.027587890625\n", + "global step=41267200, episodic return=302.1517639160156\n", + "global step=41267200, episodic return=2368.464111328125\n", + "global step=41269248, episodic return=2324.61376953125\n", + "global step=41269248, episodic return=2330.542236328125\n", + "global step=41269248, episodic return=2350.971435546875\n", + "global step=41269248, episodic return=2320.2275390625\n", + "global step=41269248, episodic return=2295.244873046875\n", + "global step=41269248, episodic return=2329.77734375\n", + "global step=41271296, episodic return=2333.037841796875\n", + "global step=41271296, episodic return=2287.64599609375\n", + "global step=41273344, episodic return=2342.697998046875\n", + "global step=41275392, episodic return=2002.34326171875\n", + "global step=41275392, episodic return=2215.93310546875\n", + "global step=41275392, episodic return=2341.67041015625\n", + "global step=41277440, episodic return=2412.056396484375\n", + "global step=41279488, episodic return=2309.47705078125\n", + "global step=41285632, episodic return=2364.560791015625\n", + "global step=41285632, episodic return=2294.9814453125\n", + "global step=41285632, episodic return=1928.6768798828125\n", + "global step=41285632, episodic return=2292.04736328125\n", + "global step=41287680, episodic return=2317.881591796875\n", + "global step=41289728, episodic return=2325.4208984375\n", + "global step=41289728, episodic return=2319.210205078125\n", + "global step=41291776, episodic return=240.09024047851562\n", + "global step=41291776, episodic return=2361.54931640625\n", + "global step=41295872, episodic return=2270.671875\n", + "global step=41295872, episodic return=2362.162353515625\n", + "global step=41295872, episodic return=2323.0341796875\n", + "global step=41297920, episodic return=2297.67919921875\n", + "global step=41299968, episodic return=2157.328125\n", + "global step=41302016, episodic return=2303.481689453125\n", + "global step=41306112, episodic return=2280.233154296875\n", + "global step=41306112, episodic return=2342.881591796875\n", + "global step=41306112, episodic return=2321.439208984375\n", + "global step=41308160, episodic return=1726.6510009765625\n", + "global step=41310208, episodic return=2304.88671875\n", + "global step=41310208, episodic return=2305.532958984375\n", + "global step=41312256, episodic return=2353.343505859375\n", + "global step=41312256, episodic return=2347.434326171875\n", + "global step=41312256, episodic return=2346.842529296875\n", + "global step=41312256, episodic return=2323.9599609375\n", + "global step=41312256, episodic return=2241.96923828125\n", + "global step=41312256, episodic return=2373.3662109375\n", + "global step=41312256, episodic return=2305.661376953125\n", + "global step=41314304, episodic return=1239.85400390625\n", + "global step=41314304, episodic return=2312.67919921875\n", + "global step=41316352, episodic return=1784.1375732421875\n", + "global step=41318400, episodic return=1063.5855712890625\n", + "global step=41318400, episodic return=2241.017333984375\n", + "global step=41320448, episodic return=2336.468994140625\n", + "global step=41320448, episodic return=2370.842041015625\n", + "global step=41320448, episodic return=2300.65869140625\n", + "global step=41320448, episodic return=2351.272705078125\n", + "global step=41320448, episodic return=2279.629150390625\n", + "global step=41322496, episodic return=2264.1162109375\n", + "global step=41324544, episodic return=2310.919921875\n", + "global step=41328640, episodic return=537.069580078125\n", + "global step=41328640, episodic return=2352.524658203125\n", + "global step=41330688, episodic return=2331.0107421875\n", + "global step=41330688, episodic return=2299.657470703125\n", + "global step=41332736, episodic return=2248.572509765625\n", + "global step=41334784, episodic return=2354.220458984375\n", + "global step=41334784, episodic return=2255.690185546875\n", + "global step=41334784, episodic return=2394.947021484375\n", + "global step=41334784, episodic return=2299.317138671875\n", + "global step=41336832, episodic return=2330.945556640625\n", + "global step=41336832, episodic return=2378.6767578125\n", + "global step=41336832, episodic return=2380.212158203125\n", + "global step=41336832, episodic return=2330.236083984375\n", + "global step=41338880, episodic return=2337.144775390625\n", + "global step=41338880, episodic return=2344.329345703125\n", + "global step=41338880, episodic return=2297.744873046875\n", + "global step=41338880, episodic return=2300.955078125\n", + "global step=41338880, episodic return=2288.115234375\n", + "global step=41342976, episodic return=2335.228271484375\n", + "global step=41342976, episodic return=2197.91748046875\n", + "global step=41342976, episodic return=249.18905639648438\n", + "global step=41342976, episodic return=2228.208984375\n", + "global step=41345024, episodic return=2312.312255859375\n", + "global step=41347072, episodic return=2322.754150390625\n", + "global step=41347072, episodic return=1454.58154296875\n", + "global step=41347072, episodic return=2153.70458984375\n", + "global step=41347072, episodic return=2320.095458984375\n", + "global step=41349120, episodic return=2328.220947265625\n", + "global step=41349120, episodic return=1156.2894287109375\n", + "global step=41349120, episodic return=2363.313232421875\n", + "global step=41351168, episodic return=2330.248779296875\n", + "global step=41353216, episodic return=2350.37548828125\n", + "global step=41353216, episodic return=1438.408203125\n", + "global step=41357312, episodic return=2210.574462890625\n", + "global step=41357312, episodic return=2343.363037109375\n", + "global step=41359360, episodic return=2346.852294921875\n", + "global step=41359360, episodic return=2281.7958984375\n", + "global step=41361408, episodic return=631.0398559570312\n", + "global step=41361408, episodic return=2291.46533203125\n", + "global step=41363456, episodic return=2025.5367431640625\n", + "global step=41365504, episodic return=2319.10498046875\n", + "global step=41365504, episodic return=2366.686767578125\n", + "global step=41367552, episodic return=2309.80224609375\n", + "global step=41367552, episodic return=246.19129943847656\n", + "global step=41367552, episodic return=2324.904296875\n", + "global step=41371648, episodic return=2340.91162109375\n", + "global step=41371648, episodic return=2300.838134765625\n", + "global step=41373696, episodic return=2258.05078125\n", + "global step=41375744, episodic return=2378.858642578125\n", + "global step=41375744, episodic return=2380.379638671875\n", + "global step=41375744, episodic return=172.27169799804688\n", + "global step=41377792, episodic return=2353.113037109375\n", + "global step=41377792, episodic return=2248.351806640625\n", + "global step=41379840, episodic return=2260.9208984375\n", + "global step=41379840, episodic return=2215.710205078125\n", + "global step=41383936, episodic return=2344.07763671875\n", + "global step=41385984, episodic return=2336.210693359375\n", + "global step=41385984, episodic return=2330.666259765625\n", + "global step=41385984, episodic return=2390.154052734375\n", + "global step=41388032, episodic return=2299.816650390625\n", + "global step=41388032, episodic return=2369.332763671875\n", + "global step=41390080, episodic return=1232.6387939453125\n", + "global step=41390080, episodic return=2096.553955078125\n", + "global step=41390080, episodic return=2308.32568359375\n", + "global step=41392128, episodic return=2322.154052734375\n", + "global step=41392128, episodic return=2095.253662109375\n", + "global step=41394176, episodic return=2335.013671875\n", + "global step=41396224, episodic return=2296.15283203125\n", + "global step=41396224, episodic return=2259.87060546875\n", + "global step=41396224, episodic return=1708.632080078125\n", + "global step=41398272, episodic return=250.11163330078125\n", + "global step=41398272, episodic return=2234.16552734375\n", + "global step=41398272, episodic return=2254.836669921875\n", + "global step=41406464, episodic return=2236.136474609375\n", + "global step=41408512, episodic return=2352.623291015625\n", + "global step=41408512, episodic return=2338.45263671875\n", + "global step=41410560, episodic return=2402.31494140625\n", + "global step=41410560, episodic return=2323.27099609375\n", + "global step=41412608, episodic return=2295.445556640625\n", + "global step=41412608, episodic return=2150.845458984375\n", + "global step=41414656, episodic return=2203.9365234375\n", + "global step=41414656, episodic return=218.5719451904297\n", + "global step=41416704, episodic return=2209.886474609375\n", + "global step=41416704, episodic return=2262.55322265625\n", + "global step=41416704, episodic return=2219.16015625\n", + "global step=41418752, episodic return=2255.62451171875\n", + "global step=41418752, episodic return=2257.42919921875\n", + "global step=41418752, episodic return=2112.65771484375\n", + "global step=41420800, episodic return=2295.63525390625\n", + "global step=41422848, episodic return=2342.421630859375\n", + "global step=41422848, episodic return=2222.165283203125\n", + "global step=41422848, episodic return=2325.964599609375\n", + "global step=41422848, episodic return=2232.485595703125\n", + "global step=41424896, episodic return=2303.48046875\n", + "global step=41428992, episodic return=34.4109992980957\n", + "global step=41428992, episodic return=2296.9111328125\n", + "global step=41428992, episodic return=23.974668502807617\n", + "global step=41428992, episodic return=2141.746337890625\n", + "global step=41428992, episodic return=2253.743408203125\n", + "global step=41431040, episodic return=2332.666748046875\n", + "global step=41431040, episodic return=917.237060546875\n", + "global step=41431040, episodic return=1715.374755859375\n", + "global step=41435136, episodic return=2359.58642578125\n", + "global step=41435136, episodic return=2387.422607421875\n", + "global step=41437184, episodic return=2314.6376953125\n", + "global step=41437184, episodic return=2109.961181640625\n", + "global step=41439232, episodic return=2256.766357421875\n", + "global step=41439232, episodic return=2358.156982421875\n", + "global step=41439232, episodic return=2250.252197265625\n", + "global step=41441280, episodic return=49.69403076171875\n", + "global step=41441280, episodic return=2224.168701171875\n", + "global step=41443328, episodic return=498.8398742675781\n", + "global step=41443328, episodic return=2325.455322265625\n", + "global step=41443328, episodic return=2271.163330078125\n", + "global step=41443328, episodic return=2225.397216796875\n", + "global step=41445376, episodic return=2297.586181640625\n", + "global step=41447424, episodic return=2301.24853515625\n", + "global step=41447424, episodic return=1104.2205810546875\n", + "global step=41447424, episodic return=27.57335662841797\n", + "global step=41449472, episodic return=2397.784912109375\n", + "global step=41451520, episodic return=2238.721435546875\n", + "global step=41451520, episodic return=212.41384887695312\n", + "global step=41451520, episodic return=162.54510498046875\n", + "global step=41453568, episodic return=2350.26953125\n", + "global step=41453568, episodic return=95.74969482421875\n", + "global step=41455616, episodic return=2246.906005859375\n", + "global step=41455616, episodic return=2184.675537109375\n", + "global step=41455616, episodic return=2304.3466796875\n", + "global step=41457664, episodic return=778.6417846679688\n", + "global step=41457664, episodic return=2176.3798828125\n", + "global step=41457664, episodic return=2332.13623046875\n", + "global step=41459712, episodic return=205.4073486328125\n", + "global step=41459712, episodic return=2288.106689453125\n", + "global step=41461760, episodic return=236.88034057617188\n", + "global step=41461760, episodic return=2285.3330078125\n", + "global step=41463808, episodic return=536.0577392578125\n", + "global step=41465856, episodic return=2246.42138671875\n", + "global step=41465856, episodic return=2279.56884765625\n", + "global step=41465856, episodic return=2258.76318359375\n", + "global step=41467904, episodic return=2304.761474609375\n", + "global step=41467904, episodic return=2353.21728515625\n", + "global step=41467904, episodic return=2294.536865234375\n", + "global step=41469952, episodic return=2283.35498046875\n", + "global step=41469952, episodic return=96.56251525878906\n", + "global step=41469952, episodic return=2376.37744140625\n", + "global step=41469952, episodic return=1043.8779296875\n", + "global step=41474048, episodic return=2336.956787109375\n", + "global step=41474048, episodic return=2160.67724609375\n", + "global step=41474048, episodic return=2062.394287109375\n", + "global step=41474048, episodic return=2309.950439453125\n", + "global step=41474048, episodic return=2277.867431640625\n", + "global step=41476096, episodic return=2312.14794921875\n", + "global step=41476096, episodic return=2336.99609375\n", + "global step=41482240, episodic return=913.5728149414062\n", + "global step=41482240, episodic return=115.3354721069336\n", + "global step=41482240, episodic return=2357.297607421875\n", + "global step=41484288, episodic return=2303.993896484375\n", + "global step=41484288, episodic return=2303.495849609375\n", + "global step=41484288, episodic return=2353.012451171875\n", + "global step=41486336, episodic return=2197.2470703125\n", + "global step=41488384, episodic return=1968.3829345703125\n", + "global step=41488384, episodic return=145.10133361816406\n", + "global step=41488384, episodic return=2354.06982421875\n", + "global step=41490432, episodic return=2153.93701171875\n", + "global step=41492480, episodic return=2264.596923828125\n", + "global step=41492480, episodic return=2341.850341796875\n", + "global step=41492480, episodic return=170.6312255859375\n", + "global step=41494528, episodic return=2304.23876953125\n", + "global step=41494528, episodic return=2336.455078125\n", + "global step=41494528, episodic return=2314.242431640625\n", + "global step=41496576, episodic return=2361.78271484375\n", + "global step=41496576, episodic return=2343.282470703125\n", + "global step=41496576, episodic return=2174.2021484375\n", + "global step=41498624, episodic return=2352.692626953125\n", + "global step=41498624, episodic return=2323.02392578125\n", + "global step=41498624, episodic return=2324.490234375\n", + "global step=41498624, episodic return=2319.41259765625\n", + "global step=41498624, episodic return=2364.94482421875\n", + "global step=41498624, episodic return=2384.78125\n", + "global step=41500672, episodic return=2295.18798828125\n", + "global step=41502720, episodic return=2338.956787109375\n", + "global step=41502720, episodic return=2293.1982421875\n", + "global step=41504768, episodic return=2335.020751953125\n", + "global step=41504768, episodic return=2268.09765625\n", + "global step=41504768, episodic return=2272.264404296875\n", + "global step=41504768, episodic return=2361.88525390625\n", + "global step=41506816, episodic return=312.8448181152344\n", + "global step=41506816, episodic return=2438.978271484375\n", + "global step=41506816, episodic return=2322.76611328125\n", + "global step=41506816, episodic return=2315.847412109375\n", + "global step=41508864, episodic return=2276.668701171875\n", + "global step=41508864, episodic return=2318.285888671875\n", + "global step=41508864, episodic return=1821.4495849609375\n", + "global step=41508864, episodic return=2357.059326171875\n", + "global step=41508864, episodic return=2359.927734375\n", + "global step=41508864, episodic return=2383.166259765625\n", + "global step=41510912, episodic return=2195.286865234375\n", + "global step=41510912, episodic return=2315.079833984375\n", + "global step=41510912, episodic return=531.9086303710938\n", + "global step=41510912, episodic return=2341.830322265625\n", + "global step=41510912, episodic return=2313.97216796875\n", + "global step=41512960, episodic return=1922.0650634765625\n", + "global step=41512960, episodic return=2112.13134765625\n", + "global step=41515008, episodic return=2304.91943359375\n", + "global step=41515008, episodic return=2182.094482421875\n", + "global step=41517056, episodic return=2242.893798828125\n", + "global step=41519104, episodic return=2354.927001953125\n", + "global step=41519104, episodic return=2277.743896484375\n", + "global step=41519104, episodic return=2305.296142578125\n", + "global step=41519104, episodic return=2294.46923828125\n", + "global step=41519104, episodic return=2211.90185546875\n", + "global step=41521152, episodic return=2324.197998046875\n", + "global step=41523200, episodic return=2322.071533203125\n", + "global step=41523200, episodic return=687.07080078125\n", + "global step=41523200, episodic return=2441.326416015625\n", + "global step=41523200, episodic return=2285.6552734375\n", + "global step=41523200, episodic return=2369.116943359375\n", + "global step=41525248, episodic return=2263.7998046875\n", + "global step=41525248, episodic return=2338.55810546875\n", + "global step=41525248, episodic return=2316.939697265625\n", + "global step=41525248, episodic return=2301.495849609375\n", + "global step=41525248, episodic return=2334.18115234375\n", + "global step=41527296, episodic return=2197.59130859375\n", + "global step=41527296, episodic return=1038.8585205078125\n", + "global step=41527296, episodic return=2307.8623046875\n", + "global step=41527296, episodic return=2351.609130859375\n", + "global step=41529344, episodic return=2247.740966796875\n", + "global step=41531392, episodic return=2256.993896484375\n", + "global step=41531392, episodic return=2308.19970703125\n", + "global step=41531392, episodic return=2271.009521484375\n", + "global step=41531392, episodic return=2284.509765625\n", + "global step=41531392, episodic return=2243.191650390625\n", + "global step=41533440, episodic return=2391.938720703125\n", + "global step=41533440, episodic return=1205.82666015625\n", + "global step=41533440, episodic return=2319.2724609375\n", + "global step=41533440, episodic return=1569.1033935546875\n", + "global step=41533440, episodic return=2221.64501953125\n", + "global step=41535488, episodic return=2323.118408203125\n", + "global step=41535488, episodic return=2320.5234375\n", + "global step=41535488, episodic return=2198.84619140625\n", + "global step=41537536, episodic return=2173.672607421875\n", + "global step=41537536, episodic return=2345.958251953125\n", + "global step=41537536, episodic return=2328.43359375\n", + "global step=41539584, episodic return=2225.76123046875\n", + "global step=41539584, episodic return=2271.079833984375\n", + "global step=41539584, episodic return=1491.2596435546875\n", + "global step=41541632, episodic return=2302.923828125\n", + "global step=41541632, episodic return=2321.01806640625\n", + "global step=41543680, episodic return=1025.4952392578125\n", + "global step=41543680, episodic return=2303.639404296875\n", + "global step=41543680, episodic return=2351.43408203125\n", + "global step=41543680, episodic return=2268.302978515625\n", + "global step=41545728, episodic return=2387.304443359375\n", + "global step=41545728, episodic return=21.79541778564453\n", + "global step=41545728, episodic return=2278.025634765625\n", + "global step=41549824, episodic return=1620.70947265625\n", + "global step=41549824, episodic return=2308.059814453125\n", + "global step=41549824, episodic return=2298.310546875\n", + "global step=41549824, episodic return=2325.9267578125\n", + "global step=41551872, episodic return=2258.234130859375\n", + "global step=41551872, episodic return=2293.85595703125\n", + "global step=41551872, episodic return=2317.8505859375\n", + "global step=41553920, episodic return=2276.753662109375\n", + "global step=41553920, episodic return=2353.193603515625\n", + "global step=41553920, episodic return=2370.906005859375\n", + "global step=41555968, episodic return=2285.589111328125\n", + "global step=41558016, episodic return=2338.9990234375\n", + "global step=41558016, episodic return=1174.0133056640625\n", + "global step=41558016, episodic return=2253.16015625\n", + "global step=41558016, episodic return=2148.008056640625\n", + "global step=41558016, episodic return=683.7496337890625\n", + "global step=41558016, episodic return=2231.25634765625\n", + "global step=41562112, episodic return=2306.794189453125\n", + "global step=41562112, episodic return=2234.482666015625\n", + "global step=41562112, episodic return=2329.962158203125\n", + "global step=41562112, episodic return=2305.49755859375\n", + "global step=41562112, episodic return=2367.36181640625\n", + "global step=41562112, episodic return=214.01243591308594\n", + "global step=41564160, episodic return=2264.28466796875\n", + "global step=41564160, episodic return=2280.611328125\n", + "global step=41564160, episodic return=977.35498046875\n", + "global step=41564160, episodic return=2387.9560546875\n", + "global step=41566208, episodic return=2270.7001953125\n", + "global step=41566208, episodic return=2333.33349609375\n", + "global step=41566208, episodic return=2364.09375\n", + "global step=41568256, episodic return=2280.47119140625\n", + "global step=41568256, episodic return=2143.580810546875\n", + "global step=41568256, episodic return=2305.61474609375\n", + "global step=41568256, episodic return=2255.551513671875\n", + "global step=41568256, episodic return=2289.3349609375\n", + "global step=41570304, episodic return=2306.594482421875\n", + "global step=41570304, episodic return=775.2261962890625\n", + "global step=41570304, episodic return=2261.8232421875\n", + "global step=41570304, episodic return=69.82357788085938\n", + "global step=41572352, episodic return=2319.679443359375\n", + "global step=41572352, episodic return=2230.553466796875\n", + "global step=41572352, episodic return=2307.6328125\n", + "global step=41572352, episodic return=1805.8482666015625\n", + "global step=41574400, episodic return=2249.17041015625\n", + "global step=41574400, episodic return=2206.706787109375\n", + "global step=41574400, episodic return=2224.457275390625\n", + "global step=41576448, episodic return=2299.20654296875\n", + "global step=41578496, episodic return=2284.6669921875\n", + "global step=41578496, episodic return=2245.7109375\n", + "global step=41578496, episodic return=2398.7041015625\n", + "global step=41578496, episodic return=666.8834838867188\n", + "global step=41580544, episodic return=2128.0283203125\n", + "global step=41580544, episodic return=2365.949951171875\n", + "global step=41582592, episodic return=1160.431640625\n", + "global step=41582592, episodic return=2183.8212890625\n", + "global step=41582592, episodic return=2226.19384765625\n", + "global step=41582592, episodic return=2262.320556640625\n", + "global step=41584640, episodic return=2220.333251953125\n", + "global step=41586688, episodic return=2287.794189453125\n", + "global step=41588736, episodic return=2280.946044921875\n", + "global step=41590784, episodic return=2303.898681640625\n", + "global step=41590784, episodic return=2203.204345703125\n", + "global step=41590784, episodic return=651.7993774414062\n", + "global step=41590784, episodic return=2366.48681640625\n", + "global step=41592832, episodic return=2235.69091796875\n", + "global step=41592832, episodic return=2250.20654296875\n", + "global step=41592832, episodic return=2104.896240234375\n", + "global step=41592832, episodic return=2310.996826171875\n", + "global step=41594880, episodic return=1775.8773193359375\n", + "global step=41594880, episodic return=2352.097900390625\n", + "global step=41596928, episodic return=2260.797119140625\n", + "global step=41598976, episodic return=2266.674560546875\n", + "global step=41598976, episodic return=2163.0400390625\n", + "global step=41598976, episodic return=2336.450439453125\n", + "global step=41598976, episodic return=2381.357177734375\n", + "global step=41603072, episodic return=2418.944091796875\n", + "global step=41603072, episodic return=122.09173583984375\n", + "global step=41605120, episodic return=2376.79052734375\n", + "global step=41605120, episodic return=2342.132080078125\n", + "global step=41605120, episodic return=2250.9912109375\n", + "global step=41605120, episodic return=2250.478759765625\n", + "global step=41607168, episodic return=2275.079345703125\n", + "global step=41607168, episodic return=2197.33203125\n", + "global step=41607168, episodic return=2343.19287109375\n", + "global step=41609216, episodic return=2381.80859375\n", + "global step=41609216, episodic return=2322.263427734375\n", + "global step=41613312, episodic return=2256.023681640625\n", + "global step=41613312, episodic return=2361.42529296875\n", + "global step=41613312, episodic return=2244.04541015625\n", + "global step=41613312, episodic return=2390.9375\n", + "global step=41615360, episodic return=2308.700927734375\n", + "global step=41615360, episodic return=2362.45849609375\n", + "global step=41615360, episodic return=2308.894775390625\n", + "global step=41615360, episodic return=1710.7977294921875\n", + "global step=41617408, episodic return=2245.846435546875\n", + "global step=41619456, episodic return=2329.4228515625\n", + "global step=41621504, episodic return=2205.495849609375\n", + "global step=41623552, episodic return=2315.06494140625\n", + "global step=41623552, episodic return=2320.00341796875\n", + "global step=41625600, episodic return=2301.7880859375\n", + "global step=41627648, episodic return=2377.669921875\n", + "global step=41629696, episodic return=2356.39306640625\n", + "global step=41629696, episodic return=2337.67138671875\n", + "global step=41631744, episodic return=205.79098510742188\n", + "global step=41633792, episodic return=2383.756591796875\n", + "global step=41635840, episodic return=2305.961181640625\n", + "global step=41635840, episodic return=2342.406494140625\n", + "global step=41637888, episodic return=2270.003173828125\n", + "global step=41639936, episodic return=2260.3828125\n", + "global step=41639936, episodic return=2175.8974609375\n", + "global step=41639936, episodic return=2323.43896484375\n", + "global step=41639936, episodic return=1334.1514892578125\n", + "global step=41639936, episodic return=2253.736572265625\n", + "global step=41641984, episodic return=1650.2200927734375\n", + "global step=41641984, episodic return=2153.90087890625\n", + "global step=41644032, episodic return=2340.741455078125\n", + "global step=41644032, episodic return=2301.275146484375\n", + "global step=41646080, episodic return=2350.499755859375\n", + "global step=41646080, episodic return=2298.16552734375\n", + "global step=41646080, episodic return=2305.598388671875\n", + "global step=41648128, episodic return=2310.05029296875\n", + "global step=41648128, episodic return=2272.2451171875\n", + "global step=41648128, episodic return=2197.737548828125\n", + "global step=41650176, episodic return=1199.844482421875\n", + "global step=41650176, episodic return=2016.387451171875\n", + "global step=41650176, episodic return=2290.704345703125\n", + "global step=41652224, episodic return=2359.019287109375\n", + "global step=41652224, episodic return=2261.38916015625\n", + "global step=41654272, episodic return=2320.88720703125\n", + "global step=41656320, episodic return=1213.5623779296875\n", + "global step=41656320, episodic return=2232.943359375\n", + "global step=41656320, episodic return=1213.968505859375\n", + "global step=41656320, episodic return=2294.25732421875\n", + "global step=41658368, episodic return=2394.609619140625\n", + "global step=41658368, episodic return=329.78173828125\n", + "global step=41662464, episodic return=2334.441650390625\n", + "global step=41664512, episodic return=2365.676025390625\n", + "global step=41664512, episodic return=2362.56591796875\n", + "global step=41666560, episodic return=1190.8687744140625\n", + "global step=41666560, episodic return=2298.003173828125\n", + "global step=41666560, episodic return=2242.9560546875\n", + "global step=41668608, episodic return=2359.715087890625\n", + "global step=41668608, episodic return=2198.208984375\n", + "global step=41668608, episodic return=2227.090087890625\n", + "global step=41668608, episodic return=2344.488525390625\n", + "global step=41670656, episodic return=2309.575927734375\n", + "global step=41670656, episodic return=1453.915283203125\n", + "global step=41672704, episodic return=2271.54345703125\n", + "global step=41672704, episodic return=2302.306640625\n", + "global step=41674752, episodic return=2293.010009765625\n", + "global step=41674752, episodic return=2301.1630859375\n", + "global step=41678848, episodic return=258.0284423828125\n", + "global step=41678848, episodic return=2133.443603515625\n", + "global step=41680896, episodic return=2381.071044921875\n", + "global step=41682944, episodic return=2335.023681640625\n", + "global step=41684992, episodic return=2037.6025390625\n", + "global step=41684992, episodic return=2336.354248046875\n", + "global step=41687040, episodic return=2283.274658203125\n", + "global step=41687040, episodic return=1990.9796142578125\n", + "global step=41689088, episodic return=2314.1064453125\n", + "global step=41689088, episodic return=2323.31982421875\n", + "global step=41689088, episodic return=2117.174072265625\n", + "global step=41693184, episodic return=2395.078857421875\n", + "global step=41693184, episodic return=1170.3206787109375\n", + "global step=41695232, episodic return=2350.8212890625\n", + "global step=41697280, episodic return=2289.9638671875\n", + "global step=41699328, episodic return=2300.977294921875\n", + "global step=41699328, episodic return=2306.839111328125\n", + "global step=41699328, episodic return=2401.745849609375\n", + "global step=41699328, episodic return=2349.782958984375\n", + "global step=41699328, episodic return=2206.313720703125\n", + "global step=41701376, episodic return=2190.000732421875\n", + "global step=41701376, episodic return=459.16802978515625\n", + "global step=41701376, episodic return=2318.548583984375\n", + "global step=41703424, episodic return=2287.36572265625\n", + "global step=41703424, episodic return=2297.8291015625\n", + "global step=41703424, episodic return=29.677772521972656\n", + "global step=41705472, episodic return=2274.36083984375\n", + "global step=41709568, episodic return=60.359474182128906\n", + "global step=41709568, episodic return=2317.0869140625\n", + "global step=41709568, episodic return=110.18354797363281\n", + "global step=41709568, episodic return=1295.5272216796875\n", + "global step=41709568, episodic return=1152.7799072265625\n", + "global step=41711616, episodic return=2316.13720703125\n", + "global step=41711616, episodic return=2309.78759765625\n", + "global step=41713664, episodic return=2010.9896240234375\n", + "global step=41713664, episodic return=2377.4580078125\n", + "global step=41715712, episodic return=2286.6943359375\n", + "global step=41715712, episodic return=23.780672073364258\n", + "global step=41715712, episodic return=2304.2333984375\n", + "global step=41719808, episodic return=2345.272705078125\n", + "global step=41719808, episodic return=2319.271728515625\n", + "global step=41719808, episodic return=2353.450927734375\n", + "global step=41721856, episodic return=2320.287841796875\n", + "global step=41721856, episodic return=2281.166015625\n", + "global step=41721856, episodic return=2311.166259765625\n", + "global step=41723904, episodic return=2344.09375\n", + "global step=41723904, episodic return=2333.850341796875\n", + "global step=41723904, episodic return=2354.03515625\n", + "global step=41723904, episodic return=2340.7265625\n", + "global step=41725952, episodic return=2322.16650390625\n", + "global step=41725952, episodic return=2287.553466796875\n", + "global step=41725952, episodic return=2308.8486328125\n", + "global step=41728000, episodic return=74.11520385742188\n", + "global step=41728000, episodic return=2316.101318359375\n", + "global step=41730048, episodic return=2299.30859375\n", + "global step=41730048, episodic return=159.03135681152344\n", + "global step=41730048, episodic return=2401.64013671875\n", + "global step=41730048, episodic return=2253.778076171875\n", + "global step=41730048, episodic return=2384.343505859375\n", + "global step=41730048, episodic return=2327.921630859375\n", + "global step=41732096, episodic return=2393.826904296875\n", + "global step=41734144, episodic return=2378.99609375\n", + "global step=41734144, episodic return=2290.358642578125\n", + "global step=41738240, episodic return=2294.871337890625\n", + "global step=41740288, episodic return=2351.7724609375\n", + "global step=41740288, episodic return=1634.6043701171875\n", + "global step=41742336, episodic return=2349.994873046875\n", + "global step=41742336, episodic return=2272.395751953125\n", + "global step=41744384, episodic return=2217.4697265625\n", + "global step=41744384, episodic return=2344.898681640625\n", + "global step=41744384, episodic return=2350.5380859375\n", + "global step=41746432, episodic return=2325.870361328125\n", + "global step=41748480, episodic return=2318.794677734375\n", + "global step=41748480, episodic return=2361.4755859375\n", + "global step=41748480, episodic return=2326.291748046875\n", + "global step=41750528, episodic return=1860.87646484375\n", + "global step=41750528, episodic return=1351.822509765625\n", + "global step=41754624, episodic return=60.48658752441406\n", + "global step=41756672, episodic return=2360.453125\n", + "global step=41756672, episodic return=2356.875732421875\n", + "global step=41758720, episodic return=2340.47802734375\n", + "global step=41758720, episodic return=2368.538330078125\n", + "global step=41758720, episodic return=2309.19091796875\n", + "global step=41758720, episodic return=2331.342041015625\n", + "global step=41760768, episodic return=193.38150024414062\n", + "global step=41760768, episodic return=2300.757080078125\n", + "global step=41760768, episodic return=2330.72216796875\n", + "global step=41760768, episodic return=2352.39013671875\n", + "global step=41764864, episodic return=2329.86376953125\n", + "global step=41764864, episodic return=2061.33349609375\n", + "global step=41764864, episodic return=2291.642578125\n", + "global step=41764864, episodic return=2422.694091796875\n", + "global step=41766912, episodic return=2309.2861328125\n", + "global step=41768960, episodic return=2329.129150390625\n", + "global step=41768960, episodic return=2395.1884765625\n", + "global step=41771008, episodic return=2410.48193359375\n", + "global step=41771008, episodic return=2332.0517578125\n", + "global step=41771008, episodic return=2337.443359375\n", + "global step=41773056, episodic return=2344.802734375\n", + "global step=41775104, episodic return=2369.4765625\n", + "global step=41777152, episodic return=2390.5234375\n", + "global step=41779200, episodic return=2369.884765625\n", + "global step=41779200, episodic return=52.111392974853516\n", + "global step=41781248, episodic return=2326.53955078125\n", + "global step=41781248, episodic return=2369.24169921875\n", + "global step=41781248, episodic return=290.21405029296875\n", + "global step=41787392, episodic return=2265.694580078125\n", + "global step=41789440, episodic return=2435.229248046875\n", + "global step=41789440, episodic return=2178.01953125\n", + "global step=41793536, episodic return=2319.4423828125\n", + "global step=41793536, episodic return=59.015533447265625\n", + "global step=41797632, episodic return=2326.483154296875\n", + "global step=41797632, episodic return=2285.353515625\n", + "global step=41797632, episodic return=2189.302734375\n", + "global step=41799680, episodic return=2346.417236328125\n", + "global step=41799680, episodic return=2368.705322265625\n", + "global step=41799680, episodic return=2412.46484375\n", + "global step=41801728, episodic return=2394.624267578125\n", + "global step=41801728, episodic return=2321.939453125\n", + "global step=41803776, episodic return=2340.50634765625\n", + "global step=41803776, episodic return=2310.346923828125\n", + "global step=41803776, episodic return=2310.899169921875\n", + "global step=41805824, episodic return=1968.99462890625\n", + "global step=41807872, episodic return=2244.547119140625\n", + "global step=41807872, episodic return=2182.012939453125\n", + "global step=41807872, episodic return=2241.6513671875\n", + "global step=41807872, episodic return=2250.421142578125\n", + "global step=41807872, episodic return=2333.17626953125\n", + "global step=41807872, episodic return=2307.420166015625\n", + "global step=41809920, episodic return=852.6033325195312\n", + "global step=41809920, episodic return=2338.5732421875\n", + "global step=41809920, episodic return=280.0784606933594\n", + "global step=41809920, episodic return=2355.6650390625\n", + "global step=41811968, episodic return=2255.32958984375\n", + "global step=41814016, episodic return=2401.760498046875\n", + "global step=41816064, episodic return=56.03705978393555\n", + "global step=41816064, episodic return=191.61183166503906\n", + "global step=41816064, episodic return=2351.831787109375\n", + "global step=41820160, episodic return=2364.94775390625\n", + "global step=41822208, episodic return=2256.544921875\n", + "global step=41822208, episodic return=2370.631591796875\n", + "global step=41822208, episodic return=2375.7294921875\n", + "global step=41824256, episodic return=2346.665283203125\n", + "global step=41826304, episodic return=2308.690185546875\n", + "global step=41826304, episodic return=2401.317138671875\n", + "global step=41830400, episodic return=486.1766052246094\n", + "global step=41830400, episodic return=2309.986328125\n", + "global step=41832448, episodic return=2338.923828125\n", + "global step=41836544, episodic return=2344.92822265625\n", + "global step=41836544, episodic return=2325.542724609375\n", + "global step=41838592, episodic return=2350.48681640625\n", + "global step=41838592, episodic return=2290.188232421875\n", + "global step=41838592, episodic return=2294.888916015625\n", + "global step=41842688, episodic return=2297.08447265625\n", + "global step=41842688, episodic return=2249.1875\n", + "global step=41842688, episodic return=2136.515380859375\n", + "global step=41842688, episodic return=2376.420654296875\n", + "global step=41842688, episodic return=2327.276611328125\n", + "global step=41844736, episodic return=1900.48291015625\n", + "global step=41844736, episodic return=2356.4501953125\n", + "global step=41844736, episodic return=2327.817138671875\n", + "global step=41846784, episodic return=2363.55712890625\n", + "global step=41848832, episodic return=2307.705810546875\n", + "global step=41848832, episodic return=2342.310791015625\n", + "global step=41852928, episodic return=2323.151123046875\n", + "global step=41852928, episodic return=2217.39111328125\n", + "global step=41852928, episodic return=2128.939208984375\n", + "global step=41852928, episodic return=2390.994873046875\n", + "global step=41852928, episodic return=2406.416259765625\n", + "global step=41857024, episodic return=2138.386474609375\n", + "global step=41857024, episodic return=2280.991455078125\n", + "global step=41857024, episodic return=2399.2177734375\n", + "global step=41857024, episodic return=2300.572509765625\n", + "global step=41861120, episodic return=2354.37646484375\n", + "global step=41861120, episodic return=2316.291748046875\n", + "global step=41861120, episodic return=2254.1220703125\n", + "global step=41863168, episodic return=2327.67822265625\n", + "global step=41863168, episodic return=2031.59228515625\n", + "global step=41863168, episodic return=1924.223388671875\n", + "global step=41863168, episodic return=2368.603759765625\n", + "global step=41865216, episodic return=2326.72802734375\n", + "global step=41865216, episodic return=2278.780029296875\n", + "global step=41865216, episodic return=2386.3916015625\n", + "global step=41867264, episodic return=1832.0352783203125\n", + "global step=41867264, episodic return=2274.203369140625\n", + "global step=41867264, episodic return=2358.714111328125\n", + "global step=41867264, episodic return=2408.995849609375\n", + "global step=41869312, episodic return=2312.762939453125\n", + "global step=41871360, episodic return=2331.623779296875\n", + "global step=41871360, episodic return=2207.87109375\n", + "global step=41873408, episodic return=2366.72998046875\n", + "global step=41875456, episodic return=2313.197998046875\n", + "global step=41875456, episodic return=2286.91748046875\n", + "global step=41875456, episodic return=2302.6328125\n", + "global step=41875456, episodic return=1719.04931640625\n", + "global step=41877504, episodic return=1226.599853515625\n", + "global step=41879552, episodic return=228.193115234375\n", + "global step=41881600, episodic return=2310.91552734375\n", + "global step=41885696, episodic return=2336.611083984375\n", + "global step=41887744, episodic return=2267.445068359375\n", + "global step=41887744, episodic return=2190.4423828125\n", + "global step=41887744, episodic return=2329.992919921875\n", + "global step=41891840, episodic return=2122.405029296875\n", + "global step=41891840, episodic return=1364.8388671875\n", + "global step=41893888, episodic return=2252.294921875\n", + "global step=41893888, episodic return=2304.408447265625\n", + "global step=41895936, episodic return=2347.909423828125\n", + "global step=41900032, episodic return=2334.641357421875\n", + "global step=41900032, episodic return=2146.37890625\n", + "global step=41900032, episodic return=2388.496826171875\n", + "global step=41902080, episodic return=2174.04150390625\n", + "global step=41902080, episodic return=2322.334228515625\n", + "global step=41902080, episodic return=2328.67431640625\n", + "global step=41902080, episodic return=2334.027587890625\n", + "global step=41902080, episodic return=2430.83251953125\n", + "global step=41904128, episodic return=420.8565673828125\n", + "global step=41904128, episodic return=2387.303466796875\n", + "global step=41906176, episodic return=2368.267578125\n", + "global step=41906176, episodic return=2395.844482421875\n", + "global step=41908224, episodic return=2344.73095703125\n", + "global step=41908224, episodic return=858.088134765625\n", + "global step=41908224, episodic return=2305.289306640625\n", + "global step=41910272, episodic return=2172.572509765625\n", + "global step=41912320, episodic return=2165.69287109375\n", + "global step=41914368, episodic return=2369.588623046875\n", + "global step=41914368, episodic return=2193.802001953125\n", + "global step=41914368, episodic return=2343.43359375\n", + "global step=41914368, episodic return=2367.566650390625\n", + "global step=41916416, episodic return=2213.397216796875\n", + "global step=41916416, episodic return=2352.78759765625\n", + "global step=41918464, episodic return=2455.94287109375\n", + "global step=41918464, episodic return=2354.091552734375\n", + "global step=41918464, episodic return=263.96514892578125\n", + "global step=41918464, episodic return=2321.405517578125\n", + "global step=41920512, episodic return=2363.760986328125\n", + "global step=41922560, episodic return=91.62201690673828\n", + "global step=41926656, episodic return=2417.6650390625\n", + "global step=41928704, episodic return=2331.089599609375\n", + "global step=41928704, episodic return=2427.3388671875\n", + "global step=41928704, episodic return=1562.9224853515625\n", + "global step=41928704, episodic return=2333.51318359375\n", + "global step=41930752, episodic return=2297.792724609375\n", + "global step=41932800, episodic return=183.9433135986328\n", + "global step=41932800, episodic return=2405.97509765625\n", + "global step=41934848, episodic return=1022.6493530273438\n", + "global step=41934848, episodic return=226.46849060058594\n", + "global step=41934848, episodic return=2331.247802734375\n", + "global step=41936896, episodic return=2339.5322265625\n", + "global step=41936896, episodic return=2316.482421875\n", + "global step=41936896, episodic return=1766.98046875\n", + "global step=41940992, episodic return=2324.0625\n", + "global step=41940992, episodic return=2187.96484375\n", + "global step=41940992, episodic return=2404.34521484375\n", + "global step=41940992, episodic return=46.21094512939453\n", + "global step=41943040, episodic return=2037.77734375\n", + "global step=41943040, episodic return=2302.486083984375\n", + "global step=41943040, episodic return=2389.107177734375\n", + "global step=41943040, episodic return=173.133544921875\n", + "global step=41945088, episodic return=2387.395751953125\n", + "global step=41945088, episodic return=2252.888916015625\n", + "global step=41945088, episodic return=2387.097412109375\n", + "global step=41945088, episodic return=2350.41552734375\n", + "global step=41951232, episodic return=857.0228881835938\n", + "global step=41951232, episodic return=2324.473876953125\n", + "global step=41953280, episodic return=2396.389404296875\n", + "global step=41953280, episodic return=945.8521118164062\n", + "global step=41955328, episodic return=2314.13037109375\n", + "global step=41955328, episodic return=2354.387939453125\n", + "global step=41955328, episodic return=1476.5233154296875\n", + "global step=41957376, episodic return=2273.291015625\n", + "global step=41961472, episodic return=2389.31005859375\n", + "global step=41961472, episodic return=2204.47119140625\n", + "global step=41965568, episodic return=2457.32275390625\n", + "global step=41967616, episodic return=2299.426513671875\n", + "global step=41969664, episodic return=2325.68408203125\n", + "global step=41969664, episodic return=2395.927490234375\n", + "global step=41969664, episodic return=1746.597900390625\n", + "global step=41969664, episodic return=1686.048583984375\n", + "global step=41971712, episodic return=2346.24609375\n", + "global step=41973760, episodic return=1852.306396484375\n", + "global step=41973760, episodic return=1722.641845703125\n", + "global step=41973760, episodic return=2479.04052734375\n", + "global step=41975808, episodic return=2409.217041015625\n", + "global step=41975808, episodic return=2291.504150390625\n", + "global step=41975808, episodic return=2253.718505859375\n", + "global step=41977856, episodic return=512.6051635742188\n", + "global step=41977856, episodic return=2266.283447265625\n", + "global step=41979904, episodic return=2405.162109375\n", + "global step=41981952, episodic return=2349.125244140625\n", + "global step=41984000, episodic return=2296.326171875\n", + "global step=41984000, episodic return=2387.85205078125\n", + "global step=41986048, episodic return=2354.181396484375\n", + "global step=41986048, episodic return=2378.228271484375\n", + "global step=41986048, episodic return=2367.1533203125\n", + "global step=41986048, episodic return=2431.467041015625\n", + "global step=41988096, episodic return=2424.08740234375\n", + "global step=41988096, episodic return=2326.148681640625\n", + "global step=41988096, episodic return=2404.87451171875\n", + "global step=41988096, episodic return=2195.4677734375\n", + "global step=41990144, episodic return=2285.391845703125\n", + "global step=41990144, episodic return=252.73121643066406\n", + "global step=41990144, episodic return=2403.85693359375\n", + "global step=41992192, episodic return=2393.34130859375\n", + "global step=41992192, episodic return=2362.3291015625\n", + "global step=41994240, episodic return=2299.852294921875\n", + "global step=41994240, episodic return=2391.548583984375\n", + "global step=41996288, episodic return=2353.4072265625\n", + "global step=41996288, episodic return=2352.018798828125\n", + "global step=41996288, episodic return=2349.736572265625\n", + "global step=41998336, episodic return=2385.635009765625\n", + "global step=41998336, episodic return=1366.5159912109375\n", + "global step=42000384, episodic return=2343.150634765625\n", + "global step=42000384, episodic return=2374.483154296875\n", + "global step=42000384, episodic return=2406.364990234375\n", + "global step=42002432, episodic return=2315.766357421875\n", + "global step=42004480, episodic return=75.14556121826172\n", + "global step=42004480, episodic return=2285.408935546875\n", + "global step=42006528, episodic return=2362.34033203125\n", + "global step=42008576, episodic return=2316.451416015625\n", + "global step=42008576, episodic return=2394.08984375\n", + "global step=42008576, episodic return=2422.806640625\n", + "global step=42010624, episodic return=2363.8828125\n", + "global step=42010624, episodic return=2350.688720703125\n", + "global step=42010624, episodic return=2341.0947265625\n", + "global step=42010624, episodic return=2391.226318359375\n", + "global step=42010624, episodic return=2314.2353515625\n", + "global step=42012672, episodic return=2356.298583984375\n", + "global step=42012672, episodic return=2380.35693359375\n", + "global step=42014720, episodic return=2299.640625\n", + "global step=42014720, episodic return=2334.3017578125\n", + "global step=42014720, episodic return=1283.089599609375\n", + "global step=42016768, episodic return=1911.400146484375\n", + "global step=42018816, episodic return=2371.802978515625\n", + "global step=42018816, episodic return=2309.66845703125\n", + "global step=42018816, episodic return=405.46270751953125\n", + "global step=42020864, episodic return=2177.074462890625\n", + "global step=42027008, episodic return=2363.595947265625\n", + "global step=42029056, episodic return=2335.219970703125\n", + "global step=42031104, episodic return=2330.765380859375\n", + "global step=42033152, episodic return=2361.6611328125\n", + "global step=42033152, episodic return=2411.356201171875\n", + "global step=42037248, episodic return=2378.729736328125\n", + "global step=42037248, episodic return=2337.02099609375\n", + "global step=42039296, episodic return=2414.021240234375\n", + "global step=42039296, episodic return=2434.168701171875\n", + "global step=42043392, episodic return=2379.81689453125\n", + "global step=42043392, episodic return=2356.4228515625\n", + "global step=42045440, episodic return=2347.180908203125\n", + "global step=42045440, episodic return=2250.774169921875\n", + "global step=42047488, episodic return=2443.23388671875\n", + "global step=42047488, episodic return=2326.6171875\n", + "global step=42049536, episodic return=2333.986083984375\n", + "global step=42049536, episodic return=106.33184814453125\n", + "global step=42049536, episodic return=2383.743408203125\n", + "global step=42053632, episodic return=2365.8427734375\n", + "global step=42055680, episodic return=2415.084716796875\n", + "global step=42055680, episodic return=2356.339111328125\n", + "global step=42059776, episodic return=2344.81787109375\n", + "global step=42059776, episodic return=2386.42236328125\n", + "global step=42061824, episodic return=2262.25341796875\n", + "global step=42061824, episodic return=2368.004150390625\n", + "global step=42061824, episodic return=2292.51025390625\n", + "global step=42063872, episodic return=2339.689697265625\n", + "global step=42063872, episodic return=2315.020751953125\n", + "global step=42065920, episodic return=2276.00927734375\n", + "global step=42067968, episodic return=2286.326904296875\n", + "global step=42067968, episodic return=2279.96533203125\n", + "global step=42067968, episodic return=2350.674072265625\n", + "global step=42070016, episodic return=2379.645751953125\n", + "global step=42072064, episodic return=2334.029296875\n", + "global step=42072064, episodic return=2325.371337890625\n", + "global step=42072064, episodic return=2397.98779296875\n", + "global step=42072064, episodic return=1823.1475830078125\n", + "global step=42072064, episodic return=162.3607635498047\n", + "global step=42074112, episodic return=2385.287841796875\n", + "global step=42074112, episodic return=2368.78857421875\n", + "global step=42074112, episodic return=2265.68701171875\n", + "global step=42078208, episodic return=2206.968017578125\n", + "global step=42078208, episodic return=2328.189697265625\n", + "global step=42078208, episodic return=2265.17919921875\n", + "global step=42080256, episodic return=2352.858154296875\n", + "global step=42080256, episodic return=2281.20361328125\n", + "global step=42080256, episodic return=2407.181396484375\n", + "global step=42080256, episodic return=1607.175537109375\n", + "global step=42082304, episodic return=2323.726806640625\n", + "global step=42086400, episodic return=2264.692626953125\n", + "global step=42086400, episodic return=2375.739013671875\n", + "global step=42086400, episodic return=2331.2158203125\n", + "global step=42088448, episodic return=199.60787963867188\n", + "global step=42088448, episodic return=2371.606201171875\n", + "global step=42088448, episodic return=2409.667236328125\n", + "global step=42088448, episodic return=2353.787353515625\n", + "global step=42088448, episodic return=2404.053466796875\n", + "global step=42088448, episodic return=2247.81396484375\n", + "global step=42090496, episodic return=2371.401123046875\n", + "global step=42090496, episodic return=2356.60791015625\n", + "global step=42090496, episodic return=2358.908447265625\n", + "global step=42092544, episodic return=474.7208557128906\n", + "global step=42092544, episodic return=2338.805908203125\n", + "global step=42094592, episodic return=749.2437744140625\n", + "global step=42094592, episodic return=2349.543701171875\n", + "global step=42094592, episodic return=2343.019287109375\n", + "global step=42096640, episodic return=1128.3157958984375\n", + "global step=42098688, episodic return=2286.803466796875\n", + "global step=42098688, episodic return=2315.74267578125\n", + "global step=42098688, episodic return=2347.211669921875\n", + "global step=42100736, episodic return=2345.57080078125\n", + "global step=42102784, episodic return=2390.621337890625\n", + "global step=42102784, episodic return=2313.89794921875\n", + "global step=42104832, episodic return=2361.44189453125\n", + "global step=42106880, episodic return=2374.73779296875\n", + "global step=42106880, episodic return=2341.078125\n", + "global step=42108928, episodic return=2408.685546875\n", + "global step=42108928, episodic return=373.9710388183594\n", + "global step=42110976, episodic return=272.20263671875\n", + "global step=42113024, episodic return=2341.510009765625\n", + "global step=42113024, episodic return=2416.79248046875\n", + "global step=42113024, episodic return=260.9969482421875\n", + "global step=42115072, episodic return=503.5975646972656\n", + "global step=42115072, episodic return=47.54672622680664\n", + "global step=42115072, episodic return=2287.524169921875\n", + "global step=42115072, episodic return=32.99786376953125\n", + "global step=42117120, episodic return=2418.006591796875\n", + "global step=42117120, episodic return=1355.65576171875\n", + "global step=42117120, episodic return=2381.652587890625\n", + "global step=42119168, episodic return=2364.41162109375\n", + "global step=42119168, episodic return=2105.85498046875\n", + "global step=42119168, episodic return=1764.4530029296875\n", + "global step=42121216, episodic return=2350.773681640625\n", + "global step=42121216, episodic return=2346.30859375\n", + "global step=42123264, episodic return=2302.6806640625\n", + "global step=42123264, episodic return=1250.05029296875\n", + "global step=42123264, episodic return=2373.10107421875\n", + "global step=42123264, episodic return=2399.423095703125\n", + "global step=42125312, episodic return=2360.231689453125\n", + "global step=42127360, episodic return=2341.176513671875\n", + "global step=42127360, episodic return=323.1871337890625\n", + "global step=42129408, episodic return=2260.4052734375\n", + "global step=42129408, episodic return=2354.182861328125\n", + "global step=42131456, episodic return=2460.779541015625\n", + "global step=42131456, episodic return=2241.302978515625\n", + "global step=42131456, episodic return=2345.635498046875\n", + "global step=42131456, episodic return=2354.08544921875\n", + "global step=42131456, episodic return=2036.594482421875\n", + "global step=42131456, episodic return=2368.486083984375\n", + "global step=42133504, episodic return=2195.405029296875\n", + "global step=42133504, episodic return=2335.260498046875\n", + "global step=42133504, episodic return=1981.320068359375\n", + "global step=42133504, episodic return=2366.103515625\n", + "global step=42135552, episodic return=2307.35595703125\n", + "global step=42135552, episodic return=2408.112548828125\n", + "global step=42137600, episodic return=2396.652099609375\n", + "global step=42137600, episodic return=2375.591796875\n", + "global step=42137600, episodic return=2373.9033203125\n", + "global step=42137600, episodic return=2311.05322265625\n", + "global step=42139648, episodic return=2336.584716796875\n", + "global step=42141696, episodic return=2401.35595703125\n", + "global step=42141696, episodic return=2391.761474609375\n", + "global step=42145792, episodic return=2296.1435546875\n", + "global step=42145792, episodic return=2293.585693359375\n", + "global step=42145792, episodic return=1736.5726318359375\n", + "global step=42145792, episodic return=2425.780029296875\n", + "global step=42145792, episodic return=2448.433349609375\n", + "global step=42145792, episodic return=2220.612060546875\n", + "global step=42145792, episodic return=2362.625732421875\n", + "global step=42147840, episodic return=2412.306396484375\n", + "global step=42149888, episodic return=2392.596923828125\n", + "global step=42151936, episodic return=496.0998840332031\n", + "global step=42156032, episodic return=2361.76123046875\n", + "global step=42156032, episodic return=2369.93017578125\n", + "global step=42156032, episodic return=2292.61474609375\n", + "global step=42156032, episodic return=2234.013916015625\n", + "global step=42158080, episodic return=1727.409912109375\n", + "global step=42158080, episodic return=2313.6025390625\n", + "global step=42160128, episodic return=2374.563720703125\n", + "global step=42160128, episodic return=265.42803955078125\n", + "global step=42162176, episodic return=283.2076110839844\n", + "global step=42164224, episodic return=2334.3583984375\n", + "global step=42164224, episodic return=2425.854736328125\n", + "global step=42164224, episodic return=1271.821533203125\n", + "global step=42170368, episodic return=2368.86181640625\n", + "global step=42172416, episodic return=2340.405029296875\n", + "global step=42172416, episodic return=2424.0107421875\n", + "global step=42176512, episodic return=2346.370361328125\n", + "global step=42178560, episodic return=2269.658203125\n", + "global step=42178560, episodic return=2399.662109375\n", + "global step=42178560, episodic return=2386.288818359375\n", + "global step=42182656, episodic return=2353.995361328125\n", + "global step=42182656, episodic return=1667.70263671875\n", + "global step=42184704, episodic return=2345.34912109375\n", + "global step=42186752, episodic return=1201.97412109375\n", + "global step=42186752, episodic return=2123.27099609375\n", + "global step=42188800, episodic return=2355.81494140625\n", + "global step=42188800, episodic return=2311.16455078125\n", + "global step=42190848, episodic return=1254.81591796875\n", + "global step=42194944, episodic return=2297.023681640625\n", + "global step=42199040, episodic return=2357.799560546875\n", + "global step=42199040, episodic return=2382.83544921875\n", + "global step=42199040, episodic return=2398.885986328125\n", + "global step=42201088, episodic return=2333.84521484375\n", + "global step=42201088, episodic return=1647.1187744140625\n", + "global step=42201088, episodic return=2432.989501953125\n", + "global step=42203136, episodic return=2387.969482421875\n", + "global step=42207232, episodic return=2360.944091796875\n", + "global step=42207232, episodic return=1574.8599853515625\n", + "global step=42207232, episodic return=1652.271484375\n", + "global step=42207232, episodic return=59.136051177978516\n", + "global step=42207232, episodic return=2346.695068359375\n", + "global step=42211328, episodic return=2422.629150390625\n", + "global step=42211328, episodic return=2279.3681640625\n", + "global step=42211328, episodic return=2363.68701171875\n", + "global step=42211328, episodic return=2313.0146484375\n", + "global step=42211328, episodic return=2334.329833984375\n", + "global step=42213376, episodic return=2369.482421875\n", + "global step=42215424, episodic return=2373.301513671875\n", + "global step=42219520, episodic return=420.5994567871094\n", + "global step=42219520, episodic return=2423.854248046875\n", + "global step=42223616, episodic return=133.10069274902344\n", + "global step=42229760, episodic return=2285.94970703125\n", + "global step=42231808, episodic return=2366.392578125\n", + "global step=42231808, episodic return=2472.59033203125\n", + "global step=42233856, episodic return=2358.5625\n", + "global step=42233856, episodic return=2336.0869140625\n", + "global step=42233856, episodic return=2350.72119140625\n", + "global step=42233856, episodic return=414.434326171875\n", + "global step=42235904, episodic return=2327.577880859375\n", + "global step=42235904, episodic return=2394.91943359375\n", + "global step=42237952, episodic return=23.205585479736328\n", + "global step=42246144, episodic return=2312.690673828125\n", + "global step=42246144, episodic return=2414.84326171875\n", + "global step=42248192, episodic return=2389.103759765625\n", + "global step=42248192, episodic return=2401.47802734375\n", + "global step=42248192, episodic return=731.4121704101562\n", + "global step=42252288, episodic return=215.04283142089844\n", + "global step=42254336, episodic return=2284.6337890625\n", + "global step=42254336, episodic return=2356.689453125\n", + "global step=42256384, episodic return=2429.19287109375\n", + "global step=42256384, episodic return=2392.162841796875\n", + "global step=42258432, episodic return=2408.88916015625\n", + "global step=42260480, episodic return=2324.62353515625\n", + "global step=42262528, episodic return=2283.0576171875\n", + "global step=42262528, episodic return=2415.94873046875\n", + "global step=42264576, episodic return=2378.0478515625\n", + "global step=42268672, episodic return=2404.15185546875\n", + "global step=42268672, episodic return=2316.266357421875\n", + "global step=42270720, episodic return=2366.666259765625\n", + "global step=42270720, episodic return=2375.42578125\n", + "global step=42270720, episodic return=2329.78271484375\n", + "global step=42272768, episodic return=2371.903564453125\n", + "global step=42272768, episodic return=2365.910888671875\n", + "global step=42274816, episodic return=2384.264404296875\n", + "global step=42276864, episodic return=2400.656982421875\n", + "global step=42278912, episodic return=2341.313232421875\n", + "global step=42280960, episodic return=2435.66845703125\n", + "global step=42280960, episodic return=2413.989501953125\n", + "global step=42283008, episodic return=2220.833740234375\n", + "global step=42283008, episodic return=2416.2890625\n", + "global step=42293248, episodic return=2363.41162109375\n", + "global step=42293248, episodic return=2411.942626953125\n", + "global step=42293248, episodic return=2359.25830078125\n", + "global step=42297344, episodic return=2365.7724609375\n", + "global step=42303488, episodic return=2214.637451171875\n", + "global step=42307584, episodic return=2335.17724609375\n", + "global step=42307584, episodic return=2348.720458984375\n", + "global step=42309632, episodic return=1559.8822021484375\n", + "global step=42309632, episodic return=2429.2333984375\n", + "global step=42311680, episodic return=2449.141845703125\n", + "global step=42313728, episodic return=2390.341064453125\n", + "global step=42315776, episodic return=2316.098388671875\n", + "global step=42315776, episodic return=2429.870361328125\n", + "global step=42315776, episodic return=2346.744384765625\n", + "global step=42315776, episodic return=2337.945556640625\n", + "global step=42317824, episodic return=2456.02294921875\n", + "global step=42319872, episodic return=554.711669921875\n", + "global step=42319872, episodic return=2377.71484375\n", + "global step=42319872, episodic return=2361.753662109375\n", + "global step=42319872, episodic return=2420.579345703125\n", + "global step=42321920, episodic return=2378.5009765625\n", + "global step=42321920, episodic return=2373.673095703125\n", + "global step=42321920, episodic return=2196.185302734375\n", + "global step=42323968, episodic return=2387.092041015625\n", + "global step=42328064, episodic return=2338.259033203125\n", + "global step=42328064, episodic return=2272.07177734375\n", + "global step=42328064, episodic return=1716.745361328125\n", + "global step=42328064, episodic return=2343.20361328125\n", + "global step=42328064, episodic return=2440.44140625\n", + "global step=42330112, episodic return=308.0354309082031\n", + "global step=42330112, episodic return=2299.013916015625\n", + "global step=42330112, episodic return=2418.1513671875\n", + "global step=42330112, episodic return=2427.37744140625\n", + "global step=42330112, episodic return=2325.54541015625\n", + "global step=42330112, episodic return=2312.623291015625\n", + "global step=42330112, episodic return=2319.207275390625\n", + "global step=42332160, episodic return=2418.309814453125\n", + "global step=42334208, episodic return=2322.46630859375\n", + "global step=42334208, episodic return=2416.084716796875\n", + "global step=42336256, episodic return=1759.6558837890625\n", + "global step=42336256, episodic return=2301.348876953125\n", + "global step=42338304, episodic return=2450.345458984375\n", + "global step=42338304, episodic return=2263.479248046875\n", + "global step=42340352, episodic return=2406.60498046875\n", + "global step=42340352, episodic return=2348.105712890625\n", + "global step=42342400, episodic return=2335.49365234375\n", + "global step=42342400, episodic return=2366.647705078125\n", + "global step=42342400, episodic return=2346.253662109375\n", + "global step=42342400, episodic return=2353.365234375\n", + "global step=42346496, episodic return=2421.2939453125\n", + "global step=42346496, episodic return=155.22105407714844\n", + "global step=42346496, episodic return=135.22645568847656\n", + "global step=42348544, episodic return=1519.5406494140625\n", + "global step=42350592, episodic return=1948.4068603515625\n", + "global step=42352640, episodic return=2355.873046875\n", + "global step=42352640, episodic return=2357.51904296875\n", + "global step=42354688, episodic return=2369.412109375\n", + "global step=42354688, episodic return=2440.5654296875\n", + "global step=42356736, episodic return=2338.92578125\n", + "global step=42358784, episodic return=2341.767333984375\n", + "global step=42360832, episodic return=2378.11962890625\n", + "global step=42360832, episodic return=2405.537841796875\n", + "global step=42362880, episodic return=2243.128662109375\n", + "global step=42362880, episodic return=2417.418701171875\n", + "global step=42364928, episodic return=1288.37109375\n", + "global step=42364928, episodic return=2328.72021484375\n", + "global step=42366976, episodic return=2381.210693359375\n", + "global step=42366976, episodic return=2317.41259765625\n", + "global step=42366976, episodic return=2418.653564453125\n", + "global step=42366976, episodic return=2277.75732421875\n", + "global step=42366976, episodic return=2428.278564453125\n", + "global step=42369024, episodic return=2320.265625\n", + "global step=42369024, episodic return=2339.484130859375\n", + "global step=42369024, episodic return=2272.53515625\n", + "global step=42369024, episodic return=2435.97119140625\n", + "global step=42371072, episodic return=2465.62646484375\n", + "global step=42371072, episodic return=2367.465576171875\n", + "global step=42373120, episodic return=1736.0152587890625\n", + "global step=42373120, episodic return=228.23048400878906\n", + "global step=42373120, episodic return=420.9876708984375\n", + "global step=42375168, episodic return=2480.158447265625\n", + "global step=42375168, episodic return=2442.761474609375\n", + "global step=42375168, episodic return=2365.873779296875\n", + "global step=42375168, episodic return=2361.464599609375\n", + "global step=42375168, episodic return=2352.91259765625\n", + "global step=42377216, episodic return=2372.618408203125\n", + "global step=42377216, episodic return=2337.040771484375\n", + "global step=42377216, episodic return=2404.509765625\n", + "global step=42379264, episodic return=2322.8740234375\n", + "global step=42379264, episodic return=2370.881591796875\n", + "global step=42381312, episodic return=1186.51171875\n", + "global step=42381312, episodic return=2426.95751953125\n", + "global step=42381312, episodic return=1187.4156494140625\n", + "global step=42381312, episodic return=1880.10205078125\n", + "global step=42383360, episodic return=2383.4013671875\n", + "global step=42385408, episodic return=2410.06884765625\n", + "global step=42389504, episodic return=2424.22265625\n", + "global step=42389504, episodic return=2440.61572265625\n", + "global step=42391552, episodic return=2395.850341796875\n", + "global step=42391552, episodic return=1344.657470703125\n", + "global step=42393600, episodic return=2456.03076171875\n", + "global step=42393600, episodic return=2390.23876953125\n", + "global step=42395648, episodic return=1427.673095703125\n", + "global step=42395648, episodic return=2382.9140625\n", + "global step=42399744, episodic return=2385.927490234375\n", + "global step=42401792, episodic return=2377.19189453125\n", + "global step=42403840, episodic return=2409.955810546875\n", + "global step=42405888, episodic return=2298.274658203125\n", + "global step=42407936, episodic return=2474.694091796875\n", + "global step=42407936, episodic return=2447.732177734375\n", + "global step=42412032, episodic return=2464.475341796875\n", + "global step=42412032, episodic return=2340.756103515625\n", + "global step=42414080, episodic return=2390.843505859375\n", + "global step=42414080, episodic return=1873.364013671875\n", + "global step=42414080, episodic return=2312.716552734375\n", + "global step=42416128, episodic return=168.0679168701172\n", + "global step=42418176, episodic return=169.7104949951172\n", + "global step=42418176, episodic return=2355.271728515625\n", + "global step=42418176, episodic return=214.4121856689453\n", + "global step=42418176, episodic return=2363.733642578125\n", + "global step=42420224, episodic return=2452.0693359375\n", + "global step=42420224, episodic return=2436.60595703125\n", + "global step=42422272, episodic return=2329.8427734375\n", + "global step=42422272, episodic return=2452.8447265625\n", + "global step=42426368, episodic return=2351.7666015625\n", + "global step=42428416, episodic return=51.35575485229492\n", + "global step=42428416, episodic return=2358.345703125\n", + "global step=42428416, episodic return=2406.919677734375\n", + "global step=42428416, episodic return=2398.650634765625\n", + "global step=42428416, episodic return=2408.760009765625\n", + "global step=42434560, episodic return=2379.031005859375\n", + "global step=42436608, episodic return=2399.10546875\n", + "global step=42438656, episodic return=2251.259765625\n", + "global step=42438656, episodic return=23.078962326049805\n", + "global step=42440704, episodic return=2388.364013671875\n", + "global step=42440704, episodic return=2440.26708984375\n", + "global step=42442752, episodic return=2440.866455078125\n", + "global step=42444800, episodic return=2329.567626953125\n", + "global step=42444800, episodic return=2362.535888671875\n", + "global step=42444800, episodic return=2369.486572265625\n", + "global step=42446848, episodic return=2390.664794921875\n", + "global step=42446848, episodic return=2339.0068359375\n", + "global step=42448896, episodic return=1586.291748046875\n", + "global step=42450944, episodic return=2407.58251953125\n", + "global step=42450944, episodic return=2392.4423828125\n", + "global step=42452992, episodic return=2368.63525390625\n", + "global step=42455040, episodic return=2432.414794921875\n", + "global step=42459136, episodic return=1324.3861083984375\n", + "global step=42459136, episodic return=2459.6064453125\n", + "global step=42459136, episodic return=2402.4404296875\n", + "global step=42459136, episodic return=2374.592529296875\n", + "global step=42459136, episodic return=2411.24560546875\n", + "global step=42463232, episodic return=2443.138916015625\n", + "global step=42463232, episodic return=2399.53955078125\n", + "global step=42463232, episodic return=2392.74267578125\n", + "global step=42463232, episodic return=2414.69970703125\n", + "global step=42463232, episodic return=2391.62890625\n", + "global step=42465280, episodic return=2416.80224609375\n", + "global step=42465280, episodic return=2381.3349609375\n", + "global step=42467328, episodic return=2418.30810546875\n", + "global step=42469376, episodic return=2329.46875\n", + "global step=42469376, episodic return=2419.887939453125\n", + "global step=42469376, episodic return=2417.79296875\n", + "global step=42469376, episodic return=2457.792236328125\n", + "global step=42469376, episodic return=2403.67236328125\n", + "global step=42473472, episodic return=2327.1796875\n", + "global step=42473472, episodic return=2397.158203125\n", + "global step=42475520, episodic return=2357.576416015625\n", + "global step=42475520, episodic return=2346.306884765625\n", + "global step=42477568, episodic return=2299.44482421875\n", + "global step=42481664, episodic return=2411.023193359375\n", + "global step=42481664, episodic return=906.2727661132812\n", + "global step=42483712, episodic return=2407.022216796875\n", + "global step=42483712, episodic return=2379.9951171875\n", + "global step=42485760, episodic return=2411.27978515625\n", + "global step=42487808, episodic return=2386.372802734375\n", + "global step=42487808, episodic return=2443.372314453125\n", + "global step=42487808, episodic return=2442.84521484375\n", + "global step=42489856, episodic return=2360.014404296875\n", + "global step=42489856, episodic return=2399.564697265625\n", + "global step=42489856, episodic return=2350.333740234375\n", + "global step=42489856, episodic return=2410.327392578125\n", + "global step=42489856, episodic return=2426.89892578125\n", + "global step=42489856, episodic return=2395.449951171875\n", + "global step=42491904, episodic return=88.31253051757812\n", + "global step=42491904, episodic return=2390.65966796875\n", + "global step=42491904, episodic return=2408.96435546875\n", + "global step=42493952, episodic return=2445.578125\n", + "global step=42493952, episodic return=2410.357421875\n", + "global step=42493952, episodic return=2304.531005859375\n", + "global step=42493952, episodic return=2440.647705078125\n", + "global step=42493952, episodic return=2418.43603515625\n", + "global step=42496000, episodic return=24.846046447753906\n", + "global step=42498048, episodic return=2466.642333984375\n", + "global step=42500096, episodic return=161.0985107421875\n", + "global step=42500096, episodic return=2395.621337890625\n", + "global step=42500096, episodic return=2352.256591796875\n", + "global step=42502144, episodic return=2341.501953125\n", + "global step=42502144, episodic return=2409.146728515625\n", + "global step=42502144, episodic return=2303.437255859375\n", + "global step=42502144, episodic return=2407.266845703125\n", + "global step=42502144, episodic return=2385.693359375\n", + "global step=42504192, episodic return=2405.376953125\n", + "global step=42506240, episodic return=2425.1845703125\n", + "global step=42506240, episodic return=2438.09716796875\n", + "global step=42510336, episodic return=2420.801513671875\n", + "global step=42510336, episodic return=2327.646240234375\n", + "global step=42510336, episodic return=2348.0205078125\n", + "global step=42512384, episodic return=2405.73876953125\n", + "global step=42512384, episodic return=153.82196044921875\n", + "global step=42512384, episodic return=2377.745849609375\n", + "global step=42512384, episodic return=2391.106201171875\n", + "global step=42512384, episodic return=2392.514892578125\n", + "global step=42514432, episodic return=2437.22998046875\n", + "global step=42514432, episodic return=2407.27685546875\n", + "global step=42516480, episodic return=2338.0234375\n", + "global step=42516480, episodic return=2323.02783203125\n", + "global step=42516480, episodic return=2375.447509765625\n", + "global step=42518528, episodic return=2387.12158203125\n", + "global step=42518528, episodic return=2261.214599609375\n", + "global step=42520576, episodic return=2398.281494140625\n", + "global step=42520576, episodic return=2448.301025390625\n", + "global step=42520576, episodic return=2454.153076171875\n", + "global step=42522624, episodic return=2372.371337890625\n", + "global step=42522624, episodic return=1337.03662109375\n", + "global step=42524672, episodic return=2373.368408203125\n", + "global step=42524672, episodic return=2417.447998046875\n", + "global step=42526720, episodic return=2304.03369140625\n", + "global step=42528768, episodic return=2392.891357421875\n", + "global step=42528768, episodic return=2366.99560546875\n", + "global step=42530816, episodic return=2356.705078125\n", + "global step=42530816, episodic return=2412.57421875\n", + "global step=42530816, episodic return=2287.748291015625\n", + "global step=42534912, episodic return=2369.21435546875\n", + "global step=42534912, episodic return=2371.0703125\n", + "global step=42534912, episodic return=2366.03125\n", + "global step=42536960, episodic return=2383.8935546875\n", + "global step=42536960, episodic return=2347.337158203125\n", + "global step=42536960, episodic return=2356.445068359375\n", + "global step=42539008, episodic return=1822.4681396484375\n", + "global step=42539008, episodic return=22.134872436523438\n", + "global step=42539008, episodic return=2415.010986328125\n", + "global step=42539008, episodic return=2464.7197265625\n", + "global step=42541056, episodic return=2221.018798828125\n", + "global step=42541056, episodic return=2429.668701171875\n", + "global step=42541056, episodic return=2395.648193359375\n", + "global step=42543104, episodic return=2392.80419921875\n", + "global step=42543104, episodic return=2424.345703125\n", + "global step=42545152, episodic return=2413.251220703125\n", + "global step=42547200, episodic return=2364.59814453125\n", + "global step=42547200, episodic return=2349.588623046875\n", + "global step=42547200, episodic return=2388.698974609375\n", + "global step=42547200, episodic return=2482.3642578125\n", + "global step=42549248, episodic return=2274.04345703125\n", + "global step=42549248, episodic return=2410.33984375\n", + "global step=42549248, episodic return=2443.6953125\n", + "global step=42549248, episodic return=2360.256103515625\n", + "global step=42551296, episodic return=2385.15625\n", + "global step=42551296, episodic return=2362.622802734375\n", + "global step=42551296, episodic return=163.36361694335938\n", + "global step=42551296, episodic return=2233.2138671875\n", + "global step=42553344, episodic return=2385.243896484375\n", + "global step=42555392, episodic return=2421.45556640625\n", + "global step=42555392, episodic return=2400.629638671875\n", + "global step=42555392, episodic return=2416.695556640625\n", + "global step=42557440, episodic return=2379.50634765625\n", + "global step=42557440, episodic return=2347.6943359375\n", + "global step=42557440, episodic return=2389.769775390625\n", + "global step=42557440, episodic return=353.48626708984375\n", + "global step=42557440, episodic return=2407.339599609375\n", + "global step=42559488, episodic return=2383.357666015625\n", + "global step=42559488, episodic return=2395.287841796875\n", + "global step=42559488, episodic return=2450.4033203125\n", + "global step=42561536, episodic return=2404.743408203125\n", + "global step=42561536, episodic return=2443.956298828125\n", + "global step=42561536, episodic return=2322.600830078125\n", + "global step=42561536, episodic return=144.49383544921875\n", + "global step=42561536, episodic return=2303.92333984375\n", + "global step=42563584, episodic return=2390.782470703125\n", + "global step=42563584, episodic return=2394.985595703125\n", + "global step=42567680, episodic return=2339.41650390625\n", + "global step=42567680, episodic return=2350.1201171875\n", + "global step=42567680, episodic return=2331.85791015625\n", + "global step=42567680, episodic return=2329.126220703125\n", + "global step=42569728, episodic return=2401.308837890625\n", + "global step=42569728, episodic return=2433.297607421875\n", + "global step=42569728, episodic return=2408.556640625\n", + "global step=42571776, episodic return=2395.993408203125\n", + "global step=42571776, episodic return=2453.332763671875\n", + "global step=42571776, episodic return=2388.605712890625\n", + "global step=42573824, episodic return=2455.577880859375\n", + "global step=42573824, episodic return=2382.707275390625\n", + "global step=42575872, episodic return=2356.94482421875\n", + "global step=42575872, episodic return=2377.652587890625\n", + "global step=42577920, episodic return=2361.454833984375\n", + "global step=42577920, episodic return=1556.91845703125\n", + "global step=42579968, episodic return=2391.594970703125\n", + "global step=42579968, episodic return=2357.59765625\n", + "global step=42582016, episodic return=2424.818115234375\n", + "global step=42582016, episodic return=2397.57763671875\n", + "global step=42584064, episodic return=2413.353515625\n", + "global step=42584064, episodic return=2350.387939453125\n", + "global step=42584064, episodic return=356.4241638183594\n", + "global step=42584064, episodic return=2337.9697265625\n", + "global step=42586112, episodic return=2373.986083984375\n", + "global step=42586112, episodic return=2370.11865234375\n", + "global step=42586112, episodic return=2365.516845703125\n", + "global step=42588160, episodic return=2373.558837890625\n", + "global step=42588160, episodic return=2424.82958984375\n", + "global step=42590208, episodic return=2360.44580078125\n", + "global step=42590208, episodic return=2376.072509765625\n", + "global step=42590208, episodic return=2287.510009765625\n", + "global step=42590208, episodic return=2386.6357421875\n", + "global step=42590208, episodic return=2406.894775390625\n", + "global step=42594304, episodic return=2466.5400390625\n", + "global step=42596352, episodic return=2365.3681640625\n", + "global step=42596352, episodic return=2343.5048828125\n", + "global step=42596352, episodic return=2403.61572265625\n", + "global step=42598400, episodic return=2381.92724609375\n", + "global step=42598400, episodic return=2425.194580078125\n", + "global step=42598400, episodic return=2461.244384765625\n", + "global step=42598400, episodic return=2407.408203125\n", + "global step=42598400, episodic return=2435.291015625\n", + "global step=42600448, episodic return=2434.271728515625\n", + "global step=42600448, episodic return=755.960205078125\n", + "global step=42600448, episodic return=1486.7596435546875\n", + "global step=42602496, episodic return=2449.120361328125\n", + "global step=42602496, episodic return=2432.192626953125\n", + "global step=42604544, episodic return=1179.876953125\n", + "global step=42604544, episodic return=2490.8544921875\n", + "global step=42606592, episodic return=2310.65478515625\n", + "global step=42608640, episodic return=2420.755126953125\n", + "global step=42608640, episodic return=2367.385498046875\n", + "global step=42610688, episodic return=2304.422607421875\n", + "global step=42612736, episodic return=2460.560791015625\n", + "global step=42612736, episodic return=2425.074462890625\n", + "global step=42612736, episodic return=2432.591796875\n", + "global step=42614784, episodic return=2399.400634765625\n", + "global step=42614784, episodic return=2437.8623046875\n", + "global step=42614784, episodic return=2482.4501953125\n", + "global step=42614784, episodic return=2386.323486328125\n", + "global step=42614784, episodic return=2416.217041015625\n", + "global step=42616832, episodic return=2415.509033203125\n", + "global step=42618880, episodic return=2430.304443359375\n", + "global step=42618880, episodic return=2392.151123046875\n", + "global step=42618880, episodic return=2393.910888671875\n", + "global step=42618880, episodic return=2295.44873046875\n", + "global step=42618880, episodic return=1166.6461181640625\n", + "global step=42620928, episodic return=2320.405029296875\n", + "global step=42620928, episodic return=2379.84033203125\n", + "global step=42622976, episodic return=2439.89599609375\n", + "global step=42622976, episodic return=2445.119384765625\n", + "global step=42625024, episodic return=2500.927978515625\n", + "global step=42625024, episodic return=543.8635864257812\n", + "global step=42627072, episodic return=2378.015380859375\n", + "global step=42627072, episodic return=2390.782470703125\n", + "global step=42629120, episodic return=2447.2919921875\n", + "global step=42631168, episodic return=2443.518798828125\n", + "global step=42631168, episodic return=2471.1259765625\n", + "global step=42631168, episodic return=2413.134765625\n", + "global step=42631168, episodic return=2424.19140625\n", + "global step=42633216, episodic return=2354.15283203125\n", + "global step=42635264, episodic return=2436.954345703125\n", + "global step=42635264, episodic return=2367.60009765625\n", + "global step=42635264, episodic return=2370.50634765625\n", + "global step=42635264, episodic return=2426.270263671875\n", + "global step=42635264, episodic return=2431.320068359375\n", + "global step=42637312, episodic return=2404.5810546875\n", + "global step=42637312, episodic return=2454.121826171875\n", + "global step=42637312, episodic return=157.8389434814453\n", + "global step=42641408, episodic return=2440.928466796875\n", + "global step=42641408, episodic return=2405.878662109375\n", + "global step=42641408, episodic return=2401.62353515625\n", + "global step=42643456, episodic return=2393.08154296875\n", + "global step=42645504, episodic return=2440.1884765625\n", + "global step=42645504, episodic return=174.869140625\n", + "global step=42647552, episodic return=2401.728759765625\n", + "global step=42647552, episodic return=2451.504150390625\n", + "global step=42647552, episodic return=2398.1240234375\n", + "global step=42647552, episodic return=2413.5751953125\n", + "global step=42647552, episodic return=2400.299560546875\n", + "global step=42649600, episodic return=2439.425537109375\n", + "global step=42649600, episodic return=2336.71728515625\n", + "global step=42649600, episodic return=2392.914794921875\n", + "global step=42651648, episodic return=2371.995849609375\n", + "global step=42651648, episodic return=2315.49609375\n", + "global step=42653696, episodic return=2379.14599609375\n", + "global step=42653696, episodic return=2418.0048828125\n", + "global step=42655744, episodic return=2346.626953125\n", + "global step=42655744, episodic return=2418.116455078125\n", + "global step=42657792, episodic return=2360.305419921875\n", + "global step=42659840, episodic return=2384.96630859375\n", + "global step=42659840, episodic return=187.9235382080078\n", + "global step=42659840, episodic return=2353.420166015625\n", + "global step=42659840, episodic return=2329.12109375\n", + "global step=42661888, episodic return=2440.02294921875\n", + "global step=42661888, episodic return=2451.16943359375\n", + "global step=42661888, episodic return=2394.56494140625\n", + "global step=42661888, episodic return=2376.04443359375\n", + "global step=42663936, episodic return=2386.424560546875\n", + "global step=42663936, episodic return=1195.31103515625\n", + "global step=42665984, episodic return=2424.140869140625\n", + "global step=42668032, episodic return=2392.78076171875\n", + "global step=42668032, episodic return=2355.097412109375\n", + "global step=42670080, episodic return=2351.201904296875\n", + "global step=42670080, episodic return=2449.05908203125\n", + "global step=42672128, episodic return=2383.60595703125\n", + "global step=42676224, episodic return=2343.513671875\n", + "global step=42676224, episodic return=2331.2900390625\n", + "global step=42676224, episodic return=22.289108276367188\n", + "global step=42678272, episodic return=2319.688720703125\n", + "global step=42680320, episodic return=2329.4169921875\n", + "global step=42680320, episodic return=2373.00927734375\n", + "global step=42680320, episodic return=2411.548095703125\n", + "global step=42682368, episodic return=2339.93701171875\n", + "global step=42682368, episodic return=2386.564453125\n", + "global step=42682368, episodic return=2457.599853515625\n", + "global step=42682368, episodic return=1616.8902587890625\n", + "global step=42684416, episodic return=2455.046630859375\n", + "global step=42684416, episodic return=2251.290283203125\n", + "global step=42686464, episodic return=2394.9130859375\n", + "global step=42686464, episodic return=2403.114013671875\n", + "global step=42686464, episodic return=2384.484375\n", + "global step=42688512, episodic return=2378.54248046875\n", + "global step=42688512, episodic return=2415.420654296875\n", + "global step=42688512, episodic return=2439.38330078125\n", + "global step=42690560, episodic return=2366.241455078125\n", + "global step=42690560, episodic return=2382.185302734375\n", + "global step=42692608, episodic return=2410.77392578125\n", + "global step=42692608, episodic return=2418.031005859375\n", + "global step=42692608, episodic return=1900.474609375\n", + "global step=42694656, episodic return=2369.129638671875\n", + "global step=42694656, episodic return=2399.890380859375\n", + "global step=42694656, episodic return=2446.029296875\n", + "global step=42694656, episodic return=174.89064025878906\n", + "global step=42696704, episodic return=1732.2220458984375\n", + "global step=42696704, episodic return=2391.8408203125\n", + "global step=42698752, episodic return=1957.6983642578125\n", + "global step=42698752, episodic return=2235.88525390625\n", + "global step=42698752, episodic return=2436.46484375\n", + "global step=42700800, episodic return=2387.490234375\n", + "global step=42700800, episodic return=2388.81103515625\n", + "global step=42702848, episodic return=2341.74560546875\n", + "global step=42702848, episodic return=2445.469970703125\n", + "global step=42704896, episodic return=2357.82421875\n", + "global step=42704896, episodic return=2499.123291015625\n", + "global step=42704896, episodic return=2403.526611328125\n", + "global step=42704896, episodic return=2378.10009765625\n", + "global step=42704896, episodic return=2418.907470703125\n", + "global step=42706944, episodic return=1551.0579833984375\n", + "global step=42706944, episodic return=2135.52978515625\n", + "global step=42706944, episodic return=2343.58203125\n", + "global step=42706944, episodic return=2374.473876953125\n", + "global step=42708992, episodic return=484.1292419433594\n", + "global step=42708992, episodic return=2418.751220703125\n", + "global step=42711040, episodic return=2394.615234375\n", + "global step=42713088, episodic return=2362.205078125\n", + "global step=42713088, episodic return=2320.79736328125\n", + "global step=42713088, episodic return=2436.972900390625\n", + "global step=42713088, episodic return=2285.7568359375\n", + "global step=42715136, episodic return=1272.16845703125\n", + "global step=42715136, episodic return=2321.020751953125\n", + "global step=42715136, episodic return=2391.422119140625\n", + "global step=42715136, episodic return=2439.21435546875\n", + "global step=42715136, episodic return=165.1331787109375\n", + "global step=42717184, episodic return=2415.833740234375\n", + "global step=42717184, episodic return=2348.579345703125\n", + "global step=42717184, episodic return=2390.27734375\n", + "global step=42717184, episodic return=2432.503173828125\n", + "global step=42719232, episodic return=2413.921142578125\n", + "global step=42719232, episodic return=2376.128173828125\n", + "global step=42719232, episodic return=1541.7078857421875\n", + "global step=42719232, episodic return=2328.629638671875\n", + "global step=42719232, episodic return=2422.283447265625\n", + "global step=42721280, episodic return=2134.254150390625\n", + "global step=42723328, episodic return=2364.34375\n", + "global step=42723328, episodic return=2377.21337890625\n", + "global step=42723328, episodic return=2338.807373046875\n", + "global step=42723328, episodic return=2247.843994140625\n", + "global step=42725376, episodic return=2344.760009765625\n", + "global step=42725376, episodic return=2344.161865234375\n", + "global step=42727424, episodic return=2365.072021484375\n", + "global step=42727424, episodic return=2347.286865234375\n", + "global step=42731520, episodic return=2068.18359375\n", + "global step=42733568, episodic return=2459.315185546875\n", + "global step=42733568, episodic return=2415.375244140625\n", + "global step=42733568, episodic return=2401.991943359375\n", + "global step=42733568, episodic return=2357.025634765625\n", + "global step=42735616, episodic return=2422.514404296875\n", + "global step=42735616, episodic return=2433.468994140625\n", + "global step=42735616, episodic return=2460.4619140625\n", + "global step=42737664, episodic return=2434.669677734375\n", + "global step=42739712, episodic return=2499.446044921875\n", + "global step=42739712, episodic return=16.521617889404297\n", + "global step=42739712, episodic return=1138.5308837890625\n", + "global step=42739712, episodic return=2350.595703125\n", + "global step=42739712, episodic return=1645.19384765625\n", + "global step=42741760, episodic return=296.1313781738281\n", + "global step=42741760, episodic return=2376.170654296875\n", + "global step=42743808, episodic return=2397.7626953125\n", + "global step=42745856, episodic return=2223.37890625\n", + "global step=42745856, episodic return=2406.093505859375\n", + "global step=42745856, episodic return=2393.88720703125\n", + "global step=42745856, episodic return=2337.02734375\n", + "global step=42747904, episodic return=1836.290283203125\n", + "global step=42747904, episodic return=2397.517333984375\n", + "global step=42749952, episodic return=2457.807861328125\n", + "global step=42752000, episodic return=2465.703369140625\n", + "global step=42752000, episodic return=2445.666015625\n", + "global step=42752000, episodic return=2348.500732421875\n", + "global step=42752000, episodic return=2384.438232421875\n", + "global step=42754048, episodic return=2401.45947265625\n", + "global step=42756096, episodic return=2339.5126953125\n", + "global step=42756096, episodic return=2429.8935546875\n", + "global step=42756096, episodic return=2383.8583984375\n", + "global step=42756096, episodic return=2380.117431640625\n", + "global step=42756096, episodic return=2376.185791015625\n", + "global step=42758144, episodic return=2391.68896484375\n", + "global step=42758144, episodic return=2467.7861328125\n", + "global step=42758144, episodic return=2371.76806640625\n", + "global step=42758144, episodic return=2314.084716796875\n", + "global step=42758144, episodic return=2440.82568359375\n", + "global step=42760192, episodic return=2422.938720703125\n", + "global step=42762240, episodic return=48.38274002075195\n", + "global step=42764288, episodic return=2410.508544921875\n", + "global step=42764288, episodic return=2360.3017578125\n", + "global step=42766336, episodic return=2334.592529296875\n", + "global step=42766336, episodic return=2430.050048828125\n", + "global step=42768384, episodic return=2379.45751953125\n", + "global step=42768384, episodic return=2431.173095703125\n", + "global step=42768384, episodic return=2391.800048828125\n", + "global step=42770432, episodic return=2423.358154296875\n", + "global step=42772480, episodic return=2425.8916015625\n", + "global step=42772480, episodic return=2344.67529296875\n", + "global step=42774528, episodic return=2416.336181640625\n", + "global step=42774528, episodic return=2446.059814453125\n", + "global step=42774528, episodic return=2457.1123046875\n", + "global step=42774528, episodic return=2396.71728515625\n", + "global step=42776576, episodic return=520.2152099609375\n", + "global step=42776576, episodic return=2384.82958984375\n", + "global step=42776576, episodic return=2325.455322265625\n", + "global step=42776576, episodic return=2454.134765625\n", + "global step=42776576, episodic return=2370.591552734375\n", + "global step=42778624, episodic return=2438.52294921875\n", + "global step=42778624, episodic return=1100.7825927734375\n", + "global step=42778624, episodic return=2425.45849609375\n", + "global step=42778624, episodic return=2066.196044921875\n", + "global step=42778624, episodic return=2355.99560546875\n", + "global step=42778624, episodic return=2457.93896484375\n", + "global step=42780672, episodic return=268.3108825683594\n", + "global step=42780672, episodic return=2421.705078125\n", + "global step=42786816, episodic return=2455.96875\n", + "global step=42788864, episodic return=288.1456604003906\n", + "global step=42788864, episodic return=2246.6142578125\n", + "global step=42788864, episodic return=2404.848876953125\n", + "global step=42792960, episodic return=2373.54931640625\n", + "global step=42792960, episodic return=2352.8720703125\n", + "global step=42792960, episodic return=2415.186767578125\n", + "global step=42792960, episodic return=2382.062255859375\n", + "global step=42795008, episodic return=2398.34765625\n", + "global step=42795008, episodic return=2402.653076171875\n", + "global step=42795008, episodic return=2403.768310546875\n", + "global step=42795008, episodic return=2381.352294921875\n", + "global step=42799104, episodic return=2430.296142578125\n", + "global step=42799104, episodic return=2406.8994140625\n", + "global step=42799104, episodic return=2466.5751953125\n", + "global step=42799104, episodic return=2357.12060546875\n", + "global step=42801152, episodic return=2402.357177734375\n", + "global step=42801152, episodic return=2431.16943359375\n", + "global step=42803200, episodic return=2394.82177734375\n", + "global step=42803200, episodic return=2411.203857421875\n", + "global step=42803200, episodic return=238.82228088378906\n", + "global step=42805248, episodic return=1737.0592041015625\n", + "global step=42805248, episodic return=2399.957275390625\n", + "global step=42805248, episodic return=2408.483154296875\n", + "global step=42805248, episodic return=2452.711181640625\n", + "global step=42805248, episodic return=2369.021484375\n", + "global step=42805248, episodic return=2345.06103515625\n", + "global step=42807296, episodic return=2466.412353515625\n", + "global step=42807296, episodic return=2412.831787109375\n", + "global step=42809344, episodic return=1717.6141357421875\n", + "global step=42809344, episodic return=2245.604736328125\n", + "global step=42813440, episodic return=2425.17626953125\n", + "global step=42815488, episodic return=2431.693603515625\n", + "global step=42815488, episodic return=2395.968994140625\n", + "global step=42815488, episodic return=2449.17626953125\n", + "global step=42815488, episodic return=2392.53076171875\n", + "global step=42817536, episodic return=2503.772216796875\n", + "global step=42817536, episodic return=2418.5986328125\n", + "global step=42817536, episodic return=470.8905334472656\n", + "global step=42817536, episodic return=2437.966064453125\n", + "global step=42817536, episodic return=2393.018798828125\n", + "global step=42819584, episodic return=2400.027099609375\n", + "global step=42819584, episodic return=2360.3486328125\n", + "global step=42819584, episodic return=2390.2265625\n", + "global step=42819584, episodic return=819.2842407226562\n", + "global step=42821632, episodic return=2365.5537109375\n", + "global step=42821632, episodic return=2385.712646484375\n", + "global step=42821632, episodic return=2387.950439453125\n", + "global step=42823680, episodic return=2301.413818359375\n", + "global step=42823680, episodic return=2394.019287109375\n", + "global step=42823680, episodic return=974.2755126953125\n", + "global step=42823680, episodic return=253.38893127441406\n", + "global step=42825728, episodic return=2376.553466796875\n", + "global step=42825728, episodic return=2404.555419921875\n", + "global step=42825728, episodic return=2442.0478515625\n", + "global step=42825728, episodic return=2398.2958984375\n", + "global step=42825728, episodic return=992.1356201171875\n", + "global step=42827776, episodic return=2365.1015625\n", + "global step=42827776, episodic return=222.36026000976562\n", + "global step=42827776, episodic return=2387.84423828125\n", + "global step=42829824, episodic return=2442.755126953125\n", + "global step=42829824, episodic return=966.4904174804688\n", + "global step=42831872, episodic return=2314.337890625\n", + "global step=42831872, episodic return=263.8406982421875\n", + "global step=42833920, episodic return=2389.594482421875\n", + "global step=42835968, episodic return=2370.041015625\n", + "global step=42835968, episodic return=2456.754638671875\n", + "global step=42835968, episodic return=2399.679443359375\n", + "global step=42838016, episodic return=2477.917236328125\n", + "global step=42838016, episodic return=2446.772705078125\n", + "global step=42838016, episodic return=130.4175567626953\n", + "global step=42840064, episodic return=197.015380859375\n", + "global step=42842112, episodic return=958.1680908203125\n", + "global step=42842112, episodic return=2373.4189453125\n", + "global step=42842112, episodic return=2418.009521484375\n", + "global step=42842112, episodic return=2465.364013671875\n", + "global step=42844160, episodic return=2424.340087890625\n", + "global step=42844160, episodic return=2436.115234375\n", + "global step=42844160, episodic return=2425.55322265625\n", + "global step=42844160, episodic return=2464.359375\n", + "global step=42848256, episodic return=2412.22021484375\n", + "global step=42848256, episodic return=2393.4482421875\n", + "global step=42848256, episodic return=308.9093933105469\n", + "global step=42848256, episodic return=2352.601806640625\n", + "global step=42850304, episodic return=2333.962158203125\n", + "global step=42850304, episodic return=2411.347900390625\n", + "global step=42850304, episodic return=2359.071044921875\n", + "global step=42852352, episodic return=2402.529541015625\n", + "global step=42852352, episodic return=1324.1702880859375\n", + "global step=42852352, episodic return=2339.5068359375\n", + "global step=42852352, episodic return=2454.95263671875\n", + "global step=42854400, episodic return=2399.35009765625\n", + "global step=42854400, episodic return=2432.165283203125\n", + "global step=42854400, episodic return=1153.3331298828125\n", + "global step=42856448, episodic return=2465.615234375\n", + "global step=42856448, episodic return=2461.64599609375\n", + "global step=42858496, episodic return=2452.358642578125\n", + "global step=42858496, episodic return=2252.929931640625\n", + "global step=42858496, episodic return=2386.94873046875\n", + "global step=42860544, episodic return=2440.799072265625\n", + "global step=42860544, episodic return=2437.794189453125\n", + "global step=42860544, episodic return=2464.713623046875\n", + "global step=42860544, episodic return=2394.4853515625\n", + "global step=42862592, episodic return=2118.782470703125\n", + "global step=42862592, episodic return=2483.510498046875\n", + "global step=42862592, episodic return=2241.987060546875\n", + "global step=42864640, episodic return=2400.571533203125\n", + "global step=42866688, episodic return=1022.4616088867188\n", + "global step=42866688, episodic return=2447.9208984375\n", + "global step=42866688, episodic return=2465.345458984375\n", + "global step=42866688, episodic return=227.34254455566406\n", + "global step=42868736, episodic return=2405.844970703125\n", + "global step=42868736, episodic return=2350.52880859375\n", + "global step=42870784, episodic return=2399.68896484375\n", + "global step=42870784, episodic return=2484.43701171875\n", + "global step=42870784, episodic return=2414.27978515625\n", + "global step=42870784, episodic return=2449.12646484375\n", + "global step=42870784, episodic return=2339.220947265625\n", + "global step=42870784, episodic return=2414.48095703125\n", + "global step=42872832, episodic return=2384.076416015625\n", + "global step=42872832, episodic return=2438.168701171875\n", + "global step=42872832, episodic return=2382.30615234375\n", + "global step=42872832, episodic return=2421.42236328125\n", + "global step=42872832, episodic return=2408.77587890625\n", + "global step=42874880, episodic return=2444.385009765625\n", + "global step=42874880, episodic return=2402.967529296875\n", + "global step=42874880, episodic return=705.0859375\n", + "global step=42876928, episodic return=2446.614990234375\n", + "global step=42876928, episodic return=184.85787963867188\n", + "global step=42878976, episodic return=2449.11572265625\n", + "global step=42878976, episodic return=2517.50244140625\n", + "global step=42878976, episodic return=2319.330810546875\n", + "global step=42881024, episodic return=2397.299072265625\n", + "global step=42881024, episodic return=2443.718994140625\n", + "global step=42881024, episodic return=2427.457275390625\n", + "global step=42881024, episodic return=2456.611083984375\n", + "global step=42883072, episodic return=2394.22509765625\n", + "global step=42883072, episodic return=2429.982177734375\n", + "global step=42883072, episodic return=2430.2255859375\n", + "global step=42883072, episodic return=2440.541748046875\n", + "global step=42883072, episodic return=2453.041748046875\n", + "global step=42883072, episodic return=2446.772216796875\n", + "global step=42883072, episodic return=2373.807861328125\n", + "global step=42883072, episodic return=2397.354736328125\n", + "global step=42885120, episodic return=2421.111083984375\n", + "global step=42885120, episodic return=2452.167236328125\n", + "global step=42885120, episodic return=1632.1834716796875\n", + "global step=42887168, episodic return=2476.888671875\n", + "global step=42889216, episodic return=2385.390869140625\n", + "global step=42889216, episodic return=1084.4664306640625\n", + "global step=42889216, episodic return=855.0850830078125\n", + "global step=42891264, episodic return=2458.330078125\n", + "global step=42891264, episodic return=2447.146728515625\n", + "global step=42891264, episodic return=1885.0394287109375\n", + "global step=42893312, episodic return=2414.059326171875\n", + "global step=42893312, episodic return=2369.73388671875\n", + "global step=42893312, episodic return=2392.91552734375\n", + "global step=42893312, episodic return=1615.0428466796875\n", + "global step=42893312, episodic return=2438.458740234375\n", + "global step=42893312, episodic return=2472.323974609375\n", + "global step=42895360, episodic return=2466.706787109375\n", + "global step=42895360, episodic return=2394.603759765625\n", + "global step=42897408, episodic return=2276.489013671875\n", + "global step=42897408, episodic return=2388.7412109375\n", + "global step=42897408, episodic return=1000.9586181640625\n", + "global step=42897408, episodic return=2445.4150390625\n", + "global step=42899456, episodic return=2421.189208984375\n", + "global step=42899456, episodic return=2435.149169921875\n", + "global step=42899456, episodic return=2462.773681640625\n", + "global step=42901504, episodic return=2461.09375\n", + "global step=42901504, episodic return=2420.716552734375\n", + "global step=42903552, episodic return=2369.92138671875\n", + "global step=42903552, episodic return=2348.3642578125\n", + "global step=42903552, episodic return=2511.06298828125\n", + "global step=42909696, episodic return=28.285167694091797\n", + "global step=42911744, episodic return=2399.87158203125\n", + "global step=42911744, episodic return=2369.209228515625\n", + "global step=42915840, episodic return=2349.847900390625\n", + "global step=42915840, episodic return=2478.37109375\n", + "global step=42915840, episodic return=2391.0185546875\n", + "global step=42915840, episodic return=2439.236083984375\n", + "global step=42915840, episodic return=2462.42724609375\n", + "global step=42915840, episodic return=2408.1787109375\n", + "global step=42917888, episodic return=2329.706298828125\n", + "global step=42917888, episodic return=2386.923095703125\n", + "global step=42917888, episodic return=2457.137939453125\n", + "global step=42917888, episodic return=2455.34033203125\n", + "global step=42917888, episodic return=2346.27783203125\n", + "global step=42917888, episodic return=2405.544677734375\n", + "global step=42917888, episodic return=2419.83837890625\n", + "global step=42917888, episodic return=2468.4658203125\n", + "global step=42917888, episodic return=2375.40576171875\n", + "global step=42921984, episodic return=2399.900634765625\n", + "global step=42921984, episodic return=2422.83984375\n", + "global step=42924032, episodic return=2423.02734375\n", + "global step=42924032, episodic return=2445.197998046875\n", + "global step=42924032, episodic return=2415.028076171875\n", + "global step=42924032, episodic return=2342.52587890625\n", + "global step=42926080, episodic return=2449.258056640625\n", + "global step=42932224, episodic return=2412.468994140625\n", + "global step=42932224, episodic return=2162.2119140625\n", + "global step=42932224, episodic return=2396.684326171875\n", + "global step=42932224, episodic return=2420.142333984375\n", + "global step=42932224, episodic return=2507.5654296875\n", + "global step=42934272, episodic return=2417.52294921875\n", + "global step=42934272, episodic return=2401.35986328125\n", + "global step=42934272, episodic return=2471.062255859375\n", + "global step=42934272, episodic return=86.39004516601562\n", + "global step=42934272, episodic return=2384.96630859375\n", + "global step=42934272, episodic return=2505.57763671875\n", + "global step=42934272, episodic return=2487.22021484375\n", + "global step=42936320, episodic return=1631.6715087890625\n", + "global step=42936320, episodic return=2459.49951171875\n", + "global step=42936320, episodic return=2408.987060546875\n", + "global step=42936320, episodic return=2433.8642578125\n", + "global step=42938368, episodic return=2458.554443359375\n", + "global step=42940416, episodic return=2283.00390625\n", + "global step=42940416, episodic return=2443.644287109375\n", + "global step=42940416, episodic return=2445.76708984375\n", + "global step=42940416, episodic return=2461.02685546875\n", + "global step=42942464, episodic return=914.9999389648438\n", + "global step=42942464, episodic return=1719.086669921875\n", + "global step=42944512, episodic return=55.458499908447266\n", + "global step=42944512, episodic return=1052.602783203125\n", + "global step=42944512, episodic return=2436.7880859375\n", + "global step=42944512, episodic return=2263.832275390625\n", + "global step=42946560, episodic return=2397.681396484375\n", + "global step=42948608, episodic return=2363.110595703125\n", + "global step=42948608, episodic return=2390.312255859375\n", + "global step=42948608, episodic return=2413.63232421875\n", + "global step=42948608, episodic return=2330.304443359375\n", + "global step=42950656, episodic return=2363.13720703125\n", + "global step=42950656, episodic return=2276.575439453125\n", + "global step=42952704, episodic return=2327.95263671875\n", + "global step=42952704, episodic return=2480.946533203125\n", + "global step=42954752, episodic return=2440.275390625\n", + "global step=42954752, episodic return=2430.346923828125\n", + "global step=42954752, episodic return=122.89045715332031\n", + "global step=42956800, episodic return=2506.906494140625\n", + "global step=42958848, episodic return=2291.498046875\n", + "global step=42958848, episodic return=2422.487548828125\n", + "global step=42960896, episodic return=2453.0859375\n", + "global step=42964992, episodic return=2469.4580078125\n", + "global step=42964992, episodic return=2403.50439453125\n", + "global step=42964992, episodic return=2473.76806640625\n", + "global step=42967040, episodic return=2396.056640625\n", + "global step=42967040, episodic return=2485.05224609375\n", + "global step=42969088, episodic return=2411.245361328125\n", + "global step=42969088, episodic return=116.53929138183594\n", + "global step=42971136, episodic return=2471.884521484375\n", + "global step=42971136, episodic return=2391.816650390625\n", + "global step=42971136, episodic return=2393.12451171875\n", + "global step=42973184, episodic return=2430.994384765625\n", + "global step=42973184, episodic return=2420.373046875\n", + "global step=42973184, episodic return=2398.48779296875\n", + "global step=42973184, episodic return=2488.49658203125\n", + "global step=42973184, episodic return=90.12374877929688\n", + "global step=42973184, episodic return=2435.856689453125\n", + "global step=42975232, episodic return=2497.2392578125\n", + "global step=42975232, episodic return=2397.532470703125\n", + "global step=42975232, episodic return=2376.144775390625\n", + "global step=42975232, episodic return=2366.38427734375\n", + "global step=42977280, episodic return=2438.484375\n", + "global step=42977280, episodic return=2344.75048828125\n", + "global step=42977280, episodic return=2426.831298828125\n", + "global step=42977280, episodic return=2444.948486328125\n", + "global step=42981376, episodic return=2422.24755859375\n", + "global step=42983424, episodic return=2436.144287109375\n", + "global step=42983424, episodic return=2294.3759765625\n", + "global step=42983424, episodic return=2319.110107421875\n", + "global step=42985472, episodic return=2456.046875\n", + "global step=42985472, episodic return=2428.380126953125\n", + "global step=42985472, episodic return=2384.63818359375\n", + "global step=42985472, episodic return=2449.4697265625\n", + "global step=42987520, episodic return=2417.1689453125\n", + "global step=42987520, episodic return=2467.07373046875\n", + "global step=42987520, episodic return=2452.420654296875\n", + "global step=42989568, episodic return=2465.1650390625\n", + "global step=42989568, episodic return=2437.8935546875\n", + "global step=42989568, episodic return=2469.605224609375\n", + "global step=42991616, episodic return=2431.64892578125\n", + "global step=42991616, episodic return=2452.09130859375\n", + "global step=42993664, episodic return=2442.93310546875\n", + "global step=42993664, episodic return=2424.941162109375\n", + "global step=42993664, episodic return=2447.908447265625\n", + "global step=42995712, episodic return=2424.86181640625\n", + "global step=42995712, episodic return=2460.75341796875\n", + "global step=42995712, episodic return=2431.826416015625\n", + "global step=42995712, episodic return=2491.247802734375\n", + "global step=42995712, episodic return=2453.526123046875\n", + "global step=42995712, episodic return=2472.16455078125\n", + "global step=42995712, episodic return=2378.33203125\n", + "global step=42997760, episodic return=2473.750732421875\n", + "global step=42997760, episodic return=2455.495849609375\n", + "global step=42997760, episodic return=2425.9599609375\n", + "global step=42997760, episodic return=2472.560791015625\n", + "global step=42997760, episodic return=2370.655029296875\n", + "global step=42997760, episodic return=2377.503662109375\n", + "global step=42999808, episodic return=2385.02294921875\n", + "global step=43001856, episodic return=2457.544189453125\n", + "global step=43001856, episodic return=512.1719360351562\n", + "global step=43001856, episodic return=2397.993896484375\n", + "global step=43003904, episodic return=2422.73583984375\n", + "global step=43003904, episodic return=2446.806396484375\n", + "global step=43003904, episodic return=849.435791015625\n", + "global step=43003904, episodic return=1670.5634765625\n", + "global step=43003904, episodic return=2441.205322265625\n", + "global step=43003904, episodic return=2470.61767578125\n", + "global step=43005952, episodic return=2431.604736328125\n", + "global step=43005952, episodic return=2406.18994140625\n", + "global step=43005952, episodic return=2162.34423828125\n", + "global step=43008000, episodic return=2389.432861328125\n", + "global step=43008000, episodic return=2435.1181640625\n", + "global step=43008000, episodic return=2460.151123046875\n", + "global step=43008000, episodic return=2446.851318359375\n", + "global step=43010048, episodic return=1030.5902099609375\n", + "global step=43012096, episodic return=2449.5146484375\n", + "global step=43012096, episodic return=2445.275390625\n", + "global step=43014144, episodic return=2105.092041015625\n", + "global step=43014144, episodic return=2379.347412109375\n", + "global step=43016192, episodic return=2469.742431640625\n", + "global step=43016192, episodic return=2320.4462890625\n", + "global step=43018240, episodic return=2458.823486328125\n", + "global step=43018240, episodic return=2411.460693359375\n", + "global step=43018240, episodic return=2463.146728515625\n", + "global step=43018240, episodic return=2435.142822265625\n", + "global step=43020288, episodic return=1773.7242431640625\n", + "global step=43020288, episodic return=2399.589599609375\n", + "global step=43022336, episodic return=2376.672607421875\n", + "global step=43022336, episodic return=1093.12744140625\n", + "global step=43022336, episodic return=2393.9111328125\n", + "global step=43022336, episodic return=2330.189697265625\n", + "global step=43022336, episodic return=2353.1474609375\n", + "global step=43024384, episodic return=1273.89208984375\n", + "global step=43024384, episodic return=2316.041748046875\n", + "global step=43026432, episodic return=2447.500732421875\n", + "global step=43026432, episodic return=2412.05908203125\n", + "global step=43028480, episodic return=2476.67626953125\n", + "global step=43030528, episodic return=2444.538818359375\n", + "global step=43034624, episodic return=2394.980712890625\n", + "global step=43034624, episodic return=2421.31787109375\n", + "global step=43034624, episodic return=2409.361083984375\n", + "global step=43034624, episodic return=2359.81640625\n", + "global step=43034624, episodic return=2345.04736328125\n", + "global step=43034624, episodic return=2447.164794921875\n", + "global step=43034624, episodic return=2477.662353515625\n", + "global step=43036672, episodic return=2471.50341796875\n", + "global step=43036672, episodic return=2374.873291015625\n", + "global step=43036672, episodic return=2421.087646484375\n", + "global step=43036672, episodic return=2413.529541015625\n", + "global step=43036672, episodic return=2461.466796875\n", + "global step=43038720, episodic return=369.1526184082031\n", + "global step=43040768, episodic return=231.97134399414062\n", + "global step=43040768, episodic return=2424.082275390625\n", + "global step=43040768, episodic return=2415.693603515625\n", + "global step=43040768, episodic return=2446.568115234375\n", + "global step=43044864, episodic return=2367.4169921875\n", + "global step=43044864, episodic return=2368.310791015625\n", + "global step=43044864, episodic return=2429.7822265625\n", + "global step=43044864, episodic return=2431.88037109375\n", + "global step=43044864, episodic return=2005.93359375\n", + "global step=43046912, episodic return=2403.802490234375\n", + "global step=43046912, episodic return=2438.280517578125\n", + "global step=43048960, episodic return=2505.645751953125\n", + "global step=43048960, episodic return=2414.6787109375\n", + "global step=43048960, episodic return=2332.938232421875\n", + "global step=43051008, episodic return=2301.736328125\n", + "global step=43051008, episodic return=2454.939208984375\n", + "global step=43053056, episodic return=2402.806884765625\n", + "global step=43053056, episodic return=2457.71875\n", + "global step=43053056, episodic return=2452.9794921875\n", + "global step=43053056, episodic return=392.6479187011719\n", + "global step=43057152, episodic return=2384.942138671875\n", + "global step=43059200, episodic return=2303.422607421875\n", + "global step=43059200, episodic return=2348.6630859375\n", + "global step=43061248, episodic return=2427.76123046875\n", + "global step=43061248, episodic return=2511.677734375\n", + "global step=43061248, episodic return=2396.221923828125\n", + "global step=43063296, episodic return=2388.22509765625\n", + "global step=43065344, episodic return=2434.032470703125\n", + "global step=43065344, episodic return=2418.956298828125\n", + "global step=43065344, episodic return=572.5060424804688\n", + "global step=43067392, episodic return=2465.269775390625\n", + "global step=43069440, episodic return=2389.306640625\n", + "global step=43071488, episodic return=2437.158935546875\n", + "global step=43073536, episodic return=2464.484375\n", + "global step=43073536, episodic return=2471.14697265625\n", + "global step=43073536, episodic return=2345.65478515625\n", + "global step=43073536, episodic return=2465.572265625\n", + "global step=43073536, episodic return=2423.12841796875\n", + "global step=43075584, episodic return=2430.82421875\n", + "global step=43075584, episodic return=2384.11572265625\n", + "global step=43075584, episodic return=2453.013916015625\n", + "global step=43075584, episodic return=2372.30517578125\n", + "global step=43077632, episodic return=302.2121887207031\n", + "global step=43079680, episodic return=2362.827880859375\n", + "global step=43081728, episodic return=2428.339111328125\n", + "global step=43081728, episodic return=2334.926025390625\n", + "global step=43081728, episodic return=2388.213134765625\n", + "global step=43081728, episodic return=2425.413330078125\n", + "global step=43087872, episodic return=2419.1201171875\n", + "global step=43087872, episodic return=2426.015869140625\n", + "global step=43087872, episodic return=2317.572265625\n", + "global step=43087872, episodic return=2474.611328125\n", + "global step=43089920, episodic return=2458.453369140625\n", + "global step=43091968, episodic return=2431.121826171875\n", + "global step=43091968, episodic return=2463.4111328125\n", + "global step=43091968, episodic return=2438.3896484375\n", + "global step=43091968, episodic return=2417.13720703125\n", + "global step=43094016, episodic return=42.374237060546875\n", + "global step=43094016, episodic return=2444.83154296875\n", + "global step=43094016, episodic return=2400.32470703125\n", + "global step=43096064, episodic return=2239.05078125\n", + "global step=43096064, episodic return=2428.158447265625\n", + "global step=43096064, episodic return=2468.9794921875\n", + "global step=43096064, episodic return=2345.6708984375\n", + "global step=43098112, episodic return=2327.307373046875\n", + "global step=43098112, episodic return=2364.8017578125\n", + "global step=43098112, episodic return=2370.417724609375\n", + "global step=43098112, episodic return=552.1570434570312\n", + "global step=43098112, episodic return=2366.337646484375\n", + "global step=43100160, episodic return=2470.8017578125\n", + "global step=43102208, episodic return=2403.489013671875\n", + "global step=43102208, episodic return=2380.611083984375\n", + "global step=43102208, episodic return=2468.217529296875\n", + "global step=43102208, episodic return=2425.4208984375\n", + "global step=43104256, episodic return=2404.989990234375\n", + "global step=43104256, episodic return=2211.726806640625\n", + "global step=43104256, episodic return=2372.88330078125\n", + "global step=43106304, episodic return=2415.494873046875\n", + "global step=43108352, episodic return=2439.47705078125\n", + "global step=43108352, episodic return=2408.50341796875\n", + "global step=43110400, episodic return=2463.244384765625\n", + "global step=43110400, episodic return=2480.32666015625\n", + "global step=43110400, episodic return=2428.15380859375\n", + "global step=43114496, episodic return=973.036376953125\n", + "global step=43114496, episodic return=2409.925537109375\n", + "global step=43118592, episodic return=206.93650817871094\n", + "global step=43118592, episodic return=2383.978271484375\n", + "global step=43118592, episodic return=2388.925048828125\n", + "global step=43118592, episodic return=2439.009033203125\n", + "global step=43120640, episodic return=240.86093139648438\n", + "global step=43120640, episodic return=2319.771484375\n", + "global step=43122688, episodic return=2453.655029296875\n", + "global step=43122688, episodic return=2364.8095703125\n", + "global step=43122688, episodic return=2384.98681640625\n", + "global step=43124736, episodic return=2176.49462890625\n", + "global step=43124736, episodic return=2126.068603515625\n", + "global step=43124736, episodic return=2422.48291015625\n", + "global step=43124736, episodic return=2324.843505859375\n", + "global step=43124736, episodic return=2413.576416015625\n", + "global step=43126784, episodic return=584.5640869140625\n", + "global step=43128832, episodic return=2355.161865234375\n", + "global step=43128832, episodic return=2192.73828125\n", + "global step=43128832, episodic return=300.18572998046875\n", + "global step=43128832, episodic return=1822.9835205078125\n", + "global step=43128832, episodic return=2471.0615234375\n", + "global step=43130880, episodic return=2387.95703125\n", + "global step=43130880, episodic return=65.74745178222656\n", + "global step=43132928, episodic return=2369.0927734375\n", + "global step=43132928, episodic return=2378.8935546875\n", + "global step=43134976, episodic return=2425.826171875\n", + "global step=43134976, episodic return=1615.64794921875\n", + "global step=43134976, episodic return=1966.2237548828125\n", + "global step=43137024, episodic return=2391.042236328125\n", + "global step=43137024, episodic return=2348.37744140625\n", + "global step=43137024, episodic return=2424.05615234375\n", + "global step=43139072, episodic return=2376.864013671875\n", + "global step=43139072, episodic return=2303.985107421875\n", + "global step=43139072, episodic return=2439.556884765625\n", + "global step=43141120, episodic return=2414.939453125\n", + "global step=43141120, episodic return=411.89447021484375\n", + "global step=43141120, episodic return=2479.45751953125\n", + "global step=43143168, episodic return=2318.266845703125\n", + "global step=43143168, episodic return=2382.09326171875\n", + "global step=43145216, episodic return=2394.49951171875\n", + "global step=43145216, episodic return=1439.7733154296875\n", + "global step=43145216, episodic return=2435.5537109375\n", + "global step=43145216, episodic return=719.9866943359375\n", + "global step=43147264, episodic return=2262.440673828125\n", + "global step=43147264, episodic return=2343.80078125\n", + "global step=43147264, episodic return=2337.063232421875\n", + "global step=43147264, episodic return=2426.89111328125\n", + "global step=43147264, episodic return=2445.47119140625\n", + "global step=43147264, episodic return=1685.3057861328125\n", + "global step=43149312, episodic return=2433.680419921875\n", + "global step=43149312, episodic return=2405.65283203125\n", + "global step=43149312, episodic return=2473.832763671875\n", + "global step=43149312, episodic return=2427.337890625\n", + "global step=43149312, episodic return=203.217041015625\n", + "global step=43153408, episodic return=1807.618896484375\n", + "global step=43153408, episodic return=2244.9892578125\n", + "global step=43153408, episodic return=2410.757080078125\n", + "global step=43153408, episodic return=2491.118896484375\n", + "global step=43153408, episodic return=2426.44189453125\n", + "global step=43153408, episodic return=2232.755615234375\n", + "global step=43155456, episodic return=2397.8076171875\n", + "global step=43155456, episodic return=2061.233154296875\n", + "global step=43155456, episodic return=2425.24755859375\n", + "global step=43157504, episodic return=2498.747314453125\n", + "global step=43157504, episodic return=2223.701904296875\n", + "global step=43157504, episodic return=2437.474609375\n", + "global step=43159552, episodic return=2398.42431640625\n", + "global step=43159552, episodic return=1595.3404541015625\n", + "global step=43161600, episodic return=2413.306640625\n", + "global step=43161600, episodic return=2383.939453125\n", + "global step=43161600, episodic return=2389.68994140625\n", + "global step=43161600, episodic return=2369.87109375\n", + "global step=43161600, episodic return=2404.826416015625\n", + "global step=43163648, episodic return=1283.195556640625\n", + "global step=43163648, episodic return=1220.4967041015625\n", + "global step=43163648, episodic return=2420.349853515625\n", + "global step=43165696, episodic return=2342.011474609375\n", + "global step=43165696, episodic return=2428.31787109375\n", + "global step=43167744, episodic return=2389.200439453125\n", + "global step=43167744, episodic return=2434.680908203125\n", + "global step=43169792, episodic return=2374.91455078125\n", + "global step=43169792, episodic return=2453.69189453125\n", + "global step=43171840, episodic return=2393.0224609375\n", + "global step=43171840, episodic return=1425.17626953125\n", + "global step=43171840, episodic return=2359.052734375\n", + "global step=43171840, episodic return=2454.720703125\n", + "global step=43173888, episodic return=2412.281005859375\n", + "global step=43173888, episodic return=596.1727294921875\n", + "global step=43173888, episodic return=2409.6435546875\n", + "global step=43177984, episodic return=2409.618408203125\n", + "global step=43177984, episodic return=2275.72412109375\n", + "global step=43177984, episodic return=2345.728515625\n", + "global step=43177984, episodic return=2426.45458984375\n", + "global step=43182080, episodic return=1565.696044921875\n", + "global step=43184128, episodic return=2344.254638671875\n", + "global step=43184128, episodic return=2304.78564453125\n", + "global step=43186176, episodic return=2397.908447265625\n", + "global step=43186176, episodic return=2445.320068359375\n", + "global step=43186176, episodic return=2437.55419921875\n", + "global step=43188224, episodic return=2312.5869140625\n", + "global step=43188224, episodic return=1925.2138671875\n", + "global step=43190272, episodic return=2415.0048828125\n", + "global step=43190272, episodic return=1783.0628662109375\n", + "global step=43190272, episodic return=1275.72509765625\n", + "global step=43190272, episodic return=2465.158203125\n", + "global step=43196416, episodic return=2349.22802734375\n", + "global step=43196416, episodic return=2450.141845703125\n", + "global step=43196416, episodic return=2444.10107421875\n", + "global step=43198464, episodic return=2466.45849609375\n", + "global step=43198464, episodic return=2400.31640625\n", + "global step=43200512, episodic return=2373.746337890625\n", + "global step=43200512, episodic return=100.40342712402344\n", + "global step=43202560, episodic return=2432.021240234375\n", + "global step=43202560, episodic return=2492.93603515625\n", + "global step=43202560, episodic return=2225.95654296875\n", + "global step=43202560, episodic return=2456.276611328125\n", + "global step=43204608, episodic return=2431.08154296875\n", + "global step=43206656, episodic return=2422.319580078125\n", + "global step=43206656, episodic return=1779.5501708984375\n", + "global step=43206656, episodic return=2485.251953125\n", + "global step=43208704, episodic return=2500.301513671875\n", + "global step=43208704, episodic return=2411.69970703125\n", + "global step=43210752, episodic return=2464.488037109375\n", + "global step=43212800, episodic return=283.3411560058594\n", + "global step=43212800, episodic return=2368.2880859375\n", + "global step=43214848, episodic return=2410.74365234375\n", + "global step=43214848, episodic return=2392.083740234375\n", + "global step=43214848, episodic return=2340.31591796875\n", + "global step=43214848, episodic return=2325.182373046875\n", + "global step=43216896, episodic return=2455.8896484375\n", + "global step=43216896, episodic return=2459.0576171875\n", + "global step=43216896, episodic return=2510.607177734375\n", + "global step=43216896, episodic return=2403.294677734375\n", + "global step=43218944, episodic return=176.1697235107422\n", + "global step=43220992, episodic return=2406.160400390625\n", + "global step=43220992, episodic return=2404.372802734375\n", + "global step=43220992, episodic return=2459.61865234375\n", + "global step=43220992, episodic return=162.2266845703125\n", + "global step=43223040, episodic return=2373.40234375\n", + "global step=43225088, episodic return=2328.477294921875\n", + "global step=43227136, episodic return=569.7745361328125\n", + "global step=43227136, episodic return=2422.047119140625\n", + "global step=43227136, episodic return=2384.65869140625\n", + "global step=43229184, episodic return=2322.73828125\n", + "global step=43229184, episodic return=2380.951171875\n", + "global step=43229184, episodic return=293.26971435546875\n", + "global step=43231232, episodic return=1943.9945068359375\n", + "global step=43233280, episodic return=2414.299072265625\n", + "global step=43233280, episodic return=2374.06591796875\n", + "global step=43233280, episodic return=1602.2113037109375\n", + "global step=43233280, episodic return=2420.546142578125\n", + "global step=43235328, episodic return=2303.32958984375\n", + "global step=43235328, episodic return=2440.837646484375\n", + "global step=43237376, episodic return=2446.389404296875\n", + "global step=43239424, episodic return=2342.750732421875\n", + "global step=43241472, episodic return=2404.171142578125\n", + "global step=43241472, episodic return=2417.76513671875\n", + "global step=43241472, episodic return=2414.055908203125\n", + "global step=43241472, episodic return=218.41151428222656\n", + "global step=43243520, episodic return=2250.858154296875\n", + "global step=43245568, episodic return=2411.2392578125\n", + "global step=43245568, episodic return=2460.663330078125\n", + "global step=43247616, episodic return=2394.109375\n", + "global step=43249664, episodic return=189.56227111816406\n", + "global step=43249664, episodic return=2411.498779296875\n", + "global step=43249664, episodic return=751.711181640625\n", + "global step=43251712, episodic return=2238.104248046875\n", + "global step=43251712, episodic return=638.27099609375\n", + "global step=43251712, episodic return=52.40224838256836\n", + "global step=43253760, episodic return=2204.08935546875\n", + "global step=43253760, episodic return=1685.762451171875\n", + "global step=43255808, episodic return=2345.92626953125\n", + "global step=43255808, episodic return=2334.6611328125\n", + "global step=43255808, episodic return=2441.88671875\n", + "global step=43255808, episodic return=2399.107666015625\n", + "global step=43255808, episodic return=2427.64453125\n", + "global step=43257856, episodic return=2443.000732421875\n", + "global step=43257856, episodic return=1823.5169677734375\n", + "global step=43257856, episodic return=2406.188720703125\n", + "global step=43257856, episodic return=2413.633544921875\n", + "global step=43259904, episodic return=2289.780517578125\n", + "global step=43259904, episodic return=2405.90625\n", + "global step=43261952, episodic return=2322.443359375\n", + "global step=43261952, episodic return=62.33051300048828\n", + "global step=43261952, episodic return=1755.4971923828125\n", + "global step=43264000, episodic return=2390.050048828125\n", + "global step=43264000, episodic return=1072.2919921875\n", + "global step=43264000, episodic return=2127.45068359375\n", + "global step=43268096, episodic return=868.903564453125\n", + "global step=43268096, episodic return=2509.872314453125\n", + "global step=43268096, episodic return=2467.044921875\n", + "global step=43268096, episodic return=2393.37158203125\n", + "global step=43270144, episodic return=2338.66455078125\n", + "global step=43270144, episodic return=2421.505615234375\n", + "global step=43272192, episodic return=2338.401611328125\n", + "global step=43272192, episodic return=2460.20263671875\n", + "global step=43272192, episodic return=2431.053466796875\n", + "global step=43274240, episodic return=2480.14306640625\n", + "global step=43274240, episodic return=2473.404052734375\n", + "global step=43274240, episodic return=2383.3427734375\n", + "global step=43274240, episodic return=2450.50439453125\n", + "global step=43274240, episodic return=1118.357666015625\n", + "global step=43276288, episodic return=2383.99853515625\n", + "global step=43276288, episodic return=2460.110107421875\n", + "global step=43276288, episodic return=2470.015625\n", + "global step=43276288, episodic return=2370.7470703125\n", + "global step=43278336, episodic return=2419.6689453125\n", + "global step=43278336, episodic return=2313.89892578125\n", + "global step=43278336, episodic return=2451.62255859375\n", + "global step=43282432, episodic return=2405.931640625\n", + "global step=43284480, episodic return=2450.73876953125\n", + "global step=43284480, episodic return=2397.976806640625\n", + "global step=43286528, episodic return=2361.377685546875\n", + "global step=43286528, episodic return=2453.05029296875\n", + "global step=43288576, episodic return=2437.86572265625\n", + "global step=43288576, episodic return=2472.055908203125\n", + "global step=43288576, episodic return=2284.454833984375\n", + "global step=43288576, episodic return=2458.580078125\n", + "global step=43288576, episodic return=2443.40673828125\n", + "global step=43288576, episodic return=2467.504150390625\n", + "global step=43288576, episodic return=2445.926025390625\n", + "global step=43290624, episodic return=2406.93115234375\n", + "global step=43290624, episodic return=2483.4150390625\n", + "global step=43292672, episodic return=2429.191650390625\n", + "global step=43292672, episodic return=2388.296875\n", + "global step=43292672, episodic return=2424.65576171875\n", + "global step=43294720, episodic return=2436.307861328125\n", + "global step=43294720, episodic return=2433.25048828125\n", + "global step=43296768, episodic return=216.73150634765625\n", + "global step=43296768, episodic return=2421.342529296875\n", + "global step=43296768, episodic return=2463.73486328125\n", + "global step=43296768, episodic return=2424.077392578125\n", + "global step=43298816, episodic return=2468.35986328125\n", + "global step=43298816, episodic return=2479.4365234375\n", + "global step=43298816, episodic return=2438.254150390625\n", + "global step=43298816, episodic return=2437.4951171875\n", + "global step=43300864, episodic return=2406.402099609375\n", + "global step=43300864, episodic return=2365.080810546875\n", + "global step=43302912, episodic return=2434.23046875\n", + "global step=43302912, episodic return=2441.127685546875\n", + "global step=43304960, episodic return=2444.914794921875\n", + "global step=43304960, episodic return=2464.48486328125\n", + "global step=43304960, episodic return=2448.382568359375\n", + "global step=43304960, episodic return=2373.108154296875\n", + "global step=43307008, episodic return=2423.10693359375\n", + "global step=43307008, episodic return=2430.231201171875\n", + "global step=43309056, episodic return=2391.536376953125\n", + "global step=43311104, episodic return=167.32948303222656\n", + "global step=43311104, episodic return=2360.379150390625\n", + "global step=43311104, episodic return=2483.104736328125\n", + "global step=43313152, episodic return=952.4326782226562\n", + "global step=43313152, episodic return=2417.3583984375\n", + "global step=43315200, episodic return=2135.771240234375\n", + "global step=43315200, episodic return=2436.9375\n", + "global step=43315200, episodic return=2418.464111328125\n", + "global step=43317248, episodic return=2403.744384765625\n", + "global step=43317248, episodic return=2409.804443359375\n", + "global step=43317248, episodic return=2411.781982421875\n", + "global step=43317248, episodic return=2396.035400390625\n", + "global step=43317248, episodic return=2433.03173828125\n", + "global step=43319296, episodic return=2356.1728515625\n", + "global step=43321344, episodic return=2416.2392578125\n", + "global step=43323392, episodic return=2408.12158203125\n", + "global step=43323392, episodic return=2385.103759765625\n", + "global step=43323392, episodic return=2431.144287109375\n", + "global step=43325440, episodic return=2394.250244140625\n", + "global step=43327488, episodic return=1010.8287353515625\n", + "global step=43327488, episodic return=2359.159912109375\n", + "global step=43329536, episodic return=927.4479370117188\n", + "global step=43333632, episodic return=2443.687255859375\n", + "global step=43333632, episodic return=2353.2138671875\n", + "global step=43333632, episodic return=2475.59619140625\n", + "global step=43333632, episodic return=2390.87646484375\n", + "global step=43335680, episodic return=2446.2099609375\n", + "global step=43337728, episodic return=2412.9853515625\n", + "global step=43337728, episodic return=2041.4111328125\n", + "global step=43339776, episodic return=2479.07958984375\n", + "global step=43341824, episodic return=1765.7757568359375\n", + "global step=43341824, episodic return=1066.32958984375\n", + "global step=43343872, episodic return=2392.45849609375\n", + "global step=43343872, episodic return=2334.866455078125\n", + "global step=43345920, episodic return=2412.37548828125\n", + "global step=43347968, episodic return=2431.44775390625\n", + "global step=43350016, episodic return=2422.2587890625\n", + "global step=43354112, episodic return=2385.17138671875\n", + "global step=43354112, episodic return=2443.934326171875\n", + "global step=43354112, episodic return=2422.222412109375\n", + "global step=43356160, episodic return=2418.718017578125\n", + "global step=43358208, episodic return=2394.900390625\n", + "global step=43358208, episodic return=2446.864501953125\n", + "global step=43360256, episodic return=2420.08056640625\n", + "global step=43360256, episodic return=2467.845947265625\n", + "global step=43360256, episodic return=2507.541259765625\n", + "global step=43360256, episodic return=2441.31396484375\n", + "global step=43360256, episodic return=2386.630859375\n", + "global step=43360256, episodic return=2478.586669921875\n", + "global step=43360256, episodic return=2414.2900390625\n", + "global step=43362304, episodic return=2449.264404296875\n", + "global step=43366400, episodic return=430.5216369628906\n", + "global step=43366400, episodic return=2428.4052734375\n", + "global step=43366400, episodic return=2390.031494140625\n", + "global step=43368448, episodic return=2395.41455078125\n", + "global step=43368448, episodic return=2430.126220703125\n", + "global step=43368448, episodic return=2439.610595703125\n", + "global step=43368448, episodic return=2412.136962890625\n", + "global step=43372544, episodic return=2382.105712890625\n", + "global step=43376640, episodic return=2399.6611328125\n", + "global step=43376640, episodic return=2458.0517578125\n", + "global step=43378688, episodic return=2401.787353515625\n", + "global step=43378688, episodic return=2412.4580078125\n", + "global step=43380736, episodic return=560.4478759765625\n", + "global step=43382784, episodic return=63.102603912353516\n", + "global step=43382784, episodic return=2492.648681640625\n", + "global step=43382784, episodic return=2478.5263671875\n", + "global step=43382784, episodic return=2450.80322265625\n", + "global step=43382784, episodic return=2418.56787109375\n", + "global step=43384832, episodic return=2445.765625\n", + "global step=43384832, episodic return=2450.198486328125\n", + "global step=43384832, episodic return=2382.666748046875\n", + "global step=43386880, episodic return=2476.754150390625\n", + "global step=43386880, episodic return=831.1077270507812\n", + "global step=43386880, episodic return=2428.574951171875\n", + "global step=43386880, episodic return=2358.360595703125\n", + "global step=43386880, episodic return=2462.06787109375\n", + "global step=43386880, episodic return=2480.82666015625\n", + "global step=43388928, episodic return=437.6788635253906\n", + "global step=43390976, episodic return=2389.66845703125\n", + "global step=43390976, episodic return=2436.5751953125\n", + "global step=43390976, episodic return=2393.493408203125\n", + "global step=43393024, episodic return=2390.55029296875\n", + "global step=43393024, episodic return=339.6363525390625\n", + "global step=43395072, episodic return=2383.646484375\n", + "global step=43395072, episodic return=2422.23291015625\n", + "global step=43397120, episodic return=2427.51416015625\n", + "global step=43399168, episodic return=2431.904296875\n", + "global step=43401216, episodic return=2423.501220703125\n", + "global step=43401216, episodic return=1037.415283203125\n", + "global step=43401216, episodic return=2430.481689453125\n", + "global step=43401216, episodic return=1087.5166015625\n", + "global step=43403264, episodic return=105.76097869873047\n", + "global step=43405312, episodic return=1242.0501708984375\n", + "global step=43405312, episodic return=2434.506591796875\n", + "global step=43405312, episodic return=2475.555908203125\n", + "global step=43407360, episodic return=2457.794677734375\n", + "global step=43407360, episodic return=305.81512451171875\n", + "global step=43407360, episodic return=2442.250244140625\n", + "global step=43409408, episodic return=961.613525390625\n", + "global step=43409408, episodic return=2463.083984375\n", + "global step=43411456, episodic return=2433.5654296875\n", + "global step=43413504, episodic return=2406.804931640625\n", + "global step=43413504, episodic return=2224.685546875\n", + "global step=43413504, episodic return=1115.379638671875\n", + "global step=43413504, episodic return=2294.280029296875\n", + "global step=43415552, episodic return=2388.307373046875\n", + "global step=43415552, episodic return=2415.194091796875\n", + "global step=43415552, episodic return=2433.938232421875\n", + "global step=43419648, episodic return=2426.337158203125\n", + "global step=43419648, episodic return=2219.98046875\n", + "global step=43419648, episodic return=2392.338623046875\n", + "global step=43421696, episodic return=2385.333740234375\n", + "global step=43423744, episodic return=2436.033203125\n", + "global step=43423744, episodic return=1897.2164306640625\n", + "global step=43423744, episodic return=2449.5205078125\n", + "global step=43423744, episodic return=2431.51904296875\n", + "global step=43425792, episodic return=2366.24169921875\n", + "global step=43425792, episodic return=2463.5732421875\n", + "global step=43425792, episodic return=996.689697265625\n", + "global step=43427840, episodic return=2478.769287109375\n", + "global step=43427840, episodic return=2454.293701171875\n", + "global step=43431936, episodic return=294.6919860839844\n", + "global step=43431936, episodic return=2040.3187255859375\n", + "global step=43431936, episodic return=28.59957504272461\n", + "global step=43433984, episodic return=2473.83544921875\n", + "global step=43433984, episodic return=2477.379638671875\n", + "global step=43436032, episodic return=2372.5361328125\n", + "global step=43436032, episodic return=2037.200927734375\n", + "global step=43438080, episodic return=2430.7265625\n", + "global step=43438080, episodic return=2395.9453125\n", + "global step=43438080, episodic return=2471.019775390625\n", + "global step=43440128, episodic return=2462.66064453125\n", + "global step=43440128, episodic return=2374.462890625\n", + "global step=43444224, episodic return=2485.1748046875\n", + "global step=43444224, episodic return=2449.281494140625\n", + "global step=43444224, episodic return=2453.109130859375\n", + "global step=43446272, episodic return=2330.410888671875\n", + "global step=43446272, episodic return=461.2720642089844\n", + "global step=43446272, episodic return=2468.306640625\n", + "global step=43454464, episodic return=2415.661376953125\n", + "global step=43454464, episodic return=912.3932495117188\n", + "global step=43456512, episodic return=2449.98486328125\n", + "global step=43456512, episodic return=2442.32763671875\n", + "global step=43456512, episodic return=1366.292236328125\n", + "global step=43458560, episodic return=2492.162841796875\n", + "global step=43458560, episodic return=474.3307189941406\n", + "global step=43458560, episodic return=2441.025390625\n", + "global step=43460608, episodic return=1638.393798828125\n", + "global step=43460608, episodic return=2423.806640625\n", + "global step=43460608, episodic return=2135.743896484375\n", + "global step=43460608, episodic return=1852.431640625\n", + "global step=43460608, episodic return=2403.126708984375\n", + "global step=43462656, episodic return=2377.456298828125\n", + "global step=43464704, episodic return=2435.7412109375\n", + "global step=43464704, episodic return=2402.100341796875\n", + "global step=43464704, episodic return=1453.6612548828125\n", + "global step=43464704, episodic return=79.68665313720703\n", + "global step=43466752, episodic return=2464.8330078125\n", + "global step=43466752, episodic return=2414.830810546875\n", + "global step=43468800, episodic return=2442.65185546875\n", + "global step=43468800, episodic return=1583.27001953125\n", + "global step=43470848, episodic return=2424.393310546875\n", + "global step=43470848, episodic return=2348.109619140625\n", + "global step=43470848, episodic return=2439.208251953125\n", + "global step=43472896, episodic return=2366.106689453125\n", + "global step=43474944, episodic return=25.169349670410156\n", + "global step=43474944, episodic return=1478.843017578125\n", + "global step=43474944, episodic return=371.25592041015625\n", + "global step=43476992, episodic return=2239.197509765625\n", + "global step=43476992, episodic return=104.93531799316406\n", + "global step=43476992, episodic return=2406.09814453125\n", + "global step=43476992, episodic return=2383.24658203125\n", + "global step=43476992, episodic return=2338.174560546875\n", + "global step=43476992, episodic return=2023.3726806640625\n", + "global step=43476992, episodic return=2435.544921875\n", + "global step=43476992, episodic return=2447.216796875\n", + "global step=43479040, episodic return=2434.937255859375\n", + "global step=43479040, episodic return=2437.419921875\n", + "global step=43479040, episodic return=2427.886962890625\n", + "global step=43479040, episodic return=1841.0174560546875\n", + "global step=43479040, episodic return=2110.86083984375\n", + "global step=43481088, episodic return=2315.197021484375\n", + "global step=43481088, episodic return=2215.116455078125\n", + "global step=43483136, episodic return=2451.63818359375\n", + "global step=43483136, episodic return=159.56932067871094\n", + "global step=43483136, episodic return=2435.52099609375\n", + "global step=43485184, episodic return=2398.18359375\n", + "global step=43485184, episodic return=2024.5833740234375\n", + "global step=43487232, episodic return=1610.3074951171875\n", + "global step=43487232, episodic return=2384.69287109375\n", + "global step=43489280, episodic return=822.5533447265625\n", + "global step=43489280, episodic return=2472.287109375\n", + "global step=43489280, episodic return=2429.331298828125\n", + "global step=43489280, episodic return=1011.7761840820312\n", + "global step=43491328, episodic return=2415.92431640625\n", + "global step=43491328, episodic return=2406.0400390625\n", + "global step=43491328, episodic return=2448.264892578125\n", + "global step=43493376, episodic return=2414.88623046875\n", + "global step=43495424, episodic return=1627.3392333984375\n", + "global step=43495424, episodic return=2446.84765625\n", + "global step=43495424, episodic return=2411.875732421875\n", + "global step=43497472, episodic return=422.993408203125\n", + "global step=43497472, episodic return=2478.8330078125\n", + "global step=43499520, episodic return=2455.844482421875\n", + "global step=43499520, episodic return=2424.290283203125\n", + "global step=43501568, episodic return=2444.61572265625\n", + "global step=43501568, episodic return=2423.680908203125\n", + "global step=43501568, episodic return=842.21826171875\n", + "global step=43503616, episodic return=841.7538452148438\n", + "global step=43503616, episodic return=2432.94189453125\n", + "global step=43503616, episodic return=2395.19677734375\n", + "global step=43503616, episodic return=2428.444580078125\n", + "global step=43505664, episodic return=1588.544677734375\n", + "global step=43505664, episodic return=2413.5419921875\n", + "global step=43505664, episodic return=2434.97802734375\n", + "global step=43505664, episodic return=2457.7978515625\n", + "global step=43505664, episodic return=2480.714111328125\n", + "global step=43507712, episodic return=2442.20556640625\n", + "global step=43507712, episodic return=1097.65771484375\n", + "global step=43507712, episodic return=2413.08154296875\n", + "global step=43509760, episodic return=2479.05419921875\n", + "global step=43509760, episodic return=2481.285888671875\n", + "global step=43511808, episodic return=2455.447021484375\n", + "global step=43511808, episodic return=1122.52392578125\n", + "global step=43513856, episodic return=2429.61962890625\n", + "global step=43513856, episodic return=2415.350341796875\n", + "global step=43513856, episodic return=2407.52783203125\n", + "global step=43515904, episodic return=1952.59326171875\n", + "global step=43515904, episodic return=2329.300048828125\n", + "global step=43515904, episodic return=1400.3936767578125\n", + "global step=43515904, episodic return=2409.187255859375\n", + "global step=43515904, episodic return=2342.89111328125\n", + "global step=43517952, episodic return=2483.630859375\n", + "global step=43517952, episodic return=2424.201416015625\n", + "global step=43517952, episodic return=2481.316650390625\n", + "global step=43517952, episodic return=2428.32666015625\n", + "global step=43522048, episodic return=2354.759521484375\n", + "global step=43522048, episodic return=2453.98974609375\n", + "global step=43522048, episodic return=2442.292724609375\n", + "global step=43522048, episodic return=2435.38330078125\n", + "global step=43524096, episodic return=2358.019775390625\n", + "global step=43524096, episodic return=2488.7744140625\n", + "global step=43524096, episodic return=485.080322265625\n", + "global step=43524096, episodic return=845.7978515625\n", + "global step=43528192, episodic return=2357.759521484375\n", + "global step=43528192, episodic return=55.834564208984375\n", + "global step=43530240, episodic return=2445.9189453125\n", + "global step=43530240, episodic return=2435.83203125\n", + "global step=43532288, episodic return=2351.787353515625\n", + "global step=43532288, episodic return=2435.087890625\n", + "global step=43532288, episodic return=2446.5\n", + "global step=43534336, episodic return=549.7882690429688\n", + "global step=43536384, episodic return=2414.078125\n", + "global step=43536384, episodic return=2411.220703125\n", + "global step=43536384, episodic return=2453.16943359375\n", + "global step=43536384, episodic return=1111.3851318359375\n", + "global step=43536384, episodic return=1784.44677734375\n", + "global step=43538432, episodic return=1397.8446044921875\n", + "global step=43538432, episodic return=519.3810424804688\n", + "global step=43538432, episodic return=2485.423583984375\n", + "global step=43540480, episodic return=378.0107727050781\n", + "global step=43540480, episodic return=2383.8662109375\n", + "global step=43540480, episodic return=2432.8740234375\n", + "global step=43540480, episodic return=646.7197875976562\n", + "global step=43542528, episodic return=1966.074462890625\n", + "global step=43542528, episodic return=164.8678741455078\n", + "global step=43542528, episodic return=2447.80224609375\n", + "global step=43542528, episodic return=2439.36474609375\n", + "global step=43544576, episodic return=2450.7236328125\n", + "global step=43544576, episodic return=2329.898681640625\n", + "global step=43544576, episodic return=2447.93408203125\n", + "global step=43546624, episodic return=2451.26904296875\n", + "global step=43546624, episodic return=2513.524169921875\n", + "global step=43546624, episodic return=2458.153076171875\n", + "global step=43546624, episodic return=2428.568359375\n", + "global step=43546624, episodic return=2459.999267578125\n", + "global step=43550720, episodic return=2471.16650390625\n", + "global step=43550720, episodic return=2484.915771484375\n", + "global step=43552768, episodic return=1796.1170654296875\n", + "global step=43552768, episodic return=2469.88134765625\n", + "global step=43552768, episodic return=217.0621795654297\n", + "global step=43552768, episodic return=2417.655029296875\n", + "global step=43554816, episodic return=2361.613525390625\n", + "global step=43554816, episodic return=2046.7691650390625\n", + "global step=43554816, episodic return=2482.0966796875\n", + "global step=43554816, episodic return=2490.09130859375\n", + "global step=43556864, episodic return=2333.170166015625\n", + "global step=43556864, episodic return=2463.69482421875\n", + "global step=43556864, episodic return=2475.8447265625\n", + "global step=43556864, episodic return=2432.239990234375\n", + "global step=43556864, episodic return=2420.453369140625\n", + "global step=43558912, episodic return=2374.884765625\n", + "global step=43558912, episodic return=2457.777587890625\n", + "global step=43558912, episodic return=2494.559326171875\n", + "global step=43558912, episodic return=2412.61572265625\n", + "global step=43558912, episodic return=764.0653076171875\n", + "global step=43560960, episodic return=2488.65966796875\n", + "global step=43560960, episodic return=2451.94384765625\n", + "global step=43563008, episodic return=827.1337280273438\n", + "global step=43563008, episodic return=2456.718017578125\n", + "global step=43563008, episodic return=2447.12744140625\n", + "global step=43565056, episodic return=2437.36572265625\n", + "global step=43565056, episodic return=1298.1973876953125\n", + "global step=43567104, episodic return=2477.596923828125\n", + "global step=43567104, episodic return=2427.294921875\n", + "global step=43567104, episodic return=2492.022705078125\n", + "global step=43567104, episodic return=2444.89892578125\n", + "global step=43569152, episodic return=2488.31787109375\n", + "global step=43571200, episodic return=2478.3251953125\n", + "global step=43571200, episodic return=2398.066650390625\n", + "global step=43571200, episodic return=2432.5517578125\n", + "global step=43571200, episodic return=1634.48779296875\n", + "global step=43571200, episodic return=2295.995849609375\n", + "global step=43573248, episodic return=2453.60888671875\n", + "global step=43573248, episodic return=2454.54150390625\n", + "global step=43573248, episodic return=2440.200439453125\n", + "global step=43573248, episodic return=2424.437255859375\n", + "global step=43573248, episodic return=2407.36083984375\n", + "global step=43575296, episodic return=2302.251220703125\n", + "global step=43575296, episodic return=2359.137451171875\n", + "global step=43577344, episodic return=2375.591064453125\n", + "global step=43579392, episodic return=2429.9404296875\n", + "global step=43579392, episodic return=2440.31201171875\n", + "global step=43581440, episodic return=519.98974609375\n", + "global step=43581440, episodic return=2388.529541015625\n", + "global step=43581440, episodic return=183.7749786376953\n", + "global step=43581440, episodic return=2473.737060546875\n", + "global step=43581440, episodic return=2448.108154296875\n", + "global step=43583488, episodic return=2471.526611328125\n", + "global step=43583488, episodic return=2417.65380859375\n", + "global step=43583488, episodic return=2490.73291015625\n", + "global step=43585536, episodic return=2409.32763671875\n", + "global step=43585536, episodic return=2439.654052734375\n", + "global step=43585536, episodic return=1369.634033203125\n", + "global step=43585536, episodic return=2454.18212890625\n", + "global step=43587584, episodic return=2427.021728515625\n", + "global step=43587584, episodic return=2429.78076171875\n", + "global step=43589632, episodic return=2358.283447265625\n", + "global step=43589632, episodic return=1208.0081787109375\n", + "global step=43589632, episodic return=2461.4462890625\n", + "global step=43591680, episodic return=2442.612060546875\n", + "global step=43591680, episodic return=2457.882080078125\n", + "global step=43591680, episodic return=2431.113525390625\n", + "global step=43593728, episodic return=2453.393798828125\n", + "global step=43593728, episodic return=1537.7017822265625\n", + "global step=43593728, episodic return=2451.150634765625\n", + "global step=43593728, episodic return=2440.083740234375\n", + "global step=43597824, episodic return=2394.3974609375\n", + "global step=43597824, episodic return=2517.031982421875\n", + "global step=43597824, episodic return=2275.070068359375\n", + "global step=43597824, episodic return=2248.6943359375\n", + "global step=43599872, episodic return=2452.859130859375\n", + "global step=43599872, episodic return=2395.638427734375\n", + "global step=43601920, episodic return=2485.006103515625\n", + "global step=43601920, episodic return=2400.10546875\n", + "global step=43603968, episodic return=1420.35009765625\n", + "global step=43603968, episodic return=2442.328857421875\n", + "global step=43606016, episodic return=2418.703125\n", + "global step=43606016, episodic return=2431.362548828125\n", + "global step=43606016, episodic return=2472.034423828125\n", + "global step=43606016, episodic return=2421.412841796875\n", + "global step=43606016, episodic return=2440.950927734375\n", + "global step=43606016, episodic return=2393.610107421875\n", + "global step=43610112, episodic return=2423.96240234375\n", + "global step=43610112, episodic return=77.9656753540039\n", + "global step=43610112, episodic return=963.0615844726562\n", + "global step=43610112, episodic return=2475.456298828125\n", + "global step=43610112, episodic return=2480.43798828125\n", + "global step=43610112, episodic return=2459.77490234375\n", + "global step=43610112, episodic return=2453.01025390625\n", + "global step=43612160, episodic return=2441.079345703125\n", + "global step=43612160, episodic return=1431.7003173828125\n", + "global step=43612160, episodic return=78.11428833007812\n", + "global step=43612160, episodic return=2446.93505859375\n", + "global step=43612160, episodic return=2400.9267578125\n", + "global step=43614208, episodic return=1162.849853515625\n", + "global step=43614208, episodic return=2429.115234375\n", + "global step=43614208, episodic return=2395.426025390625\n", + "global step=43616256, episodic return=167.3941650390625\n", + "global step=43616256, episodic return=2478.644287109375\n", + "global step=43616256, episodic return=28.84088897705078\n", + "global step=43616256, episodic return=2496.277099609375\n", + "global step=43616256, episodic return=2392.455078125\n", + "global step=43616256, episodic return=2480.049560546875\n", + "global step=43618304, episodic return=328.0430908203125\n", + "global step=43618304, episodic return=2466.00390625\n", + "global step=43618304, episodic return=2429.892333984375\n", + "global step=43618304, episodic return=2492.955810546875\n", + "global step=43618304, episodic return=2474.42626953125\n", + "global step=43620352, episodic return=2489.519775390625\n", + "global step=43620352, episodic return=2412.45849609375\n", + "global step=43620352, episodic return=2462.0703125\n", + "global step=43620352, episodic return=2495.51123046875\n", + "global step=43620352, episodic return=51.51236343383789\n", + "global step=43622400, episodic return=70.5631332397461\n", + "global step=43624448, episodic return=2345.09033203125\n", + "global step=43624448, episodic return=211.3411865234375\n", + "global step=43626496, episodic return=2362.864501953125\n", + "global step=43626496, episodic return=2366.82763671875\n", + "global step=43626496, episodic return=2020.4957275390625\n", + "global step=43626496, episodic return=2440.866455078125\n", + "global step=43628544, episodic return=2366.284423828125\n", + "global step=43628544, episodic return=2431.774169921875\n", + "global step=43630592, episodic return=2397.968017578125\n", + "global step=43630592, episodic return=2454.6435546875\n", + "global step=43630592, episodic return=2390.55126953125\n", + "global step=43630592, episodic return=2459.358154296875\n", + "global step=43632640, episodic return=2401.899658203125\n", + "global step=43634688, episodic return=1491.227294921875\n", + "global step=43634688, episodic return=2529.559326171875\n", + "global step=43636736, episodic return=2377.0185546875\n", + "global step=43638784, episodic return=2443.041015625\n", + "global step=43638784, episodic return=2396.208251953125\n", + "global step=43638784, episodic return=2393.82080078125\n", + "global step=43638784, episodic return=2479.81201171875\n", + "global step=43638784, episodic return=114.87388610839844\n", + "global step=43638784, episodic return=2242.773681640625\n", + "global step=43638784, episodic return=776.3544921875\n", + "global step=43640832, episodic return=2483.079345703125\n", + "global step=43640832, episodic return=2397.43896484375\n", + "global step=43640832, episodic return=2284.431396484375\n", + "global step=43640832, episodic return=2481.46728515625\n", + "global step=43642880, episodic return=2461.223876953125\n", + "global step=43642880, episodic return=2430.267333984375\n", + "global step=43646976, episodic return=2461.493408203125\n", + "global step=43646976, episodic return=2453.13134765625\n", + "global step=43646976, episodic return=2418.80517578125\n", + "global step=43646976, episodic return=2403.062744140625\n", + "global step=43651072, episodic return=2456.85205078125\n", + "global step=43651072, episodic return=2360.89404296875\n", + "global step=43653120, episodic return=2440.91455078125\n", + "global step=43653120, episodic return=2478.750732421875\n", + "global step=43653120, episodic return=2418.93115234375\n", + "global step=43653120, episodic return=1606.3526611328125\n", + "global step=43653120, episodic return=2398.308837890625\n", + "global step=43655168, episodic return=955.0787353515625\n", + "global step=43655168, episodic return=1837.5028076171875\n", + "global step=43655168, episodic return=2477.502685546875\n", + "global step=43655168, episodic return=2301.124755859375\n", + "global step=43655168, episodic return=2471.66259765625\n", + "global step=43655168, episodic return=2412.63330078125\n", + "global step=43657216, episodic return=2430.746826171875\n", + "global step=43657216, episodic return=1165.7952880859375\n", + "global step=43657216, episodic return=2407.646728515625\n", + "global step=43659264, episodic return=1827.2271728515625\n", + "global step=43661312, episodic return=519.7387084960938\n", + "global step=43661312, episodic return=2464.69091796875\n", + "global step=43661312, episodic return=2455.2509765625\n", + "global step=43661312, episodic return=2409.260498046875\n", + "global step=43663360, episodic return=2470.67529296875\n", + "global step=43663360, episodic return=2414.3388671875\n", + "global step=43663360, episodic return=2419.929931640625\n", + "global step=43663360, episodic return=2461.8583984375\n", + "global step=43665408, episodic return=2472.6796875\n", + "global step=43665408, episodic return=605.629638671875\n", + "global step=43665408, episodic return=44.88493347167969\n", + "global step=43665408, episodic return=1249.327880859375\n", + "global step=43667456, episodic return=2365.0546875\n", + "global step=43669504, episodic return=2408.483642578125\n", + "global step=43671552, episodic return=2463.207275390625\n", + "global step=43671552, episodic return=2458.946044921875\n", + "global step=43671552, episodic return=284.2814025878906\n", + "global step=43673600, episodic return=2470.7939453125\n", + "global step=43675648, episodic return=2387.5087890625\n", + "global step=43675648, episodic return=709.538818359375\n", + "global step=43677696, episodic return=2450.346435546875\n", + "global step=43677696, episodic return=2500.234375\n", + "global step=43679744, episodic return=2455.075927734375\n", + "global step=43681792, episodic return=2421.67919921875\n", + "global step=43683840, episodic return=2002.359130859375\n", + "global step=43683840, episodic return=2368.93212890625\n", + "global step=43685888, episodic return=2441.92724609375\n", + "global step=43687936, episodic return=2402.559326171875\n", + "global step=43687936, episodic return=2364.880126953125\n", + "global step=43687936, episodic return=1736.4267578125\n", + "global step=43689984, episodic return=1554.59814453125\n", + "global step=43689984, episodic return=2405.51953125\n", + "global step=43692032, episodic return=164.96432495117188\n", + "global step=43692032, episodic return=2463.74169921875\n", + "global step=43694080, episodic return=2392.131591796875\n", + "global step=43694080, episodic return=2453.55029296875\n", + "global step=43696128, episodic return=985.9955444335938\n", + "global step=43696128, episodic return=2464.863037109375\n", + "global step=43696128, episodic return=2449.18408203125\n", + "global step=43696128, episodic return=2373.754150390625\n", + "global step=43698176, episodic return=2377.880615234375\n", + "global step=43698176, episodic return=2436.91455078125\n", + "global step=43698176, episodic return=2468.373046875\n", + "global step=43700224, episodic return=2407.478271484375\n", + "global step=43700224, episodic return=1121.13623046875\n", + "global step=43702272, episodic return=2384.126708984375\n", + "global step=43704320, episodic return=2426.032958984375\n", + "global step=43704320, episodic return=2416.830322265625\n", + "global step=43704320, episodic return=2421.1259765625\n", + "global step=43704320, episodic return=1374.13623046875\n", + "global step=43704320, episodic return=2493.9990234375\n", + "global step=43704320, episodic return=730.6873168945312\n", + "global step=43706368, episodic return=2303.533935546875\n", + "global step=43712512, episodic return=2484.68701171875\n", + "global step=43712512, episodic return=2457.85595703125\n", + "global step=43714560, episodic return=2415.297607421875\n", + "global step=43714560, episodic return=2404.79296875\n", + "global step=43716608, episodic return=1129.957763671875\n", + "global step=43716608, episodic return=2445.629638671875\n", + "global step=43716608, episodic return=2456.4931640625\n", + "global step=43716608, episodic return=2412.95849609375\n", + "global step=43718656, episodic return=2407.75732421875\n", + "global step=43720704, episodic return=926.1227416992188\n", + "global step=43720704, episodic return=2505.8173828125\n", + "global step=43722752, episodic return=2432.722412109375\n", + "global step=43724800, episodic return=1030.0404052734375\n", + "global step=43724800, episodic return=651.1076049804688\n", + "global step=43726848, episodic return=2485.272705078125\n", + "global step=43726848, episodic return=1153.8125\n", + "global step=43728896, episodic return=387.2760925292969\n", + "global step=43730944, episodic return=474.7458190917969\n", + "global step=43730944, episodic return=2368.84912109375\n", + "global step=43732992, episodic return=2449.038330078125\n", + "global step=43732992, episodic return=2468.323486328125\n", + "global step=43735040, episodic return=2429.106201171875\n", + "global step=43737088, episodic return=2468.887939453125\n", + "global step=43737088, episodic return=2364.24560546875\n", + "global step=43737088, episodic return=2478.98486328125\n", + "global step=43741184, episodic return=2453.843505859375\n", + "global step=43743232, episodic return=2434.71435546875\n", + "global step=43745280, episodic return=1973.7552490234375\n", + "global step=43745280, episodic return=1729.1680908203125\n", + "global step=43747328, episodic return=2422.9609375\n", + "global step=43747328, episodic return=2366.5263671875\n", + "global step=43747328, episodic return=2454.953125\n", + "global step=43747328, episodic return=2366.599853515625\n", + "global step=43747328, episodic return=2467.260498046875\n", + "global step=43749376, episodic return=2376.662841796875\n", + "global step=43749376, episodic return=2428.956787109375\n", + "global step=43749376, episodic return=2418.202392578125\n", + "global step=43751424, episodic return=1160.5869140625\n", + "global step=43751424, episodic return=2375.200927734375\n", + "global step=43751424, episodic return=2422.595458984375\n", + "global step=43751424, episodic return=2500.5126953125\n", + "global step=43753472, episodic return=2406.815673828125\n", + "global step=43755520, episodic return=1011.3345947265625\n", + "global step=43757568, episodic return=2435.565185546875\n", + "global step=43757568, episodic return=2311.9169921875\n", + "global step=43757568, episodic return=2506.641845703125\n", + "global step=43759616, episodic return=2508.675048828125\n", + "global step=43761664, episodic return=2401.090087890625\n", + "global step=43761664, episodic return=2427.237060546875\n", + "global step=43763712, episodic return=2377.337158203125\n", + "global step=43763712, episodic return=2455.005859375\n", + "global step=43763712, episodic return=2355.46435546875\n", + "global step=43763712, episodic return=1198.6416015625\n", + "global step=43765760, episodic return=1530.774169921875\n", + "global step=43767808, episodic return=2391.100341796875\n", + "global step=43767808, episodic return=2446.384521484375\n", + "global step=43767808, episodic return=2405.21533203125\n", + "global step=43769856, episodic return=2466.537841796875\n", + "global step=43769856, episodic return=1872.8067626953125\n", + "global step=43771904, episodic return=2330.921875\n", + "global step=43771904, episodic return=2464.0146484375\n", + "global step=43771904, episodic return=2413.086669921875\n", + "global step=43771904, episodic return=2436.14501953125\n", + "global step=43773952, episodic return=2432.10400390625\n", + "global step=43776000, episodic return=2429.797607421875\n", + "global step=43776000, episodic return=2199.567138671875\n", + "global step=43778048, episodic return=2473.6123046875\n", + "global step=43778048, episodic return=2376.25732421875\n", + "global step=43778048, episodic return=2440.988525390625\n", + "global step=43778048, episodic return=2503.01123046875\n", + "global step=43778048, episodic return=2378.185302734375\n", + "global step=43778048, episodic return=2464.356201171875\n", + "global step=43780096, episodic return=2179.53955078125\n", + "global step=43780096, episodic return=2421.811279296875\n", + "global step=43782144, episodic return=2410.63037109375\n", + "global step=43782144, episodic return=2488.853271484375\n", + "global step=43786240, episodic return=2196.792724609375\n", + "global step=43788288, episodic return=2487.04296875\n", + "global step=43790336, episodic return=2439.985595703125\n", + "global step=43792384, episodic return=2496.722900390625\n", + "global step=43794432, episodic return=2220.625732421875\n", + "global step=43794432, episodic return=2448.942626953125\n", + "global step=43794432, episodic return=1957.92822265625\n", + "global step=43796480, episodic return=2430.857177734375\n", + "global step=43796480, episodic return=2444.100830078125\n", + "global step=43796480, episodic return=2399.198486328125\n", + "global step=43798528, episodic return=2448.61181640625\n", + "global step=43800576, episodic return=1413.807861328125\n", + "global step=43802624, episodic return=2486.1826171875\n", + "global step=43802624, episodic return=641.2307739257812\n", + "global step=43804672, episodic return=2444.457763671875\n", + "global step=43804672, episodic return=2407.375244140625\n", + "global step=43806720, episodic return=2431.999755859375\n", + "global step=43806720, episodic return=2464.68896484375\n", + "global step=43806720, episodic return=2475.578125\n", + "global step=43808768, episodic return=2424.787109375\n", + "global step=43808768, episodic return=2500.08203125\n", + "global step=43808768, episodic return=2459.456787109375\n", + "global step=43808768, episodic return=192.93247985839844\n", + "global step=43808768, episodic return=2347.8935546875\n", + "global step=43808768, episodic return=2009.67919921875\n", + "global step=43810816, episodic return=1252.5118408203125\n", + "global step=43810816, episodic return=112.2472915649414\n", + "global step=43812864, episodic return=2040.7987060546875\n", + "global step=43812864, episodic return=196.72955322265625\n", + "global step=43812864, episodic return=2415.47021484375\n", + "global step=43812864, episodic return=2446.987548828125\n", + "global step=43812864, episodic return=1136.1318359375\n", + "global step=43812864, episodic return=2488.68701171875\n", + "global step=43814912, episodic return=2447.13037109375\n", + "global step=43816960, episodic return=2444.813232421875\n", + "global step=43816960, episodic return=2489.290283203125\n", + "global step=43819008, episodic return=2477.552490234375\n", + "global step=43819008, episodic return=2431.30126953125\n", + "global step=43821056, episodic return=187.12242126464844\n", + "global step=43821056, episodic return=79.97984313964844\n", + "global step=43821056, episodic return=2361.690185546875\n", + "global step=43823104, episodic return=58.088436126708984\n", + "global step=43823104, episodic return=2460.18408203125\n", + "global step=43823104, episodic return=863.3536376953125\n", + "global step=43825152, episodic return=2472.34765625\n", + "global step=43825152, episodic return=127.1065902709961\n", + "global step=43825152, episodic return=238.73912048339844\n", + "global step=43827200, episodic return=537.769287109375\n", + "global step=43827200, episodic return=2453.6572265625\n", + "global step=43829248, episodic return=2472.6259765625\n", + "global step=43829248, episodic return=95.47549438476562\n", + "global step=43829248, episodic return=126.86285400390625\n", + "global step=43829248, episodic return=2451.07763671875\n", + "global step=43829248, episodic return=2447.36328125\n", + "global step=43831296, episodic return=207.0710906982422\n", + "global step=43835392, episodic return=49.46923065185547\n", + "global step=43835392, episodic return=2389.92822265625\n", + "global step=43837440, episodic return=2451.41796875\n", + "global step=43837440, episodic return=2415.490966796875\n", + "global step=43839488, episodic return=237.65365600585938\n", + "global step=43841536, episodic return=2479.75390625\n", + "global step=43845632, episodic return=2437.7373046875\n", + "global step=43845632, episodic return=2452.881103515625\n", + "global step=43845632, episodic return=123.95101165771484\n", + "global step=43847680, episodic return=2480.56201171875\n", + "global step=43847680, episodic return=12.448713302612305\n", + "global step=43847680, episodic return=2242.241943359375\n", + "global step=43847680, episodic return=2364.0048828125\n", + "global step=43847680, episodic return=2420.21435546875\n", + "global step=43849728, episodic return=790.92041015625\n", + "global step=43849728, episodic return=2457.620361328125\n", + "global step=43851776, episodic return=2482.438720703125\n", + "global step=43851776, episodic return=2457.712890625\n", + "global step=43851776, episodic return=2399.1640625\n", + "global step=43851776, episodic return=43.98295974731445\n", + "global step=43853824, episodic return=2483.03759765625\n", + "global step=43855872, episodic return=2454.63037109375\n", + "global step=43855872, episodic return=2370.685546875\n", + "global step=43855872, episodic return=2383.266845703125\n", + "global step=43855872, episodic return=2457.46435546875\n", + "global step=43855872, episodic return=2446.476318359375\n", + "global step=43857920, episodic return=2446.517578125\n", + "global step=43859968, episodic return=2440.77587890625\n", + "global step=43862016, episodic return=653.56005859375\n", + "global step=43864064, episodic return=55.47195053100586\n", + "global step=43864064, episodic return=2388.999755859375\n", + "global step=43864064, episodic return=2498.696044921875\n", + "global step=43866112, episodic return=45.30229187011719\n", + "global step=43868160, episodic return=2428.1533203125\n", + "global step=43870208, episodic return=2468.70849609375\n", + "global step=43870208, episodic return=2430.241455078125\n", + "global step=43870208, episodic return=2422.038818359375\n", + "global step=43872256, episodic return=2417.305419921875\n", + "global step=43872256, episodic return=15.401557922363281\n", + "global step=43872256, episodic return=822.439453125\n", + "global step=43874304, episodic return=1147.93212890625\n", + "global step=43874304, episodic return=2470.089599609375\n", + "global step=43876352, episodic return=2088.27490234375\n", + "global step=43876352, episodic return=431.7942810058594\n", + "global step=43878400, episodic return=2475.917724609375\n", + "global step=43878400, episodic return=883.4459838867188\n", + "global step=43878400, episodic return=2480.09619140625\n", + "global step=43880448, episodic return=2392.474609375\n", + "global step=43884544, episodic return=2423.377197265625\n", + "global step=43884544, episodic return=2467.7744140625\n", + "global step=43886592, episodic return=2428.8486328125\n", + "global step=43886592, episodic return=2473.60498046875\n", + "global step=43886592, episodic return=2488.81787109375\n", + "global step=43890688, episodic return=2374.805908203125\n", + "global step=43890688, episodic return=2506.829345703125\n", + "global step=43890688, episodic return=2462.534423828125\n", + "global step=43890688, episodic return=2376.001953125\n", + "global step=43890688, episodic return=2435.447509765625\n", + "global step=43890688, episodic return=1257.887939453125\n", + "global step=43892736, episodic return=2484.780517578125\n", + "global step=43892736, episodic return=2428.026123046875\n", + "global step=43892736, episodic return=57.21657943725586\n", + "global step=43894784, episodic return=2522.1494140625\n", + "global step=43896832, episodic return=2409.591796875\n", + "global step=43900928, episodic return=2442.917236328125\n", + "global step=43900928, episodic return=2374.16455078125\n", + "global step=43900928, episodic return=2419.95166015625\n", + "global step=43900928, episodic return=2322.5107421875\n", + "global step=43905024, episodic return=2469.6708984375\n", + "global step=43905024, episodic return=2470.473876953125\n", + "global step=43905024, episodic return=2429.60302734375\n", + "global step=43909120, episodic return=2416.668701171875\n", + "global step=43909120, episodic return=2452.24267578125\n", + "global step=43909120, episodic return=2410.697021484375\n", + "global step=43911168, episodic return=2434.506103515625\n", + "global step=43911168, episodic return=2386.71240234375\n", + "global step=43911168, episodic return=2466.746826171875\n", + "global step=43913216, episodic return=2477.535888671875\n", + "global step=43913216, episodic return=2454.6884765625\n", + "global step=43915264, episodic return=2355.458740234375\n", + "global step=43915264, episodic return=2491.08984375\n", + "global step=43915264, episodic return=2462.93798828125\n", + "global step=43915264, episodic return=2432.328125\n", + "global step=43917312, episodic return=2450.31591796875\n", + "global step=43919360, episodic return=273.6083679199219\n", + "global step=43919360, episodic return=2461.87646484375\n", + "global step=43919360, episodic return=2447.611328125\n", + "global step=43921408, episodic return=87.52149200439453\n", + "global step=43921408, episodic return=2408.240478515625\n", + "global step=43923456, episodic return=2432.34375\n", + "global step=43923456, episodic return=61.716697692871094\n", + "global step=43923456, episodic return=2407.72119140625\n", + "global step=43925504, episodic return=2442.26513671875\n", + "global step=43927552, episodic return=15.197171211242676\n", + "global step=43927552, episodic return=2474.3623046875\n", + "global step=43929600, episodic return=2433.66845703125\n", + "global step=43935744, episodic return=2336.298095703125\n", + "global step=43939840, episodic return=2504.92578125\n", + "global step=43941888, episodic return=251.96737670898438\n", + "global step=43941888, episodic return=2285.017822265625\n", + "global step=43943936, episodic return=2443.9716796875\n", + "global step=43945984, episodic return=1462.20751953125\n", + "global step=43948032, episodic return=160.20498657226562\n", + "global step=43948032, episodic return=2423.30078125\n", + "global step=43950080, episodic return=2421.996826171875\n", + "global step=43950080, episodic return=2296.87890625\n", + "global step=43950080, episodic return=2455.766845703125\n", + "global step=43950080, episodic return=2408.418701171875\n", + "global step=43952128, episodic return=2390.327880859375\n", + "global step=43952128, episodic return=2383.556396484375\n", + "global step=43954176, episodic return=2453.0517578125\n", + "global step=43954176, episodic return=2414.58544921875\n", + "global step=43956224, episodic return=2353.546875\n", + "global step=43956224, episodic return=2465.965087890625\n", + "global step=43960320, episodic return=2318.440185546875\n", + "global step=43962368, episodic return=2348.13232421875\n", + "global step=43962368, episodic return=2409.234375\n", + "global step=43962368, episodic return=2450.87744140625\n", + "global step=43962368, episodic return=2373.436279296875\n", + "global step=43962368, episodic return=109.29240417480469\n", + "global step=43962368, episodic return=1666.331298828125\n", + "global step=43966464, episodic return=2471.720703125\n", + "global step=43966464, episodic return=2428.113525390625\n", + "global step=43966464, episodic return=2438.034423828125\n", + "global step=43966464, episodic return=244.0574951171875\n", + "global step=43966464, episodic return=2443.20263671875\n", + "global step=43970560, episodic return=228.9305419921875\n", + "global step=43972608, episodic return=249.5482635498047\n", + "global step=43974656, episodic return=2459.650390625\n", + "global step=43976704, episodic return=2374.867431640625\n", + "global step=43976704, episodic return=1987.9073486328125\n", + "global step=43976704, episodic return=2451.23583984375\n", + "global step=43976704, episodic return=2365.649169921875\n", + "global step=43978752, episodic return=2223.634521484375\n", + "global step=43980800, episodic return=2400.754638671875\n", + "global step=43980800, episodic return=2391.482177734375\n", + "global step=43982848, episodic return=1165.12646484375\n", + "global step=43982848, episodic return=2391.430419921875\n", + "global step=43982848, episodic return=2461.056640625\n", + "global step=43982848, episodic return=2450.14013671875\n", + "global step=43984896, episodic return=2339.93212890625\n", + "global step=43984896, episodic return=2414.494384765625\n", + "global step=43988992, episodic return=2395.4462890625\n", + "global step=43988992, episodic return=2448.683837890625\n", + "global step=43988992, episodic return=2453.43505859375\n", + "global step=43991040, episodic return=2461.13818359375\n", + "global step=43993088, episodic return=2346.841552734375\n", + "global step=43993088, episodic return=2465.675048828125\n", + "global step=43993088, episodic return=2445.548828125\n", + "global step=43999232, episodic return=2450.433837890625\n", + "global step=43999232, episodic return=2409.842041015625\n", + "global step=44001280, episodic return=2359.258544921875\n", + "global step=44003328, episodic return=2369.192138671875\n", + "global step=44003328, episodic return=2384.665283203125\n", + "global step=44005376, episodic return=2391.873046875\n", + "global step=44009472, episodic return=2392.87841796875\n", + "global step=44009472, episodic return=2433.56982421875\n", + "global step=44013568, episodic return=2297.738037109375\n", + "global step=44015616, episodic return=2438.480712890625\n", + "global step=44017664, episodic return=2500.284423828125\n", + "global step=44019712, episodic return=2408.3046875\n", + "global step=44021760, episodic return=2393.419189453125\n", + "global step=44021760, episodic return=2402.058349609375\n", + "global step=44021760, episodic return=2370.869873046875\n", + "global step=44023808, episodic return=216.49888610839844\n", + "global step=44023808, episodic return=1337.53076171875\n", + "global step=44023808, episodic return=2465.720458984375\n", + "global step=44023808, episodic return=2476.6201171875\n", + "global step=44023808, episodic return=2376.697509765625\n", + "global step=44025856, episodic return=2392.668701171875\n", + "global step=44025856, episodic return=2415.187255859375\n", + "global step=44027904, episodic return=2462.424560546875\n", + "global step=44029952, episodic return=2361.93798828125\n", + "global step=44029952, episodic return=210.0252227783203\n", + "global step=44032000, episodic return=2385.392822265625\n", + "global step=44032000, episodic return=2409.802734375\n", + "global step=44032000, episodic return=208.1277618408203\n", + "global step=44034048, episodic return=2439.191162109375\n", + "global step=44034048, episodic return=2408.54052734375\n", + "global step=44036096, episodic return=2318.92041015625\n", + "global step=44036096, episodic return=2358.31396484375\n", + "global step=44036096, episodic return=2440.3935546875\n", + "global step=44038144, episodic return=1149.7470703125\n", + "global step=44038144, episodic return=2426.889404296875\n", + "global step=44038144, episodic return=2474.037841796875\n", + "global step=44038144, episodic return=2368.62158203125\n", + "global step=44040192, episodic return=2357.38427734375\n", + "global step=44040192, episodic return=2294.279052734375\n", + "global step=44042240, episodic return=2455.498046875\n", + "global step=44042240, episodic return=2429.36279296875\n", + "global step=44044288, episodic return=1112.501220703125\n", + "global step=44044288, episodic return=2413.654296875\n", + "global step=44044288, episodic return=2395.580810546875\n", + "global step=44044288, episodic return=2410.482177734375\n", + "global step=44046336, episodic return=2346.73974609375\n", + "global step=44046336, episodic return=2414.373779296875\n", + "global step=44046336, episodic return=1359.0262451171875\n", + "global step=44048384, episodic return=2395.223876953125\n", + "global step=44048384, episodic return=2474.33056640625\n", + "global step=44048384, episodic return=2342.98876953125\n", + "global step=44050432, episodic return=2425.820556640625\n", + "global step=44052480, episodic return=2403.312255859375\n", + "global step=44054528, episodic return=2429.129638671875\n", + "global step=44056576, episodic return=2377.682861328125\n", + "global step=44056576, episodic return=2446.934326171875\n", + "global step=44056576, episodic return=2403.677490234375\n", + "global step=44058624, episodic return=2415.59912109375\n", + "global step=44058624, episodic return=2396.58837890625\n", + "global step=44058624, episodic return=2322.42041015625\n", + "global step=44058624, episodic return=2296.354248046875\n", + "global step=44060672, episodic return=2272.569091796875\n", + "global step=44060672, episodic return=2443.981201171875\n", + "global step=44062720, episodic return=2365.8056640625\n", + "global step=44062720, episodic return=2443.61572265625\n", + "global step=44066816, episodic return=2413.66943359375\n", + "global step=44066816, episodic return=2431.5029296875\n", + "global step=44068864, episodic return=2393.5751953125\n", + "global step=44075008, episodic return=2433.11181640625\n", + "global step=44079104, episodic return=2418.346923828125\n", + "global step=44081152, episodic return=2414.400390625\n", + "global step=44081152, episodic return=2392.601806640625\n", + "global step=44085248, episodic return=2363.071533203125\n", + "global step=44085248, episodic return=2363.426025390625\n", + "global step=44087296, episodic return=2475.536376953125\n", + "global step=44091392, episodic return=2422.19482421875\n", + "global step=44091392, episodic return=248.06134033203125\n", + "global step=44093440, episodic return=2370.85888671875\n", + "global step=44093440, episodic return=2374.593994140625\n", + "global step=44095488, episodic return=2481.36083984375\n", + "global step=44095488, episodic return=2402.595703125\n", + "global step=44097536, episodic return=191.25518798828125\n", + "global step=44097536, episodic return=2434.156982421875\n", + "global step=44097536, episodic return=84.44715881347656\n", + "global step=44097536, episodic return=2398.310302734375\n", + "global step=44097536, episodic return=2316.456298828125\n", + "global step=44101632, episodic return=856.7074584960938\n", + "global step=44101632, episodic return=2433.0791015625\n", + "global step=44107776, episodic return=874.0928955078125\n", + "global step=44107776, episodic return=2299.418701171875\n", + "global step=44109824, episodic return=2413.108154296875\n", + "global step=44109824, episodic return=2433.337890625\n", + "global step=44109824, episodic return=2481.341064453125\n", + "global step=44111872, episodic return=609.3944091796875\n", + "global step=44111872, episodic return=2405.8134765625\n", + "global step=44111872, episodic return=2433.405517578125\n", + "global step=44113920, episodic return=2457.66845703125\n", + "global step=44115968, episodic return=2409.73681640625\n", + "global step=44115968, episodic return=300.62664794921875\n", + "global step=44115968, episodic return=2433.4169921875\n", + "global step=44115968, episodic return=244.44898986816406\n", + "global step=44118016, episodic return=2432.620361328125\n", + "global step=44118016, episodic return=505.40869140625\n", + "global step=44118016, episodic return=405.2224426269531\n", + "global step=44120064, episodic return=2464.5849609375\n", + "global step=44120064, episodic return=2342.747802734375\n", + "global step=44120064, episodic return=2386.179931640625\n", + "global step=44120064, episodic return=2380.035400390625\n", + "global step=44122112, episodic return=2435.9794921875\n", + "global step=44122112, episodic return=2343.66259765625\n", + "global step=44126208, episodic return=2468.602783203125\n", + "global step=44126208, episodic return=2420.416748046875\n", + "global step=44126208, episodic return=2369.003662109375\n", + "global step=44128256, episodic return=2429.176513671875\n", + "global step=44128256, episodic return=2488.4560546875\n", + "global step=44128256, episodic return=2425.008056640625\n", + "global step=44128256, episodic return=2439.4658203125\n", + "global step=44130304, episodic return=2393.34423828125\n", + "global step=44134400, episodic return=2458.801513671875\n", + "global step=44134400, episodic return=2388.9287109375\n", + "global step=44134400, episodic return=2419.172119140625\n", + "global step=44136448, episodic return=79.50904846191406\n", + "global step=44136448, episodic return=2392.84619140625\n", + "global step=44136448, episodic return=2392.941650390625\n", + "global step=44136448, episodic return=2434.538818359375\n", + "global step=44136448, episodic return=2384.40966796875\n", + "global step=44136448, episodic return=2451.039794921875\n", + "global step=44138496, episodic return=2388.592529296875\n", + "global step=44138496, episodic return=2408.585693359375\n", + "global step=44138496, episodic return=2442.981201171875\n", + "global step=44140544, episodic return=2466.390625\n", + "global step=44142592, episodic return=2442.79248046875\n", + "global step=44142592, episodic return=2411.204833984375\n", + "global step=44144640, episodic return=75.25194549560547\n", + "global step=44144640, episodic return=2452.29833984375\n", + "global step=44146688, episodic return=2413.512451171875\n", + "global step=44146688, episodic return=2404.940673828125\n", + "global step=44148736, episodic return=2424.142822265625\n", + "global step=44150784, episodic return=2445.232666015625\n", + "global step=44150784, episodic return=2488.1904296875\n", + "global step=44150784, episodic return=384.8330078125\n", + "global step=44152832, episodic return=436.7828674316406\n", + "global step=44152832, episodic return=2431.3251953125\n", + "global step=44154880, episodic return=2518.37841796875\n", + "global step=44154880, episodic return=2436.666015625\n", + "global step=44156928, episodic return=2435.852783203125\n", + "global step=44156928, episodic return=2415.485107421875\n", + "global step=44158976, episodic return=2450.649658203125\n", + "global step=44161024, episodic return=2418.56298828125\n", + "global step=44161024, episodic return=2365.877685546875\n", + "global step=44163072, episodic return=2430.885986328125\n", + "global step=44163072, episodic return=2429.12255859375\n", + "global step=44163072, episodic return=2465.14453125\n", + "global step=44163072, episodic return=2402.969482421875\n", + "global step=44165120, episodic return=2420.6015625\n", + "global step=44165120, episodic return=2416.891845703125\n", + "global step=44165120, episodic return=189.04769897460938\n", + "global step=44167168, episodic return=2423.945556640625\n", + "global step=44169216, episodic return=2469.042724609375\n", + "global step=44171264, episodic return=2424.78662109375\n", + "global step=44171264, episodic return=2444.402099609375\n", + "global step=44171264, episodic return=2444.229736328125\n", + "global step=44173312, episodic return=344.8104248046875\n", + "global step=44173312, episodic return=2423.640625\n", + "global step=44175360, episodic return=2487.115478515625\n", + "global step=44175360, episodic return=2477.661865234375\n", + "global step=44177408, episodic return=2482.030029296875\n", + "global step=44177408, episodic return=2471.844970703125\n", + "global step=44177408, episodic return=1120.872314453125\n", + "global step=44179456, episodic return=2418.978515625\n", + "global step=44179456, episodic return=2437.072021484375\n", + "global step=44179456, episodic return=2453.27783203125\n", + "global step=44179456, episodic return=2436.725830078125\n", + "global step=44181504, episodic return=2445.658203125\n", + "global step=44181504, episodic return=2370.5263671875\n", + "global step=44181504, episodic return=2409.61767578125\n", + "global step=44181504, episodic return=2440.233154296875\n", + "global step=44183552, episodic return=2429.119140625\n", + "global step=44183552, episodic return=2509.427734375\n", + "global step=44185600, episodic return=2458.47412109375\n", + "global step=44185600, episodic return=2405.79150390625\n", + "global step=44185600, episodic return=462.8207702636719\n", + "global step=44185600, episodic return=2452.33056640625\n", + "global step=44185600, episodic return=2383.746337890625\n", + "global step=44189696, episodic return=2401.169677734375\n", + "global step=44193792, episodic return=2412.947021484375\n", + "global step=44193792, episodic return=2487.12353515625\n", + "global step=44193792, episodic return=2453.343017578125\n", + "global step=44193792, episodic return=2454.146240234375\n", + "global step=44193792, episodic return=2318.638916015625\n", + "global step=44193792, episodic return=2412.44482421875\n", + "global step=44195840, episodic return=2426.504150390625\n", + "global step=44197888, episodic return=923.555908203125\n", + "global step=44199936, episodic return=608.3065795898438\n", + "global step=44199936, episodic return=315.90106201171875\n", + "global step=44199936, episodic return=2455.455322265625\n", + "global step=44204032, episodic return=2467.265869140625\n", + "global step=44204032, episodic return=2453.521728515625\n", + "global step=44204032, episodic return=2422.813232421875\n", + "global step=44206080, episodic return=2404.02880859375\n", + "global step=44208128, episodic return=2413.111572265625\n", + "global step=44210176, episodic return=297.8319091796875\n", + "global step=44210176, episodic return=2388.265380859375\n", + "global step=44212224, episodic return=2333.6259765625\n", + "global step=44212224, episodic return=2484.4765625\n", + "global step=44212224, episodic return=2412.54736328125\n", + "global step=44216320, episodic return=48.72838592529297\n", + "global step=44218368, episodic return=2385.759033203125\n", + "global step=44220416, episodic return=2396.537109375\n", + "global step=44220416, episodic return=2437.404541015625\n", + "global step=44222464, episodic return=1769.5906982421875\n", + "global step=44224512, episodic return=2448.491455078125\n", + "global step=44226560, episodic return=2452.677978515625\n", + "global step=44226560, episodic return=2421.80322265625\n", + "global step=44226560, episodic return=2444.077880859375\n", + "global step=44228608, episodic return=1491.73388671875\n", + "global step=44230656, episodic return=2424.486083984375\n", + "global step=44232704, episodic return=2445.091796875\n", + "global step=44232704, episodic return=1972.6842041015625\n", + "global step=44234752, episodic return=2433.772216796875\n", + "global step=44236800, episodic return=1325.697021484375\n", + "global step=44236800, episodic return=2369.1904296875\n", + "global step=44236800, episodic return=2417.88818359375\n", + "global step=44238848, episodic return=2368.8740234375\n", + "global step=44242944, episodic return=2144.96044921875\n", + "global step=44244992, episodic return=910.4495849609375\n", + "global step=44247040, episodic return=2422.33056640625\n", + "global step=44247040, episodic return=2471.1015625\n", + "global step=44249088, episodic return=2396.596435546875\n", + "global step=44249088, episodic return=1205.863037109375\n", + "global step=44249088, episodic return=1348.761962890625\n", + "global step=44249088, episodic return=2434.0419921875\n", + "global step=44251136, episodic return=2398.127197265625\n", + "global step=44251136, episodic return=280.72283935546875\n", + "global step=44255232, episodic return=2441.44580078125\n", + "global step=44255232, episodic return=2416.207763671875\n", + "global step=44255232, episodic return=2477.68896484375\n", + "global step=44255232, episodic return=2435.361083984375\n", + "global step=44259328, episodic return=2417.550048828125\n", + "global step=44259328, episodic return=2351.64404296875\n", + "global step=44259328, episodic return=2319.54638671875\n", + "global step=44261376, episodic return=2364.55908203125\n", + "global step=44261376, episodic return=619.66064453125\n", + "global step=44263424, episodic return=2353.3447265625\n", + "global step=44265472, episodic return=1775.513427734375\n", + "global step=44267520, episodic return=2371.46923828125\n", + "global step=44267520, episodic return=1096.2491455078125\n", + "global step=44267520, episodic return=2393.04345703125\n", + "global step=44269568, episodic return=198.90390014648438\n", + "global step=44269568, episodic return=194.5458221435547\n", + "global step=44271616, episodic return=514.7481689453125\n", + "global step=44277760, episodic return=503.61419677734375\n", + "global step=44279808, episodic return=2416.743896484375\n", + "global step=44279808, episodic return=2378.044677734375\n", + "global step=44281856, episodic return=2377.57421875\n", + "global step=44281856, episodic return=2425.534912109375\n", + "global step=44281856, episodic return=1373.81396484375\n", + "global step=44283904, episodic return=2439.097900390625\n", + "global step=44285952, episodic return=2471.62451171875\n", + "global step=44288000, episodic return=227.6395721435547\n", + "global step=44294144, episodic return=2453.2900390625\n", + "global step=44294144, episodic return=1982.3697509765625\n", + "global step=44294144, episodic return=2416.90087890625\n", + "global step=44296192, episodic return=419.7850646972656\n", + "global step=44296192, episodic return=2388.84521484375\n", + "global step=44296192, episodic return=2383.69873046875\n", + "global step=44300288, episodic return=2428.033447265625\n", + "global step=44302336, episodic return=2401.742431640625\n", + "global step=44302336, episodic return=246.3177947998047\n", + "global step=44302336, episodic return=2446.57275390625\n", + "global step=44304384, episodic return=2423.322509765625\n", + "global step=44304384, episodic return=2407.837890625\n", + "global step=44306432, episodic return=2390.100341796875\n", + "global step=44308480, episodic return=2465.98193359375\n", + "global step=44310528, episodic return=2375.041015625\n", + "global step=44312576, episodic return=2383.0380859375\n", + "global step=44316672, episodic return=2435.068359375\n", + "global step=44318720, episodic return=2393.506591796875\n", + "global step=44318720, episodic return=2423.68896484375\n", + "global step=44318720, episodic return=1407.1129150390625\n", + "global step=44320768, episodic return=2373.028076171875\n", + "global step=44320768, episodic return=2457.906005859375\n", + "global step=44322816, episodic return=2422.142822265625\n", + "global step=44324864, episodic return=2433.6904296875\n", + "global step=44328960, episodic return=2434.985107421875\n", + "global step=44328960, episodic return=2370.4140625\n", + "global step=44331008, episodic return=2443.62548828125\n", + "global step=44333056, episodic return=243.81524658203125\n", + "global step=44341248, episodic return=2374.74267578125\n", + "global step=44341248, episodic return=2424.173095703125\n", + "global step=44341248, episodic return=2463.94677734375\n", + "global step=44345344, episodic return=2469.741455078125\n", + "global step=44351488, episodic return=2429.44384765625\n", + "global step=44355584, episodic return=2477.15087890625\n", + "global step=44355584, episodic return=2442.25927734375\n", + "global step=44357632, episodic return=2436.452880859375\n", + "global step=44357632, episodic return=2431.50927734375\n", + "global step=44359680, episodic return=2380.515625\n", + "global step=44359680, episodic return=2253.774169921875\n", + "global step=44361728, episodic return=2398.16552734375\n", + "global step=44363776, episodic return=2436.664306640625\n", + "global step=44363776, episodic return=2492.0986328125\n", + "global step=44365824, episodic return=822.4863891601562\n", + "global step=44365824, episodic return=2390.059326171875\n", + "global step=44367872, episodic return=2440.164794921875\n", + "global step=44367872, episodic return=2473.217529296875\n", + "global step=44367872, episodic return=2407.852783203125\n", + "global step=44369920, episodic return=2417.230224609375\n", + "global step=44369920, episodic return=2436.700439453125\n", + "global step=44369920, episodic return=2451.744873046875\n", + "global step=44371968, episodic return=147.32794189453125\n", + "global step=44371968, episodic return=2467.42138671875\n", + "global step=44376064, episodic return=2355.94140625\n", + "global step=44376064, episodic return=2441.14208984375\n", + "global step=44376064, episodic return=2419.650634765625\n", + "global step=44376064, episodic return=2487.585693359375\n", + "global step=44376064, episodic return=2443.61083984375\n", + "global step=44378112, episodic return=2443.1884765625\n", + "global step=44378112, episodic return=2376.52783203125\n", + "global step=44378112, episodic return=805.8607788085938\n", + "global step=44378112, episodic return=2365.566162109375\n", + "global step=44378112, episodic return=2417.090576171875\n", + "global step=44378112, episodic return=2481.14013671875\n", + "global step=44378112, episodic return=2351.60693359375\n", + "global step=44380160, episodic return=2441.101318359375\n", + "global step=44382208, episodic return=2458.788330078125\n", + "global step=44382208, episodic return=2417.912353515625\n", + "global step=44384256, episodic return=2399.851318359375\n", + "global step=44384256, episodic return=2507.1044921875\n", + "global step=44384256, episodic return=687.2131958007812\n", + "global step=44386304, episodic return=2432.82080078125\n", + "global step=44386304, episodic return=2298.137939453125\n", + "global step=44386304, episodic return=1748.3511962890625\n", + "global step=44388352, episodic return=1377.0155029296875\n", + "global step=44388352, episodic return=2378.713134765625\n", + "global step=44390400, episodic return=2382.641357421875\n", + "global step=44390400, episodic return=2425.846435546875\n", + "global step=44390400, episodic return=2387.958251953125\n", + "global step=44394496, episodic return=2379.771728515625\n", + "global step=44394496, episodic return=2422.482177734375\n", + "global step=44394496, episodic return=2369.125\n", + "global step=44396544, episodic return=2504.906494140625\n", + "global step=44396544, episodic return=191.84129333496094\n", + "global step=44398592, episodic return=2376.98974609375\n", + "global step=44398592, episodic return=199.53717041015625\n", + "global step=44398592, episodic return=1956.5103759765625\n", + "global step=44400640, episodic return=2295.89111328125\n", + "global step=44400640, episodic return=801.7567749023438\n", + "global step=44400640, episodic return=2429.161865234375\n", + "global step=44402688, episodic return=2494.29541015625\n", + "global step=44402688, episodic return=2416.931640625\n", + "global step=44404736, episodic return=2419.990966796875\n", + "global step=44404736, episodic return=742.766357421875\n", + "global step=44406784, episodic return=2359.7939453125\n", + "global step=44408832, episodic return=2427.27294921875\n", + "global step=44408832, episodic return=2421.408935546875\n", + "global step=44410880, episodic return=1430.8575439453125\n", + "global step=44410880, episodic return=2399.361083984375\n", + "global step=44410880, episodic return=2458.863525390625\n", + "global step=44412928, episodic return=2444.534912109375\n", + "global step=44412928, episodic return=2394.89013671875\n", + "global step=44414976, episodic return=2381.054443359375\n", + "global step=44414976, episodic return=2319.315185546875\n", + "global step=44414976, episodic return=2353.17919921875\n", + "global step=44414976, episodic return=2479.00048828125\n", + "global step=44417024, episodic return=2424.20458984375\n", + "global step=44417024, episodic return=2402.65771484375\n", + "global step=44417024, episodic return=2471.299072265625\n", + "global step=44419072, episodic return=2423.4033203125\n", + "global step=44421120, episodic return=2391.878173828125\n", + "global step=44423168, episodic return=2452.551513671875\n", + "global step=44423168, episodic return=2468.462890625\n", + "global step=44423168, episodic return=2324.033203125\n", + "global step=44423168, episodic return=2434.527099609375\n", + "global step=44423168, episodic return=2347.13330078125\n", + "global step=44425216, episodic return=2413.94970703125\n", + "global step=44425216, episodic return=2486.6962890625\n", + "global step=44427264, episodic return=2360.97314453125\n", + "global step=44427264, episodic return=2171.528564453125\n", + "global step=44429312, episodic return=2326.66064453125\n", + "global step=44433408, episodic return=2408.378662109375\n", + "global step=44433408, episodic return=323.28460693359375\n", + "global step=44435456, episodic return=135.04225158691406\n", + "global step=44437504, episodic return=2362.299560546875\n", + "global step=44439552, episodic return=2429.47802734375\n", + "global step=44439552, episodic return=2360.3095703125\n", + "global step=44439552, episodic return=1467.195068359375\n", + "global step=44441600, episodic return=2446.473876953125\n", + "global step=44441600, episodic return=2383.373046875\n", + "global step=44443648, episodic return=2365.579345703125\n", + "global step=44443648, episodic return=2419.314208984375\n", + "global step=44449792, episodic return=1875.1392822265625\n", + "global step=44451840, episodic return=2431.77587890625\n", + "global step=44462080, episodic return=2336.044921875\n", + "global step=44462080, episodic return=2407.179931640625\n", + "global step=44464128, episodic return=2431.490966796875\n", + "global step=44466176, episodic return=2423.921875\n", + "global step=44466176, episodic return=1797.92138671875\n", + "global step=44466176, episodic return=2421.867431640625\n", + "global step=44466176, episodic return=2430.66064453125\n", + "global step=44468224, episodic return=2419.767333984375\n", + "global step=44468224, episodic return=2413.20458984375\n", + "global step=44470272, episodic return=2434.758056640625\n", + "global step=44472320, episodic return=249.36459350585938\n", + "global step=44474368, episodic return=2378.25146484375\n", + "global step=44476416, episodic return=2379.92236328125\n", + "global step=44476416, episodic return=2389.2109375\n", + "global step=44476416, episodic return=2454.692626953125\n", + "global step=44476416, episodic return=2498.045654296875\n", + "global step=44480512, episodic return=766.6215209960938\n", + "global step=44480512, episodic return=158.4021759033203\n", + "global step=44482560, episodic return=2214.092041015625\n", + "global step=44482560, episodic return=2458.7470703125\n", + "global step=44484608, episodic return=207.68734741210938\n", + "global step=44486656, episodic return=2405.859375\n", + "global step=44488704, episodic return=2417.8017578125\n", + "global step=44488704, episodic return=2425.317138671875\n", + "global step=44490752, episodic return=2318.938232421875\n", + "global step=44490752, episodic return=776.1554565429688\n", + "global step=44492800, episodic return=2421.919921875\n", + "global step=44492800, episodic return=2414.865966796875\n", + "global step=44494848, episodic return=2428.6279296875\n", + "global step=44494848, episodic return=2342.36474609375\n", + "global step=44496896, episodic return=2366.7548828125\n", + "global step=44498944, episodic return=2376.170654296875\n", + "global step=44498944, episodic return=2435.215087890625\n", + "global step=44498944, episodic return=149.7450408935547\n", + "global step=44498944, episodic return=390.6353454589844\n", + "global step=44500992, episodic return=2356.295166015625\n", + "global step=44503040, episodic return=1654.0045166015625\n", + "global step=44503040, episodic return=2467.3037109375\n", + "global step=44507136, episodic return=2436.87939453125\n", + "global step=44507136, episodic return=2419.817138671875\n", + "global step=44507136, episodic return=1537.863525390625\n", + "global step=44507136, episodic return=2414.144775390625\n", + "global step=44507136, episodic return=2461.140869140625\n", + "global step=44507136, episodic return=2387.8203125\n", + "global step=44509184, episodic return=181.19570922851562\n", + "global step=44511232, episodic return=2472.864013671875\n", + "global step=44511232, episodic return=2446.759521484375\n", + "global step=44511232, episodic return=2088.679443359375\n", + "global step=44511232, episodic return=2369.93505859375\n", + "global step=44513280, episodic return=2416.08935546875\n", + "global step=44513280, episodic return=2398.521484375\n", + "global step=44515328, episodic return=225.7520751953125\n", + "global step=44515328, episodic return=2436.05419921875\n", + "global step=44517376, episodic return=2474.738037109375\n", + "global step=44517376, episodic return=2443.074951171875\n", + "global step=44521472, episodic return=2369.04052734375\n", + "global step=44521472, episodic return=2468.660888671875\n", + "global step=44523520, episodic return=2314.88671875\n", + "global step=44525568, episodic return=2386.93310546875\n", + "global step=44525568, episodic return=955.8466186523438\n", + "global step=44529664, episodic return=2482.329345703125\n", + "global step=44529664, episodic return=2436.549072265625\n", + "global step=44531712, episodic return=2422.955810546875\n", + "global step=44531712, episodic return=2396.452880859375\n", + "global step=44531712, episodic return=2018.059326171875\n", + "global step=44533760, episodic return=2315.704345703125\n", + "global step=44535808, episodic return=1021.4037475585938\n", + "global step=44535808, episodic return=2470.875\n", + "global step=44535808, episodic return=2411.337890625\n", + "global step=44537856, episodic return=2385.394775390625\n", + "global step=44537856, episodic return=2390.313232421875\n", + "global step=44537856, episodic return=2406.368896484375\n", + "global step=44537856, episodic return=2373.606201171875\n", + "global step=44537856, episodic return=2469.4296875\n", + "global step=44537856, episodic return=1275.850830078125\n", + "global step=44537856, episodic return=2410.1748046875\n", + "global step=44539904, episodic return=2479.8271484375\n", + "global step=44539904, episodic return=2412.46240234375\n", + "global step=44539904, episodic return=2444.13916015625\n", + "global step=44541952, episodic return=2438.4140625\n", + "global step=44541952, episodic return=2428.692138671875\n", + "global step=44541952, episodic return=2424.631591796875\n", + "global step=44541952, episodic return=134.8862762451172\n", + "global step=44544000, episodic return=2479.840576171875\n", + "global step=44544000, episodic return=2136.854248046875\n", + "global step=44546048, episodic return=2421.04248046875\n", + "global step=44548096, episodic return=586.254638671875\n", + "global step=44548096, episodic return=2435.52685546875\n", + "global step=44550144, episodic return=2338.262939453125\n", + "global step=44552192, episodic return=2429.18603515625\n", + "global step=44552192, episodic return=176.72100830078125\n", + "global step=44554240, episodic return=2442.010009765625\n", + "global step=44558336, episodic return=2451.271728515625\n", + "global step=44558336, episodic return=2307.934814453125\n", + "global step=44558336, episodic return=2452.268798828125\n", + "global step=44560384, episodic return=2459.19140625\n", + "global step=44560384, episodic return=430.4140319824219\n", + "global step=44560384, episodic return=2183.376708984375\n", + "global step=44560384, episodic return=2437.39208984375\n", + "global step=44560384, episodic return=2421.00048828125\n", + "global step=44560384, episodic return=2394.2978515625\n", + "global step=44562432, episodic return=2457.9453125\n", + "global step=44562432, episodic return=2376.783203125\n", + "global step=44564480, episodic return=2428.282958984375\n", + "global step=44564480, episodic return=1667.72802734375\n", + "global step=44566528, episodic return=2399.41552734375\n", + "global step=44566528, episodic return=2391.539306640625\n", + "global step=44568576, episodic return=2400.983154296875\n", + "global step=44568576, episodic return=2472.66162109375\n", + "global step=44570624, episodic return=2326.723876953125\n", + "global step=44570624, episodic return=2351.044921875\n", + "global step=44572672, episodic return=2462.268798828125\n", + "global step=44574720, episodic return=2418.556640625\n", + "global step=44576768, episodic return=2411.927490234375\n", + "global step=44576768, episodic return=2465.262451171875\n", + "global step=44578816, episodic return=2405.628662109375\n", + "global step=44578816, episodic return=2446.54150390625\n", + "global step=44582912, episodic return=2402.106201171875\n", + "global step=44582912, episodic return=2349.010009765625\n", + "global step=44582912, episodic return=2428.619873046875\n", + "global step=44584960, episodic return=2417.13671875\n", + "global step=44587008, episodic return=2449.287841796875\n", + "global step=44587008, episodic return=2434.67333984375\n", + "global step=44587008, episodic return=2453.9150390625\n", + "global step=44589056, episodic return=2469.993896484375\n", + "global step=44589056, episodic return=1425.5318603515625\n", + "global step=44589056, episodic return=2456.194580078125\n", + "global step=44589056, episodic return=2430.32421875\n", + "global step=44591104, episodic return=2393.750732421875\n", + "global step=44591104, episodic return=2397.83837890625\n", + "global step=44591104, episodic return=1240.150634765625\n", + "global step=44593152, episodic return=2036.480224609375\n", + "global step=44593152, episodic return=2415.83447265625\n", + "global step=44595200, episodic return=809.120849609375\n", + "global step=44595200, episodic return=2473.545166015625\n", + "global step=44595200, episodic return=2441.835205078125\n", + "global step=44595200, episodic return=2374.93896484375\n", + "global step=44597248, episodic return=2377.882568359375\n", + "global step=44597248, episodic return=2454.31396484375\n", + "global step=44597248, episodic return=2432.005615234375\n", + "global step=44599296, episodic return=2417.885009765625\n", + "global step=44599296, episodic return=2472.350830078125\n", + "global step=44599296, episodic return=2425.899169921875\n", + "global step=44599296, episodic return=2223.649658203125\n", + "global step=44601344, episodic return=2408.155029296875\n", + "global step=44603392, episodic return=2324.51513671875\n", + "global step=44603392, episodic return=2428.998046875\n", + "global step=44603392, episodic return=2362.57763671875\n", + "global step=44603392, episodic return=194.49659729003906\n", + "global step=44605440, episodic return=2449.51904296875\n", + "global step=44605440, episodic return=2399.80126953125\n", + "global step=44605440, episodic return=2465.51708984375\n", + "global step=44605440, episodic return=2347.423095703125\n", + "global step=44605440, episodic return=2399.710205078125\n", + "global step=44607488, episodic return=2419.400390625\n", + "global step=44607488, episodic return=2454.743408203125\n", + "global step=44607488, episodic return=2430.305419921875\n", + "global step=44609536, episodic return=953.17529296875\n", + "global step=44609536, episodic return=2374.098876953125\n", + "global step=44609536, episodic return=2415.544189453125\n", + "global step=44609536, episodic return=2414.48486328125\n", + "global step=44609536, episodic return=2411.934814453125\n", + "global step=44609536, episodic return=2451.25341796875\n", + "global step=44611584, episodic return=2469.013427734375\n", + "global step=44611584, episodic return=751.0889282226562\n", + "global step=44611584, episodic return=2423.602783203125\n", + "global step=44613632, episodic return=1139.58642578125\n", + "global step=44615680, episodic return=2390.510986328125\n", + "global step=44615680, episodic return=2404.869873046875\n", + "global step=44617728, episodic return=2440.17578125\n", + "global step=44617728, episodic return=2382.146240234375\n", + "global step=44617728, episodic return=2442.096923828125\n", + "global step=44619776, episodic return=2310.7587890625\n", + "global step=44619776, episodic return=2455.09814453125\n", + "global step=44619776, episodic return=2477.149658203125\n", + "global step=44621824, episodic return=2473.171142578125\n", + "global step=44621824, episodic return=2433.014892578125\n", + "global step=44623872, episodic return=1741.0963134765625\n", + "global step=44623872, episodic return=1681.232666015625\n", + "global step=44625920, episodic return=2455.993896484375\n", + "global step=44625920, episodic return=1868.4522705078125\n", + "global step=44625920, episodic return=2428.9248046875\n", + "global step=44627968, episodic return=2442.989501953125\n", + "global step=44627968, episodic return=2398.171875\n", + "global step=44632064, episodic return=2364.004150390625\n", + "global step=44632064, episodic return=2419.45361328125\n", + "global step=44632064, episodic return=2446.63037109375\n", + "global step=44632064, episodic return=2460.906494140625\n", + "global step=44634112, episodic return=1745.68603515625\n", + "global step=44634112, episodic return=2443.566650390625\n", + "global step=44634112, episodic return=2445.68212890625\n", + "global step=44634112, episodic return=2397.225341796875\n", + "global step=44636160, episodic return=2388.370849609375\n", + "global step=44636160, episodic return=2412.666748046875\n", + "global step=44638208, episodic return=2420.390625\n", + "global step=44638208, episodic return=2458.465576171875\n", + "global step=44638208, episodic return=2455.129638671875\n", + "global step=44638208, episodic return=2466.506103515625\n", + "global step=44638208, episodic return=2421.571044921875\n", + "global step=44642304, episodic return=2410.67724609375\n", + "global step=44644352, episodic return=2432.972412109375\n", + "global step=44644352, episodic return=2345.564697265625\n", + "global step=44644352, episodic return=2414.671875\n", + "global step=44644352, episodic return=198.1177978515625\n", + "global step=44646400, episodic return=2427.96826171875\n", + "global step=44646400, episodic return=2459.97412109375\n", + "global step=44646400, episodic return=2461.12841796875\n", + "global step=44646400, episodic return=2381.9365234375\n", + "global step=44646400, episodic return=2477.559326171875\n", + "global step=44648448, episodic return=2441.624755859375\n", + "global step=44648448, episodic return=2436.103515625\n", + "global step=44648448, episodic return=2460.204345703125\n", + "global step=44650496, episodic return=2451.93359375\n", + "global step=44650496, episodic return=2415.430908203125\n", + "global step=44652544, episodic return=2360.766357421875\n", + "global step=44652544, episodic return=2413.28271484375\n", + "global step=44654592, episodic return=2387.683349609375\n", + "global step=44654592, episodic return=1861.4442138671875\n", + "global step=44656640, episodic return=2442.59716796875\n", + "global step=44658688, episodic return=2463.653076171875\n", + "global step=44660736, episodic return=2460.008544921875\n", + "global step=44660736, episodic return=2364.433837890625\n", + "global step=44662784, episodic return=2433.35693359375\n", + "global step=44662784, episodic return=2406.701416015625\n", + "global step=44662784, episodic return=2439.52197265625\n", + "global step=44662784, episodic return=2384.27685546875\n", + "global step=44662784, episodic return=2411.860595703125\n", + "global step=44664832, episodic return=2158.643798828125\n", + "global step=44664832, episodic return=2364.46337890625\n", + "global step=44666880, episodic return=2475.952392578125\n", + "global step=44666880, episodic return=2341.583984375\n", + "global step=44666880, episodic return=2464.45849609375\n", + "global step=44668928, episodic return=2392.685302734375\n", + "global step=44668928, episodic return=2424.765625\n", + "global step=44670976, episodic return=2462.724365234375\n", + "global step=44670976, episodic return=2373.459716796875\n", + "global step=44673024, episodic return=2467.11181640625\n", + "global step=44673024, episodic return=2413.8447265625\n", + "global step=44675072, episodic return=1648.8101806640625\n", + "global step=44675072, episodic return=2317.094482421875\n", + "global step=44675072, episodic return=2408.943115234375\n", + "global step=44677120, episodic return=2415.384765625\n", + "global step=44679168, episodic return=2427.041748046875\n", + "global step=44679168, episodic return=2481.61279296875\n", + "global step=44679168, episodic return=2433.6240234375\n", + "global step=44681216, episodic return=1205.9869384765625\n", + "global step=44681216, episodic return=2416.13818359375\n", + "global step=44683264, episodic return=2431.201904296875\n", + "global step=44683264, episodic return=2404.288818359375\n", + "global step=44683264, episodic return=2417.33251953125\n", + "global step=44683264, episodic return=2429.445556640625\n", + "global step=44685312, episodic return=2378.781005859375\n", + "global step=44685312, episodic return=1246.845703125\n", + "global step=44685312, episodic return=2388.7685546875\n", + "global step=44689408, episodic return=2398.054931640625\n", + "global step=44689408, episodic return=2437.43896484375\n", + "global step=44689408, episodic return=2355.93408203125\n", + "global step=44691456, episodic return=2406.989990234375\n", + "global step=44693504, episodic return=2403.919677734375\n", + "global step=44693504, episodic return=2430.17236328125\n", + "global step=44695552, episodic return=2427.399658203125\n", + "global step=44695552, episodic return=2434.4052734375\n", + "global step=44695552, episodic return=2457.694091796875\n", + "global step=44695552, episodic return=2391.270751953125\n", + "global step=44697600, episodic return=2453.616943359375\n", + "global step=44697600, episodic return=2435.408447265625\n", + "global step=44699648, episodic return=2364.32763671875\n", + "global step=44701696, episodic return=2457.49267578125\n", + "global step=44701696, episodic return=1117.1600341796875\n", + "global step=44701696, episodic return=2432.079833984375\n", + "global step=44703744, episodic return=2432.71044921875\n", + "global step=44703744, episodic return=2197.148681640625\n", + "global step=44705792, episodic return=2413.41259765625\n", + "global step=44707840, episodic return=2384.50732421875\n", + "global step=44707840, episodic return=2416.62548828125\n", + "global step=44707840, episodic return=2441.269775390625\n", + "global step=44709888, episodic return=2405.648193359375\n", + "global step=44709888, episodic return=2391.0166015625\n", + "global step=44709888, episodic return=2329.4560546875\n", + "global step=44711936, episodic return=2482.39306640625\n", + "global step=44711936, episodic return=2440.12841796875\n", + "global step=44713984, episodic return=2416.009521484375\n", + "global step=44716032, episodic return=2406.7734375\n", + "global step=44718080, episodic return=2456.556640625\n", + "global step=44724224, episodic return=2430.481689453125\n", + "global step=44724224, episodic return=2471.350341796875\n", + "global step=44724224, episodic return=2437.23974609375\n", + "global step=44726272, episodic return=2441.110595703125\n", + "global step=44726272, episodic return=1177.11474609375\n", + "global step=44728320, episodic return=2451.541259765625\n", + "global step=44728320, episodic return=2430.4580078125\n", + "global step=44728320, episodic return=2462.275146484375\n", + "global step=44730368, episodic return=2466.548828125\n", + "global step=44730368, episodic return=2434.414306640625\n", + "global step=44732416, episodic return=2422.449951171875\n", + "global step=44734464, episodic return=2366.610107421875\n", + "global step=44734464, episodic return=2430.093505859375\n", + "global step=44734464, episodic return=2373.37353515625\n", + "global step=44736512, episodic return=2449.809814453125\n", + "global step=44736512, episodic return=2504.051025390625\n", + "global step=44738560, episodic return=2390.561767578125\n", + "global step=44738560, episodic return=2409.897705078125\n", + "global step=44740608, episodic return=2422.0712890625\n", + "global step=44740608, episodic return=2436.5185546875\n", + "global step=44742656, episodic return=2440.54248046875\n", + "global step=44742656, episodic return=2417.53466796875\n", + "global step=44742656, episodic return=2353.6689453125\n", + "global step=44742656, episodic return=2429.4111328125\n", + "global step=44744704, episodic return=2422.6806640625\n", + "global step=44744704, episodic return=200.4176788330078\n", + "global step=44744704, episodic return=73.28172302246094\n", + "global step=44746752, episodic return=2476.931884765625\n", + "global step=44746752, episodic return=2350.883544921875\n", + "global step=44746752, episodic return=2399.341796875\n", + "global step=44748800, episodic return=2468.26513671875\n", + "global step=44748800, episodic return=2439.278564453125\n", + "global step=44750848, episodic return=2368.451904296875\n", + "global step=44750848, episodic return=2476.455322265625\n", + "global step=44752896, episodic return=2442.99658203125\n", + "global step=44752896, episodic return=2453.834228515625\n", + "global step=44752896, episodic return=2490.479736328125\n", + "global step=44754944, episodic return=2430.4296875\n", + "global step=44754944, episodic return=2354.203125\n", + "global step=44754944, episodic return=2372.3291015625\n", + "global step=44756992, episodic return=2401.599609375\n", + "global step=44756992, episodic return=2405.373779296875\n", + "global step=44759040, episodic return=2367.766845703125\n", + "global step=44759040, episodic return=1121.857666015625\n", + "global step=44761088, episodic return=2414.16845703125\n", + "global step=44761088, episodic return=2449.897216796875\n", + "global step=44761088, episodic return=43.66295623779297\n", + "global step=44761088, episodic return=2402.958984375\n", + "global step=44763136, episodic return=2394.63818359375\n", + "global step=44763136, episodic return=2447.939697265625\n", + "global step=44763136, episodic return=2442.363037109375\n", + "global step=44765184, episodic return=2441.663330078125\n", + "global step=44765184, episodic return=2459.728759765625\n", + "global step=44767232, episodic return=2395.119873046875\n", + "global step=44767232, episodic return=2379.345947265625\n", + "global step=44767232, episodic return=2428.84814453125\n", + "global step=44767232, episodic return=2228.892578125\n", + "global step=44767232, episodic return=2350.5048828125\n", + "global step=44769280, episodic return=2250.302978515625\n", + "global step=44769280, episodic return=209.294189453125\n", + "global step=44769280, episodic return=2450.283447265625\n", + "global step=44771328, episodic return=2456.72802734375\n", + "global step=44771328, episodic return=2432.072998046875\n", + "global step=44771328, episodic return=2375.92626953125\n", + "global step=44773376, episodic return=2460.223876953125\n", + "global step=44775424, episodic return=2431.391845703125\n", + "global step=44779520, episodic return=2467.51416015625\n", + "global step=44781568, episodic return=2396.94140625\n", + "global step=44781568, episodic return=251.82211303710938\n", + "global step=44781568, episodic return=2406.335693359375\n", + "global step=44781568, episodic return=2435.22314453125\n", + "global step=44781568, episodic return=2404.95361328125\n", + "global step=44783616, episodic return=2462.172119140625\n", + "global step=44783616, episodic return=2398.621826171875\n", + "global step=44783616, episodic return=2391.34912109375\n", + "global step=44783616, episodic return=206.42034912109375\n", + "global step=44787712, episodic return=2354.888916015625\n", + "global step=44787712, episodic return=2324.32958984375\n", + "global step=44787712, episodic return=2409.572998046875\n", + "global step=44787712, episodic return=2429.16796875\n", + "global step=44787712, episodic return=2419.262939453125\n", + "global step=44789760, episodic return=2344.031005859375\n", + "global step=44789760, episodic return=2397.66650390625\n", + "global step=44791808, episodic return=2374.005126953125\n", + "global step=44793856, episodic return=2463.30126953125\n", + "global step=44793856, episodic return=2402.0537109375\n", + "global step=44795904, episodic return=2432.19921875\n", + "global step=44795904, episodic return=2419.888427734375\n", + "global step=44797952, episodic return=2134.4052734375\n", + "global step=44797952, episodic return=2137.7587890625\n", + "global step=44800000, episodic return=2385.6025390625\n", + "global step=44800000, episodic return=2415.455810546875\n", + "global step=44800000, episodic return=2431.960205078125\n", + "global step=44800000, episodic return=2371.223876953125\n", + "global step=44802048, episodic return=2201.569091796875\n", + "global step=44804096, episodic return=2356.54296875\n", + "global step=44804096, episodic return=2470.015869140625\n", + "global step=44804096, episodic return=2294.0576171875\n", + "global step=44804096, episodic return=2376.646728515625\n", + "global step=44806144, episodic return=2456.567138671875\n", + "global step=44806144, episodic return=2460.13623046875\n", + "global step=44806144, episodic return=2394.122802734375\n", + "global step=44806144, episodic return=2465.337646484375\n", + "global step=44806144, episodic return=2456.320068359375\n", + "global step=44808192, episodic return=2435.142822265625\n", + "global step=44810240, episodic return=2420.577880859375\n", + "global step=44812288, episodic return=41.98394012451172\n", + "global step=44812288, episodic return=2413.67724609375\n", + "global step=44812288, episodic return=2441.830810546875\n", + "global step=44814336, episodic return=2411.96240234375\n", + "global step=44814336, episodic return=2388.87353515625\n", + "global step=44816384, episodic return=2413.124755859375\n", + "global step=44816384, episodic return=48.65773010253906\n", + "global step=44816384, episodic return=2441.809814453125\n", + "global step=44818432, episodic return=2416.7294921875\n", + "global step=44820480, episodic return=2376.831298828125\n", + "global step=44820480, episodic return=2392.18896484375\n", + "global step=44822528, episodic return=2336.239013671875\n", + "global step=44822528, episodic return=2451.31396484375\n", + "global step=44822528, episodic return=2331.783935546875\n", + "global step=44824576, episodic return=2432.606689453125\n", + "global step=44824576, episodic return=2370.001953125\n", + "global step=44824576, episodic return=2386.80029296875\n", + "global step=44824576, episodic return=2400.67431640625\n", + "global step=44826624, episodic return=2334.563232421875\n", + "global step=44826624, episodic return=317.2609558105469\n", + "global step=44826624, episodic return=1973.3289794921875\n", + "global step=44826624, episodic return=2365.676513671875\n", + "global step=44826624, episodic return=2412.89013671875\n", + "global step=44826624, episodic return=2415.595703125\n", + "global step=44826624, episodic return=2269.9619140625\n", + "global step=44828672, episodic return=2436.753662109375\n", + "global step=44828672, episodic return=2412.027099609375\n", + "global step=44834816, episodic return=2371.90673828125\n", + "global step=44834816, episodic return=1354.1591796875\n", + "global step=44836864, episodic return=2441.418701171875\n", + "global step=44836864, episodic return=2394.056640625\n", + "global step=44836864, episodic return=2371.95458984375\n", + "global step=44840960, episodic return=2407.480712890625\n", + "global step=44840960, episodic return=2345.819580078125\n", + "global step=44840960, episodic return=2397.58837890625\n", + "global step=44840960, episodic return=2405.439208984375\n", + "global step=44843008, episodic return=2456.833740234375\n", + "global step=44843008, episodic return=2349.084716796875\n", + "global step=44843008, episodic return=2324.300048828125\n", + "global step=44847104, episodic return=1763.0328369140625\n", + "global step=44847104, episodic return=2423.789794921875\n", + "global step=44847104, episodic return=2381.579345703125\n", + "global step=44847104, episodic return=2360.587158203125\n", + "global step=44847104, episodic return=2422.065185546875\n", + "global step=44849152, episodic return=2383.518798828125\n", + "global step=44849152, episodic return=2390.2021484375\n", + "global step=44851200, episodic return=2418.386962890625\n", + "global step=44853248, episodic return=2441.64794921875\n", + "global step=44853248, episodic return=2443.4921875\n", + "global step=44853248, episodic return=2404.423095703125\n", + "global step=44853248, episodic return=2414.974365234375\n", + "global step=44855296, episodic return=2382.44091796875\n", + "global step=44855296, episodic return=2448.581787109375\n", + "global step=44857344, episodic return=2444.76171875\n", + "global step=44857344, episodic return=165.62156677246094\n", + "global step=44861440, episodic return=2419.8203125\n", + "global step=44863488, episodic return=2336.80517578125\n", + "global step=44863488, episodic return=2351.703369140625\n", + "global step=44863488, episodic return=2408.621337890625\n", + "global step=44863488, episodic return=2444.05859375\n", + "global step=44865536, episodic return=2361.2275390625\n", + "global step=44865536, episodic return=2435.72509765625\n", + "global step=44865536, episodic return=2452.67431640625\n", + "global step=44865536, episodic return=2350.603759765625\n", + "global step=44865536, episodic return=2364.51123046875\n", + "global step=44867584, episodic return=2383.48095703125\n", + "global step=44867584, episodic return=2341.887939453125\n", + "global step=44867584, episodic return=2425.222900390625\n", + "global step=44867584, episodic return=2410.625732421875\n", + "global step=44869632, episodic return=2460.77197265625\n", + "global step=44869632, episodic return=2411.28369140625\n", + "global step=44871680, episodic return=2473.384033203125\n", + "global step=44871680, episodic return=2369.650146484375\n", + "global step=44873728, episodic return=2386.086181640625\n", + "global step=44873728, episodic return=2290.791015625\n", + "global step=44873728, episodic return=2384.46875\n", + "global step=44873728, episodic return=2387.12255859375\n", + "global step=44873728, episodic return=2468.12255859375\n", + "global step=44875776, episodic return=2386.399169921875\n", + "global step=44875776, episodic return=2347.068359375\n", + "global step=44877824, episodic return=2448.680908203125\n", + "global step=44879872, episodic return=2346.583251953125\n", + "global step=44879872, episodic return=56.044837951660156\n", + "global step=44881920, episodic return=2210.30078125\n", + "global step=44881920, episodic return=162.72019958496094\n", + "global step=44881920, episodic return=2445.8349609375\n", + "global step=44883968, episodic return=2325.16455078125\n", + "global step=44883968, episodic return=2259.00830078125\n", + "global step=44883968, episodic return=2348.6513671875\n", + "global step=44886016, episodic return=2394.279541015625\n", + "global step=44886016, episodic return=2377.071533203125\n", + "global step=44886016, episodic return=2464.282470703125\n", + "global step=44888064, episodic return=2382.28564453125\n", + "global step=44890112, episodic return=2375.52197265625\n", + "global step=44890112, episodic return=2389.2392578125\n", + "global step=44890112, episodic return=2392.368896484375\n", + "global step=44892160, episodic return=2422.775146484375\n", + "global step=44892160, episodic return=2404.645263671875\n", + "global step=44892160, episodic return=2380.202880859375\n", + "global step=44892160, episodic return=2441.48681640625\n", + "global step=44894208, episodic return=165.57948303222656\n", + "global step=44896256, episodic return=2409.638916015625\n", + "global step=44896256, episodic return=2364.844970703125\n", + "global step=44896256, episodic return=2271.98876953125\n", + "global step=44896256, episodic return=2477.41455078125\n", + "global step=44898304, episodic return=2409.781005859375\n", + "global step=44898304, episodic return=2452.92626953125\n", + "global step=44898304, episodic return=43.254737854003906\n", + "global step=44898304, episodic return=2421.949462890625\n", + "global step=44900352, episodic return=2459.6181640625\n", + "global step=44900352, episodic return=2412.3720703125\n", + "global step=44900352, episodic return=2342.3115234375\n", + "global step=44900352, episodic return=2376.549560546875\n", + "global step=44902400, episodic return=2296.823974609375\n", + "global step=44902400, episodic return=2434.125\n", + "global step=44904448, episodic return=1943.5538330078125\n", + "global step=44904448, episodic return=2400.237548828125\n", + "global step=44906496, episodic return=2341.326171875\n", + "global step=44906496, episodic return=2440.32080078125\n", + "global step=44906496, episodic return=2504.541259765625\n", + "global step=44908544, episodic return=2285.1787109375\n", + "global step=44908544, episodic return=2446.330322265625\n", + "global step=44908544, episodic return=2440.004638671875\n", + "global step=44908544, episodic return=2290.647216796875\n", + "global step=44910592, episodic return=2367.563232421875\n", + "global step=44910592, episodic return=2422.946044921875\n", + "global step=44910592, episodic return=2400.03466796875\n", + "global step=44912640, episodic return=2399.541015625\n", + "global step=44914688, episodic return=2269.6494140625\n", + "global step=44914688, episodic return=2404.08642578125\n", + "global step=44916736, episodic return=2409.326416015625\n", + "global step=44916736, episodic return=2416.521240234375\n", + "global step=44918784, episodic return=2437.528076171875\n", + "global step=44918784, episodic return=2374.73046875\n", + "global step=44918784, episodic return=2326.80224609375\n", + "global step=44918784, episodic return=2435.6484375\n", + "global step=44918784, episodic return=2464.550537109375\n", + "global step=44920832, episodic return=2418.754638671875\n", + "global step=44920832, episodic return=2305.681884765625\n", + "global step=44920832, episodic return=2405.249755859375\n", + "global step=44920832, episodic return=1518.1331787109375\n", + "global step=44920832, episodic return=2400.10986328125\n", + "global step=44922880, episodic return=2369.107666015625\n", + "global step=44922880, episodic return=2347.451904296875\n", + "global step=44922880, episodic return=2386.850830078125\n", + "global step=44924928, episodic return=2438.364990234375\n", + "global step=44924928, episodic return=2416.27685546875\n", + "global step=44924928, episodic return=588.6213989257812\n", + "global step=44926976, episodic return=2284.570068359375\n", + "global step=44926976, episodic return=2446.6015625\n", + "global step=44929024, episodic return=1488.1373291015625\n", + "global step=44929024, episodic return=2438.89208984375\n", + "global step=44929024, episodic return=2404.185302734375\n", + "global step=44929024, episodic return=2365.552978515625\n", + "global step=44929024, episodic return=2335.350341796875\n", + "global step=44931072, episodic return=2394.3125\n", + "global step=44931072, episodic return=2442.78515625\n", + "global step=44931072, episodic return=2416.15283203125\n", + "global step=44931072, episodic return=2326.66943359375\n", + "global step=44931072, episodic return=2380.6708984375\n", + "global step=44931072, episodic return=988.8615112304688\n", + "global step=44931072, episodic return=2361.330078125\n", + "global step=44933120, episodic return=2332.328369140625\n", + "global step=44935168, episodic return=2349.85400390625\n", + "global step=44937216, episodic return=2421.8935546875\n", + "global step=44937216, episodic return=2343.28955078125\n", + "global step=44937216, episodic return=2407.1630859375\n", + "global step=44939264, episodic return=2429.794921875\n", + "global step=44939264, episodic return=2427.0673828125\n", + "global step=44939264, episodic return=15.914947509765625\n", + "global step=44939264, episodic return=506.6585693359375\n", + "global step=44941312, episodic return=2445.027587890625\n", + "global step=44941312, episodic return=2418.446044921875\n", + "global step=44941312, episodic return=2310.2509765625\n", + "global step=44941312, episodic return=2446.770263671875\n", + "global step=44943360, episodic return=2337.697021484375\n", + "global step=44943360, episodic return=2416.6474609375\n", + "global step=44945408, episodic return=2368.724609375\n", + "global step=44945408, episodic return=2305.72021484375\n", + "global step=44945408, episodic return=2399.804931640625\n", + "global step=44945408, episodic return=2405.216552734375\n", + "global step=44945408, episodic return=2381.907958984375\n", + "global step=44947456, episodic return=2392.278076171875\n", + "global step=44947456, episodic return=2251.93359375\n", + "global step=44947456, episodic return=789.2525634765625\n", + "global step=44947456, episodic return=2376.805908203125\n", + "global step=44949504, episodic return=2342.10791015625\n", + "global step=44951552, episodic return=2370.705810546875\n", + "global step=44951552, episodic return=2451.743896484375\n", + "global step=44953600, episodic return=2097.860107421875\n", + "global step=44953600, episodic return=1443.9417724609375\n", + "global step=44955648, episodic return=1278.365234375\n", + "global step=44957696, episodic return=2339.6005859375\n", + "global step=44959744, episodic return=2380.58544921875\n", + "global step=44959744, episodic return=2427.752197265625\n", + "global step=44961792, episodic return=1494.162353515625\n", + "global step=44963840, episodic return=2402.197509765625\n", + "global step=44963840, episodic return=2387.28173828125\n", + "global step=44963840, episodic return=2266.354248046875\n", + "global step=44963840, episodic return=2373.609130859375\n", + "global step=44963840, episodic return=2388.306884765625\n", + "global step=44965888, episodic return=2369.062744140625\n", + "global step=44965888, episodic return=2422.237060546875\n", + "global step=44965888, episodic return=2358.351318359375\n", + "global step=44965888, episodic return=2339.9755859375\n", + "global step=44965888, episodic return=2362.505126953125\n", + "global step=44965888, episodic return=2399.62109375\n", + "global step=44965888, episodic return=2384.8056640625\n", + "global step=44965888, episodic return=2396.099365234375\n", + "global step=44969984, episodic return=2380.026611328125\n", + "global step=44969984, episodic return=2396.5166015625\n", + "global step=44972032, episodic return=2367.4345703125\n", + "global step=44972032, episodic return=2352.7255859375\n", + "global step=44972032, episodic return=2390.248046875\n", + "global step=44974080, episodic return=2337.735107421875\n", + "global step=44974080, episodic return=2394.10302734375\n", + "global step=44980224, episodic return=2324.8046875\n", + "global step=44980224, episodic return=2370.4013671875\n", + "global step=44980224, episodic return=2417.310546875\n", + "global step=44980224, episodic return=2387.561279296875\n", + "global step=44980224, episodic return=2318.391357421875\n", + "global step=44982272, episodic return=2441.812255859375\n", + "global step=44982272, episodic return=2366.537353515625\n", + "global step=44982272, episodic return=2382.262939453125\n", + "global step=44982272, episodic return=2324.36962890625\n", + "global step=44982272, episodic return=2423.188720703125\n", + "global step=44982272, episodic return=2463.0146484375\n", + "global step=44982272, episodic return=2410.182861328125\n", + "global step=44984320, episodic return=2331.81396484375\n", + "global step=44984320, episodic return=2462.07177734375\n", + "global step=44984320, episodic return=2308.703125\n", + "global step=44984320, episodic return=2389.023681640625\n", + "global step=44986368, episodic return=1292.986328125\n", + "global step=44986368, episodic return=1518.697509765625\n", + "global step=44988416, episodic return=2277.582275390625\n", + "global step=44988416, episodic return=2386.687744140625\n", + "global step=44988416, episodic return=1580.0125732421875\n", + "global step=44988416, episodic return=2402.777587890625\n", + "global step=44988416, episodic return=2423.69482421875\n", + "global step=44990464, episodic return=2416.039794921875\n", + "global step=44992512, episodic return=2290.77978515625\n", + "global step=44992512, episodic return=2406.3623046875\n", + "global step=44992512, episodic return=2350.767333984375\n", + "global step=44994560, episodic return=2384.18701171875\n", + "global step=44994560, episodic return=220.08592224121094\n", + "global step=44996608, episodic return=536.5631103515625\n", + "global step=44996608, episodic return=2424.248291015625\n", + "global step=44996608, episodic return=2491.1669921875\n", + "global step=44996608, episodic return=2429.5400390625\n", + "global step=44996608, episodic return=2412.614013671875\n", + "global step=44998656, episodic return=158.35641479492188\n", + "global step=44998656, episodic return=2345.667724609375\n", + "global step=45000704, episodic return=2310.13134765625\n", + "global step=45000704, episodic return=2265.892822265625\n", + "global step=45002752, episodic return=2411.7216796875\n", + "global step=45004800, episodic return=494.0270690917969\n", + "global step=45004800, episodic return=2441.0439453125\n", + "global step=45006848, episodic return=2353.777099609375\n", + "global step=45006848, episodic return=807.9819946289062\n", + "global step=45006848, episodic return=2425.919677734375\n", + "global step=45008896, episodic return=2392.19140625\n", + "global step=45012992, episodic return=2404.371337890625\n", + "global step=45012992, episodic return=2383.48046875\n", + "global step=45012992, episodic return=2194.726318359375\n", + "global step=45015040, episodic return=2383.49951171875\n", + "global step=45017088, episodic return=2417.285888671875\n", + "global step=45019136, episodic return=2399.894775390625\n", + "global step=45019136, episodic return=2325.231201171875\n", + "global step=45019136, episodic return=2409.764404296875\n", + "global step=45021184, episodic return=2333.764892578125\n", + "global step=45021184, episodic return=326.50323486328125\n", + "global step=45021184, episodic return=2373.401611328125\n", + "global step=45021184, episodic return=2416.41064453125\n", + "global step=45021184, episodic return=2459.01513671875\n", + "global step=45021184, episodic return=2359.918701171875\n", + "global step=45021184, episodic return=2311.052978515625\n", + "global step=45023232, episodic return=2367.097412109375\n", + "global step=45023232, episodic return=2399.277587890625\n", + "global step=45023232, episodic return=2413.409912109375\n", + "global step=45025280, episodic return=2442.967529296875\n", + "global step=45025280, episodic return=2321.506103515625\n", + "global step=45025280, episodic return=2268.382568359375\n", + "global step=45025280, episodic return=2392.40625\n", + "global step=45027328, episodic return=136.88980102539062\n", + "global step=45027328, episodic return=1871.318359375\n", + "global step=45027328, episodic return=1463.5877685546875\n", + "global step=45029376, episodic return=2383.642333984375\n", + "global step=45029376, episodic return=1817.0999755859375\n", + "global step=45031424, episodic return=2413.530029296875\n", + "global step=45031424, episodic return=2385.27197265625\n", + "global step=45031424, episodic return=2476.944580078125\n", + "global step=45031424, episodic return=2026.2908935546875\n", + "global step=45033472, episodic return=2458.279296875\n", + "global step=45033472, episodic return=2432.66064453125\n", + "global step=45033472, episodic return=2359.646484375\n", + "global step=45033472, episodic return=2373.74267578125\n", + "global step=45035520, episodic return=2419.252685546875\n", + "global step=45035520, episodic return=2349.462158203125\n", + "global step=45035520, episodic return=2370.863525390625\n", + "global step=45037568, episodic return=2429.08740234375\n", + "global step=45037568, episodic return=2047.087646484375\n", + "global step=45037568, episodic return=1395.305419921875\n", + "global step=45039616, episodic return=2331.27880859375\n", + "global step=45039616, episodic return=2477.2451171875\n", + "global step=45041664, episodic return=2425.309814453125\n", + "global step=45041664, episodic return=2461.467041015625\n", + "global step=45043712, episodic return=2441.515869140625\n", + "global step=45043712, episodic return=2438.05908203125\n", + "global step=45043712, episodic return=2439.552490234375\n", + "global step=45043712, episodic return=2406.006103515625\n", + "global step=45043712, episodic return=2371.4560546875\n", + "global step=45043712, episodic return=2339.009033203125\n", + "global step=45045760, episodic return=2410.9169921875\n", + "global step=45045760, episodic return=2330.885986328125\n", + "global step=45045760, episodic return=2397.85546875\n", + "global step=45045760, episodic return=2420.476318359375\n", + "global step=45045760, episodic return=2414.1259765625\n", + "global step=45047808, episodic return=2402.444091796875\n", + "global step=45047808, episodic return=1655.691162109375\n", + "global step=45049856, episodic return=2374.181884765625\n", + "global step=45049856, episodic return=2402.71826171875\n", + "global step=45049856, episodic return=2401.31982421875\n", + "global step=45051904, episodic return=2375.74169921875\n", + "global step=45051904, episodic return=2451.33251953125\n", + "global step=45051904, episodic return=2456.852294921875\n", + "global step=45051904, episodic return=2310.95068359375\n", + "global step=45051904, episodic return=2350.45263671875\n", + "global step=45051904, episodic return=2411.230712890625\n", + "global step=45053952, episodic return=2411.668212890625\n", + "global step=45053952, episodic return=2409.25439453125\n", + "global step=45056000, episodic return=2412.066162109375\n", + "global step=45056000, episodic return=2331.173828125\n", + "global step=45058048, episodic return=2432.480224609375\n", + "global step=45060096, episodic return=2458.433349609375\n", + "global step=45062144, episodic return=2400.040283203125\n", + "global step=45062144, episodic return=2391.23974609375\n", + "global step=45064192, episodic return=2372.662353515625\n", + "global step=45066240, episodic return=2430.905517578125\n", + "global step=45066240, episodic return=2448.095947265625\n", + "global step=45066240, episodic return=2416.557861328125\n", + "global step=45066240, episodic return=2388.184326171875\n", + "global step=45068288, episodic return=2386.818603515625\n", + "global step=45070336, episodic return=2373.965087890625\n", + "global step=45070336, episodic return=2440.56298828125\n", + "global step=45070336, episodic return=2385.28369140625\n", + "global step=45072384, episodic return=2376.91357421875\n", + "global step=45074432, episodic return=2400.636474609375\n", + "global step=45074432, episodic return=1459.56591796875\n", + "global step=45076480, episodic return=2403.934814453125\n", + "global step=45078528, episodic return=331.87506103515625\n", + "global step=45082624, episodic return=2396.9990234375\n", + "global step=45082624, episodic return=2430.458251953125\n", + "global step=45082624, episodic return=2433.85791015625\n", + "global step=45082624, episodic return=2359.87939453125\n", + "global step=45082624, episodic return=2406.70361328125\n", + "global step=45082624, episodic return=2385.54736328125\n", + "global step=45084672, episodic return=2324.61279296875\n", + "global step=45084672, episodic return=2376.079833984375\n", + "global step=45084672, episodic return=2434.05224609375\n", + "global step=45084672, episodic return=2461.554931640625\n", + "global step=45084672, episodic return=2381.3662109375\n", + "global step=45086720, episodic return=1502.7664794921875\n", + "global step=45086720, episodic return=2367.563232421875\n", + "global step=45088768, episodic return=2434.770263671875\n", + "global step=45088768, episodic return=2294.3212890625\n", + "global step=45088768, episodic return=2375.3134765625\n", + "global step=45088768, episodic return=2376.615234375\n", + "global step=45092864, episodic return=2393.656494140625\n", + "global step=45092864, episodic return=2364.216796875\n", + "global step=45092864, episodic return=2440.196044921875\n", + "global step=45092864, episodic return=2400.7958984375\n", + "global step=45092864, episodic return=2387.39404296875\n", + "global step=45094912, episodic return=2414.822265625\n", + "global step=45094912, episodic return=2375.609130859375\n", + "global step=45096960, episodic return=2417.285888671875\n", + "global step=45096960, episodic return=991.808349609375\n", + "global step=45099008, episodic return=2467.701171875\n", + "global step=45099008, episodic return=2412.529296875\n", + "global step=45101056, episodic return=2391.0859375\n", + "global step=45101056, episodic return=2410.305419921875\n", + "global step=45105152, episodic return=2434.783447265625\n", + "global step=45107200, episodic return=2394.504638671875\n", + "global step=45107200, episodic return=2384.69091796875\n", + "global step=45109248, episodic return=2399.671875\n", + "global step=45109248, episodic return=2402.884521484375\n", + "global step=45113344, episodic return=2375.806396484375\n", + "global step=45113344, episodic return=2366.670166015625\n", + "global step=45113344, episodic return=166.25967407226562\n", + "global step=45113344, episodic return=2438.562744140625\n", + "global step=45115392, episodic return=2321.130615234375\n", + "global step=45117440, episodic return=2461.41259765625\n", + "global step=45117440, episodic return=1515.146484375\n", + "global step=45119488, episodic return=2379.830078125\n", + "global step=45119488, episodic return=2392.97705078125\n", + "global step=45121536, episodic return=2417.89794921875\n", + "global step=45121536, episodic return=2340.05712890625\n", + "global step=45121536, episodic return=2361.19287109375\n", + "global step=45121536, episodic return=2372.94091796875\n", + "global step=45123584, episodic return=2392.192626953125\n", + "global step=45123584, episodic return=2459.79052734375\n", + "global step=45123584, episodic return=2393.258544921875\n", + "global step=45123584, episodic return=2365.40771484375\n", + "global step=45125632, episodic return=2264.9736328125\n", + "global step=45127680, episodic return=2118.695556640625\n", + "global step=45129728, episodic return=157.93475341796875\n", + "global step=45129728, episodic return=2300.308349609375\n", + "global step=45129728, episodic return=2398.575927734375\n", + "global step=45129728, episodic return=2427.503173828125\n", + "global step=45135872, episodic return=2342.4599609375\n", + "global step=45135872, episodic return=2395.82763671875\n", + "global step=45137920, episodic return=2358.00634765625\n", + "global step=45139968, episodic return=2371.592529296875\n", + "global step=45139968, episodic return=2390.833251953125\n", + "global step=45139968, episodic return=2397.441650390625\n", + "global step=45139968, episodic return=2400.17578125\n", + "global step=45139968, episodic return=2035.3843994140625\n", + "global step=45142016, episodic return=2380.486328125\n", + "global step=45142016, episodic return=2368.8876953125\n", + "global step=45142016, episodic return=2341.052490234375\n", + "global step=45142016, episodic return=1821.65966796875\n", + "global step=45144064, episodic return=2387.573974609375\n", + "global step=45146112, episodic return=2422.8388671875\n", + "global step=45146112, episodic return=28.447431564331055\n", + "global step=45146112, episodic return=2337.900146484375\n", + "global step=45146112, episodic return=2355.71826171875\n", + "global step=45146112, episodic return=2364.763427734375\n", + "global step=45148160, episodic return=2340.99609375\n", + "global step=45150208, episodic return=2343.811279296875\n", + "global step=45150208, episodic return=2385.377197265625\n", + "global step=45150208, episodic return=2423.251708984375\n", + "global step=45150208, episodic return=2403.005126953125\n", + "global step=45152256, episodic return=247.05801391601562\n", + "global step=45152256, episodic return=2426.205078125\n", + "global step=45152256, episodic return=2329.855712890625\n", + "global step=45152256, episodic return=1192.3272705078125\n", + "global step=45152256, episodic return=2414.490478515625\n", + "global step=45154304, episodic return=2421.758056640625\n", + "global step=45156352, episodic return=2381.625\n", + "global step=45158400, episodic return=1189.6229248046875\n", + "global step=45158400, episodic return=2402.84521484375\n", + "global step=45158400, episodic return=2447.75146484375\n", + "global step=45158400, episodic return=2393.486328125\n", + "global step=45162496, episodic return=2417.9404296875\n", + "global step=45162496, episodic return=2378.5732421875\n", + "global step=45166592, episodic return=2420.1083984375\n", + "global step=45166592, episodic return=2337.08203125\n", + "global step=45166592, episodic return=2413.436767578125\n", + "global step=45168640, episodic return=2352.331787109375\n", + "global step=45170688, episodic return=2387.1171875\n", + "global step=45170688, episodic return=2459.01220703125\n", + "global step=45172736, episodic return=2062.02001953125\n", + "global step=45172736, episodic return=2410.491455078125\n", + "global step=45172736, episodic return=2368.7880859375\n", + "global step=45172736, episodic return=2407.060546875\n", + "global step=45172736, episodic return=2337.95751953125\n", + "global step=45172736, episodic return=2347.074951171875\n", + "global step=45172736, episodic return=574.9518432617188\n", + "global step=45174784, episodic return=2421.840087890625\n", + "global step=45174784, episodic return=156.84286499023438\n", + "global step=45176832, episodic return=2402.873779296875\n", + "global step=45176832, episodic return=2403.753662109375\n", + "global step=45176832, episodic return=2294.8251953125\n", + "global step=45176832, episodic return=932.2400512695312\n", + "global step=45176832, episodic return=2397.04052734375\n", + "global step=45178880, episodic return=2339.549072265625\n", + "global step=45178880, episodic return=2469.1162109375\n", + "global step=45180928, episodic return=168.31683349609375\n", + "global step=45180928, episodic return=2194.060546875\n", + "global step=45180928, episodic return=2218.050537109375\n", + "global step=45182976, episodic return=2438.985107421875\n", + "global step=45182976, episodic return=2217.3369140625\n", + "global step=45182976, episodic return=2362.835205078125\n", + "global step=45185024, episodic return=2407.3056640625\n", + "global step=45185024, episodic return=2390.79833984375\n", + "global step=45185024, episodic return=2432.96484375\n", + "global step=45187072, episodic return=2342.836181640625\n", + "global step=45187072, episodic return=2401.0927734375\n", + "global step=45187072, episodic return=2303.942138671875\n", + "global step=45189120, episodic return=2397.092529296875\n", + "global step=45189120, episodic return=2445.208740234375\n", + "global step=45191168, episodic return=2464.20263671875\n", + "global step=45191168, episodic return=2396.357421875\n", + "global step=45193216, episodic return=2409.3759765625\n", + "global step=45193216, episodic return=2456.659423828125\n", + "global step=45193216, episodic return=2448.137939453125\n", + "global step=45195264, episodic return=2388.298095703125\n", + "global step=45195264, episodic return=2251.646728515625\n", + "global step=45195264, episodic return=2290.247802734375\n", + "global step=45195264, episodic return=2394.695068359375\n", + "global step=45195264, episodic return=2404.796875\n", + "global step=45197312, episodic return=2374.21728515625\n", + "global step=45197312, episodic return=2419.792724609375\n", + "global step=45197312, episodic return=2464.068115234375\n", + "global step=45197312, episodic return=2455.897705078125\n", + "global step=45197312, episodic return=2380.00634765625\n", + "global step=45201408, episodic return=2178.15087890625\n", + "global step=45201408, episodic return=2415.258056640625\n", + "global step=45201408, episodic return=2351.626708984375\n", + "global step=45201408, episodic return=2358.7783203125\n", + "global step=45201408, episodic return=2391.9853515625\n", + "global step=45201408, episodic return=2435.456298828125\n", + "global step=45203456, episodic return=2471.101806640625\n", + "global step=45203456, episodic return=1711.6387939453125\n", + "global step=45203456, episodic return=2394.671630859375\n", + "global step=45205504, episodic return=2365.477783203125\n", + "global step=45205504, episodic return=2404.55126953125\n", + "global step=45207552, episodic return=2384.39404296875\n", + "global step=45207552, episodic return=121.39932250976562\n", + "global step=45207552, episodic return=2430.9658203125\n", + "global step=45209600, episodic return=2451.9140625\n", + "global step=45209600, episodic return=2360.332275390625\n", + "global step=45209600, episodic return=2423.58203125\n", + "global step=45209600, episodic return=2415.02294921875\n", + "global step=45211648, episodic return=2449.931884765625\n", + "global step=45211648, episodic return=2310.784423828125\n", + "global step=45211648, episodic return=2346.123046875\n", + "global step=45213696, episodic return=2398.75\n", + "global step=45213696, episodic return=2354.4296875\n", + "global step=45215744, episodic return=2437.511962890625\n", + "global step=45215744, episodic return=2307.16845703125\n", + "global step=45215744, episodic return=159.30929565429688\n", + "global step=45217792, episodic return=199.8984375\n", + "global step=45217792, episodic return=2443.9150390625\n", + "global step=45219840, episodic return=2415.527099609375\n", + "global step=45219840, episodic return=2358.300537109375\n", + "global step=45219840, episodic return=2401.708740234375\n", + "global step=45219840, episodic return=2435.7890625\n", + "global step=45221888, episodic return=2343.060546875\n", + "global step=45221888, episodic return=2405.33056640625\n", + "global step=45221888, episodic return=2333.8525390625\n", + "global step=45223936, episodic return=1703.37109375\n", + "global step=45225984, episodic return=2437.627197265625\n", + "global step=45225984, episodic return=2363.256591796875\n", + "global step=45225984, episodic return=2345.84423828125\n", + "global step=45225984, episodic return=2421.2138671875\n", + "global step=45230080, episodic return=2407.18310546875\n", + "global step=45232128, episodic return=2346.1123046875\n", + "global step=45232128, episodic return=1613.8992919921875\n", + "global step=45232128, episodic return=2392.57421875\n", + "global step=45234176, episodic return=2363.956298828125\n", + "global step=45234176, episodic return=2422.32958984375\n", + "global step=45236224, episodic return=2319.75048828125\n", + "global step=45238272, episodic return=2402.171142578125\n", + "global step=45238272, episodic return=26.791120529174805\n", + "global step=45238272, episodic return=2341.6513671875\n", + "global step=45238272, episodic return=2439.920166015625\n", + "global step=45238272, episodic return=1888.5977783203125\n", + "global step=45244416, episodic return=99.3525390625\n", + "global step=45244416, episodic return=2431.7451171875\n", + "global step=45244416, episodic return=2353.103759765625\n", + "global step=45244416, episodic return=2398.031005859375\n", + "global step=45246464, episodic return=2412.11181640625\n", + "global step=45248512, episodic return=2386.621826171875\n", + "global step=45248512, episodic return=2433.452392578125\n", + "global step=45250560, episodic return=2387.9609375\n", + "global step=45250560, episodic return=2443.9462890625\n", + "global step=45250560, episodic return=2438.3125\n", + "global step=45252608, episodic return=2409.459716796875\n", + "global step=45254656, episodic return=2377.05712890625\n", + "global step=45254656, episodic return=2340.27294921875\n", + "global step=45256704, episodic return=2382.078369140625\n", + "global step=45256704, episodic return=1167.9373779296875\n", + "global step=45256704, episodic return=116.10820007324219\n", + "global step=45256704, episodic return=2307.91650390625\n", + "global step=45258752, episodic return=55.70314407348633\n", + "global step=45258752, episodic return=2375.0849609375\n", + "global step=45258752, episodic return=133.69906616210938\n", + "global step=45260800, episodic return=1999.9327392578125\n", + "global step=45260800, episodic return=2276.554931640625\n", + "global step=45260800, episodic return=2429.16552734375\n", + "global step=45262848, episodic return=2403.789306640625\n", + "global step=45262848, episodic return=2456.177490234375\n", + "global step=45262848, episodic return=2451.6416015625\n", + "global step=45264896, episodic return=2372.126220703125\n", + "global step=45264896, episodic return=2393.121826171875\n", + "global step=45264896, episodic return=2335.847412109375\n", + "global step=45266944, episodic return=2340.2861328125\n", + "global step=45268992, episodic return=2388.50830078125\n", + "global step=45268992, episodic return=2433.988525390625\n", + "global step=45268992, episodic return=2303.602783203125\n", + "global step=45268992, episodic return=2402.143798828125\n", + "global step=45271040, episodic return=2407.315185546875\n", + "global step=45273088, episodic return=2392.754150390625\n", + "global step=45275136, episodic return=2363.92724609375\n", + "global step=45275136, episodic return=2353.66455078125\n", + "global step=45275136, episodic return=2441.408203125\n", + "global step=45277184, episodic return=2461.1904296875\n", + "global step=45277184, episodic return=2381.955078125\n", + "global step=45277184, episodic return=2427.7392578125\n", + "global step=45279232, episodic return=2398.562744140625\n", + "global step=45281280, episodic return=2349.0625\n", + "global step=45281280, episodic return=2422.744140625\n", + "global step=45281280, episodic return=2309.313232421875\n", + "global step=45281280, episodic return=2401.55126953125\n", + "global step=45283328, episodic return=2408.61181640625\n", + "global step=45283328, episodic return=2394.9248046875\n", + "global step=45285376, episodic return=2387.68994140625\n", + "global step=45289472, episodic return=2384.1064453125\n", + "global step=45289472, episodic return=144.49818420410156\n", + "global step=45289472, episodic return=2404.578857421875\n", + "global step=45289472, episodic return=110.66596221923828\n", + "global step=45291520, episodic return=2476.54638671875\n", + "global step=45293568, episodic return=2290.9814453125\n", + "global step=45293568, episodic return=1860.0166015625\n", + "global step=45293568, episodic return=2444.091796875\n", + "global step=45295616, episodic return=206.92991638183594\n", + "global step=45295616, episodic return=1168.497314453125\n", + "global step=45295616, episodic return=2242.276611328125\n", + "global step=45295616, episodic return=1597.5989990234375\n", + "global step=45297664, episodic return=2343.688232421875\n", + "global step=45297664, episodic return=2411.585693359375\n", + "global step=45297664, episodic return=2153.488525390625\n", + "global step=45299712, episodic return=2385.769287109375\n", + "global step=45299712, episodic return=2413.529296875\n", + "global step=45299712, episodic return=2468.14990234375\n", + "global step=45301760, episodic return=2315.9951171875\n", + "global step=45301760, episodic return=2367.023193359375\n", + "global step=45303808, episodic return=2404.455078125\n", + "global step=45303808, episodic return=2419.73681640625\n", + "global step=45303808, episodic return=2410.691650390625\n", + "global step=45303808, episodic return=2397.4658203125\n", + "global step=45303808, episodic return=2402.14013671875\n", + "global step=45305856, episodic return=2303.5634765625\n", + "global step=45305856, episodic return=2389.458251953125\n", + "global step=45305856, episodic return=2388.20263671875\n", + "global step=45305856, episodic return=2474.181396484375\n", + "global step=45307904, episodic return=2436.9755859375\n", + "global step=45307904, episodic return=2412.42626953125\n", + "global step=45309952, episodic return=2485.994140625\n", + "global step=45309952, episodic return=2061.7041015625\n", + "global step=45309952, episodic return=2351.957275390625\n", + "global step=45309952, episodic return=2094.30908203125\n", + "global step=45312000, episodic return=2346.8408203125\n", + "global step=45312000, episodic return=2386.5009765625\n", + "global step=45314048, episodic return=107.22811126708984\n", + "global step=45316096, episodic return=2355.921142578125\n", + "global step=45316096, episodic return=2479.917724609375\n", + "global step=45316096, episodic return=2449.154296875\n", + "global step=45316096, episodic return=2448.890625\n", + "global step=45318144, episodic return=2438.680908203125\n", + "global step=45318144, episodic return=2408.870849609375\n", + "global step=45320192, episodic return=122.56300354003906\n", + "global step=45320192, episodic return=2334.85693359375\n", + "global step=45320192, episodic return=2360.699951171875\n", + "global step=45322240, episodic return=2415.326904296875\n", + "global step=45322240, episodic return=2435.060546875\n", + "global step=45322240, episodic return=2392.8076171875\n", + "global step=45322240, episodic return=506.87628173828125\n", + "global step=45322240, episodic return=2407.21875\n", + "global step=45324288, episodic return=2296.892333984375\n", + "global step=45324288, episodic return=2381.28076171875\n", + "global step=45324288, episodic return=2337.395751953125\n", + "global step=45326336, episodic return=2338.78125\n", + "global step=45326336, episodic return=2280.67333984375\n", + "global step=45326336, episodic return=2448.17431640625\n", + "global step=45332480, episodic return=2464.93408203125\n", + "global step=45332480, episodic return=209.4996795654297\n", + "global step=45334528, episodic return=2443.21875\n", + "global step=45334528, episodic return=2247.208740234375\n", + "global step=45336576, episodic return=2340.71826171875\n", + "global step=45336576, episodic return=2351.199462890625\n", + "global step=45336576, episodic return=2423.568603515625\n", + "global step=45336576, episodic return=2448.140625\n", + "global step=45336576, episodic return=2460.445068359375\n", + "global step=45336576, episodic return=2438.233154296875\n", + "global step=45336576, episodic return=2401.007568359375\n", + "global step=45338624, episodic return=2475.343017578125\n", + "global step=45338624, episodic return=2377.494140625\n", + "global step=45340672, episodic return=2421.544189453125\n", + "global step=45340672, episodic return=2430.9072265625\n", + "global step=45342720, episodic return=2432.18505859375\n", + "global step=45342720, episodic return=2417.779296875\n", + "global step=45342720, episodic return=199.86660766601562\n", + "global step=45344768, episodic return=2366.702880859375\n", + "global step=45344768, episodic return=2053.05126953125\n", + "global step=45344768, episodic return=2339.433349609375\n", + "global step=45344768, episodic return=2381.802734375\n", + "global step=45344768, episodic return=116.67765045166016\n", + "global step=45346816, episodic return=2378.856201171875\n", + "global step=45346816, episodic return=2301.937255859375\n", + "global step=45346816, episodic return=2398.356689453125\n", + "global step=45346816, episodic return=2391.4794921875\n", + "global step=45348864, episodic return=1539.892578125\n", + "global step=45348864, episodic return=2424.361083984375\n", + "global step=45348864, episodic return=2413.096923828125\n", + "global step=45350912, episodic return=2257.823486328125\n", + "global step=45350912, episodic return=2409.82861328125\n", + "global step=45352960, episodic return=2500.0322265625\n", + "global step=45352960, episodic return=2401.26708984375\n", + "global step=45352960, episodic return=2409.775390625\n", + "global step=45352960, episodic return=2379.54150390625\n", + "global step=45355008, episodic return=2353.34326171875\n", + "global step=45355008, episodic return=2380.966552734375\n", + "global step=45357056, episodic return=2373.275390625\n", + "global step=45359104, episodic return=2477.17041015625\n", + "global step=45359104, episodic return=2381.7099609375\n", + "global step=45361152, episodic return=2179.663818359375\n", + "global step=45361152, episodic return=2428.675048828125\n", + "global step=45361152, episodic return=2456.939208984375\n", + "global step=45363200, episodic return=2395.873046875\n", + "global step=45363200, episodic return=2402.55078125\n", + "global step=45363200, episodic return=2438.28759765625\n", + "global step=45365248, episodic return=2412.23486328125\n", + "global step=45365248, episodic return=2418.818603515625\n", + "global step=45365248, episodic return=2411.9501953125\n", + "global step=45365248, episodic return=2311.08544921875\n", + "global step=45365248, episodic return=2367.343017578125\n", + "global step=45367296, episodic return=2511.625244140625\n", + "global step=45371392, episodic return=2343.3134765625\n", + "global step=45371392, episodic return=2322.746337890625\n", + "global step=45371392, episodic return=2351.972412109375\n", + "global step=45373440, episodic return=2465.771240234375\n", + "global step=45375488, episodic return=2406.049072265625\n", + "global step=45375488, episodic return=2458.960205078125\n", + "global step=45377536, episodic return=2456.585693359375\n", + "global step=45381632, episodic return=2396.25634765625\n", + "global step=45381632, episodic return=2341.618408203125\n", + "global step=45381632, episodic return=2087.89013671875\n", + "global step=45383680, episodic return=2441.334228515625\n", + "global step=45385728, episodic return=2410.765625\n", + "global step=45385728, episodic return=2385.556396484375\n", + "global step=45387776, episodic return=269.4871520996094\n", + "global step=45387776, episodic return=2353.8359375\n", + "global step=45387776, episodic return=653.9445190429688\n", + "global step=45389824, episodic return=2362.31103515625\n", + "global step=45389824, episodic return=2412.36181640625\n", + "global step=45391872, episodic return=2446.5009765625\n", + "global step=45393920, episodic return=2319.5771484375\n", + "global step=45402112, episodic return=2471.47802734375\n", + "global step=45402112, episodic return=2373.11767578125\n", + "global step=45402112, episodic return=2414.759521484375\n", + "global step=45404160, episodic return=2420.595947265625\n", + "global step=45406208, episodic return=2374.805419921875\n", + "global step=45408256, episodic return=2416.5087890625\n", + "global step=45408256, episodic return=2366.044677734375\n", + "global step=45408256, episodic return=2363.523681640625\n", + "global step=45408256, episodic return=2379.60302734375\n", + "global step=45408256, episodic return=2413.330810546875\n", + "global step=45408256, episodic return=2347.38720703125\n", + "global step=45408256, episodic return=2420.68505859375\n", + "global step=45410304, episodic return=2388.585205078125\n", + "global step=45412352, episodic return=1555.9178466796875\n", + "global step=45414400, episodic return=2428.41552734375\n", + "global step=45414400, episodic return=2355.9287109375\n", + "global step=45416448, episodic return=2426.099853515625\n", + "global step=45416448, episodic return=2471.4248046875\n", + "global step=45416448, episodic return=2439.982421875\n", + "global step=45416448, episodic return=2418.341064453125\n", + "global step=45420544, episodic return=2196.690185546875\n", + "global step=45420544, episodic return=2411.099609375\n", + "global step=45424640, episodic return=2360.827880859375\n", + "global step=45424640, episodic return=165.9534912109375\n", + "global step=45424640, episodic return=2425.175537109375\n", + "global step=45426688, episodic return=2407.604736328125\n", + "global step=45428736, episodic return=2444.09375\n", + "global step=45430784, episodic return=2395.305908203125\n", + "global step=45430784, episodic return=2358.474365234375\n", + "global step=45430784, episodic return=2289.744140625\n", + "global step=45430784, episodic return=2466.096435546875\n", + "global step=45430784, episodic return=2422.687255859375\n", + "global step=45432832, episodic return=2369.8134765625\n", + "global step=45432832, episodic return=2454.4736328125\n", + "global step=45432832, episodic return=2341.1689453125\n", + "global step=45434880, episodic return=2426.21923828125\n", + "global step=45434880, episodic return=2486.603271484375\n", + "global step=45434880, episodic return=2444.448486328125\n", + "global step=45434880, episodic return=2327.0751953125\n", + "global step=45434880, episodic return=2396.12646484375\n", + "global step=45436928, episodic return=2315.925537109375\n", + "global step=45438976, episodic return=2398.46630859375\n", + "global step=45438976, episodic return=2416.791748046875\n", + "global step=45438976, episodic return=2383.54052734375\n", + "global step=45438976, episodic return=187.98321533203125\n", + "global step=45441024, episodic return=2316.97509765625\n", + "global step=45441024, episodic return=2400.86474609375\n", + "global step=45443072, episodic return=2379.84521484375\n", + "global step=45443072, episodic return=2355.490234375\n", + "global step=45445120, episodic return=2368.67529296875\n", + "global step=45447168, episodic return=2474.816162109375\n", + "global step=45449216, episodic return=2425.3046875\n", + "global step=45449216, episodic return=2452.11376953125\n", + "global step=45449216, episodic return=2479.140380859375\n", + "global step=45451264, episodic return=2370.168212890625\n", + "global step=45453312, episodic return=2193.66796875\n", + "global step=45453312, episodic return=2433.958984375\n", + "global step=45453312, episodic return=2429.787353515625\n", + "global step=45455360, episodic return=2273.205322265625\n", + "global step=45455360, episodic return=2443.80908203125\n", + "global step=45455360, episodic return=2438.199462890625\n", + "global step=45457408, episodic return=2440.654296875\n", + "global step=45459456, episodic return=2406.35888671875\n", + "global step=45461504, episodic return=2417.01220703125\n", + "global step=45461504, episodic return=2379.241455078125\n", + "global step=45461504, episodic return=2352.873046875\n", + "global step=45463552, episodic return=2467.522705078125\n", + "global step=45463552, episodic return=2439.789794921875\n", + "global step=45463552, episodic return=2433.94189453125\n", + "global step=45467648, episodic return=2372.264892578125\n", + "global step=45467648, episodic return=2379.584228515625\n", + "global step=45467648, episodic return=2086.648681640625\n", + "global step=45467648, episodic return=2351.1513671875\n", + "global step=45469696, episodic return=2430.034423828125\n", + "global step=45469696, episodic return=1521.4014892578125\n", + "global step=45471744, episodic return=2451.697998046875\n", + "global step=45471744, episodic return=2442.954833984375\n", + "global step=45471744, episodic return=2364.364990234375\n", + "global step=45471744, episodic return=2378.28857421875\n", + "global step=45471744, episodic return=236.6240234375\n", + "global step=45473792, episodic return=2351.26220703125\n", + "global step=45473792, episodic return=2395.91162109375\n", + "global step=45473792, episodic return=2457.146728515625\n", + "global step=45475840, episodic return=568.4114990234375\n", + "global step=45475840, episodic return=2400.5625\n", + "global step=45475840, episodic return=2328.1220703125\n", + "global step=45479936, episodic return=2369.909423828125\n", + "global step=45479936, episodic return=2427.220703125\n", + "global step=45479936, episodic return=2335.111572265625\n", + "global step=45479936, episodic return=972.1467895507812\n", + "global step=45481984, episodic return=2369.349853515625\n", + "global step=45481984, episodic return=2395.560546875\n", + "global step=45484032, episodic return=2319.01171875\n", + "global step=45484032, episodic return=2402.406494140625\n", + "global step=45484032, episodic return=1507.1978759765625\n", + "global step=45486080, episodic return=2345.401123046875\n", + "global step=45486080, episodic return=2359.042724609375\n", + "global step=45486080, episodic return=223.1498565673828\n", + "global step=45488128, episodic return=2417.17333984375\n", + "global step=45492224, episodic return=2353.750244140625\n", + "global step=45492224, episodic return=2285.103271484375\n", + "global step=45492224, episodic return=2317.50048828125\n", + "global step=45494272, episodic return=2308.580810546875\n", + "global step=45494272, episodic return=2307.73046875\n", + "global step=45494272, episodic return=2365.049560546875\n", + "global step=45500416, episodic return=148.3530731201172\n", + "global step=45500416, episodic return=1165.0643310546875\n", + "global step=45502464, episodic return=127.55789184570312\n", + "global step=45504512, episodic return=2433.288330078125\n", + "global step=45504512, episodic return=2406.52099609375\n", + "global step=45504512, episodic return=2343.58251953125\n", + "global step=45506560, episodic return=2312.255859375\n", + "global step=45506560, episodic return=2380.80712890625\n", + "global step=45508608, episodic return=2426.939453125\n", + "global step=45508608, episodic return=2347.850341796875\n", + "global step=45508608, episodic return=2448.902587890625\n", + "global step=45508608, episodic return=2368.427978515625\n", + "global step=45508608, episodic return=2445.310791015625\n", + "global step=45510656, episodic return=2371.212646484375\n", + "global step=45512704, episodic return=2401.9892578125\n", + "global step=45512704, episodic return=2362.06787109375\n", + "global step=45512704, episodic return=2395.530029296875\n", + "global step=45514752, episodic return=2381.8427734375\n", + "global step=45514752, episodic return=2357.5322265625\n", + "global step=45516800, episodic return=2420.128662109375\n", + "global step=45516800, episodic return=2385.14794921875\n", + "global step=45518848, episodic return=2367.214599609375\n", + "global step=45518848, episodic return=2351.0068359375\n", + "global step=45518848, episodic return=2418.433837890625\n", + "global step=45520896, episodic return=2404.643798828125\n", + "global step=45520896, episodic return=201.4734649658203\n", + "global step=45522944, episodic return=2441.599853515625\n", + "global step=45522944, episodic return=2341.10791015625\n", + "global step=45522944, episodic return=2333.2021484375\n", + "global step=45524992, episodic return=2418.697021484375\n", + "global step=45524992, episodic return=2302.684814453125\n", + "global step=45524992, episodic return=2273.504150390625\n", + "global step=45524992, episodic return=2158.8212890625\n", + "global step=45524992, episodic return=2379.202880859375\n", + "global step=45524992, episodic return=2360.698486328125\n", + "global step=45524992, episodic return=2316.114501953125\n", + "global step=45524992, episodic return=2371.42724609375\n", + "global step=45527040, episodic return=2335.992431640625\n", + "global step=45527040, episodic return=2377.23193359375\n", + "global step=45527040, episodic return=2381.00830078125\n", + "global step=45527040, episodic return=2389.76123046875\n", + "global step=45527040, episodic return=2416.5126953125\n", + "global step=45529088, episodic return=2413.739501953125\n", + "global step=45531136, episodic return=2333.757568359375\n", + "global step=45531136, episodic return=2361.222900390625\n", + "global step=45531136, episodic return=2000.9345703125\n", + "global step=45531136, episodic return=2407.359130859375\n", + "global step=45533184, episodic return=2372.11083984375\n", + "global step=45535232, episodic return=2403.67041015625\n", + "global step=45535232, episodic return=2284.823486328125\n", + "global step=45537280, episodic return=181.5198974609375\n", + "global step=45537280, episodic return=2333.586669921875\n", + "global step=45537280, episodic return=2394.482666015625\n", + "global step=45537280, episodic return=2335.448486328125\n", + "global step=45537280, episodic return=2432.74560546875\n", + "global step=45539328, episodic return=2429.03271484375\n", + "global step=45539328, episodic return=2420.473876953125\n", + "global step=45539328, episodic return=2324.796142578125\n", + "global step=45541376, episodic return=2314.881591796875\n", + "global step=45543424, episodic return=2430.702880859375\n", + "global step=45543424, episodic return=20.918495178222656\n", + "global step=45543424, episodic return=2336.470458984375\n", + "global step=45543424, episodic return=2397.796630859375\n", + "global step=45545472, episodic return=2416.945068359375\n", + "global step=45545472, episodic return=2285.272216796875\n", + "global step=45547520, episodic return=2387.127197265625\n", + "global step=45547520, episodic return=25.89118003845215\n", + "global step=45547520, episodic return=2367.643798828125\n", + "global step=45549568, episodic return=2431.66064453125\n", + "global step=45549568, episodic return=2454.566162109375\n", + "global step=45549568, episodic return=2300.78564453125\n", + "global step=45551616, episodic return=2283.5625\n", + "global step=45551616, episodic return=2352.267578125\n", + "global step=45551616, episodic return=2374.101806640625\n", + "global step=45553664, episodic return=2365.064453125\n", + "global step=45553664, episodic return=2415.09619140625\n", + "global step=45553664, episodic return=2259.62890625\n", + "global step=45553664, episodic return=2371.593505859375\n", + "global step=45555712, episodic return=2365.86328125\n", + "global step=45557760, episodic return=2114.215576171875\n", + "global step=45557760, episodic return=2401.04833984375\n", + "global step=45559808, episodic return=2383.647705078125\n", + "global step=45561856, episodic return=2368.075927734375\n", + "global step=45561856, episodic return=2398.795654296875\n", + "global step=45563904, episodic return=2379.59716796875\n", + "global step=45563904, episodic return=2381.91748046875\n", + "global step=45563904, episodic return=2398.052490234375\n", + "global step=45563904, episodic return=2308.219482421875\n", + "global step=45565952, episodic return=2364.17919921875\n", + "global step=45565952, episodic return=2436.834228515625\n", + "global step=45570048, episodic return=2361.221923828125\n", + "global step=45570048, episodic return=2418.7626953125\n", + "global step=45570048, episodic return=2469.643798828125\n", + "global step=45570048, episodic return=2386.83740234375\n", + "global step=45572096, episodic return=2297.09814453125\n", + "global step=45572096, episodic return=2400.135498046875\n", + "global step=45572096, episodic return=2450.206787109375\n", + "global step=45576192, episodic return=2379.878173828125\n", + "global step=45578240, episodic return=2363.080322265625\n", + "global step=45578240, episodic return=2372.32080078125\n", + "global step=45580288, episodic return=2441.114013671875\n", + "global step=45580288, episodic return=2371.612060546875\n", + "global step=45582336, episodic return=2327.862060546875\n", + "global step=45584384, episodic return=2332.92822265625\n", + "global step=45584384, episodic return=2302.33251953125\n", + "global step=45584384, episodic return=2446.964111328125\n", + "global step=45584384, episodic return=1450.9188232421875\n", + "global step=45586432, episodic return=2409.40380859375\n", + "global step=45586432, episodic return=2430.889404296875\n", + "global step=45586432, episodic return=2313.124755859375\n", + "global step=45588480, episodic return=2378.553466796875\n", + "global step=45588480, episodic return=2260.723876953125\n", + "global step=45588480, episodic return=2360.28515625\n", + "global step=45588480, episodic return=2332.1494140625\n", + "global step=45590528, episodic return=2384.591064453125\n", + "global step=45590528, episodic return=2434.375244140625\n", + "global step=45590528, episodic return=2411.86962890625\n", + "global step=45590528, episodic return=2444.5322265625\n", + "global step=45592576, episodic return=2347.026123046875\n", + "global step=45592576, episodic return=2382.140625\n", + "global step=45592576, episodic return=703.9278564453125\n", + "global step=45592576, episodic return=2416.67529296875\n", + "global step=45594624, episodic return=2394.116943359375\n", + "global step=45594624, episodic return=2453.20263671875\n", + "global step=45594624, episodic return=2370.763671875\n", + "global step=45594624, episodic return=2369.448486328125\n", + "global step=45598720, episodic return=2408.955078125\n", + "global step=45600768, episodic return=2243.567138671875\n", + "global step=45600768, episodic return=2351.891845703125\n", + "global step=45602816, episodic return=2380.64697265625\n", + "global step=45602816, episodic return=2304.864013671875\n", + "global step=45604864, episodic return=2384.937744140625\n", + "global step=45604864, episodic return=2440.315185546875\n", + "global step=45604864, episodic return=2344.833984375\n", + "global step=45604864, episodic return=2340.51123046875\n", + "global step=45606912, episodic return=2273.396728515625\n", + "global step=45606912, episodic return=2381.99462890625\n", + "global step=45606912, episodic return=2338.474365234375\n", + "global step=45606912, episodic return=2378.369873046875\n", + "global step=45608960, episodic return=2301.5576171875\n", + "global step=45611008, episodic return=2404.01220703125\n", + "global step=45613056, episodic return=2373.58984375\n", + "global step=45613056, episodic return=2369.060302734375\n", + "global step=45613056, episodic return=1765.2333984375\n", + "global step=45615104, episodic return=2384.4677734375\n", + "global step=45615104, episodic return=2407.845458984375\n", + "global step=45615104, episodic return=2327.600830078125\n", + "global step=45619200, episodic return=2420.337646484375\n", + "global step=45619200, episodic return=2373.852294921875\n", + "global step=45619200, episodic return=2339.958251953125\n", + "global step=45619200, episodic return=2425.3291015625\n", + "global step=45619200, episodic return=1963.2103271484375\n", + "global step=45621248, episodic return=2357.66064453125\n", + "global step=45621248, episodic return=2485.597412109375\n", + "global step=45621248, episodic return=2403.612548828125\n", + "global step=45623296, episodic return=2394.045654296875\n", + "global step=45625344, episodic return=2412.1416015625\n", + "global step=45627392, episodic return=2360.555419921875\n", + "global step=45627392, episodic return=2401.428955078125\n", + "global step=45629440, episodic return=2362.43212890625\n", + "global step=45629440, episodic return=2361.086669921875\n", + "global step=45629440, episodic return=2400.87841796875\n", + "global step=45629440, episodic return=2429.431640625\n", + "global step=45629440, episodic return=2416.71142578125\n", + "global step=45631488, episodic return=2409.347900390625\n", + "global step=45631488, episodic return=2363.048828125\n", + "global step=45633536, episodic return=819.7517700195312\n", + "global step=45633536, episodic return=2314.94677734375\n", + "global step=45633536, episodic return=2323.891357421875\n", + "global step=45633536, episodic return=1671.5513916015625\n", + "global step=45633536, episodic return=2335.586669921875\n", + "global step=45635584, episodic return=2415.938720703125\n", + "global step=45637632, episodic return=2397.8994140625\n", + "global step=45637632, episodic return=2460.66162109375\n", + "global step=45637632, episodic return=2371.59326171875\n", + "global step=45639680, episodic return=2427.164794921875\n", + "global step=45639680, episodic return=2427.12890625\n", + "global step=45639680, episodic return=2366.014404296875\n", + "global step=45641728, episodic return=2472.51953125\n", + "global step=45641728, episodic return=2337.199462890625\n", + "global step=45641728, episodic return=2342.5986328125\n", + "global step=45641728, episodic return=2366.726806640625\n", + "global step=45645824, episodic return=170.51210021972656\n", + "global step=45645824, episodic return=92.63536071777344\n", + "global step=45645824, episodic return=2345.170654296875\n", + "global step=45645824, episodic return=2286.65234375\n", + "global step=45647872, episodic return=68.8175048828125\n", + "global step=45647872, episodic return=2336.86962890625\n", + "global step=45647872, episodic return=2347.458740234375\n", + "global step=45649920, episodic return=2341.064453125\n", + "global step=45649920, episodic return=2389.1689453125\n", + "global step=45649920, episodic return=770.5093383789062\n", + "global step=45651968, episodic return=2410.3310546875\n", + "global step=45651968, episodic return=2385.54150390625\n", + "global step=45654016, episodic return=2419.791259765625\n", + "global step=45654016, episodic return=2387.1572265625\n", + "global step=45654016, episodic return=1224.0860595703125\n", + "global step=45654016, episodic return=2376.963134765625\n", + "global step=45654016, episodic return=2413.91552734375\n", + "global step=45654016, episodic return=2453.92138671875\n", + "global step=45658112, episodic return=2399.768310546875\n", + "global step=45658112, episodic return=2335.019287109375\n", + "global step=45658112, episodic return=2400.5048828125\n", + "global step=45658112, episodic return=2289.72900390625\n", + "global step=45658112, episodic return=2321.239013671875\n", + "global step=45658112, episodic return=2393.353271484375\n", + "global step=45658112, episodic return=2327.091064453125\n", + "global step=45660160, episodic return=2364.044189453125\n", + "global step=45660160, episodic return=2351.966552734375\n", + "global step=45660160, episodic return=2283.147216796875\n", + "global step=45660160, episodic return=2408.786865234375\n", + "global step=45662208, episodic return=2373.850341796875\n", + "global step=45664256, episodic return=2449.132080078125\n", + "global step=45664256, episodic return=2374.914306640625\n", + "global step=45664256, episodic return=2421.40478515625\n", + "global step=45664256, episodic return=2396.481201171875\n", + "global step=45664256, episodic return=2382.934814453125\n", + "global step=45666304, episodic return=2390.9912109375\n", + "global step=45666304, episodic return=2382.063720703125\n", + "global step=45666304, episodic return=2510.029296875\n", + "global step=45666304, episodic return=2414.810302734375\n", + "global step=45668352, episodic return=338.46844482421875\n", + "global step=45668352, episodic return=1624.79443359375\n", + "global step=45668352, episodic return=2374.740478515625\n", + "global step=45668352, episodic return=2449.255615234375\n", + "global step=45668352, episodic return=2398.279296875\n", + "global step=45668352, episodic return=2343.329833984375\n", + "global step=45670400, episodic return=2365.7646484375\n", + "global step=45672448, episodic return=930.6221923828125\n", + "global step=45672448, episodic return=2426.546875\n", + "global step=45672448, episodic return=2382.064697265625\n", + "global step=45674496, episodic return=2367.4677734375\n", + "global step=45674496, episodic return=2305.716552734375\n", + "global step=45674496, episodic return=2476.97216796875\n", + "global step=45674496, episodic return=2394.374267578125\n", + "global step=45676544, episodic return=2386.504638671875\n", + "global step=45676544, episodic return=2388.821533203125\n", + "global step=45678592, episodic return=2427.091796875\n", + "global step=45678592, episodic return=2371.4287109375\n", + "global step=45678592, episodic return=2328.05322265625\n", + "global step=45680640, episodic return=2380.97900390625\n", + "global step=45682688, episodic return=2316.565673828125\n", + "global step=45682688, episodic return=179.5811309814453\n", + "global step=45682688, episodic return=2422.789794921875\n", + "global step=45684736, episodic return=2384.62060546875\n", + "global step=45686784, episodic return=2473.566650390625\n", + "global step=45686784, episodic return=2414.75244140625\n", + "global step=45686784, episodic return=2369.11669921875\n", + "global step=45686784, episodic return=2428.340087890625\n", + "global step=45686784, episodic return=2448.392578125\n", + "global step=45688832, episodic return=2443.03125\n", + "global step=45688832, episodic return=2298.158447265625\n", + "global step=45688832, episodic return=2334.518310546875\n", + "global step=45690880, episodic return=2418.34423828125\n", + "global step=45692928, episodic return=604.2434692382812\n", + "global step=45692928, episodic return=1981.0662841796875\n", + "global step=45694976, episodic return=2372.351806640625\n", + "global step=45694976, episodic return=2396.572998046875\n", + "global step=45694976, episodic return=2381.83740234375\n", + "global step=45697024, episodic return=1651.438232421875\n", + "global step=45697024, episodic return=204.2954864501953\n", + "global step=45699072, episodic return=1196.3770751953125\n", + "global step=45699072, episodic return=2349.37109375\n", + "global step=45699072, episodic return=2375.23828125\n", + "global step=45701120, episodic return=2334.81005859375\n", + "global step=45701120, episodic return=2375.526611328125\n", + "global step=45701120, episodic return=2411.7587890625\n", + "global step=45701120, episodic return=2363.030517578125\n", + "global step=45701120, episodic return=2479.096435546875\n", + "global step=45703168, episodic return=2440.642578125\n", + "global step=45703168, episodic return=2353.9541015625\n", + "global step=45703168, episodic return=2431.28173828125\n", + "global step=45703168, episodic return=2409.083740234375\n", + "global step=45705216, episodic return=172.85348510742188\n", + "global step=45705216, episodic return=2357.054931640625\n", + "global step=45707264, episodic return=39.910274505615234\n", + "global step=45709312, episodic return=2371.254150390625\n", + "global step=45709312, episodic return=2395.6279296875\n", + "global step=45709312, episodic return=2375.52099609375\n", + "global step=45711360, episodic return=861.8024291992188\n", + "global step=45711360, episodic return=2378.582763671875\n", + "global step=45711360, episodic return=2449.022705078125\n", + "global step=45711360, episodic return=2404.114013671875\n", + "global step=45711360, episodic return=2429.81689453125\n", + "global step=45713408, episodic return=2421.29931640625\n", + "global step=45713408, episodic return=2446.760498046875\n", + "global step=45713408, episodic return=2404.789306640625\n", + "global step=45715456, episodic return=2423.36328125\n", + "global step=45717504, episodic return=1102.967041015625\n", + "global step=45717504, episodic return=2369.33544921875\n", + "global step=45719552, episodic return=2317.76318359375\n", + "global step=45719552, episodic return=2316.7294921875\n", + "global step=45719552, episodic return=2256.087646484375\n", + "global step=45721600, episodic return=2381.615478515625\n", + "global step=45723648, episodic return=252.97792053222656\n", + "global step=45723648, episodic return=2428.133056640625\n", + "global step=45725696, episodic return=2341.5234375\n", + "global step=45725696, episodic return=2396.736083984375\n", + "global step=45727744, episodic return=2377.0458984375\n", + "global step=45731840, episodic return=2325.6474609375\n", + "global step=45731840, episodic return=2374.7490234375\n", + "global step=45733888, episodic return=2417.621826171875\n", + "global step=45735936, episodic return=2445.013916015625\n", + "global step=45735936, episodic return=2448.9130859375\n", + "global step=45735936, episodic return=2380.758056640625\n", + "global step=45737984, episodic return=2436.082763671875\n", + "global step=45737984, episodic return=2320.9892578125\n", + "global step=45740032, episodic return=2333.74755859375\n", + "global step=45742080, episodic return=2431.063232421875\n", + "global step=45744128, episodic return=2394.0947265625\n", + "global step=45744128, episodic return=2336.28662109375\n", + "global step=45744128, episodic return=2414.661376953125\n", + "global step=45744128, episodic return=1386.724853515625\n", + "global step=45746176, episodic return=2396.4404296875\n", + "global step=45746176, episodic return=2398.838623046875\n", + "global step=45748224, episodic return=2385.91455078125\n", + "global step=45748224, episodic return=2369.37646484375\n", + "global step=45750272, episodic return=2325.82666015625\n", + "global step=45752320, episodic return=2359.133544921875\n", + "global step=45752320, episodic return=2371.818359375\n", + "global step=45752320, episodic return=2334.903564453125\n", + "global step=45754368, episodic return=2367.838623046875\n", + "global step=45760512, episodic return=2435.737548828125\n", + "global step=45760512, episodic return=2396.77294921875\n", + "global step=45762560, episodic return=2461.114990234375\n", + "global step=45764608, episodic return=2412.228515625\n", + "global step=45764608, episodic return=2369.716796875\n", + "global step=45764608, episodic return=2402.05419921875\n", + "global step=45768704, episodic return=2356.472412109375\n", + "global step=45768704, episodic return=2353.862548828125\n", + "global step=45772800, episodic return=2416.251953125\n", + "global step=45772800, episodic return=2336.05712890625\n", + "global step=45774848, episodic return=2369.504150390625\n", + "global step=45774848, episodic return=2295.034912109375\n", + "global step=45778944, episodic return=1572.4024658203125\n", + "global step=45778944, episodic return=675.3826904296875\n", + "global step=45778944, episodic return=2490.44140625\n", + "global step=45778944, episodic return=2379.991455078125\n", + "global step=45780992, episodic return=2288.3447265625\n", + "global step=45783040, episodic return=2394.38623046875\n", + "global step=45783040, episodic return=1006.1241455078125\n", + "global step=45785088, episodic return=2355.7001953125\n", + "global step=45785088, episodic return=27.835304260253906\n", + "global step=45787136, episodic return=289.07305908203125\n", + "global step=45789184, episodic return=2323.323486328125\n", + "global step=45791232, episodic return=2362.888916015625\n", + "global step=45793280, episodic return=2406.067626953125\n", + "global step=45795328, episodic return=2372.294921875\n", + "global step=45795328, episodic return=2308.87646484375\n", + "global step=45795328, episodic return=2412.333984375\n", + "global step=45795328, episodic return=2363.40185546875\n", + "global step=45795328, episodic return=2249.45166015625\n", + "global step=45797376, episodic return=2431.5732421875\n", + "global step=45797376, episodic return=2343.6123046875\n", + "global step=45797376, episodic return=2464.197021484375\n", + "global step=45799424, episodic return=2196.97216796875\n", + "global step=45799424, episodic return=2412.95947265625\n", + "global step=45799424, episodic return=2303.505126953125\n", + "global step=45801472, episodic return=440.1849670410156\n", + "global step=45801472, episodic return=2334.270751953125\n", + "global step=45803520, episodic return=2389.033203125\n", + "global step=45805568, episodic return=2411.809326171875\n", + "global step=45805568, episodic return=2329.633544921875\n", + "global step=45809664, episodic return=2355.153076171875\n", + "global step=45811712, episodic return=2248.9228515625\n", + "global step=45811712, episodic return=2404.685546875\n", + "global step=45811712, episodic return=2357.202392578125\n", + "global step=45811712, episodic return=2373.12158203125\n", + "global step=45815808, episodic return=2274.124755859375\n", + "global step=45815808, episodic return=2379.15283203125\n", + "global step=45815808, episodic return=2415.733154296875\n", + "global step=45817856, episodic return=2402.962646484375\n", + "global step=45819904, episodic return=2378.588134765625\n", + "global step=45819904, episodic return=2376.48828125\n", + "global step=45819904, episodic return=2320.0517578125\n", + "global step=45819904, episodic return=2390.276123046875\n", + "global step=45821952, episodic return=2321.171142578125\n", + "global step=45824000, episodic return=2357.384033203125\n", + "global step=45826048, episodic return=2295.23388671875\n", + "global step=45826048, episodic return=2401.78076171875\n", + "global step=45826048, episodic return=2272.213134765625\n", + "global step=45826048, episodic return=2420.960205078125\n", + "global step=45826048, episodic return=2425.8076171875\n", + "global step=45828096, episodic return=2338.4794921875\n", + "global step=45828096, episodic return=2367.94970703125\n", + "global step=45830144, episodic return=2346.935791015625\n", + "global step=45830144, episodic return=2417.585205078125\n", + "global step=45832192, episodic return=169.98316955566406\n", + "global step=45834240, episodic return=2362.781005859375\n", + "global step=45836288, episodic return=1882.0078125\n", + "global step=45836288, episodic return=2362.6689453125\n", + "global step=45840384, episodic return=2377.15576171875\n", + "global step=45842432, episodic return=2389.14990234375\n", + "global step=45842432, episodic return=2236.413330078125\n", + "global step=45844480, episodic return=2313.91259765625\n", + "global step=45844480, episodic return=2354.919189453125\n", + "global step=45848576, episodic return=2345.058349609375\n", + "global step=45848576, episodic return=164.6690216064453\n", + "global step=45850624, episodic return=2451.04736328125\n", + "global step=45852672, episodic return=2294.506103515625\n", + "global step=45854720, episodic return=2387.6044921875\n", + "global step=45854720, episodic return=2358.93994140625\n", + "global step=45856768, episodic return=2419.71240234375\n", + "global step=45856768, episodic return=2457.76318359375\n", + "global step=45856768, episodic return=2389.6103515625\n", + "global step=45856768, episodic return=2362.54833984375\n", + "global step=45856768, episodic return=2328.43505859375\n", + "global step=45858816, episodic return=2425.21484375\n", + "global step=45860864, episodic return=2360.388916015625\n", + "global step=45860864, episodic return=2305.799560546875\n", + "global step=45860864, episodic return=2286.4755859375\n", + "global step=45860864, episodic return=542.0543823242188\n", + "global step=45860864, episodic return=2200.69970703125\n", + "global step=45860864, episodic return=2377.257080078125\n", + "global step=45862912, episodic return=2345.138427734375\n", + "global step=45862912, episodic return=2164.823974609375\n", + "global step=45862912, episodic return=1405.708740234375\n", + "global step=45864960, episodic return=2320.4423828125\n", + "global step=45869056, episodic return=2345.2783203125\n", + "global step=45869056, episodic return=2355.035888671875\n", + "global step=45871104, episodic return=2357.284423828125\n", + "global step=45871104, episodic return=2323.4716796875\n", + "global step=45871104, episodic return=2276.867431640625\n", + "global step=45873152, episodic return=1439.2747802734375\n", + "global step=45873152, episodic return=2387.906005859375\n", + "global step=45873152, episodic return=2297.03759765625\n", + "global step=45873152, episodic return=2331.24658203125\n", + "global step=45875200, episodic return=2297.67822265625\n", + "global step=45875200, episodic return=2348.693359375\n", + "global step=45877248, episodic return=2336.133056640625\n", + "global step=45877248, episodic return=2420.36181640625\n", + "global step=45877248, episodic return=2240.37353515625\n", + "global step=45881344, episodic return=1921.5103759765625\n", + "global step=45883392, episodic return=2422.295654296875\n", + "global step=45883392, episodic return=2313.872314453125\n", + "global step=45885440, episodic return=2329.83447265625\n", + "global step=45885440, episodic return=1349.1815185546875\n", + "global step=45885440, episodic return=2308.844482421875\n", + "global step=45887488, episodic return=1230.3857421875\n", + "global step=45887488, episodic return=2356.2275390625\n", + "global step=45889536, episodic return=2414.98681640625\n", + "global step=45893632, episodic return=2351.38330078125\n", + "global step=45893632, episodic return=2347.241455078125\n", + "global step=45895680, episodic return=63.36436080932617\n", + "global step=45895680, episodic return=2413.20703125\n", + "global step=45895680, episodic return=2292.361328125\n", + "global step=45895680, episodic return=2319.25146484375\n", + "global step=45895680, episodic return=2328.92529296875\n", + "global step=45897728, episodic return=2239.5927734375\n", + "global step=45899776, episodic return=2308.655517578125\n", + "global step=45899776, episodic return=2309.620849609375\n", + "global step=45899776, episodic return=2370.943603515625\n", + "global step=45901824, episodic return=2198.6220703125\n", + "global step=45901824, episodic return=2345.2158203125\n", + "global step=45903872, episodic return=2342.74951171875\n", + "global step=45903872, episodic return=2278.405029296875\n", + "global step=45903872, episodic return=2250.011474609375\n", + "global step=45903872, episodic return=2435.222900390625\n", + "global step=45903872, episodic return=2333.272216796875\n", + "global step=45905920, episodic return=2380.460205078125\n", + "global step=45907968, episodic return=1170.0789794921875\n", + "global step=45907968, episodic return=2330.794189453125\n", + "global step=45910016, episodic return=2303.83251953125\n", + "global step=45912064, episodic return=253.59996032714844\n", + "global step=45912064, episodic return=2404.169921875\n", + "global step=45912064, episodic return=2353.19873046875\n", + "global step=45912064, episodic return=2335.632568359375\n", + "global step=45914112, episodic return=187.9600830078125\n", + "global step=45914112, episodic return=2321.05859375\n", + "global step=45916160, episodic return=2240.290771484375\n", + "global step=45916160, episodic return=203.47779846191406\n", + "global step=45918208, episodic return=2411.173828125\n", + "global step=45918208, episodic return=2318.75732421875\n", + "global step=45918208, episodic return=2257.529052734375\n", + "global step=45920256, episodic return=2334.510498046875\n", + "global step=45920256, episodic return=2412.617919921875\n", + "global step=45922304, episodic return=2425.379150390625\n", + "global step=45924352, episodic return=2291.008056640625\n", + "global step=45924352, episodic return=2277.051513671875\n", + "global step=45926400, episodic return=2378.58935546875\n", + "global step=45926400, episodic return=2369.0478515625\n", + "global step=45926400, episodic return=2337.755859375\n", + "global step=45928448, episodic return=2345.86669921875\n", + "global step=45932544, episodic return=298.2004089355469\n", + "global step=45932544, episodic return=2412.39013671875\n", + "global step=45932544, episodic return=2302.57080078125\n", + "global step=45934592, episodic return=2264.00341796875\n", + "global step=45934592, episodic return=2279.220947265625\n", + "global step=45934592, episodic return=1531.6353759765625\n", + "global step=45934592, episodic return=2341.22265625\n", + "global step=45936640, episodic return=1045.33984375\n", + "global step=45938688, episodic return=2166.5234375\n", + "global step=45938688, episodic return=2340.528076171875\n", + "global step=45938688, episodic return=2295.291748046875\n", + "global step=45938688, episodic return=2262.685546875\n", + "global step=45938688, episodic return=2355.3154296875\n", + "global step=45938688, episodic return=2310.387939453125\n", + "global step=45938688, episodic return=2345.747314453125\n", + "global step=45940736, episodic return=2046.744873046875\n", + "global step=45940736, episodic return=2336.39453125\n", + "global step=45940736, episodic return=2363.522216796875\n", + "global step=45942784, episodic return=2337.017578125\n", + "global step=45944832, episodic return=2251.77783203125\n", + "global step=45946880, episodic return=855.2474975585938\n", + "global step=45946880, episodic return=73.756591796875\n", + "global step=45946880, episodic return=172.5297393798828\n", + "global step=45948928, episodic return=2205.38330078125\n", + "global step=45948928, episodic return=2359.170166015625\n", + "global step=45948928, episodic return=2232.0458984375\n", + "global step=45948928, episodic return=2381.29296875\n", + "global step=45953024, episodic return=2368.924072265625\n", + "global step=45953024, episodic return=2326.63037109375\n", + "global step=45957120, episodic return=2386.849365234375\n", + "global step=45957120, episodic return=2338.6240234375\n", + "global step=45959168, episodic return=2353.353271484375\n", + "global step=45959168, episodic return=2302.897216796875\n", + "global step=45961216, episodic return=53.37301254272461\n", + "global step=45961216, episodic return=2311.961669921875\n", + "global step=45961216, episodic return=1810.626953125\n", + "global step=45961216, episodic return=2393.287841796875\n", + "global step=45961216, episodic return=1834.367431640625\n", + "global step=45963264, episodic return=2278.060302734375\n", + "global step=45963264, episodic return=2288.145751953125\n", + "global step=45963264, episodic return=2351.443115234375\n", + "global step=45963264, episodic return=2370.5390625\n", + "global step=45965312, episodic return=2350.1513671875\n", + "global step=45967360, episodic return=2330.775634765625\n", + "global step=45967360, episodic return=653.1669921875\n", + "global step=45967360, episodic return=2373.54443359375\n", + "global step=45967360, episodic return=1984.670654296875\n", + "global step=45969408, episodic return=2354.924072265625\n", + "global step=45969408, episodic return=2338.142333984375\n", + "global step=45971456, episodic return=2232.33251953125\n", + "global step=45971456, episodic return=2362.356689453125\n", + "global step=45971456, episodic return=2328.35400390625\n", + "global step=45973504, episodic return=2371.691650390625\n", + "global step=45975552, episodic return=2409.5361328125\n", + "global step=45975552, episodic return=2366.706787109375\n", + "global step=45977600, episodic return=2289.9931640625\n", + "global step=45979648, episodic return=2001.997802734375\n", + "global step=45983744, episodic return=2351.967529296875\n", + "global step=45985792, episodic return=50.18665313720703\n", + "global step=45987840, episodic return=2381.87109375\n", + "global step=45989888, episodic return=2327.802734375\n", + "global step=45989888, episodic return=2388.480712890625\n", + "global step=45991936, episodic return=2305.230224609375\n", + "global step=45993984, episodic return=2256.552490234375\n", + "global step=45996032, episodic return=2248.744873046875\n", + "global step=45998080, episodic return=2318.6357421875\n", + "global step=45998080, episodic return=2345.507568359375\n", + "global step=45998080, episodic return=2341.805908203125\n", + "global step=45998080, episodic return=2399.6904296875\n", + "global step=46000128, episodic return=1694.80908203125\n", + "global step=46000128, episodic return=2400.0126953125\n", + "global step=46000128, episodic return=2289.349365234375\n", + "global step=46002176, episodic return=2256.194580078125\n", + "global step=46002176, episodic return=119.63004302978516\n", + "global step=46002176, episodic return=2285.30322265625\n", + "global step=46004224, episodic return=2269.52685546875\n", + "global step=46004224, episodic return=2389.3349609375\n", + "global step=46008320, episodic return=2320.252197265625\n", + "global step=46010368, episodic return=2269.45751953125\n", + "global step=46010368, episodic return=2390.12060546875\n", + "global step=46010368, episodic return=2388.09619140625\n", + "global step=46010368, episodic return=2216.17919921875\n", + "global step=46010368, episodic return=2226.634033203125\n", + "global step=46010368, episodic return=2340.483642578125\n", + "global step=46012416, episodic return=1207.3917236328125\n", + "global step=46014464, episodic return=2246.909912109375\n", + "global step=46014464, episodic return=2382.53466796875\n", + "global step=46014464, episodic return=2305.1240234375\n", + "global step=46014464, episodic return=2434.991943359375\n", + "global step=46018560, episodic return=2360.34619140625\n", + "global step=46024704, episodic return=2299.76318359375\n", + "global step=46024704, episodic return=2402.486083984375\n", + "global step=46024704, episodic return=2324.468505859375\n", + "global step=46026752, episodic return=2353.895751953125\n", + "global step=46026752, episodic return=1703.1402587890625\n", + "global step=46028800, episodic return=2372.547119140625\n", + "global step=46030848, episodic return=2371.515869140625\n", + "global step=46030848, episodic return=2240.387939453125\n", + "global step=46030848, episodic return=2278.26123046875\n", + "global step=46030848, episodic return=2355.68310546875\n", + "global step=46032896, episodic return=2427.033935546875\n", + "global step=46032896, episodic return=2323.75634765625\n", + "global step=46036992, episodic return=2332.239501953125\n", + "global step=46036992, episodic return=2330.22265625\n", + "global step=46039040, episodic return=25.223438262939453\n", + "global step=46039040, episodic return=2411.934326171875\n", + "global step=46041088, episodic return=2302.37841796875\n", + "global step=46041088, episodic return=2295.755859375\n", + "global step=46043136, episodic return=968.2831420898438\n", + "global step=46047232, episodic return=2405.110595703125\n", + "global step=46051328, episodic return=263.5836486816406\n", + "global step=46051328, episodic return=2342.142822265625\n", + "global step=46053376, episodic return=2304.27197265625\n", + "global step=46053376, episodic return=429.8580017089844\n", + "global step=46057472, episodic return=2388.4375\n", + "global step=46057472, episodic return=2399.53564453125\n", + "global step=46061568, episodic return=2194.28515625\n", + "global step=46063616, episodic return=2342.875\n", + "global step=46065664, episodic return=1895.72509765625\n", + "global step=46065664, episodic return=2318.4541015625\n", + "global step=46067712, episodic return=2362.042724609375\n", + "global step=46069760, episodic return=2373.274658203125\n", + "global step=46069760, episodic return=2379.760009765625\n", + "global step=46069760, episodic return=2334.0126953125\n", + "global step=46071808, episodic return=2429.564697265625\n", + "global step=46071808, episodic return=2340.546142578125\n", + "global step=46071808, episodic return=2270.616943359375\n", + "global step=46071808, episodic return=2393.92138671875\n", + "global step=46073856, episodic return=2339.06787109375\n", + "global step=46073856, episodic return=2335.077880859375\n", + "global step=46075904, episodic return=2320.394775390625\n", + "global step=46077952, episodic return=2457.815185546875\n", + "global step=46080000, episodic return=2386.2587890625\n", + "global step=46080000, episodic return=2371.16064453125\n", + "global step=46080000, episodic return=2297.71826171875\n", + "global step=46082048, episodic return=2388.357421875\n", + "global step=46084096, episodic return=2379.09521484375\n", + "global step=46084096, episodic return=2354.078857421875\n", + "global step=46084096, episodic return=2340.39111328125\n", + "global step=46086144, episodic return=2321.75146484375\n", + "global step=46086144, episodic return=2264.385498046875\n", + "global step=46086144, episodic return=2347.66455078125\n", + "global step=46088192, episodic return=2300.5908203125\n", + "global step=46088192, episodic return=2330.87255859375\n", + "global step=46090240, episodic return=2280.72802734375\n", + "global step=46090240, episodic return=2383.456298828125\n", + "global step=46092288, episodic return=2336.466552734375\n", + "global step=46092288, episodic return=2359.67138671875\n", + "global step=46092288, episodic return=2380.76806640625\n", + "global step=46092288, episodic return=2338.531005859375\n", + "global step=46094336, episodic return=2349.574462890625\n", + "global step=46094336, episodic return=2331.325927734375\n", + "global step=46094336, episodic return=2319.990966796875\n", + "global step=46096384, episodic return=2380.305908203125\n", + "global step=46096384, episodic return=2388.285400390625\n", + "global step=46098432, episodic return=2384.589599609375\n", + "global step=46100480, episodic return=2385.52685546875\n", + "global step=46104576, episodic return=2354.8212890625\n", + "global step=46104576, episodic return=2362.66650390625\n", + "global step=46106624, episodic return=2365.9580078125\n", + "global step=46106624, episodic return=2305.599853515625\n", + "global step=46106624, episodic return=2415.116455078125\n", + "global step=46108672, episodic return=2334.43798828125\n", + "global step=46110720, episodic return=2203.312255859375\n", + "global step=46110720, episodic return=2275.202392578125\n", + "global step=46114816, episodic return=2371.4814453125\n", + "global step=46114816, episodic return=2297.580322265625\n", + "global step=46116864, episodic return=2307.343017578125\n", + "global step=46123008, episodic return=2264.411865234375\n", + "global step=46127104, episodic return=2374.9052734375\n", + "global step=46129152, episodic return=2317.560546875\n", + "global step=46129152, episodic return=2393.96240234375\n", + "global step=46133248, episodic return=2406.9599609375\n", + "global step=46133248, episodic return=2390.31689453125\n", + "global step=46135296, episodic return=2288.97998046875\n", + "global step=46139392, episodic return=2286.5361328125\n", + "global step=46141440, episodic return=2379.30810546875\n", + "global step=46141440, episodic return=2330.14404296875\n", + "global step=46145536, episodic return=2361.455322265625\n", + "global step=46145536, episodic return=2416.046142578125\n", + "global step=46145536, episodic return=2327.593505859375\n", + "global step=46145536, episodic return=2201.817626953125\n", + "global step=46145536, episodic return=299.3560791015625\n", + "global step=46145536, episodic return=2251.648193359375\n", + "global step=46149632, episodic return=2308.293212890625\n", + "global step=46149632, episodic return=2214.6201171875\n", + "global step=46153728, episodic return=1939.52001953125\n", + "global step=46155776, episodic return=2377.0732421875\n", + "global step=46155776, episodic return=2258.31787109375\n", + "global step=46155776, episodic return=2313.05615234375\n", + "global step=46157824, episodic return=2343.37451171875\n", + "global step=46157824, episodic return=912.224853515625\n", + "global step=46157824, episodic return=2370.025390625\n", + "global step=46157824, episodic return=2363.50244140625\n", + "global step=46159872, episodic return=2246.5322265625\n", + "global step=46159872, episodic return=2348.79443359375\n", + "global step=46159872, episodic return=2331.096923828125\n", + "global step=46161920, episodic return=2358.320556640625\n", + "global step=46163968, episodic return=1694.5184326171875\n", + "global step=46163968, episodic return=2227.296142578125\n", + "global step=46163968, episodic return=2421.626708984375\n", + "global step=46163968, episodic return=2335.349365234375\n", + "global step=46163968, episodic return=2408.61083984375\n", + "global step=46166016, episodic return=2339.782958984375\n", + "global step=46166016, episodic return=626.1032104492188\n", + "global step=46166016, episodic return=2361.124267578125\n", + "global step=46166016, episodic return=2353.273193359375\n", + "global step=46168064, episodic return=2329.1044921875\n", + "global step=46168064, episodic return=2355.65771484375\n", + "global step=46168064, episodic return=2283.9521484375\n", + "global step=46168064, episodic return=2381.962646484375\n", + "global step=46170112, episodic return=808.4135131835938\n", + "global step=46170112, episodic return=2332.95263671875\n", + "global step=46170112, episodic return=2350.34912109375\n", + "global step=46172160, episodic return=29.296367645263672\n", + "global step=46174208, episodic return=2393.288818359375\n", + "global step=46174208, episodic return=2251.793212890625\n", + "global step=46174208, episodic return=2370.557861328125\n", + "global step=46176256, episodic return=2297.16357421875\n", + "global step=46176256, episodic return=2434.08251953125\n", + "global step=46176256, episodic return=2424.197998046875\n", + "global step=46178304, episodic return=72.3773193359375\n", + "global step=46178304, episodic return=2343.239501953125\n", + "global step=46182400, episodic return=19.637853622436523\n", + "global step=46182400, episodic return=2236.289306640625\n", + "global step=46182400, episodic return=2374.655517578125\n", + "global step=46182400, episodic return=2349.488037109375\n", + "global step=46184448, episodic return=2357.5419921875\n", + "global step=46184448, episodic return=2322.162353515625\n", + "global step=46184448, episodic return=2272.201416015625\n", + "global step=46184448, episodic return=2352.6552734375\n", + "global step=46186496, episodic return=2368.837158203125\n", + "global step=46186496, episodic return=2354.09912109375\n", + "global step=46186496, episodic return=2221.115234375\n", + "global step=46188544, episodic return=2335.60595703125\n", + "global step=46190592, episodic return=997.4014282226562\n", + "global step=46190592, episodic return=1297.619384765625\n", + "global step=46190592, episodic return=429.7262878417969\n", + "global step=46190592, episodic return=2310.83447265625\n", + "global step=46190592, episodic return=2377.554931640625\n", + "global step=46192640, episodic return=2223.402587890625\n", + "global step=46192640, episodic return=33.556331634521484\n", + "global step=46192640, episodic return=2390.758056640625\n", + "global step=46194688, episodic return=2267.87744140625\n", + "global step=46194688, episodic return=184.13487243652344\n", + "global step=46194688, episodic return=1200.9129638671875\n", + "global step=46196736, episodic return=597.9365844726562\n", + "global step=46196736, episodic return=346.9392395019531\n", + "global step=46196736, episodic return=219.23191833496094\n", + "global step=46198784, episodic return=2368.850830078125\n", + "global step=46198784, episodic return=2328.69970703125\n", + "global step=46198784, episodic return=2377.904541015625\n", + "global step=46200832, episodic return=2280.593994140625\n", + "global step=46200832, episodic return=2253.51318359375\n", + "global step=46202880, episodic return=2374.626220703125\n", + "global step=46202880, episodic return=2319.47265625\n", + "global step=46204928, episodic return=2335.5576171875\n", + "global step=46204928, episodic return=2355.026123046875\n", + "global step=46206976, episodic return=23.461153030395508\n", + "global step=46206976, episodic return=2380.850341796875\n", + "global step=46209024, episodic return=2362.7958984375\n", + "global step=46209024, episodic return=187.9962921142578\n", + "global step=46209024, episodic return=1559.812255859375\n", + "global step=46211072, episodic return=2271.8076171875\n", + "global step=46211072, episodic return=2272.453857421875\n", + "global step=46211072, episodic return=2348.51025390625\n", + "global step=46211072, episodic return=2349.623046875\n", + "global step=46213120, episodic return=2342.345458984375\n", + "global step=46213120, episodic return=2361.52099609375\n", + "global step=46213120, episodic return=2287.95703125\n", + "global step=46215168, episodic return=2361.060791015625\n", + "global step=46219264, episodic return=2280.114990234375\n", + "global step=46219264, episodic return=2321.605224609375\n", + "global step=46219264, episodic return=2349.043701171875\n", + "global step=46221312, episodic return=2358.72998046875\n", + "global step=46221312, episodic return=2377.791259765625\n", + "global step=46221312, episodic return=1604.709716796875\n", + "global step=46221312, episodic return=294.24993896484375\n", + "global step=46221312, episodic return=1066.5531005859375\n", + "global step=46223360, episodic return=2449.36865234375\n", + "global step=46223360, episodic return=2382.82470703125\n", + "global step=46225408, episodic return=268.3449401855469\n", + "global step=46225408, episodic return=2272.1591796875\n", + "global step=46225408, episodic return=2376.42822265625\n", + "global step=46225408, episodic return=2425.96630859375\n", + "global step=46227456, episodic return=2344.654052734375\n", + "global step=46227456, episodic return=2353.4208984375\n", + "global step=46227456, episodic return=663.8553466796875\n", + "global step=46227456, episodic return=305.6080322265625\n", + "global step=46229504, episodic return=2354.836181640625\n", + "global step=46229504, episodic return=2316.650634765625\n", + "global step=46229504, episodic return=2294.861572265625\n", + "global step=46229504, episodic return=2368.70654296875\n", + "global step=46231552, episodic return=2357.710693359375\n", + "global step=46231552, episodic return=2375.204833984375\n", + "global step=46233600, episodic return=2276.155029296875\n", + "global step=46233600, episodic return=2415.9267578125\n", + "global step=46233600, episodic return=2342.701416015625\n", + "global step=46237696, episodic return=2363.12646484375\n", + "global step=46239744, episodic return=1659.29150390625\n", + "global step=46241792, episodic return=2241.51513671875\n", + "global step=46241792, episodic return=2272.40966796875\n", + "global step=46241792, episodic return=2251.126708984375\n", + "global step=46241792, episodic return=2257.023681640625\n", + "global step=46241792, episodic return=2328.546630859375\n", + "global step=46243840, episodic return=172.54054260253906\n", + "global step=46243840, episodic return=1005.3170776367188\n", + "global step=46245888, episodic return=2254.833984375\n", + "global step=46247936, episodic return=2391.38330078125\n", + "global step=46247936, episodic return=2364.268310546875\n", + "global step=46247936, episodic return=2341.996337890625\n", + "global step=46252032, episodic return=2393.914794921875\n", + "global step=46252032, episodic return=1380.3839111328125\n", + "global step=46252032, episodic return=2341.680908203125\n", + "global step=46258176, episodic return=2320.709716796875\n", + "global step=46260224, episodic return=2329.390869140625\n", + "global step=46260224, episodic return=2283.610595703125\n", + "global step=46264320, episodic return=2229.583984375\n", + "global step=46264320, episodic return=1067.5184326171875\n", + "global step=46266368, episodic return=2365.142333984375\n", + "global step=46268416, episodic return=2257.08251953125\n", + "global step=46270464, episodic return=2315.25048828125\n", + "global step=46272512, episodic return=2188.7548828125\n", + "global step=46274560, episodic return=2222.136962890625\n", + "global step=46274560, episodic return=2294.394287109375\n", + "global step=46274560, episodic return=2337.596923828125\n", + "global step=46278656, episodic return=606.443603515625\n", + "global step=46278656, episodic return=2297.339111328125\n", + "global step=46280704, episodic return=2238.518310546875\n", + "global step=46280704, episodic return=2361.223876953125\n", + "global step=46282752, episodic return=2342.1796875\n", + "global step=46284800, episodic return=2274.57421875\n", + "global step=46284800, episodic return=2396.934326171875\n", + "global step=46284800, episodic return=1409.4351806640625\n", + "global step=46284800, episodic return=2273.2744140625\n", + "global step=46286848, episodic return=2348.0361328125\n", + "global step=46286848, episodic return=1368.7052001953125\n", + "global step=46286848, episodic return=1700.8741455078125\n", + "global step=46288896, episodic return=1138.9949951171875\n", + "global step=46290944, episodic return=2375.445556640625\n", + "global step=46290944, episodic return=765.8043823242188\n", + "global step=46292992, episodic return=2354.56201171875\n", + "global step=46295040, episodic return=2354.92138671875\n", + "global step=46295040, episodic return=1681.1551513671875\n", + "global step=46295040, episodic return=2326.29931640625\n", + "global step=46297088, episodic return=2262.747314453125\n", + "global step=46297088, episodic return=2380.18896484375\n", + "global step=46297088, episodic return=2409.817626953125\n", + "global step=46299136, episodic return=2375.422119140625\n", + "global step=46299136, episodic return=2295.84521484375\n", + "global step=46303232, episodic return=2296.03271484375\n", + "global step=46303232, episodic return=2317.875244140625\n", + "global step=46303232, episodic return=2376.110595703125\n", + "global step=46303232, episodic return=2187.4384765625\n", + "global step=46307328, episodic return=966.861083984375\n", + "global step=46307328, episodic return=2320.60400390625\n", + "global step=46307328, episodic return=2339.430419921875\n", + "global step=46307328, episodic return=2364.3369140625\n", + "global step=46309376, episodic return=2340.292236328125\n", + "global step=46309376, episodic return=2318.31005859375\n", + "global step=46315520, episodic return=2365.969482421875\n", + "global step=46315520, episodic return=2391.642822265625\n", + "global step=46315520, episodic return=2384.810546875\n", + "global step=46317568, episodic return=2363.9814453125\n", + "global step=46317568, episodic return=2305.7509765625\n", + "global step=46319616, episodic return=2244.514892578125\n", + "global step=46325760, episodic return=2355.13134765625\n", + "global step=46327808, episodic return=2368.643798828125\n", + "global step=46329856, episodic return=2324.746826171875\n", + "global step=46329856, episodic return=2328.171875\n", + "global step=46329856, episodic return=2296.22265625\n", + "global step=46331904, episodic return=2284.3232421875\n", + "global step=46333952, episodic return=1693.155517578125\n", + "global step=46333952, episodic return=2410.9052734375\n", + "global step=46336000, episodic return=27.633071899414062\n", + "global step=46338048, episodic return=1041.10888671875\n", + "global step=46340096, episodic return=1928.24267578125\n", + "global step=46342144, episodic return=2335.43701171875\n", + "global step=46342144, episodic return=2373.965576171875\n", + "global step=46342144, episodic return=2367.314208984375\n", + "global step=46344192, episodic return=2292.4892578125\n", + "global step=46344192, episodic return=2307.9619140625\n", + "global step=46344192, episodic return=2333.081298828125\n", + "global step=46348288, episodic return=2376.021484375\n", + "global step=46350336, episodic return=2320.745849609375\n", + "global step=46350336, episodic return=2440.3818359375\n", + "global step=46350336, episodic return=2330.8779296875\n", + "global step=46352384, episodic return=2399.548828125\n", + "global step=46352384, episodic return=2342.484375\n", + "global step=46354432, episodic return=105.26077270507812\n", + "global step=46356480, episodic return=2395.414794921875\n", + "global step=46356480, episodic return=234.21841430664062\n", + "global step=46358528, episodic return=945.9928588867188\n", + "global step=46358528, episodic return=2330.04248046875\n", + "global step=46360576, episodic return=736.4357299804688\n", + "global step=46360576, episodic return=2357.113525390625\n", + "global step=46362624, episodic return=1566.183837890625\n", + "global step=46364672, episodic return=1371.2191162109375\n", + "global step=46364672, episodic return=2323.712646484375\n", + "global step=46366720, episodic return=2400.266845703125\n", + "global step=46366720, episodic return=2348.76318359375\n", + "global step=46366720, episodic return=18.54729461669922\n", + "global step=46366720, episodic return=2342.412353515625\n", + "global step=46368768, episodic return=2339.03076171875\n", + "global step=46372864, episodic return=2359.6123046875\n", + "global step=46374912, episodic return=1965.0274658203125\n", + "global step=46376960, episodic return=2336.569091796875\n", + "global step=46376960, episodic return=2302.5234375\n", + "global step=46379008, episodic return=861.8949584960938\n", + "global step=46381056, episodic return=2191.068359375\n", + "global step=46381056, episodic return=971.1442260742188\n", + "global step=46381056, episodic return=51.8504753112793\n", + "global step=46383104, episodic return=1310.4268798828125\n", + "global step=46383104, episodic return=1533.79345703125\n", + "global step=46385152, episodic return=457.24725341796875\n", + "global step=46389248, episodic return=770.7884521484375\n", + "global step=46389248, episodic return=2321.9814453125\n", + "global step=46389248, episodic return=2405.351318359375\n", + "global step=46389248, episodic return=2346.333251953125\n", + "global step=46389248, episodic return=2207.59765625\n", + "global step=46391296, episodic return=1297.3095703125\n", + "global step=46391296, episodic return=989.7142944335938\n", + "global step=46391296, episodic return=741.3267822265625\n", + "global step=46393344, episodic return=2318.09228515625\n", + "global step=46399488, episodic return=1133.7420654296875\n", + "global step=46403584, episodic return=2359.267333984375\n", + "global step=46405632, episodic return=2365.8486328125\n", + "global step=46405632, episodic return=2336.899169921875\n", + "global step=46407680, episodic return=49.08116149902344\n", + "global step=46407680, episodic return=2376.346435546875\n", + "global step=46407680, episodic return=2362.967041015625\n", + "global step=46407680, episodic return=1105.8248291015625\n", + "global step=46409728, episodic return=1333.4173583984375\n", + "global step=46411776, episodic return=1057.794921875\n", + "global step=46411776, episodic return=807.8404541015625\n", + "global step=46411776, episodic return=2315.79736328125\n", + "global step=46411776, episodic return=2383.745849609375\n", + "global step=46413824, episodic return=2377.74755859375\n", + "global step=46413824, episodic return=2350.649169921875\n", + "global step=46415872, episodic return=2295.4658203125\n", + "global step=46415872, episodic return=2085.95849609375\n", + "global step=46417920, episodic return=2255.582763671875\n", + "global step=46417920, episodic return=2342.23193359375\n", + "global step=46419968, episodic return=2271.017578125\n", + "global step=46419968, episodic return=2387.607177734375\n", + "global step=46422016, episodic return=851.5147705078125\n", + "global step=46424064, episodic return=2371.283935546875\n", + "global step=46424064, episodic return=2286.034423828125\n", + "global step=46424064, episodic return=2282.04638671875\n", + "global step=46424064, episodic return=2351.32373046875\n", + "global step=46424064, episodic return=2397.799072265625\n", + "global step=46426112, episodic return=2380.543701171875\n", + "global step=46426112, episodic return=2363.55322265625\n", + "global step=46426112, episodic return=2337.2587890625\n", + "global step=46426112, episodic return=2344.703369140625\n", + "global step=46426112, episodic return=2342.62939453125\n", + "global step=46426112, episodic return=2365.630615234375\n", + "global step=46428160, episodic return=2325.605712890625\n", + "global step=46430208, episodic return=2211.394775390625\n", + "global step=46430208, episodic return=2343.304443359375\n", + "global step=46432256, episodic return=2258.44677734375\n", + "global step=46432256, episodic return=2205.058837890625\n", + "global step=46434304, episodic return=2267.557861328125\n", + "global step=46434304, episodic return=869.82470703125\n", + "global step=46434304, episodic return=2050.41455078125\n", + "global step=46436352, episodic return=2344.111572265625\n", + "global step=46436352, episodic return=2350.732177734375\n", + "global step=46438400, episodic return=1635.0166015625\n", + "global step=46438400, episodic return=2318.293212890625\n", + "global step=46438400, episodic return=2278.26416015625\n", + "global step=46438400, episodic return=2219.6884765625\n", + "global step=46438400, episodic return=1152.489990234375\n", + "global step=46440448, episodic return=742.2224731445312\n", + "global step=46442496, episodic return=2358.89453125\n", + "global step=46442496, episodic return=2260.146728515625\n", + "global step=46442496, episodic return=2270.979736328125\n", + "global step=46444544, episodic return=259.9100036621094\n", + "global step=46444544, episodic return=2327.86474609375\n", + "global step=46444544, episodic return=2002.416015625\n", + "global step=46446592, episodic return=1607.601318359375\n", + "global step=46446592, episodic return=2334.63916015625\n", + "global step=46446592, episodic return=2244.129638671875\n", + "global step=46446592, episodic return=1968.1953125\n", + "global step=46446592, episodic return=2234.888427734375\n", + "global step=46448640, episodic return=2281.189208984375\n", + "global step=46448640, episodic return=2376.598876953125\n", + "global step=46448640, episodic return=2325.115234375\n", + "global step=46448640, episodic return=1711.5242919921875\n", + "global step=46450688, episodic return=2295.857177734375\n", + "global step=46450688, episodic return=2347.21875\n", + "global step=46452736, episodic return=2388.72265625\n", + "global step=46452736, episodic return=64.09855651855469\n", + "global step=46452736, episodic return=2319.94775390625\n", + "global step=46454784, episodic return=2300.85498046875\n", + "global step=46454784, episodic return=1963.5450439453125\n", + "global step=46456832, episodic return=2297.119384765625\n", + "global step=46456832, episodic return=893.5734252929688\n", + "global step=46456832, episodic return=1747.3447265625\n", + "global step=46456832, episodic return=2355.55224609375\n", + "global step=46458880, episodic return=2359.05419921875\n", + "global step=46458880, episodic return=2314.552978515625\n", + "global step=46458880, episodic return=2335.454345703125\n", + "global step=46460928, episodic return=1546.5865478515625\n", + "global step=46460928, episodic return=1544.692626953125\n", + "global step=46460928, episodic return=2025.375\n", + "global step=46460928, episodic return=2291.403564453125\n", + "global step=46462976, episodic return=2229.831787109375\n", + "global step=46462976, episodic return=2351.728759765625\n", + "global step=46462976, episodic return=2319.501708984375\n", + "global step=46462976, episodic return=2138.947265625\n", + "global step=46465024, episodic return=1527.0521240234375\n", + "global step=46465024, episodic return=1196.936767578125\n", + "global step=46465024, episodic return=123.75411987304688\n", + "global step=46465024, episodic return=358.38287353515625\n", + "global step=46465024, episodic return=2366.25146484375\n", + "global step=46467072, episodic return=2286.702880859375\n", + "global step=46469120, episodic return=2399.7685546875\n", + "global step=46471168, episodic return=1077.551513671875\n", + "global step=46471168, episodic return=2359.875\n", + "global step=46471168, episodic return=2238.6728515625\n", + "global step=46471168, episodic return=2380.64892578125\n", + "global step=46471168, episodic return=2313.91259765625\n", + "global step=46471168, episodic return=2365.10302734375\n", + "global step=46473216, episodic return=2255.0703125\n", + "global step=46475264, episodic return=2303.532470703125\n", + "global step=46475264, episodic return=2268.665283203125\n", + "global step=46475264, episodic return=2254.038330078125\n", + "global step=46475264, episodic return=540.2403564453125\n", + "global step=46477312, episodic return=2290.647705078125\n", + "global step=46479360, episodic return=966.2592163085938\n", + "global step=46481408, episodic return=222.3400115966797\n", + "global step=46481408, episodic return=161.61956787109375\n", + "global step=46481408, episodic return=2326.27099609375\n", + "global step=46481408, episodic return=2345.55810546875\n", + "global step=46481408, episodic return=572.0823364257812\n", + "global step=46483456, episodic return=2309.103515625\n", + "global step=46485504, episodic return=2327.41259765625\n", + "global step=46487552, episodic return=2344.935302734375\n", + "global step=46487552, episodic return=2367.870849609375\n", + "global step=46487552, episodic return=2413.503173828125\n", + "global step=46489600, episodic return=2299.77197265625\n", + "global step=46489600, episodic return=2397.51806640625\n", + "global step=46491648, episodic return=2361.679931640625\n", + "global step=46491648, episodic return=2306.601318359375\n", + "global step=46493696, episodic return=486.7190856933594\n", + "global step=46493696, episodic return=1599.3046875\n", + "global step=46495744, episodic return=1050.784912109375\n", + "global step=46497792, episodic return=625.3209228515625\n", + "global step=46497792, episodic return=203.6202392578125\n", + "global step=46497792, episodic return=2295.721923828125\n", + "global step=46503936, episodic return=50.86186599731445\n", + "global step=46505984, episodic return=1458.873779296875\n", + "global step=46505984, episodic return=56.83579635620117\n", + "global step=46510080, episodic return=249.64649963378906\n", + "global step=46510080, episodic return=2241.99560546875\n", + "global step=46510080, episodic return=2264.744140625\n", + "global step=46510080, episodic return=2314.451416015625\n", + "global step=46512128, episodic return=2325.050048828125\n", + "global step=46514176, episodic return=2329.1533203125\n", + "global step=46514176, episodic return=2348.08642578125\n", + "global step=46514176, episodic return=2333.450439453125\n", + "global step=46514176, episodic return=2293.053466796875\n", + "global step=46516224, episodic return=2344.203857421875\n", + "global step=46516224, episodic return=2381.659912109375\n", + "global step=46518272, episodic return=167.98326110839844\n", + "global step=46518272, episodic return=2302.425048828125\n", + "global step=46520320, episodic return=1566.5252685546875\n", + "global step=46520320, episodic return=2299.4306640625\n", + "global step=46522368, episodic return=2323.594482421875\n", + "global step=46524416, episodic return=2227.053955078125\n", + "global step=46524416, episodic return=25.728525161743164\n", + "global step=46524416, episodic return=2320.47216796875\n", + "global step=46526464, episodic return=1251.0572509765625\n", + "global step=46526464, episodic return=1346.5667724609375\n", + "global step=46528512, episodic return=2248.2626953125\n", + "global step=46528512, episodic return=2297.065185546875\n", + "global step=46530560, episodic return=1087.2362060546875\n", + "global step=46530560, episodic return=2257.814208984375\n", + "global step=46532608, episodic return=2354.464111328125\n", + "global step=46532608, episodic return=833.5999145507812\n", + "global step=46534656, episodic return=1940.742431640625\n", + "global step=46534656, episodic return=2356.634033203125\n", + "global step=46538752, episodic return=2353.9033203125\n", + "global step=46538752, episodic return=59.90424346923828\n", + "global step=46538752, episodic return=2390.8544921875\n", + "global step=46540800, episodic return=2342.162353515625\n", + "global step=46540800, episodic return=2423.681640625\n", + "global step=46542848, episodic return=2374.4248046875\n", + "global step=46542848, episodic return=2354.68310546875\n", + "global step=46544896, episodic return=2291.319580078125\n", + "global step=46546944, episodic return=2386.816162109375\n", + "global step=46546944, episodic return=2312.325439453125\n", + "global step=46546944, episodic return=2297.083984375\n", + "global step=46546944, episodic return=2337.7333984375\n", + "global step=46548992, episodic return=2289.22607421875\n", + "global step=46551040, episodic return=2285.802734375\n", + "global step=46551040, episodic return=2203.867919921875\n", + "global step=46555136, episodic return=2360.201904296875\n", + "global step=46555136, episodic return=2311.219482421875\n", + "global step=46555136, episodic return=2342.9345703125\n", + "global step=46555136, episodic return=2354.719482421875\n", + "global step=46555136, episodic return=2356.208740234375\n", + "global step=46555136, episodic return=2350.15234375\n", + "global step=46557184, episodic return=2336.494873046875\n", + "global step=46557184, episodic return=750.0367431640625\n", + "global step=46557184, episodic return=1115.3348388671875\n", + "global step=46559232, episodic return=152.51153564453125\n", + "global step=46559232, episodic return=2379.404052734375\n", + "global step=46559232, episodic return=2404.93115234375\n", + "global step=46559232, episodic return=1174.389892578125\n", + "global step=46561280, episodic return=2344.535888671875\n", + "global step=46561280, episodic return=2353.88671875\n", + "global step=46563328, episodic return=2275.55517578125\n", + "global step=46563328, episodic return=2348.72705078125\n", + "global step=46565376, episodic return=367.8238220214844\n", + "global step=46565376, episodic return=2393.168701171875\n", + "global step=46565376, episodic return=2356.04638671875\n", + "global step=46567424, episodic return=1968.55029296875\n", + "global step=46569472, episodic return=2377.518798828125\n", + "global step=46571520, episodic return=160.9812774658203\n", + "global step=46571520, episodic return=2314.403076171875\n", + "global step=46571520, episodic return=1389.86767578125\n", + "global step=46573568, episodic return=2443.84228515625\n", + "global step=46573568, episodic return=103.69269561767578\n", + "global step=46573568, episodic return=2329.078369140625\n", + "global step=46575616, episodic return=2280.534423828125\n", + "global step=46575616, episodic return=1145.4793701171875\n", + "global step=46577664, episodic return=2330.627197265625\n", + "global step=46577664, episodic return=2345.156494140625\n", + "global step=46579712, episodic return=2244.769287109375\n", + "global step=46579712, episodic return=2320.480712890625\n", + "global step=46579712, episodic return=2394.784912109375\n", + "global step=46581760, episodic return=2240.839599609375\n", + "global step=46581760, episodic return=2124.27392578125\n", + "global step=46583808, episodic return=2320.011474609375\n", + "global step=46583808, episodic return=2375.036376953125\n", + "global step=46583808, episodic return=1373.9444580078125\n", + "global step=46585856, episodic return=2384.822265625\n", + "global step=46585856, episodic return=2263.625244140625\n", + "global step=46585856, episodic return=2354.5947265625\n", + "global step=46585856, episodic return=2267.06884765625\n", + "global step=46585856, episodic return=2340.90576171875\n", + "global step=46585856, episodic return=2313.115234375\n", + "global step=46587904, episodic return=2369.784912109375\n", + "global step=46587904, episodic return=2354.30615234375\n", + "global step=46587904, episodic return=2330.49072265625\n", + "global step=46589952, episodic return=2313.1455078125\n", + "global step=46589952, episodic return=1007.0628051757812\n", + "global step=46589952, episodic return=2282.3154296875\n", + "global step=46589952, episodic return=2274.826171875\n", + "global step=46589952, episodic return=1042.2666015625\n", + "global step=46592000, episodic return=2372.795166015625\n", + "global step=46592000, episodic return=2291.745361328125\n", + "global step=46594048, episodic return=1148.4296875\n", + "global step=46594048, episodic return=2239.87841796875\n", + "global step=46596096, episodic return=2383.50048828125\n", + "global step=46596096, episodic return=2355.97314453125\n", + "global step=46598144, episodic return=1825.680908203125\n", + "global step=46598144, episodic return=2205.526611328125\n", + "global step=46598144, episodic return=1521.5076904296875\n", + "global step=46598144, episodic return=2358.5595703125\n", + "global step=46600192, episodic return=2381.25634765625\n", + "global step=46600192, episodic return=2261.931396484375\n", + "global step=46602240, episodic return=777.6863403320312\n", + "global step=46604288, episodic return=1789.8524169921875\n", + "global step=46604288, episodic return=2190.119384765625\n", + "global step=46606336, episodic return=2334.069091796875\n", + "global step=46606336, episodic return=2300.198486328125\n", + "global step=46606336, episodic return=2330.25732421875\n", + "global step=46608384, episodic return=2410.3701171875\n", + "global step=46608384, episodic return=2363.5078125\n", + "global step=46608384, episodic return=2303.4609375\n", + "global step=46608384, episodic return=2306.874267578125\n", + "global step=46608384, episodic return=2305.760009765625\n", + "global step=46610432, episodic return=1551.0308837890625\n", + "global step=46610432, episodic return=2386.370361328125\n", + "global step=46612480, episodic return=2187.16943359375\n", + "global step=46612480, episodic return=2283.24560546875\n", + "global step=46612480, episodic return=278.1172180175781\n", + "global step=46614528, episodic return=2273.010009765625\n", + "global step=46614528, episodic return=2192.593017578125\n", + "global step=46616576, episodic return=2353.71435546875\n", + "global step=46616576, episodic return=2348.5224609375\n", + "global step=46618624, episodic return=2365.61279296875\n", + "global step=46618624, episodic return=2387.80615234375\n", + "global step=46620672, episodic return=2392.511474609375\n", + "global step=46620672, episodic return=1986.8853759765625\n", + "global step=46622720, episodic return=2301.732666015625\n", + "global step=46624768, episodic return=2270.4150390625\n", + "global step=46624768, episodic return=2313.824462890625\n", + "global step=46626816, episodic return=2403.3779296875\n", + "global step=46626816, episodic return=2269.765380859375\n", + "global step=46628864, episodic return=201.90333557128906\n", + "global step=46628864, episodic return=784.8817749023438\n", + "global step=46630912, episodic return=2185.042724609375\n", + "global step=46630912, episodic return=2366.09521484375\n", + "global step=46630912, episodic return=2338.91748046875\n", + "global step=46630912, episodic return=2385.117919921875\n", + "global step=46632960, episodic return=989.8573608398438\n", + "global step=46632960, episodic return=2316.66455078125\n", + "global step=46635008, episodic return=1989.7421875\n", + "global step=46635008, episodic return=2350.9521484375\n", + "global step=46635008, episodic return=2189.583740234375\n", + "global step=46635008, episodic return=148.3345489501953\n", + "global step=46635008, episodic return=2332.192138671875\n", + "global step=46635008, episodic return=162.68173217773438\n", + "global step=46637056, episodic return=2408.9306640625\n", + "global step=46637056, episodic return=2329.91650390625\n", + "global step=46637056, episodic return=2378.18115234375\n", + "global step=46637056, episodic return=2389.982666015625\n", + "global step=46639104, episodic return=2294.296630859375\n", + "global step=46639104, episodic return=985.7186889648438\n", + "global step=46639104, episodic return=2392.0390625\n", + "global step=46639104, episodic return=2322.34033203125\n", + "global step=46641152, episodic return=1113.51953125\n", + "global step=46641152, episodic return=2423.76318359375\n", + "global step=46643200, episodic return=2301.42333984375\n", + "global step=46643200, episodic return=2331.721923828125\n", + "global step=46643200, episodic return=2400.14111328125\n", + "global step=46643200, episodic return=2412.787109375\n", + "global step=46645248, episodic return=2238.821533203125\n", + "global step=46645248, episodic return=48.45631408691406\n", + "global step=46645248, episodic return=1192.114013671875\n", + "global step=46645248, episodic return=2318.100830078125\n", + "global step=46645248, episodic return=2338.366455078125\n", + "global step=46647296, episodic return=2280.25244140625\n", + "global step=46647296, episodic return=1219.8270263671875\n", + "global step=46647296, episodic return=2402.47802734375\n", + "global step=46647296, episodic return=2290.471435546875\n", + "global step=46649344, episodic return=2370.970703125\n", + "global step=46649344, episodic return=1894.9429931640625\n", + "global step=46649344, episodic return=37.64271545410156\n", + "global step=46649344, episodic return=1889.28369140625\n", + "global step=46651392, episodic return=1516.565185546875\n", + "global step=46651392, episodic return=2385.64013671875\n", + "global step=46651392, episodic return=2356.186279296875\n", + "global step=46651392, episodic return=2313.515380859375\n", + "global step=46653440, episodic return=1753.564208984375\n", + "global step=46653440, episodic return=2351.23486328125\n", + "global step=46653440, episodic return=932.44482421875\n", + "global step=46653440, episodic return=2293.577880859375\n", + "global step=46653440, episodic return=2276.3212890625\n", + "global step=46653440, episodic return=883.180908203125\n", + "global step=46653440, episodic return=2222.525390625\n", + "global step=46653440, episodic return=2242.644287109375\n", + "global step=46655488, episodic return=2394.843994140625\n", + "global step=46655488, episodic return=2392.2197265625\n", + "global step=46655488, episodic return=2354.1337890625\n", + "global step=46655488, episodic return=1394.9451904296875\n", + "global step=46657536, episodic return=2303.83203125\n", + "global step=46657536, episodic return=2303.057373046875\n", + "global step=46657536, episodic return=2242.341064453125\n", + "global step=46657536, episodic return=1427.415771484375\n", + "global step=46657536, episodic return=2346.51171875\n", + "global step=46657536, episodic return=2305.9892578125\n", + "global step=46657536, episodic return=2365.072509765625\n", + "global step=46659584, episodic return=190.43385314941406\n", + "global step=46659584, episodic return=650.5424194335938\n", + "global step=46659584, episodic return=2337.19775390625\n", + "global step=46659584, episodic return=2293.817138671875\n", + "global step=46659584, episodic return=2305.18896484375\n", + "global step=46661632, episodic return=1820.9058837890625\n", + "global step=46661632, episodic return=2254.82373046875\n", + "global step=46661632, episodic return=441.9945983886719\n", + "global step=46661632, episodic return=998.887451171875\n", + "global step=46663680, episodic return=2351.132080078125\n", + "global step=46665728, episodic return=2348.2060546875\n", + "global step=46665728, episodic return=2380.291015625\n", + "global step=46665728, episodic return=2398.776611328125\n", + "global step=46665728, episodic return=1358.486083984375\n", + "global step=46665728, episodic return=177.72994995117188\n", + "global step=46667776, episodic return=2417.372802734375\n", + "global step=46667776, episodic return=2377.464111328125\n", + "global step=46667776, episodic return=2309.861572265625\n", + "global step=46669824, episodic return=2393.307373046875\n", + "global step=46669824, episodic return=2339.97802734375\n", + "global step=46671872, episodic return=2390.840576171875\n", + "global step=46671872, episodic return=2297.974853515625\n", + "global step=46673920, episodic return=2345.8837890625\n", + "global step=46673920, episodic return=2338.62744140625\n", + "global step=46675968, episodic return=2331.313720703125\n", + "global step=46675968, episodic return=2332.42138671875\n", + "global step=46680064, episodic return=2348.193603515625\n", + "global step=46680064, episodic return=2229.296142578125\n", + "global step=46680064, episodic return=2346.881591796875\n", + "global step=46680064, episodic return=171.89674377441406\n", + "global step=46680064, episodic return=2162.2314453125\n", + "global step=46682112, episodic return=2260.5576171875\n", + "global step=46682112, episodic return=2349.23046875\n", + "global step=46682112, episodic return=2356.092529296875\n", + "global step=46682112, episodic return=2278.6064453125\n", + "global step=46684160, episodic return=2285.79736328125\n", + "global step=46684160, episodic return=1381.38525390625\n", + "global step=46684160, episodic return=2382.09521484375\n", + "global step=46684160, episodic return=2196.602294921875\n", + "global step=46686208, episodic return=1498.9251708984375\n", + "global step=46686208, episodic return=2401.66015625\n", + "global step=46686208, episodic return=2355.989501953125\n", + "global step=46690304, episodic return=2346.712646484375\n", + "global step=46692352, episodic return=2258.0712890625\n", + "global step=46692352, episodic return=2391.529052734375\n", + "global step=46692352, episodic return=2248.32568359375\n", + "global step=46692352, episodic return=2366.204345703125\n", + "global step=46694400, episodic return=2405.2744140625\n", + "global step=46694400, episodic return=2377.781982421875\n", + "global step=46694400, episodic return=2401.17724609375\n", + "global step=46696448, episodic return=2328.18603515625\n", + "global step=46696448, episodic return=2401.568359375\n", + "global step=46696448, episodic return=2314.669189453125\n", + "global step=46698496, episodic return=1866.284912109375\n", + "global step=46698496, episodic return=2215.465087890625\n", + "global step=46698496, episodic return=2333.353515625\n", + "global step=46700544, episodic return=2371.5361328125\n", + "global step=46700544, episodic return=2304.617431640625\n", + "global step=46700544, episodic return=292.94219970703125\n", + "global step=46700544, episodic return=2223.10498046875\n", + "global step=46702592, episodic return=54.14369583129883\n", + "global step=46702592, episodic return=2355.9384765625\n", + "global step=46704640, episodic return=2287.842041015625\n", + "global step=46706688, episodic return=2271.73876953125\n", + "global step=46708736, episodic return=2370.630859375\n", + "global step=46710784, episodic return=2313.671630859375\n", + "global step=46710784, episodic return=2369.71875\n", + "global step=46710784, episodic return=2396.383056640625\n", + "global step=46710784, episodic return=2254.361572265625\n", + "global step=46712832, episodic return=2400.32763671875\n", + "global step=46712832, episodic return=2358.0673828125\n", + "global step=46714880, episodic return=2402.173095703125\n", + "global step=46714880, episodic return=1980.8868408203125\n", + "global step=46714880, episodic return=2301.205078125\n", + "global step=46714880, episodic return=1702.8941650390625\n", + "global step=46716928, episodic return=2313.480224609375\n", + "global step=46716928, episodic return=2271.52099609375\n", + "global step=46718976, episodic return=2386.1298828125\n", + "global step=46721024, episodic return=2247.79541015625\n", + "global step=46723072, episodic return=2343.11669921875\n", + "global step=46723072, episodic return=2294.145263671875\n", + "global step=46723072, episodic return=2390.427734375\n", + "global step=46725120, episodic return=2293.406005859375\n", + "global step=46725120, episodic return=2053.044921875\n", + "global step=46725120, episodic return=186.97288513183594\n", + "global step=46727168, episodic return=2265.06640625\n", + "global step=46727168, episodic return=1873.4326171875\n", + "global step=46727168, episodic return=2256.47705078125\n", + "global step=46727168, episodic return=24.288654327392578\n", + "global step=46729216, episodic return=2317.862060546875\n", + "global step=46729216, episodic return=2257.418701171875\n", + "global step=46731264, episodic return=2335.15869140625\n", + "global step=46731264, episodic return=2361.69580078125\n", + "global step=46731264, episodic return=2352.560302734375\n", + "global step=46731264, episodic return=1902.5335693359375\n", + "global step=46733312, episodic return=2352.12255859375\n", + "global step=46733312, episodic return=2333.4296875\n", + "global step=46733312, episodic return=1354.8770751953125\n", + "global step=46733312, episodic return=2310.595947265625\n", + "global step=46737408, episodic return=2328.084228515625\n", + "global step=46737408, episodic return=2328.010986328125\n", + "global step=46739456, episodic return=187.8621826171875\n", + "global step=46741504, episodic return=2252.289794921875\n", + "global step=46741504, episodic return=2180.9619140625\n", + "global step=46743552, episodic return=2318.48046875\n", + "global step=46743552, episodic return=2300.537109375\n", + "global step=46743552, episodic return=2303.076416015625\n", + "global step=46745600, episodic return=2308.963134765625\n", + "global step=46745600, episodic return=2288.40576171875\n", + "global step=46747648, episodic return=2347.0947265625\n", + "global step=46749696, episodic return=2325.69873046875\n", + "global step=46749696, episodic return=2285.21533203125\n", + "global step=46749696, episodic return=2331.94482421875\n", + "global step=46751744, episodic return=2300.322265625\n", + "global step=46751744, episodic return=2359.835205078125\n", + "global step=46753792, episodic return=2357.482666015625\n", + "global step=46755840, episodic return=2301.62841796875\n", + "global step=46755840, episodic return=2330.55908203125\n", + "global step=46757888, episodic return=2346.605224609375\n", + "global step=46757888, episodic return=150.3207244873047\n", + "global step=46757888, episodic return=1556.506591796875\n", + "global step=46757888, episodic return=2261.788330078125\n", + "global step=46757888, episodic return=2308.029541015625\n", + "global step=46759936, episodic return=1207.7042236328125\n", + "global step=46759936, episodic return=1183.1217041015625\n", + "global step=46759936, episodic return=727.063720703125\n", + "global step=46759936, episodic return=2339.947998046875\n", + "global step=46761984, episodic return=878.1126708984375\n", + "global step=46761984, episodic return=2325.964111328125\n", + "global step=46761984, episodic return=1377.4549560546875\n", + "global step=46764032, episodic return=2329.370361328125\n", + "global step=46766080, episodic return=1978.636962890625\n", + "global step=46766080, episodic return=2289.263916015625\n", + "global step=46770176, episodic return=1735.6812744140625\n", + "global step=46772224, episodic return=2325.014404296875\n", + "global step=46772224, episodic return=2113.170166015625\n", + "global step=46772224, episodic return=2270.513916015625\n", + "global step=46774272, episodic return=2254.486328125\n", + "global step=46774272, episodic return=2384.9404296875\n", + "global step=46776320, episodic return=2328.365966796875\n", + "global step=46778368, episodic return=2014.3355712890625\n", + "global step=46778368, episodic return=2432.673828125\n", + "global step=46778368, episodic return=2253.476318359375\n", + "global step=46780416, episodic return=752.9744262695312\n", + "global step=46780416, episodic return=2231.443115234375\n", + "global step=46782464, episodic return=2351.611328125\n", + "global step=46782464, episodic return=2241.322509765625\n", + "global step=46782464, episodic return=2287.527099609375\n", + "global step=46784512, episodic return=2291.617919921875\n", + "global step=46784512, episodic return=2368.9169921875\n", + "global step=46786560, episodic return=2323.69873046875\n", + "global step=46788608, episodic return=2413.158203125\n", + "global step=46790656, episodic return=2372.7890625\n", + "global step=46790656, episodic return=2310.077392578125\n", + "global step=46792704, episodic return=1916.7275390625\n", + "global step=46792704, episodic return=2285.662109375\n", + "global step=46792704, episodic return=2306.870361328125\n", + "global step=46792704, episodic return=2344.7861328125\n", + "global step=46792704, episodic return=2222.793212890625\n", + "global step=46794752, episodic return=2306.26806640625\n", + "global step=46794752, episodic return=384.5150146484375\n", + "global step=46794752, episodic return=2316.992919921875\n", + "global step=46796800, episodic return=2346.216796875\n", + "global step=46796800, episodic return=2178.869384765625\n", + "global step=46798848, episodic return=2303.168212890625\n", + "global step=46800896, episodic return=2292.652099609375\n", + "global step=46800896, episodic return=2233.4921875\n", + "global step=46800896, episodic return=2242.6455078125\n", + "global step=46802944, episodic return=2301.00244140625\n", + "global step=46802944, episodic return=2232.147216796875\n", + "global step=46804992, episodic return=2244.32421875\n", + "global step=46807040, episodic return=2322.37060546875\n", + "global step=46807040, episodic return=336.0334167480469\n", + "global step=46809088, episodic return=2310.141357421875\n", + "global step=46809088, episodic return=2240.7744140625\n", + "global step=46809088, episodic return=2364.37548828125\n", + "global step=46811136, episodic return=2310.664306640625\n", + "global step=46811136, episodic return=2252.8427734375\n", + "global step=46813184, episodic return=2380.895263671875\n", + "global step=46813184, episodic return=1808.8565673828125\n", + "global step=46813184, episodic return=2299.80810546875\n", + "global step=46815232, episodic return=2233.577392578125\n", + "global step=46815232, episodic return=2321.36865234375\n", + "global step=46815232, episodic return=2297.2744140625\n", + "global step=46815232, episodic return=2367.85693359375\n", + "global step=46817280, episodic return=2352.2265625\n", + "global step=46817280, episodic return=2162.8779296875\n", + "global step=46817280, episodic return=2258.856201171875\n", + "global step=46819328, episodic return=2292.85888671875\n", + "global step=46819328, episodic return=2304.612548828125\n", + "global step=46823424, episodic return=2411.28515625\n", + "global step=46825472, episodic return=117.6050796508789\n", + "global step=46829568, episodic return=2230.92919921875\n", + "global step=46829568, episodic return=2210.412841796875\n", + "global step=46829568, episodic return=2233.210205078125\n", + "global step=46829568, episodic return=2259.987060546875\n", + "global step=46831616, episodic return=2304.73876953125\n", + "global step=46831616, episodic return=2274.10107421875\n", + "global step=46831616, episodic return=2228.58837890625\n", + "global step=46831616, episodic return=2313.604736328125\n", + "global step=46835712, episodic return=2328.205078125\n", + "global step=46835712, episodic return=2321.846923828125\n", + "global step=46835712, episodic return=2287.473876953125\n", + "global step=46835712, episodic return=2336.252685546875\n", + "global step=46835712, episodic return=2231.59033203125\n", + "global step=46835712, episodic return=1818.5750732421875\n", + "global step=46837760, episodic return=2234.934326171875\n", + "global step=46837760, episodic return=2268.56201171875\n", + "global step=46837760, episodic return=229.06637573242188\n", + "global step=46837760, episodic return=770.2901611328125\n", + "global step=46839808, episodic return=2268.479248046875\n", + "global step=46841856, episodic return=2370.9658203125\n", + "global step=46841856, episodic return=184.53204345703125\n", + "global step=46841856, episodic return=2339.77197265625\n", + "global step=46843904, episodic return=2408.40185546875\n", + "global step=46843904, episodic return=2240.803466796875\n", + "global step=46845952, episodic return=347.1608581542969\n", + "global step=46845952, episodic return=2285.266845703125\n", + "global step=46845952, episodic return=2364.75732421875\n", + "global step=46848000, episodic return=2447.983642578125\n", + "global step=46848000, episodic return=2310.990478515625\n", + "global step=46848000, episodic return=1809.9295654296875\n", + "global step=46848000, episodic return=2257.7197265625\n", + "global step=46848000, episodic return=2285.991943359375\n", + "global step=46850048, episodic return=2364.204345703125\n", + "global step=46852096, episodic return=2357.15380859375\n", + "global step=46852096, episodic return=2253.403076171875\n", + "global step=46852096, episodic return=333.9044189453125\n", + "global step=46852096, episodic return=2323.9033203125\n", + "global step=46852096, episodic return=2203.69091796875\n", + "global step=46854144, episodic return=2336.795654296875\n", + "global step=46854144, episodic return=2262.71142578125\n", + "global step=46854144, episodic return=2298.341064453125\n", + "global step=46854144, episodic return=2270.7861328125\n", + "global step=46858240, episodic return=2358.068603515625\n", + "global step=46860288, episodic return=2276.06396484375\n", + "global step=46860288, episodic return=2266.3427734375\n", + "global step=46860288, episodic return=1718.5279541015625\n", + "global step=46860288, episodic return=2321.95361328125\n", + "global step=46860288, episodic return=255.14285278320312\n", + "global step=46862336, episodic return=2242.4560546875\n", + "global step=46862336, episodic return=2305.59228515625\n", + "global step=46864384, episodic return=24.250898361206055\n", + "global step=46864384, episodic return=2382.19287109375\n", + "global step=46864384, episodic return=2269.283447265625\n", + "global step=46866432, episodic return=2293.543212890625\n", + "global step=46868480, episodic return=2177.828857421875\n", + "global step=46868480, episodic return=2238.313720703125\n", + "global step=46868480, episodic return=2360.79296875\n", + "global step=46870528, episodic return=2265.84375\n", + "global step=46870528, episodic return=2340.212890625\n", + "global step=46872576, episodic return=2315.235595703125\n", + "global step=46872576, episodic return=2313.488037109375\n", + "global step=46872576, episodic return=114.30165100097656\n", + "global step=46872576, episodic return=2242.177490234375\n", + "global step=46874624, episodic return=2340.547119140625\n", + "global step=46874624, episodic return=2272.81494140625\n", + "global step=46874624, episodic return=2333.966064453125\n", + "global step=46874624, episodic return=2233.130615234375\n", + "global step=46874624, episodic return=2253.886962890625\n", + "global step=46876672, episodic return=2325.53125\n", + "global step=46876672, episodic return=2405.355712890625\n", + "global step=46882816, episodic return=2340.14453125\n", + "global step=46882816, episodic return=43.02333068847656\n", + "global step=46882816, episodic return=2286.1328125\n", + "global step=46884864, episodic return=2364.96337890625\n", + "global step=46884864, episodic return=362.35601806640625\n", + "global step=46884864, episodic return=2310.49658203125\n", + "global step=46884864, episodic return=2336.400634765625\n", + "global step=46886912, episodic return=1235.94873046875\n", + "global step=46888960, episodic return=2305.602783203125\n", + "global step=46888960, episodic return=2284.214111328125\n", + "global step=46888960, episodic return=2299.481201171875\n", + "global step=46888960, episodic return=1342.9471435546875\n", + "global step=46888960, episodic return=2375.25927734375\n", + "global step=46888960, episodic return=1088.765625\n", + "global step=46891008, episodic return=2187.34521484375\n", + "global step=46891008, episodic return=2358.8349609375\n", + "global step=46891008, episodic return=2368.11181640625\n", + "global step=46895104, episodic return=2334.480224609375\n", + "global step=46895104, episodic return=2371.587646484375\n", + "global step=46895104, episodic return=2220.88427734375\n", + "global step=46895104, episodic return=2312.014404296875\n", + "global step=46895104, episodic return=22.175649642944336\n", + "global step=46895104, episodic return=2203.811279296875\n", + "global step=46897152, episodic return=1749.383544921875\n", + "global step=46897152, episodic return=2375.886474609375\n", + "global step=46897152, episodic return=2299.622314453125\n", + "global step=46899200, episodic return=2321.13232421875\n", + "global step=46901248, episodic return=2225.05712890625\n", + "global step=46901248, episodic return=2196.5537109375\n", + "global step=46901248, episodic return=2434.62841796875\n", + "global step=46903296, episodic return=2307.601806640625\n", + "global step=46903296, episodic return=2378.022705078125\n", + "global step=46903296, episodic return=1764.141357421875\n", + "global step=46903296, episodic return=2083.432861328125\n", + "global step=46905344, episodic return=2249.71533203125\n", + "global step=46905344, episodic return=2267.10595703125\n", + "global step=46909440, episodic return=2275.310302734375\n", + "global step=46909440, episodic return=1010.5623779296875\n", + "global step=46911488, episodic return=2280.794921875\n", + "global step=46911488, episodic return=2108.03173828125\n", + "global step=46911488, episodic return=2330.65869140625\n", + "global step=46913536, episodic return=2059.19873046875\n", + "global step=46913536, episodic return=2358.51611328125\n", + "global step=46913536, episodic return=2345.940673828125\n", + "global step=46913536, episodic return=2277.518798828125\n", + "global step=46913536, episodic return=2247.96142578125\n", + "global step=46913536, episodic return=2263.610595703125\n", + "global step=46913536, episodic return=2128.1220703125\n", + "global step=46915584, episodic return=2248.855712890625\n", + "global step=46915584, episodic return=2326.7353515625\n", + "global step=46915584, episodic return=2336.703125\n", + "global step=46917632, episodic return=2293.7080078125\n", + "global step=46917632, episodic return=1818.621826171875\n", + "global step=46919680, episodic return=1980.7354736328125\n", + "global step=46919680, episodic return=199.06158447265625\n", + "global step=46919680, episodic return=1870.3594970703125\n", + "global step=46919680, episodic return=2272.376953125\n", + "global step=46919680, episodic return=2384.680908203125\n", + "global step=46921728, episodic return=43.55175018310547\n", + "global step=46921728, episodic return=2359.285400390625\n", + "global step=46921728, episodic return=2207.301513671875\n", + "global step=46923776, episodic return=2326.381591796875\n", + "global step=46923776, episodic return=2215.158203125\n", + "global step=46925824, episodic return=2247.584228515625\n", + "global step=46927872, episodic return=1399.8902587890625\n", + "global step=46927872, episodic return=1571.2275390625\n", + "global step=46927872, episodic return=2326.68212890625\n", + "global step=46929920, episodic return=2319.40625\n", + "global step=46929920, episodic return=2312.807373046875\n", + "global step=46929920, episodic return=2190.623046875\n", + "global step=46931968, episodic return=2360.800537109375\n", + "global step=46931968, episodic return=2358.947998046875\n", + "global step=46934016, episodic return=2314.537353515625\n", + "global step=46934016, episodic return=2293.03955078125\n", + "global step=46934016, episodic return=2317.359130859375\n", + "global step=46934016, episodic return=70.26537322998047\n", + "global step=46938112, episodic return=2270.902587890625\n", + "global step=46938112, episodic return=2255.822998046875\n", + "global step=46938112, episodic return=2367.0693359375\n", + "global step=46940160, episodic return=173.65623474121094\n", + "global step=46940160, episodic return=2237.76025390625\n", + "global step=46940160, episodic return=2303.014892578125\n", + "global step=46940160, episodic return=2223.40673828125\n", + "global step=46940160, episodic return=2268.59033203125\n", + "global step=46942208, episodic return=2320.635009765625\n", + "global step=46942208, episodic return=1553.863525390625\n", + "global step=46944256, episodic return=2337.2294921875\n", + "global step=46944256, episodic return=2291.760498046875\n", + "global step=46944256, episodic return=2316.79296875\n", + "global step=46944256, episodic return=2371.59423828125\n", + "global step=46946304, episodic return=815.4849243164062\n", + "global step=46946304, episodic return=2229.383544921875\n", + "global step=46946304, episodic return=2327.513916015625\n", + "global step=46946304, episodic return=2312.0498046875\n", + "global step=46948352, episodic return=2278.649169921875\n", + "global step=46948352, episodic return=2221.921630859375\n", + "global step=46948352, episodic return=2351.33935546875\n", + "global step=46950400, episodic return=71.26764678955078\n", + "global step=46950400, episodic return=2281.55517578125\n", + "global step=46950400, episodic return=2349.948974609375\n", + "global step=46952448, episodic return=2346.069580078125\n", + "global step=46954496, episodic return=2213.276123046875\n", + "global step=46954496, episodic return=2351.824462890625\n", + "global step=46954496, episodic return=1512.592529296875\n", + "global step=46956544, episodic return=2345.91845703125\n", + "global step=46956544, episodic return=2274.8212890625\n", + "global step=46956544, episodic return=2223.000244140625\n", + "global step=46958592, episodic return=2339.685302734375\n", + "global step=46958592, episodic return=2304.7275390625\n", + "global step=46958592, episodic return=2302.60986328125\n", + "global step=46960640, episodic return=1452.3394775390625\n", + "global step=46962688, episodic return=2331.805908203125\n", + "global step=46964736, episodic return=2260.9306640625\n", + "global step=46966784, episodic return=2384.7001953125\n", + "global step=46966784, episodic return=2317.269775390625\n", + "global step=46968832, episodic return=2202.428955078125\n", + "global step=46968832, episodic return=2348.259033203125\n", + "global step=46968832, episodic return=2295.220458984375\n", + "global step=46968832, episodic return=2295.5830078125\n", + "global step=46970880, episodic return=2322.3603515625\n", + "global step=46970880, episodic return=2325.8505859375\n", + "global step=46970880, episodic return=2371.583740234375\n", + "global step=46972928, episodic return=2284.6640625\n", + "global step=46972928, episodic return=2310.96728515625\n", + "global step=46972928, episodic return=2296.3095703125\n", + "global step=46974976, episodic return=2385.3271484375\n", + "global step=46974976, episodic return=2334.860107421875\n", + "global step=46977024, episodic return=2380.4892578125\n", + "global step=46977024, episodic return=2402.030029296875\n", + "global step=46977024, episodic return=2237.50439453125\n", + "global step=46977024, episodic return=2329.562255859375\n", + "global step=46977024, episodic return=2345.767822265625\n", + "global step=46979072, episodic return=2336.222900390625\n", + "global step=46979072, episodic return=2319.0576171875\n", + "global step=46979072, episodic return=2326.529541015625\n", + "global step=46979072, episodic return=2322.35595703125\n", + "global step=46979072, episodic return=2307.9306640625\n", + "global step=46979072, episodic return=2369.296875\n", + "global step=46981120, episodic return=2311.219970703125\n", + "global step=46983168, episodic return=2358.361328125\n", + "global step=46985216, episodic return=2308.6787109375\n", + "global step=46985216, episodic return=2313.336669921875\n", + "global step=46985216, episodic return=2402.36767578125\n", + "global step=46987264, episodic return=2253.6982421875\n", + "global step=46987264, episodic return=2280.060302734375\n", + "global step=46987264, episodic return=2239.447998046875\n", + "global step=46987264, episodic return=2307.376220703125\n", + "global step=46989312, episodic return=2312.315673828125\n", + "global step=46989312, episodic return=2242.182373046875\n", + "global step=46989312, episodic return=2276.90087890625\n", + "global step=46991360, episodic return=2288.129638671875\n", + "global step=46991360, episodic return=2321.870849609375\n", + "global step=46993408, episodic return=2391.3017578125\n", + "global step=46993408, episodic return=2233.57177734375\n", + "global step=46993408, episodic return=2351.34228515625\n", + "global step=46993408, episodic return=2354.350830078125\n", + "global step=46993408, episodic return=2259.868408203125\n", + "global step=46995456, episodic return=2178.248779296875\n", + "global step=46995456, episodic return=2381.838623046875\n", + "global step=46995456, episodic return=2348.260986328125\n", + "global step=46997504, episodic return=2298.605224609375\n", + "global step=46999552, episodic return=2270.09716796875\n", + "global step=46999552, episodic return=2248.539794921875\n", + "global step=47001600, episodic return=2237.6083984375\n", + "global step=47001600, episodic return=2286.9111328125\n", + "global step=47003648, episodic return=783.8336181640625\n", + "global step=47003648, episodic return=2281.620361328125\n", + "global step=47005696, episodic return=2210.9052734375\n", + "global step=47007744, episodic return=2255.839599609375\n", + "global step=47007744, episodic return=2312.84716796875\n", + "global step=47009792, episodic return=2317.45263671875\n", + "global step=47009792, episodic return=1902.14111328125\n", + "global step=47011840, episodic return=2311.5625\n", + "global step=47011840, episodic return=2314.263427734375\n", + "global step=47011840, episodic return=2312.7998046875\n", + "global step=47011840, episodic return=2281.059326171875\n", + "global step=47013888, episodic return=2289.7578125\n", + "global step=47013888, episodic return=2360.31201171875\n", + "global step=47013888, episodic return=2355.11328125\n", + "global step=47013888, episodic return=2379.671875\n", + "global step=47013888, episodic return=2331.388916015625\n", + "global step=47013888, episodic return=2234.06591796875\n", + "global step=47013888, episodic return=2301.6708984375\n", + "global step=47013888, episodic return=2365.580810546875\n", + "global step=47013888, episodic return=1310.49462890625\n", + "global step=47017984, episodic return=2150.451416015625\n", + "global step=47017984, episodic return=2248.64501953125\n", + "global step=47017984, episodic return=521.4099731445312\n", + "global step=47020032, episodic return=2352.0078125\n", + "global step=47022080, episodic return=581.64697265625\n", + "global step=47022080, episodic return=2311.20068359375\n", + "global step=47022080, episodic return=184.42662048339844\n", + "global step=47022080, episodic return=2304.818115234375\n", + "global step=47022080, episodic return=2186.67822265625\n", + "global step=47026176, episodic return=1847.239013671875\n", + "global step=47028224, episodic return=2378.519775390625\n", + "global step=47028224, episodic return=2259.171142578125\n", + "global step=47028224, episodic return=2331.16357421875\n", + "global step=47028224, episodic return=2394.09814453125\n", + "global step=47028224, episodic return=2243.850341796875\n", + "global step=47030272, episodic return=2285.436279296875\n", + "global step=47030272, episodic return=2377.806884765625\n", + "global step=47030272, episodic return=2254.971923828125\n", + "global step=47030272, episodic return=2335.555419921875\n", + "global step=47030272, episodic return=2333.7333984375\n", + "global step=47030272, episodic return=2318.951904296875\n", + "global step=47030272, episodic return=2288.3818359375\n", + "global step=47032320, episodic return=2307.840087890625\n", + "global step=47032320, episodic return=185.3126678466797\n", + "global step=47032320, episodic return=2250.30029296875\n", + "global step=47032320, episodic return=2028.1805419921875\n", + "global step=47032320, episodic return=2306.8759765625\n", + "global step=47034368, episodic return=2359.241455078125\n", + "global step=47036416, episodic return=2278.79345703125\n", + "global step=47036416, episodic return=2291.743896484375\n", + "global step=47036416, episodic return=2330.137939453125\n", + "global step=47036416, episodic return=2393.217041015625\n", + "global step=47036416, episodic return=167.2748565673828\n", + "global step=47036416, episodic return=2293.86572265625\n", + "global step=47040512, episodic return=2343.06201171875\n", + "global step=47040512, episodic return=2350.62109375\n", + "global step=47040512, episodic return=2346.146240234375\n", + "global step=47042560, episodic return=2342.26123046875\n", + "global step=47042560, episodic return=2373.853759765625\n", + "global step=47044608, episodic return=2372.890869140625\n", + "global step=47044608, episodic return=726.2173461914062\n", + "global step=47044608, episodic return=2276.199462890625\n", + "global step=47044608, episodic return=2315.45263671875\n", + "global step=47044608, episodic return=2323.35693359375\n", + "global step=47046656, episodic return=2367.571533203125\n", + "global step=47046656, episodic return=2358.95068359375\n", + "global step=47048704, episodic return=2338.1708984375\n", + "global step=47048704, episodic return=2390.716796875\n", + "global step=47050752, episodic return=2349.746826171875\n", + "global step=47050752, episodic return=1919.7933349609375\n", + "global step=47052800, episodic return=2116.4111328125\n", + "global step=47052800, episodic return=2309.416015625\n", + "global step=47052800, episodic return=2242.050048828125\n", + "global step=47054848, episodic return=2309.392333984375\n", + "global step=47054848, episodic return=2414.290283203125\n", + "global step=47054848, episodic return=53.655250549316406\n", + "global step=47054848, episodic return=2339.03271484375\n", + "global step=47056896, episodic return=1001.2560424804688\n", + "global step=47056896, episodic return=2403.421630859375\n", + "global step=47060992, episodic return=1954.7369384765625\n", + "global step=47060992, episodic return=2290.99462890625\n", + "global step=47060992, episodic return=1517.51953125\n", + "global step=47065088, episodic return=2412.576416015625\n", + "global step=47065088, episodic return=110.40511322021484\n", + "global step=47067136, episodic return=2310.640380859375\n", + "global step=47067136, episodic return=2320.07177734375\n", + "global step=47067136, episodic return=2403.237548828125\n", + "global step=47069184, episodic return=2363.025390625\n", + "global step=47069184, episodic return=2430.15869140625\n", + "global step=47069184, episodic return=1942.7867431640625\n", + "global step=47069184, episodic return=2373.622802734375\n", + "global step=47069184, episodic return=2361.998779296875\n", + "global step=47069184, episodic return=2321.239990234375\n", + "global step=47069184, episodic return=2325.82177734375\n", + "global step=47069184, episodic return=2352.0205078125\n", + "global step=47071232, episodic return=2364.888671875\n", + "global step=47073280, episodic return=2295.794189453125\n", + "global step=47073280, episodic return=2399.4814453125\n", + "global step=47073280, episodic return=2364.53955078125\n", + "global step=47075328, episodic return=2300.97607421875\n", + "global step=47075328, episodic return=1231.662109375\n", + "global step=47075328, episodic return=2341.34814453125\n", + "global step=47077376, episodic return=2327.644775390625\n", + "global step=47079424, episodic return=1421.019287109375\n", + "global step=47079424, episodic return=2396.283447265625\n", + "global step=47079424, episodic return=2332.87158203125\n", + "global step=47079424, episodic return=2319.052490234375\n", + "global step=47079424, episodic return=2327.38916015625\n", + "global step=47079424, episodic return=181.14723205566406\n", + "global step=47081472, episodic return=2305.86328125\n", + "global step=47081472, episodic return=2381.881591796875\n", + "global step=47081472, episodic return=2338.49853515625\n", + "global step=47081472, episodic return=985.931884765625\n", + "global step=47083520, episodic return=2249.587646484375\n", + "global step=47083520, episodic return=2301.939697265625\n", + "global step=47083520, episodic return=2383.853759765625\n", + "global step=47083520, episodic return=2272.654296875\n", + "global step=47085568, episodic return=2381.657958984375\n", + "global step=47085568, episodic return=2247.06005859375\n", + "global step=47085568, episodic return=2365.13525390625\n", + "global step=47087616, episodic return=2314.66943359375\n", + "global step=47087616, episodic return=1825.968017578125\n", + "global step=47091712, episodic return=2324.270263671875\n", + "global step=47091712, episodic return=2333.081298828125\n", + "global step=47091712, episodic return=2379.190185546875\n", + "global step=47091712, episodic return=2352.212646484375\n", + "global step=47093760, episodic return=2367.21923828125\n", + "global step=47093760, episodic return=1717.17041015625\n", + "global step=47093760, episodic return=2176.9873046875\n", + "global step=47093760, episodic return=2357.80029296875\n", + "global step=47093760, episodic return=2388.938720703125\n", + "global step=47095808, episodic return=2371.952392578125\n", + "global step=47097856, episodic return=2374.402099609375\n", + "global step=47097856, episodic return=2401.374755859375\n", + "global step=47097856, episodic return=509.0814514160156\n", + "global step=47099904, episodic return=2350.150634765625\n", + "global step=47099904, episodic return=1116.0230712890625\n", + "global step=47099904, episodic return=2338.72216796875\n", + "global step=47099904, episodic return=2283.068603515625\n", + "global step=47099904, episodic return=2322.6044921875\n", + "global step=47099904, episodic return=2332.163818359375\n", + "global step=47101952, episodic return=2329.478271484375\n", + "global step=47104000, episodic return=2339.366943359375\n", + "global step=47104000, episodic return=2216.69091796875\n", + "global step=47106048, episodic return=2336.365478515625\n", + "global step=47108096, episodic return=2358.6337890625\n", + "global step=47110144, episodic return=2226.28369140625\n", + "global step=47110144, episodic return=2358.759765625\n", + "global step=47112192, episodic return=2308.341796875\n", + "global step=47114240, episodic return=2311.502685546875\n", + "global step=47114240, episodic return=2272.3720703125\n", + "global step=47114240, episodic return=2196.809326171875\n", + "global step=47114240, episodic return=2299.191650390625\n", + "global step=47114240, episodic return=2375.052734375\n", + "global step=47118336, episodic return=261.24725341796875\n", + "global step=47118336, episodic return=2274.62939453125\n", + "global step=47118336, episodic return=2092.03173828125\n", + "global step=47118336, episodic return=2405.2021484375\n", + "global step=47118336, episodic return=2361.92138671875\n", + "global step=47120384, episodic return=2140.59521484375\n", + "global step=47120384, episodic return=2311.46533203125\n", + "global step=47122432, episodic return=2355.916015625\n", + "global step=47122432, episodic return=1159.3856201171875\n", + "global step=47124480, episodic return=2340.3046875\n", + "global step=47124480, episodic return=425.28515625\n", + "global step=47126528, episodic return=1755.5068359375\n", + "global step=47126528, episodic return=2273.476806640625\n", + "global step=47130624, episodic return=2347.436279296875\n", + "global step=47130624, episodic return=2384.26025390625\n", + "global step=47130624, episodic return=873.2289428710938\n", + "global step=47130624, episodic return=2399.3037109375\n", + "global step=47130624, episodic return=2000.1556396484375\n", + "global step=47130624, episodic return=2306.315673828125\n", + "global step=47132672, episodic return=2285.653564453125\n", + "global step=47132672, episodic return=2302.777099609375\n", + "global step=47132672, episodic return=2392.380126953125\n", + "global step=47132672, episodic return=2382.24951171875\n", + "global step=47132672, episodic return=1720.6593017578125\n", + "global step=47134720, episodic return=2398.253173828125\n", + "global step=47134720, episodic return=2350.735107421875\n", + "global step=47136768, episodic return=2346.543701171875\n", + "global step=47136768, episodic return=2363.2216796875\n", + "global step=47136768, episodic return=2358.37744140625\n", + "global step=47136768, episodic return=2242.74169921875\n", + "global step=47136768, episodic return=199.92605590820312\n", + "global step=47138816, episodic return=1270.1278076171875\n", + "global step=47140864, episodic return=2336.760498046875\n", + "global step=47140864, episodic return=2290.64013671875\n", + "global step=47140864, episodic return=2319.84228515625\n", + "global step=47140864, episodic return=2293.761962890625\n", + "global step=47140864, episodic return=2336.49951171875\n", + "global step=47142912, episodic return=2130.904541015625\n", + "global step=47144960, episodic return=2275.666259765625\n", + "global step=47147008, episodic return=2376.4853515625\n", + "global step=47147008, episodic return=1947.268310546875\n", + "global step=47149056, episodic return=2360.744384765625\n", + "global step=47155200, episodic return=2019.0240478515625\n", + "global step=47155200, episodic return=2349.539794921875\n", + "global step=47157248, episodic return=2341.080078125\n", + "global step=47157248, episodic return=2267.864501953125\n", + "global step=47157248, episodic return=978.5396728515625\n", + "global step=47161344, episodic return=2383.146728515625\n", + "global step=47161344, episodic return=2295.963623046875\n", + "global step=47161344, episodic return=2333.630859375\n", + "global step=47163392, episodic return=2375.00537109375\n", + "global step=47165440, episodic return=1389.2427978515625\n", + "global step=47165440, episodic return=2345.0224609375\n", + "global step=47165440, episodic return=1719.533447265625\n", + "global step=47165440, episodic return=2374.2802734375\n", + "global step=47167488, episodic return=2363.691650390625\n", + "global step=47167488, episodic return=2371.343505859375\n", + "global step=47169536, episodic return=2337.900146484375\n", + "global step=47169536, episodic return=2131.634033203125\n", + "global step=47169536, episodic return=1602.564697265625\n", + "global step=47169536, episodic return=2048.394775390625\n", + "global step=47169536, episodic return=2350.7529296875\n", + "global step=47171584, episodic return=2330.3203125\n", + "global step=47171584, episodic return=2380.601806640625\n", + "global step=47173632, episodic return=2000.1917724609375\n", + "global step=47173632, episodic return=2309.521728515625\n", + "global step=47175680, episodic return=2275.172119140625\n", + "global step=47177728, episodic return=2397.198974609375\n", + "global step=47177728, episodic return=2366.601806640625\n", + "global step=47177728, episodic return=2371.703125\n", + "global step=47177728, episodic return=2387.044677734375\n", + "global step=47177728, episodic return=2328.468994140625\n", + "global step=47183872, episodic return=783.16748046875\n", + "global step=47183872, episodic return=2258.153564453125\n", + "global step=47183872, episodic return=2306.194091796875\n", + "global step=47187968, episodic return=2352.67333984375\n", + "global step=47187968, episodic return=2357.194091796875\n", + "global step=47187968, episodic return=2368.0234375\n", + "global step=47187968, episodic return=1172.2144775390625\n", + "global step=47187968, episodic return=2333.0126953125\n", + "global step=47190016, episodic return=1180.14208984375\n", + "global step=47190016, episodic return=2336.06982421875\n", + "global step=47190016, episodic return=2291.826171875\n", + "global step=47190016, episodic return=2384.95458984375\n", + "global step=47190016, episodic return=2312.35546875\n", + "global step=47192064, episodic return=2363.29638671875\n", + "global step=47194112, episodic return=2338.2958984375\n", + "global step=47194112, episodic return=2374.931396484375\n", + "global step=47194112, episodic return=2262.6240234375\n", + "global step=47194112, episodic return=2385.439453125\n", + "global step=47194112, episodic return=2438.3740234375\n", + "global step=47198208, episodic return=2376.309814453125\n", + "global step=47198208, episodic return=2328.38427734375\n", + "global step=47198208, episodic return=2296.4013671875\n", + "global step=47198208, episodic return=2409.76806640625\n", + "global step=47198208, episodic return=313.5957336425781\n", + "global step=47200256, episodic return=2373.360107421875\n", + "global step=47200256, episodic return=2352.010498046875\n", + "global step=47200256, episodic return=2371.250244140625\n", + "global step=47202304, episodic return=2077.3388671875\n", + "global step=47202304, episodic return=2428.035400390625\n", + "global step=47204352, episodic return=2370.81689453125\n", + "global step=47204352, episodic return=1890.9405517578125\n", + "global step=47206400, episodic return=401.60137939453125\n", + "global step=47206400, episodic return=2361.957275390625\n", + "global step=47206400, episodic return=2311.7734375\n", + "global step=47206400, episodic return=2286.294921875\n", + "global step=47210496, episodic return=2324.954345703125\n", + "global step=47210496, episodic return=2325.11962890625\n", + "global step=47214592, episodic return=2290.95947265625\n", + "global step=47214592, episodic return=1329.4998779296875\n", + "global step=47214592, episodic return=2363.930908203125\n", + "global step=47214592, episodic return=2313.688232421875\n", + "global step=47216640, episodic return=1299.8699951171875\n", + "global step=47216640, episodic return=1640.4197998046875\n", + "global step=47216640, episodic return=1779.79052734375\n", + "global step=47216640, episodic return=2326.458984375\n", + "global step=47218688, episodic return=2334.660400390625\n", + "global step=47220736, episodic return=2150.90673828125\n", + "global step=47220736, episodic return=2406.974365234375\n", + "global step=47220736, episodic return=2428.03125\n", + "global step=47220736, episodic return=2375.712158203125\n", + "global step=47222784, episodic return=2331.5947265625\n", + "global step=47222784, episodic return=2344.6171875\n", + "global step=47224832, episodic return=2327.341552734375\n", + "global step=47224832, episodic return=2345.4013671875\n", + "global step=47224832, episodic return=2354.58740234375\n", + "global step=47224832, episodic return=2352.521728515625\n", + "global step=47226880, episodic return=1943.3594970703125\n", + "global step=47226880, episodic return=2399.23388671875\n", + "global step=47226880, episodic return=160.03172302246094\n", + "global step=47228928, episodic return=2256.31640625\n", + "global step=47228928, episodic return=2302.1083984375\n", + "global step=47230976, episodic return=2259.03173828125\n", + "global step=47230976, episodic return=2350.2724609375\n", + "global step=47233024, episodic return=2323.37353515625\n", + "global step=47233024, episodic return=2317.91259765625\n", + "global step=47233024, episodic return=77.17964935302734\n", + "global step=47233024, episodic return=2294.1376953125\n", + "global step=47235072, episodic return=2351.646240234375\n", + "global step=47235072, episodic return=2356.46533203125\n", + "global step=47235072, episodic return=2371.230712890625\n", + "global step=47237120, episodic return=323.87542724609375\n", + "global step=47237120, episodic return=2338.333984375\n", + "global step=47237120, episodic return=2056.469482421875\n", + "global step=47239168, episodic return=1686.589599609375\n", + "global step=47239168, episodic return=2300.053955078125\n", + "global step=47239168, episodic return=2321.2724609375\n", + "global step=47241216, episodic return=2319.495361328125\n", + "global step=47241216, episodic return=2323.451416015625\n", + "global step=47241216, episodic return=2318.611083984375\n", + "global step=47241216, episodic return=2375.035888671875\n", + "global step=47243264, episodic return=2301.93310546875\n", + "global step=47243264, episodic return=2332.315185546875\n", + "global step=47243264, episodic return=2347.20703125\n", + "global step=47245312, episodic return=2371.434814453125\n", + "global step=47245312, episodic return=2397.128173828125\n", + "global step=47245312, episodic return=2396.2041015625\n", + "global step=47247360, episodic return=2176.344482421875\n", + "global step=47249408, episodic return=2402.35107421875\n", + "global step=47249408, episodic return=2362.46337890625\n", + "global step=47249408, episodic return=2337.1337890625\n", + "global step=47251456, episodic return=2412.361572265625\n", + "global step=47253504, episodic return=2356.001953125\n", + "global step=47253504, episodic return=1558.1182861328125\n", + "global step=47255552, episodic return=2322.843994140625\n", + "global step=47255552, episodic return=2263.420654296875\n", + "global step=47255552, episodic return=2381.285400390625\n", + "global step=47257600, episodic return=2307.32275390625\n", + "global step=47257600, episodic return=2367.97900390625\n", + "global step=47259648, episodic return=2370.28515625\n", + "global step=47259648, episodic return=1841.2537841796875\n", + "global step=47259648, episodic return=2337.364990234375\n", + "global step=47259648, episodic return=2381.45361328125\n", + "global step=47261696, episodic return=2175.341552734375\n", + "global step=47261696, episodic return=2394.0283203125\n", + "global step=47261696, episodic return=17.97184181213379\n", + "global step=47261696, episodic return=519.9653930664062\n", + "global step=47263744, episodic return=2341.49658203125\n", + "global step=47263744, episodic return=2342.15380859375\n", + "global step=47263744, episodic return=283.20947265625\n", + "global step=47263744, episodic return=2354.05126953125\n", + "global step=47265792, episodic return=2437.24658203125\n", + "global step=47265792, episodic return=1890.25927734375\n", + "global step=47265792, episodic return=2274.941162109375\n", + "global step=47265792, episodic return=2270.575439453125\n", + "global step=47267840, episodic return=2361.063232421875\n", + "global step=47267840, episodic return=2343.26025390625\n", + "global step=47267840, episodic return=2294.26953125\n", + "global step=47269888, episodic return=1870.7196044921875\n", + "global step=47269888, episodic return=2400.20703125\n", + "global step=47271936, episodic return=234.78770446777344\n", + "global step=47271936, episodic return=2348.29443359375\n", + "global step=47273984, episodic return=2331.642578125\n", + "global step=47273984, episodic return=2319.652099609375\n", + "global step=47273984, episodic return=2346.04052734375\n", + "global step=47276032, episodic return=1130.05419921875\n", + "global step=47278080, episodic return=2326.346435546875\n", + "global step=47280128, episodic return=2299.791748046875\n", + "global step=47280128, episodic return=2306.85107421875\n", + "global step=47280128, episodic return=2341.548828125\n", + "global step=47282176, episodic return=2369.95703125\n", + "global step=47282176, episodic return=2249.91015625\n", + "global step=47284224, episodic return=1811.6695556640625\n", + "global step=47284224, episodic return=2331.46044921875\n", + "global step=47286272, episodic return=2354.418701171875\n", + "global step=47286272, episodic return=2324.085205078125\n", + "global step=47286272, episodic return=2341.845458984375\n", + "global step=47286272, episodic return=2324.51806640625\n", + "global step=47286272, episodic return=2312.19970703125\n", + "global step=47288320, episodic return=2155.494873046875\n", + "global step=47288320, episodic return=93.5340576171875\n", + "global step=47290368, episodic return=261.2642822265625\n", + "global step=47290368, episodic return=2047.4910888671875\n", + "global step=47292416, episodic return=2419.156005859375\n", + "global step=47292416, episodic return=2315.431396484375\n", + "global step=47292416, episodic return=874.3862915039062\n", + "global step=47296512, episodic return=2331.02490234375\n", + "global step=47296512, episodic return=1908.3974609375\n", + "global step=47296512, episodic return=2400.0869140625\n", + "global step=47298560, episodic return=2068.635986328125\n", + "global step=47298560, episodic return=2364.48046875\n", + "global step=47298560, episodic return=2245.339599609375\n", + "global step=47302656, episodic return=2406.71240234375\n", + "global step=47302656, episodic return=2366.36376953125\n", + "global step=47302656, episodic return=696.3191528320312\n", + "global step=47302656, episodic return=1240.3193359375\n", + "global step=47304704, episodic return=2392.27490234375\n", + "global step=47304704, episodic return=2347.970703125\n", + "global step=47304704, episodic return=2317.00732421875\n", + "global step=47306752, episodic return=2386.119140625\n", + "global step=47306752, episodic return=2379.78173828125\n", + "global step=47306752, episodic return=2237.384521484375\n", + "global step=47308800, episodic return=2401.37548828125\n", + "global step=47308800, episodic return=2155.9033203125\n", + "global step=47308800, episodic return=2428.8740234375\n", + "global step=47310848, episodic return=2337.436767578125\n", + "global step=47310848, episodic return=1444.2003173828125\n", + "global step=47310848, episodic return=1594.3726806640625\n", + "global step=47312896, episodic return=2392.812744140625\n", + "global step=47312896, episodic return=2340.2626953125\n", + "global step=47316992, episodic return=2402.61328125\n", + "global step=47316992, episodic return=1880.7288818359375\n", + "global step=47316992, episodic return=2347.720703125\n", + "global step=47316992, episodic return=2411.9287109375\n", + "global step=47321088, episodic return=2307.962890625\n", + "global step=47323136, episodic return=2360.367431640625\n", + "global step=47323136, episodic return=2337.502685546875\n", + "global step=47325184, episodic return=2339.68115234375\n", + "global step=47325184, episodic return=2270.23681640625\n", + "global step=47327232, episodic return=2355.55126953125\n", + "global step=47329280, episodic return=2354.64306640625\n", + "global step=47329280, episodic return=14.941337585449219\n", + "global step=47329280, episodic return=2301.548095703125\n", + "global step=47329280, episodic return=2362.908447265625\n", + "global step=47329280, episodic return=2347.87939453125\n", + "global step=47331328, episodic return=2307.001953125\n", + "global step=47331328, episodic return=2437.836669921875\n", + "global step=47335424, episodic return=1773.501708984375\n", + "global step=47337472, episodic return=2423.00439453125\n", + "global step=47337472, episodic return=2371.5869140625\n", + "global step=47337472, episodic return=2271.51025390625\n", + "global step=47337472, episodic return=2339.324462890625\n", + "global step=47339520, episodic return=1979.1915283203125\n", + "global step=47339520, episodic return=1282.4119873046875\n", + "global step=47339520, episodic return=2408.5048828125\n", + "global step=47341568, episodic return=2319.400146484375\n", + "global step=47341568, episodic return=745.21044921875\n", + "global step=47341568, episodic return=2269.744873046875\n", + "global step=47343616, episodic return=2275.227294921875\n", + "global step=47343616, episodic return=2389.10302734375\n", + "global step=47343616, episodic return=2286.44677734375\n", + "global step=47345664, episodic return=2392.63720703125\n", + "global step=47345664, episodic return=2298.262451171875\n", + "global step=47347712, episodic return=2336.201416015625\n", + "global step=47349760, episodic return=2379.11279296875\n", + "global step=47349760, episodic return=2342.4052734375\n", + "global step=47351808, episodic return=2354.521240234375\n", + "global step=47351808, episodic return=2385.016357421875\n", + "global step=47351808, episodic return=2323.74072265625\n", + "global step=47353856, episodic return=2390.477783203125\n", + "global step=47353856, episodic return=2438.00341796875\n", + "global step=47353856, episodic return=2321.057861328125\n", + "global step=47355904, episodic return=2350.850830078125\n", + "global step=47355904, episodic return=2331.84130859375\n", + "global step=47355904, episodic return=1683.80712890625\n", + "global step=47357952, episodic return=2315.4345703125\n", + "global step=47357952, episodic return=2383.955322265625\n", + "global step=47357952, episodic return=2377.372314453125\n", + "global step=47357952, episodic return=2323.09423828125\n", + "global step=47362048, episodic return=2380.53076171875\n", + "global step=47364096, episodic return=1518.8756103515625\n", + "global step=47364096, episodic return=2390.549560546875\n", + "global step=47364096, episodic return=2290.07666015625\n", + "global step=47364096, episodic return=2309.26953125\n", + "global step=47366144, episodic return=2288.495849609375\n", + "global step=47366144, episodic return=2312.479248046875\n", + "global step=47368192, episodic return=2348.39453125\n", + "global step=47368192, episodic return=2285.351318359375\n", + "global step=47370240, episodic return=2388.374267578125\n", + "global step=47370240, episodic return=2369.044677734375\n", + "global step=47370240, episodic return=2371.847900390625\n", + "global step=47372288, episodic return=2376.435546875\n", + "global step=47372288, episodic return=2372.028564453125\n", + "global step=47374336, episodic return=2352.45361328125\n", + "global step=47374336, episodic return=2393.13427734375\n", + "global step=47376384, episodic return=2119.238525390625\n", + "global step=47378432, episodic return=1913.954833984375\n", + "global step=47380480, episodic return=2478.587646484375\n", + "global step=47380480, episodic return=2330.914306640625\n", + "global step=47380480, episodic return=105.05879974365234\n", + "global step=47382528, episodic return=2373.146484375\n", + "global step=47382528, episodic return=2415.13330078125\n", + "global step=47384576, episodic return=2375.77880859375\n", + "global step=47384576, episodic return=2386.373291015625\n", + "global step=47384576, episodic return=2337.29150390625\n", + "global step=47384576, episodic return=2415.247314453125\n", + "global step=47384576, episodic return=2331.533935546875\n", + "global step=47384576, episodic return=2360.160400390625\n", + "global step=47386624, episodic return=1844.33203125\n", + "global step=47386624, episodic return=2393.240478515625\n", + "global step=47386624, episodic return=2376.880615234375\n", + "global step=47388672, episodic return=2300.1650390625\n", + "global step=47390720, episodic return=2342.17333984375\n", + "global step=47390720, episodic return=1568.5694580078125\n", + "global step=47390720, episodic return=2319.84326171875\n", + "global step=47390720, episodic return=2289.480224609375\n", + "global step=47392768, episodic return=2363.333740234375\n", + "global step=47392768, episodic return=2329.07666015625\n", + "global step=47392768, episodic return=1914.0733642578125\n", + "global step=47394816, episodic return=2349.121826171875\n", + "global step=47394816, episodic return=2424.353271484375\n", + "global step=47396864, episodic return=2351.9873046875\n", + "global step=47396864, episodic return=2365.1455078125\n", + "global step=47398912, episodic return=2264.265625\n", + "global step=47398912, episodic return=2297.86083984375\n", + "global step=47400960, episodic return=2390.156494140625\n", + "global step=47403008, episodic return=2349.341552734375\n", + "global step=47403008, episodic return=403.95037841796875\n", + "global step=47403008, episodic return=2345.271728515625\n", + "global step=47405056, episodic return=1275.719482421875\n", + "global step=47405056, episodic return=2178.799072265625\n", + "global step=47405056, episodic return=2391.7412109375\n", + "global step=47407104, episodic return=2359.508056640625\n", + "global step=47407104, episodic return=2421.409912109375\n", + "global step=47409152, episodic return=2369.232421875\n", + "global step=47409152, episodic return=600.19189453125\n", + "global step=47409152, episodic return=2329.05517578125\n", + "global step=47409152, episodic return=2314.688720703125\n", + "global step=47411200, episodic return=2338.926513671875\n", + "global step=47411200, episodic return=2356.513916015625\n", + "global step=47411200, episodic return=864.7506103515625\n", + "global step=47413248, episodic return=2391.17724609375\n", + "global step=47413248, episodic return=2293.527099609375\n", + "global step=47413248, episodic return=2363.04931640625\n", + "global step=47413248, episodic return=2389.463623046875\n", + "global step=47417344, episodic return=110.88504028320312\n", + "global step=47419392, episodic return=2353.703857421875\n", + "global step=47419392, episodic return=2434.99267578125\n", + "global step=47421440, episodic return=2246.861083984375\n", + "global step=47423488, episodic return=2358.81201171875\n", + "global step=47425536, episodic return=1237.3623046875\n", + "global step=47427584, episodic return=1711.7322998046875\n", + "global step=47427584, episodic return=76.14936065673828\n", + "global step=47429632, episodic return=2322.73828125\n", + "global step=47429632, episodic return=2422.962890625\n", + "global step=47431680, episodic return=2292.26123046875\n", + "global step=47433728, episodic return=2380.143310546875\n", + "global step=47435776, episodic return=251.09446716308594\n", + "global step=47435776, episodic return=2376.84619140625\n", + "global step=47435776, episodic return=2401.40771484375\n", + "global step=47437824, episodic return=2290.400390625\n", + "global step=47437824, episodic return=1803.0345458984375\n", + "global step=47437824, episodic return=2296.14599609375\n", + "global step=47439872, episodic return=2293.181640625\n", + "global step=47439872, episodic return=1918.90185546875\n", + "global step=47439872, episodic return=1015.7076416015625\n", + "global step=47441920, episodic return=2421.177978515625\n", + "global step=47443968, episodic return=99.4546127319336\n", + "global step=47448064, episodic return=126.08711242675781\n", + "global step=47450112, episodic return=2425.07080078125\n", + "global step=47450112, episodic return=2475.872314453125\n", + "global step=47450112, episodic return=2376.771728515625\n", + "global step=47452160, episodic return=2392.85986328125\n", + "global step=47454208, episodic return=2308.150146484375\n", + "global step=47454208, episodic return=133.5217742919922\n", + "global step=47456256, episodic return=2321.30517578125\n", + "global step=47456256, episodic return=2419.965576171875\n", + "global step=47456256, episodic return=2372.898193359375\n", + "global step=47456256, episodic return=2359.2021484375\n", + "global step=47456256, episodic return=2345.26318359375\n", + "global step=47456256, episodic return=2328.92138671875\n", + "global step=47458304, episodic return=2268.362060546875\n", + "global step=47458304, episodic return=2378.22509765625\n", + "global step=47460352, episodic return=2356.45556640625\n", + "global step=47462400, episodic return=70.92183685302734\n", + "global step=47462400, episodic return=2310.64501953125\n", + "global step=47464448, episodic return=2410.594970703125\n", + "global step=47464448, episodic return=88.64446258544922\n", + "global step=47464448, episodic return=2341.848876953125\n", + "global step=47464448, episodic return=235.07318115234375\n", + "global step=47468544, episodic return=2316.865234375\n", + "global step=47468544, episodic return=1742.4854736328125\n", + "global step=47472640, episodic return=2394.253662109375\n", + "global step=47472640, episodic return=2038.17431640625\n", + "global step=47472640, episodic return=1354.5123291015625\n", + "global step=47472640, episodic return=2305.48486328125\n", + "global step=47472640, episodic return=2284.907958984375\n", + "global step=47474688, episodic return=23.398618698120117\n", + "global step=47474688, episodic return=166.0639190673828\n", + "global step=47476736, episodic return=1524.9068603515625\n", + "global step=47476736, episodic return=2383.785400390625\n", + "global step=47476736, episodic return=290.0329284667969\n", + "global step=47478784, episodic return=2308.995361328125\n", + "global step=47478784, episodic return=2396.794677734375\n", + "global step=47478784, episodic return=2331.622314453125\n", + "global step=47478784, episodic return=2385.148681640625\n", + "global step=47480832, episodic return=2390.416748046875\n", + "global step=47480832, episodic return=2329.091064453125\n", + "global step=47480832, episodic return=2417.615478515625\n", + "global step=47482880, episodic return=2410.90283203125\n", + "global step=47482880, episodic return=2360.7333984375\n", + "global step=47482880, episodic return=2214.43603515625\n", + "global step=47482880, episodic return=2340.111083984375\n", + "global step=47482880, episodic return=2376.526611328125\n", + "global step=47484928, episodic return=2386.45947265625\n", + "global step=47484928, episodic return=1778.943359375\n", + "global step=47486976, episodic return=2365.029296875\n", + "global step=47486976, episodic return=2325.209228515625\n", + "global step=47486976, episodic return=2366.130859375\n", + "global step=47489024, episodic return=2055.683349609375\n", + "global step=47489024, episodic return=2392.84033203125\n", + "global step=47489024, episodic return=2212.8916015625\n", + "global step=47491072, episodic return=2369.40771484375\n", + "global step=47491072, episodic return=2358.9697265625\n", + "global step=47491072, episodic return=47.82832717895508\n", + "global step=47495168, episodic return=2374.284912109375\n", + "global step=47495168, episodic return=17.681264877319336\n", + "global step=47497216, episodic return=2300.428955078125\n", + "global step=47497216, episodic return=2385.578369140625\n", + "global step=47497216, episodic return=2373.997802734375\n", + "global step=47501312, episodic return=2324.210205078125\n", + "global step=47501312, episodic return=2364.230712890625\n", + "global step=47503360, episodic return=2332.866943359375\n", + "global step=47505408, episodic return=2400.389892578125\n", + "global step=47507456, episodic return=2308.9169921875\n", + "global step=47509504, episodic return=2351.02880859375\n", + "global step=47509504, episodic return=2350.931396484375\n", + "global step=47509504, episodic return=2334.016845703125\n", + "global step=47511552, episodic return=2445.48779296875\n", + "global step=47511552, episodic return=1787.362060546875\n", + "global step=47511552, episodic return=2382.989501953125\n", + "global step=47513600, episodic return=1167.990478515625\n", + "global step=47515648, episodic return=2300.111083984375\n", + "global step=47515648, episodic return=2201.1240234375\n", + "global step=47515648, episodic return=1780.8079833984375\n", + "global step=47515648, episodic return=61.4997673034668\n", + "global step=47515648, episodic return=2355.787353515625\n", + "global step=47515648, episodic return=2353.46044921875\n", + "global step=47517696, episodic return=2341.38818359375\n", + "global step=47517696, episodic return=1418.581787109375\n", + "global step=47517696, episodic return=2375.1513671875\n", + "global step=47519744, episodic return=2311.851318359375\n", + "global step=47519744, episodic return=2377.9990234375\n", + "global step=47519744, episodic return=2351.952880859375\n", + "global step=47521792, episodic return=1789.459228515625\n", + "global step=47521792, episodic return=2363.822265625\n", + "global step=47523840, episodic return=2259.53662109375\n", + "global step=47523840, episodic return=2405.052978515625\n", + "global step=47523840, episodic return=2281.56494140625\n", + "global step=47527936, episodic return=2409.578857421875\n", + "global step=47527936, episodic return=2374.7734375\n", + "global step=47527936, episodic return=2368.9404296875\n", + "global step=47527936, episodic return=2309.8349609375\n", + "global step=47529984, episodic return=2329.20556640625\n", + "global step=47532032, episodic return=2357.26123046875\n", + "global step=47534080, episodic return=2366.30126953125\n", + "global step=47534080, episodic return=2286.994140625\n", + "global step=47534080, episodic return=1729.280029296875\n", + "global step=47536128, episodic return=2381.79541015625\n", + "global step=47540224, episodic return=2409.626953125\n", + "global step=47542272, episodic return=2302.555419921875\n", + "global step=47542272, episodic return=2355.55517578125\n", + "global step=47542272, episodic return=2363.680908203125\n", + "global step=47546368, episodic return=1862.85009765625\n", + "global step=47548416, episodic return=2195.519287109375\n", + "global step=47548416, episodic return=2365.12841796875\n", + "global step=47550464, episodic return=2363.907958984375\n", + "global step=47552512, episodic return=2421.59228515625\n", + "global step=47552512, episodic return=2364.393798828125\n", + "global step=47554560, episodic return=2373.52880859375\n", + "global step=47554560, episodic return=2389.977294921875\n", + "global step=47556608, episodic return=2359.78076171875\n", + "global step=47556608, episodic return=2353.740966796875\n", + "global step=47556608, episodic return=2407.47607421875\n", + "global step=47558656, episodic return=2273.4873046875\n", + "global step=47560704, episodic return=2340.937255859375\n", + "global step=47560704, episodic return=879.4967041015625\n", + "global step=47560704, episodic return=2266.670166015625\n", + "global step=47560704, episodic return=2330.336181640625\n", + "global step=47562752, episodic return=2405.49853515625\n", + "global step=47562752, episodic return=2078.82763671875\n", + "global step=47564800, episodic return=2382.194091796875\n", + "global step=47564800, episodic return=2372.286865234375\n", + "global step=47566848, episodic return=399.67742919921875\n", + "global step=47568896, episodic return=2332.786376953125\n", + "global step=47568896, episodic return=1883.3040771484375\n", + "global step=47570944, episodic return=2374.98876953125\n", + "global step=47570944, episodic return=1725.1829833984375\n", + "global step=47570944, episodic return=2322.448486328125\n", + "global step=47570944, episodic return=2339.251953125\n", + "global step=47572992, episodic return=2406.262451171875\n", + "global step=47572992, episodic return=2355.02001953125\n", + "global step=47572992, episodic return=2400.779052734375\n", + "global step=47572992, episodic return=2393.68798828125\n", + "global step=47572992, episodic return=2403.121826171875\n", + "global step=47572992, episodic return=2313.727294921875\n", + "global step=47575040, episodic return=2357.57080078125\n", + "global step=47575040, episodic return=2297.5009765625\n", + "global step=47575040, episodic return=241.6053009033203\n", + "global step=47575040, episodic return=2380.2197265625\n", + "global step=47575040, episodic return=2254.848876953125\n", + "global step=47575040, episodic return=2363.132568359375\n", + "global step=47579136, episodic return=2315.508056640625\n", + "global step=47579136, episodic return=2396.978515625\n", + "global step=47579136, episodic return=2351.58984375\n", + "global step=47581184, episodic return=2345.99365234375\n", + "global step=47581184, episodic return=49.855018615722656\n", + "global step=47581184, episodic return=2076.117919921875\n", + "global step=47583232, episodic return=2296.877685546875\n", + "global step=47583232, episodic return=2387.47607421875\n", + "global step=47585280, episodic return=2364.181396484375\n", + "global step=47585280, episodic return=2433.085693359375\n", + "global step=47585280, episodic return=1059.9071044921875\n", + "global step=47585280, episodic return=609.559326171875\n", + "global step=47585280, episodic return=2357.4111328125\n", + "global step=47585280, episodic return=2375.06396484375\n", + "global step=47585280, episodic return=2353.947509765625\n", + "global step=47587328, episodic return=2425.616455078125\n", + "global step=47591424, episodic return=2341.71435546875\n", + "global step=47591424, episodic return=2398.327880859375\n", + "global step=47591424, episodic return=1664.131103515625\n", + "global step=47591424, episodic return=27.204421997070312\n", + "global step=47593472, episodic return=2358.37548828125\n", + "global step=47595520, episodic return=2353.258544921875\n", + "global step=47595520, episodic return=2433.934326171875\n", + "global step=47597568, episodic return=2330.5947265625\n", + "global step=47597568, episodic return=2313.682373046875\n", + "global step=47597568, episodic return=2304.832275390625\n", + "global step=47599616, episodic return=2376.4892578125\n", + "global step=47599616, episodic return=2368.37060546875\n", + "global step=47601664, episodic return=2362.12109375\n", + "global step=47601664, episodic return=2393.29638671875\n", + "global step=47601664, episodic return=2390.791015625\n", + "global step=47603712, episodic return=2417.8955078125\n", + "global step=47605760, episodic return=2364.90576171875\n", + "global step=47605760, episodic return=2337.98779296875\n", + "global step=47609856, episodic return=2415.01806640625\n", + "global step=47609856, episodic return=2356.58056640625\n", + "global step=47609856, episodic return=209.65475463867188\n", + "global step=47611904, episodic return=2421.674072265625\n", + "global step=47611904, episodic return=2411.45947265625\n", + "global step=47611904, episodic return=2395.69775390625\n", + "global step=47611904, episodic return=2398.936767578125\n", + "global step=47618048, episodic return=2366.126953125\n", + "global step=47618048, episodic return=2304.867431640625\n", + "global step=47618048, episodic return=2373.35400390625\n", + "global step=47618048, episodic return=2376.73291015625\n", + "global step=47620096, episodic return=2426.513427734375\n", + "global step=47620096, episodic return=2226.0986328125\n", + "global step=47620096, episodic return=2333.230712890625\n", + "global step=47622144, episodic return=1255.238525390625\n", + "global step=47624192, episodic return=2169.066162109375\n", + "global step=47626240, episodic return=2409.415283203125\n", + "global step=47626240, episodic return=2384.677490234375\n", + "global step=47626240, episodic return=2283.386474609375\n", + "global step=47632384, episodic return=2330.79541015625\n", + "global step=47632384, episodic return=2401.43798828125\n", + "global step=47632384, episodic return=2313.473876953125\n", + "global step=47632384, episodic return=173.11129760742188\n", + "global step=47634432, episodic return=2377.223876953125\n", + "global step=47634432, episodic return=2343.9541015625\n", + "global step=47634432, episodic return=2371.3359375\n", + "global step=47636480, episodic return=2360.475830078125\n", + "global step=47636480, episodic return=2362.83349609375\n", + "global step=47636480, episodic return=2355.1484375\n", + "global step=47638528, episodic return=2399.777099609375\n", + "global step=47638528, episodic return=2358.23046875\n", + "global step=47638528, episodic return=2394.52734375\n", + "global step=47640576, episodic return=2352.009521484375\n", + "global step=47640576, episodic return=2332.433837890625\n", + "global step=47642624, episodic return=2384.7080078125\n", + "global step=47642624, episodic return=782.5653076171875\n", + "global step=47642624, episodic return=2422.742431640625\n", + "global step=47642624, episodic return=2407.907958984375\n", + "global step=47642624, episodic return=2435.604248046875\n", + "global step=47646720, episodic return=2408.388427734375\n", + "global step=47648768, episodic return=2427.4130859375\n", + "global step=47648768, episodic return=2332.29443359375\n", + "global step=47650816, episodic return=2374.575439453125\n", + "global step=47650816, episodic return=2373.979736328125\n", + "global step=47652864, episodic return=2401.954833984375\n", + "global step=47652864, episodic return=2409.925048828125\n", + "global step=47652864, episodic return=2297.73193359375\n", + "global step=47652864, episodic return=2406.08642578125\n", + "global step=47654912, episodic return=2341.17431640625\n", + "global step=47654912, episodic return=2365.649658203125\n", + "global step=47654912, episodic return=2418.39306640625\n", + "global step=47659008, episodic return=2378.771728515625\n", + "global step=47661056, episodic return=2293.50341796875\n", + "global step=47661056, episodic return=2362.517822265625\n", + "global step=47661056, episodic return=2369.17236328125\n", + "global step=47663104, episodic return=2360.5087890625\n", + "global step=47663104, episodic return=2344.340087890625\n", + "global step=47663104, episodic return=2401.2216796875\n", + "global step=47665152, episodic return=1324.329345703125\n", + "global step=47667200, episodic return=2310.25634765625\n", + "global step=47667200, episodic return=1356.460205078125\n", + "global step=47667200, episodic return=2408.29736328125\n", + "global step=47669248, episodic return=2317.62548828125\n", + "global step=47669248, episodic return=2414.728759765625\n", + "global step=47669248, episodic return=2421.783935546875\n", + "global step=47673344, episodic return=2378.86474609375\n", + "global step=47675392, episodic return=2368.497314453125\n", + "global step=47675392, episodic return=2437.88818359375\n", + "global step=47677440, episodic return=2412.2109375\n", + "global step=47677440, episodic return=2363.44970703125\n", + "global step=47677440, episodic return=2337.97802734375\n", + "global step=47679488, episodic return=2366.417236328125\n", + "global step=47681536, episodic return=2400.842041015625\n", + "global step=47681536, episodic return=2403.3740234375\n", + "global step=47681536, episodic return=2403.02001953125\n", + "global step=47681536, episodic return=2417.468505859375\n", + "global step=47683584, episodic return=2406.845458984375\n", + "global step=47685632, episodic return=2327.97802734375\n", + "global step=47685632, episodic return=2406.498046875\n", + "global step=47687680, episodic return=2418.767822265625\n", + "global step=47687680, episodic return=2449.67138671875\n", + "global step=47687680, episodic return=2378.61083984375\n", + "global step=47689728, episodic return=2399.888427734375\n", + "global step=47689728, episodic return=243.3572235107422\n", + "global step=47689728, episodic return=2319.59423828125\n", + "global step=47689728, episodic return=2393.95458984375\n", + "global step=47693824, episodic return=2356.807861328125\n", + "global step=47693824, episodic return=2393.01611328125\n", + "global step=47693824, episodic return=2359.18359375\n", + "global step=47693824, episodic return=2413.943115234375\n", + "global step=47695872, episodic return=2390.6884765625\n", + "global step=47695872, episodic return=2414.84814453125\n", + "global step=47697920, episodic return=2461.5390625\n", + "global step=47697920, episodic return=1221.871337890625\n", + "global step=47697920, episodic return=2358.211669921875\n", + "global step=47702016, episodic return=2396.2412109375\n", + "global step=47702016, episodic return=2410.22509765625\n", + "global step=47702016, episodic return=2415.3837890625\n", + "global step=47702016, episodic return=2276.009033203125\n", + "global step=47706112, episodic return=2378.26708984375\n", + "global step=47706112, episodic return=2350.4453125\n", + "global step=47706112, episodic return=2299.971923828125\n", + "global step=47706112, episodic return=2375.172119140625\n", + "global step=47706112, episodic return=2428.0302734375\n", + "global step=47706112, episodic return=2416.53662109375\n", + "global step=47708160, episodic return=2395.546630859375\n", + "global step=47708160, episodic return=2371.039794921875\n", + "global step=47708160, episodic return=2322.941650390625\n", + "global step=47710208, episodic return=2365.18505859375\n", + "global step=47712256, episodic return=2413.054443359375\n", + "global step=47712256, episodic return=2279.9931640625\n", + "global step=47712256, episodic return=35.00032043457031\n", + "global step=47712256, episodic return=2411.218017578125\n", + "global step=47712256, episodic return=2278.25390625\n", + "global step=47712256, episodic return=2392.7119140625\n", + "global step=47712256, episodic return=502.3385925292969\n", + "global step=47714304, episodic return=2355.133544921875\n", + "global step=47714304, episodic return=2425.265380859375\n", + "global step=47714304, episodic return=2429.435791015625\n", + "global step=47714304, episodic return=2374.36181640625\n", + "global step=47716352, episodic return=2373.951904296875\n", + "global step=47716352, episodic return=2433.532470703125\n", + "global step=47716352, episodic return=2387.274658203125\n", + "global step=47720448, episodic return=2394.65185546875\n", + "global step=47720448, episodic return=2341.8291015625\n", + "global step=47720448, episodic return=83.60775756835938\n", + "global step=47720448, episodic return=2411.54833984375\n", + "global step=47722496, episodic return=2351.699462890625\n", + "global step=47722496, episodic return=2386.645263671875\n", + "global step=47722496, episodic return=2289.227294921875\n", + "global step=47722496, episodic return=2418.419677734375\n", + "global step=47724544, episodic return=2380.855712890625\n", + "global step=47726592, episodic return=2400.383544921875\n", + "global step=47726592, episodic return=2383.826416015625\n", + "global step=47728640, episodic return=2308.21875\n", + "global step=47728640, episodic return=127.37739562988281\n", + "global step=47730688, episodic return=2427.211181640625\n", + "global step=47730688, episodic return=2379.849853515625\n", + "global step=47730688, episodic return=2448.90771484375\n", + "global step=47730688, episodic return=164.0283203125\n", + "global step=47732736, episodic return=2241.18359375\n", + "global step=47734784, episodic return=2343.338623046875\n", + "global step=47734784, episodic return=2375.568115234375\n", + "global step=47734784, episodic return=20.94527816772461\n", + "global step=47734784, episodic return=2316.2490234375\n", + "global step=47736832, episodic return=2351.404541015625\n", + "global step=47736832, episodic return=2261.615966796875\n", + "global step=47736832, episodic return=2422.119873046875\n", + "global step=47738880, episodic return=2399.195556640625\n", + "global step=47740928, episodic return=2466.906494140625\n", + "global step=47742976, episodic return=2413.414794921875\n", + "global step=47742976, episodic return=2347.974365234375\n", + "global step=47742976, episodic return=1522.4171142578125\n", + "global step=47745024, episodic return=2378.66748046875\n", + "global step=47745024, episodic return=2364.35693359375\n", + "global step=47747072, episodic return=2381.20849609375\n", + "global step=47747072, episodic return=2405.14208984375\n", + "global step=47749120, episodic return=2385.0830078125\n", + "global step=47749120, episodic return=2356.710693359375\n", + "global step=47749120, episodic return=2417.7080078125\n", + "global step=47751168, episodic return=2481.241943359375\n", + "global step=47751168, episodic return=2405.4423828125\n", + "global step=47751168, episodic return=2321.32861328125\n", + "global step=47751168, episodic return=2422.115966796875\n", + "global step=47751168, episodic return=2356.34619140625\n", + "global step=47753216, episodic return=2107.45751953125\n", + "global step=47753216, episodic return=2346.357421875\n", + "global step=47753216, episodic return=2412.72412109375\n", + "global step=47755264, episodic return=2394.05322265625\n", + "global step=47757312, episodic return=2402.46630859375\n", + "global step=47757312, episodic return=2360.04833984375\n", + "global step=47759360, episodic return=2416.9365234375\n", + "global step=47761408, episodic return=2341.724853515625\n", + "global step=47761408, episodic return=2391.903564453125\n", + "global step=47761408, episodic return=2372.935302734375\n", + "global step=47763456, episodic return=2417.51171875\n", + "global step=47765504, episodic return=2297.376220703125\n", + "global step=47765504, episodic return=2439.490234375\n", + "global step=47767552, episodic return=2422.154541015625\n", + "global step=47767552, episodic return=2422.90087890625\n", + "global step=47767552, episodic return=2396.890380859375\n", + "global step=47771648, episodic return=2392.815673828125\n", + "global step=47771648, episodic return=2338.796142578125\n", + "global step=47773696, episodic return=2357.521484375\n", + "global step=47773696, episodic return=2433.55517578125\n", + "global step=47775744, episodic return=2402.0693359375\n", + "global step=47779840, episodic return=2427.557373046875\n", + "global step=47779840, episodic return=2373.660888671875\n", + "global step=47783936, episodic return=2289.710205078125\n", + "global step=47783936, episodic return=2414.277099609375\n", + "global step=47783936, episodic return=2312.50732421875\n", + "global step=47785984, episodic return=2308.81201171875\n", + "global step=47788032, episodic return=2410.408935546875\n", + "global step=47790080, episodic return=2390.580322265625\n", + "global step=47792128, episodic return=2386.007080078125\n", + "global step=47792128, episodic return=174.35983276367188\n", + "global step=47794176, episodic return=2389.030517578125\n", + "global step=47794176, episodic return=2387.818603515625\n", + "global step=47796224, episodic return=2408.849365234375\n", + "global step=47796224, episodic return=2200.80517578125\n", + "global step=47798272, episodic return=428.2970275878906\n", + "global step=47798272, episodic return=161.5831756591797\n", + "global step=47798272, episodic return=180.76283264160156\n", + "global step=47800320, episodic return=2369.175048828125\n", + "global step=47800320, episodic return=2423.267578125\n", + "global step=47802368, episodic return=2350.750244140625\n", + "global step=47804416, episodic return=172.76437377929688\n", + "global step=47804416, episodic return=169.39425659179688\n", + "global step=47808512, episodic return=2304.714111328125\n", + "global step=47812608, episodic return=1830.0440673828125\n", + "global step=47812608, episodic return=2379.107666015625\n", + "global step=47812608, episodic return=2457.65966796875\n", + "global step=47812608, episodic return=2319.999755859375\n", + "global step=47814656, episodic return=181.12974548339844\n", + "global step=47816704, episodic return=2376.833740234375\n", + "global step=47816704, episodic return=2138.47802734375\n", + "global step=47818752, episodic return=192.93060302734375\n", + "global step=47820800, episodic return=2413.824951171875\n", + "global step=47820800, episodic return=203.17282104492188\n", + "global step=47822848, episodic return=2399.633056640625\n", + "global step=47822848, episodic return=184.3080291748047\n", + "global step=47822848, episodic return=2415.197998046875\n", + "global step=47826944, episodic return=2389.7255859375\n", + "global step=47826944, episodic return=2373.623779296875\n", + "global step=47826944, episodic return=2182.14306640625\n", + "global step=47826944, episodic return=2439.64111328125\n", + "global step=47828992, episodic return=2368.4775390625\n", + "global step=47831040, episodic return=1093.8314208984375\n", + "global step=47833088, episodic return=2243.15283203125\n", + "global step=47833088, episodic return=2385.224853515625\n", + "global step=47835136, episodic return=2386.960205078125\n", + "global step=47837184, episodic return=429.427978515625\n", + "global step=47837184, episodic return=53.04243087768555\n", + "global step=47837184, episodic return=2417.492431640625\n", + "global step=47837184, episodic return=837.2442626953125\n", + "global step=47837184, episodic return=91.00159454345703\n", + "global step=47837184, episodic return=599.8811645507812\n", + "global step=47839232, episodic return=2402.074951171875\n", + "global step=47839232, episodic return=822.6110229492188\n", + "global step=47841280, episodic return=67.68014526367188\n", + "global step=47841280, episodic return=2347.6416015625\n", + "global step=47843328, episodic return=1240.9359130859375\n", + "global step=47843328, episodic return=92.46456146240234\n", + "global step=47843328, episodic return=2405.271728515625\n", + "global step=47843328, episodic return=2409.580322265625\n", + "global step=47843328, episodic return=178.1328887939453\n", + "global step=47843328, episodic return=2427.400634765625\n", + "global step=47843328, episodic return=2380.464111328125\n", + "global step=47845376, episodic return=2347.12890625\n", + "global step=47845376, episodic return=2373.59521484375\n", + "global step=47845376, episodic return=70.17802429199219\n", + "global step=47845376, episodic return=2445.50634765625\n", + "global step=47847424, episodic return=64.4696044921875\n", + "global step=47847424, episodic return=2376.05810546875\n", + "global step=47849472, episodic return=2282.53173828125\n", + "global step=47849472, episodic return=2389.840576171875\n", + "global step=47849472, episodic return=2453.608642578125\n", + "global step=47849472, episodic return=1867.005859375\n", + "global step=47851520, episodic return=718.2308959960938\n", + "global step=47851520, episodic return=2447.684814453125\n", + "global step=47851520, episodic return=557.5013427734375\n", + "global step=47853568, episodic return=2372.788818359375\n", + "global step=47853568, episodic return=2315.26806640625\n", + "global step=47853568, episodic return=292.2156982421875\n", + "global step=47853568, episodic return=63.10813522338867\n", + "global step=47855616, episodic return=1443.1737060546875\n", + "global step=47855616, episodic return=818.62548828125\n", + "global step=47857664, episodic return=2369.179931640625\n", + "global step=47857664, episodic return=584.2605590820312\n", + "global step=47859712, episodic return=2379.519775390625\n", + "global step=47859712, episodic return=809.9864501953125\n", + "global step=47859712, episodic return=720.762939453125\n", + "global step=47859712, episodic return=2372.859130859375\n", + "global step=47859712, episodic return=2365.11865234375\n", + "global step=47859712, episodic return=327.9845886230469\n", + "global step=47859712, episodic return=2387.134033203125\n", + "global step=47861760, episodic return=492.5702209472656\n", + "global step=47863808, episodic return=2404.5908203125\n", + "global step=47863808, episodic return=2351.76416015625\n", + "global step=47863808, episodic return=2343.494873046875\n", + "global step=47865856, episodic return=2399.5419921875\n", + "global step=47867904, episodic return=1203.5255126953125\n", + "global step=47867904, episodic return=110.5918197631836\n", + "global step=47867904, episodic return=2325.05517578125\n", + "global step=47867904, episodic return=2380.174560546875\n", + "global step=47867904, episodic return=52.953678131103516\n", + "global step=47869952, episodic return=2359.279052734375\n", + "global step=47869952, episodic return=1586.58740234375\n", + "global step=47872000, episodic return=132.1167755126953\n", + "global step=47872000, episodic return=88.38215637207031\n", + "global step=47874048, episodic return=2378.138916015625\n", + "global step=47874048, episodic return=2311.744140625\n", + "global step=47874048, episodic return=2406.193603515625\n", + "global step=47874048, episodic return=2420.440673828125\n", + "global step=47874048, episodic return=2363.065185546875\n", + "global step=47876096, episodic return=2388.6806640625\n", + "global step=47876096, episodic return=2343.680419921875\n", + "global step=47878144, episodic return=2386.4072265625\n", + "global step=47878144, episodic return=53.498634338378906\n", + "global step=47878144, episodic return=2374.036376953125\n", + "global step=47880192, episodic return=2325.1845703125\n", + "global step=47880192, episodic return=1368.2337646484375\n", + "global step=47882240, episodic return=2337.492431640625\n", + "global step=47884288, episodic return=732.0420532226562\n", + "global step=47884288, episodic return=2429.120361328125\n", + "global step=47886336, episodic return=1887.2200927734375\n", + "global step=47888384, episodic return=2440.11669921875\n", + "global step=47890432, episodic return=2422.172119140625\n", + "global step=47890432, episodic return=1390.8082275390625\n", + "global step=47890432, episodic return=2360.887939453125\n", + "global step=47892480, episodic return=2455.484130859375\n", + "global step=47896576, episodic return=2340.9951171875\n", + "global step=47896576, episodic return=2388.18408203125\n", + "global step=47898624, episodic return=2388.162109375\n", + "global step=47902720, episodic return=2367.869140625\n", + "global step=47902720, episodic return=2341.280517578125\n", + "global step=47904768, episodic return=2272.9189453125\n", + "global step=47904768, episodic return=1927.2447509765625\n", + "global step=47906816, episodic return=2375.76708984375\n", + "global step=47908864, episodic return=2388.8173828125\n", + "global step=47908864, episodic return=2385.101806640625\n", + "global step=47908864, episodic return=2321.278076171875\n", + "global step=47908864, episodic return=2311.141357421875\n", + "global step=47910912, episodic return=2351.21484375\n", + "global step=47910912, episodic return=2287.0830078125\n", + "global step=47910912, episodic return=2446.80224609375\n", + "global step=47912960, episodic return=1791.869140625\n", + "global step=47917056, episodic return=2352.9326171875\n", + "global step=47917056, episodic return=2375.613525390625\n", + "global step=47919104, episodic return=2308.626953125\n", + "global step=47919104, episodic return=1284.5299072265625\n", + "global step=47919104, episodic return=2411.955322265625\n", + "global step=47921152, episodic return=2419.3212890625\n", + "global step=47921152, episodic return=2397.396240234375\n", + "global step=47921152, episodic return=2404.898193359375\n", + "global step=47923200, episodic return=2340.85205078125\n", + "global step=47925248, episodic return=2397.041015625\n", + "global step=47925248, episodic return=2377.859130859375\n", + "global step=47925248, episodic return=2455.2734375\n", + "global step=47925248, episodic return=1442.451171875\n", + "global step=47929344, episodic return=20.19322967529297\n", + "global step=47929344, episodic return=2446.09814453125\n", + "global step=47931392, episodic return=1970.6971435546875\n", + "global step=47931392, episodic return=2415.2314453125\n", + "global step=47933440, episodic return=2354.48095703125\n", + "global step=47933440, episodic return=2385.64453125\n", + "global step=47935488, episodic return=2428.8271484375\n", + "global step=47935488, episodic return=2378.39453125\n", + "global step=47935488, episodic return=562.018310546875\n", + "global step=47937536, episodic return=1307.1932373046875\n", + "global step=47937536, episodic return=2414.1259765625\n", + "global step=47941632, episodic return=2263.172607421875\n", + "global step=47941632, episodic return=979.3721313476562\n", + "global step=47943680, episodic return=2307.81884765625\n", + "global step=47943680, episodic return=2377.3427734375\n", + "global step=47943680, episodic return=2405.7919921875\n", + "global step=47945728, episodic return=2314.880859375\n", + "global step=47945728, episodic return=2255.475830078125\n", + "global step=47947776, episodic return=2366.459228515625\n", + "global step=47947776, episodic return=2416.73583984375\n", + "global step=47947776, episodic return=2404.75830078125\n", + "global step=47949824, episodic return=2435.291015625\n", + "global step=47951872, episodic return=2409.0771484375\n", + "global step=47951872, episodic return=2362.016845703125\n", + "global step=47951872, episodic return=2350.0849609375\n", + "global step=47951872, episodic return=1883.710205078125\n", + "global step=47951872, episodic return=2274.09912109375\n", + "global step=47951872, episodic return=2413.59765625\n", + "global step=47953920, episodic return=2351.943115234375\n", + "global step=47955968, episodic return=2357.6064453125\n", + "global step=47958016, episodic return=2449.0654296875\n", + "global step=47960064, episodic return=1984.2139892578125\n", + "global step=47960064, episodic return=2381.61962890625\n", + "global step=47960064, episodic return=2408.3857421875\n", + "global step=47960064, episodic return=2402.821044921875\n", + "global step=47960064, episodic return=2268.84716796875\n", + "global step=47962112, episodic return=2370.621337890625\n", + "global step=47964160, episodic return=2344.3486328125\n", + "global step=47964160, episodic return=2316.714599609375\n", + "global step=47966208, episodic return=2333.606201171875\n", + "global step=47966208, episodic return=2356.935546875\n", + "global step=47968256, episodic return=2388.712890625\n", + "global step=47968256, episodic return=1331.528564453125\n", + "global step=47970304, episodic return=2310.265380859375\n", + "global step=47970304, episodic return=459.782470703125\n", + "global step=47972352, episodic return=2382.537841796875\n", + "global step=47972352, episodic return=2435.642822265625\n", + "global step=47974400, episodic return=2394.386962890625\n", + "global step=47974400, episodic return=2310.72021484375\n", + "global step=47974400, episodic return=952.1279907226562\n", + "global step=47976448, episodic return=1197.7059326171875\n", + "global step=47976448, episodic return=2407.170654296875\n", + "global step=47980544, episodic return=2382.100830078125\n", + "global step=47980544, episodic return=2362.921142578125\n", + "global step=47982592, episodic return=2393.264892578125\n", + "global step=47982592, episodic return=2377.984130859375\n", + "global step=47982592, episodic return=2286.862548828125\n", + "global step=47982592, episodic return=2382.307373046875\n", + "global step=47986688, episodic return=2325.62646484375\n", + "global step=47986688, episodic return=2344.852783203125\n", + "global step=47986688, episodic return=2278.007568359375\n", + "global step=47986688, episodic return=2403.268310546875\n", + "global step=47986688, episodic return=2335.0048828125\n", + "global step=47988736, episodic return=1857.4232177734375\n", + "global step=47988736, episodic return=2260.7900390625\n", + "global step=47988736, episodic return=2362.81005859375\n", + "global step=47988736, episodic return=2336.70458984375\n", + "global step=47990784, episodic return=2356.807861328125\n", + "global step=47994880, episodic return=2402.13720703125\n", + "global step=47994880, episodic return=2363.953125\n", + "global step=47994880, episodic return=2442.9150390625\n", + "global step=47996928, episodic return=2417.9560546875\n", + "global step=47996928, episodic return=2378.29443359375\n", + "global step=47998976, episodic return=2145.64306640625\n", + "global step=48001024, episodic return=2392.410888671875\n", + "global step=48005120, episodic return=2407.308349609375\n", + "global step=48005120, episodic return=2454.66162109375\n", + "global step=48007168, episodic return=2319.4677734375\n", + "global step=48009216, episodic return=2333.482421875\n", + "global step=48009216, episodic return=2382.069580078125\n", + "global step=48009216, episodic return=2430.4013671875\n", + "global step=48009216, episodic return=2365.08544921875\n", + "global step=48011264, episodic return=2091.76220703125\n", + "global step=48011264, episodic return=2289.422607421875\n", + "global step=48011264, episodic return=2407.656494140625\n", + "global step=48011264, episodic return=2355.5166015625\n", + "global step=48015360, episodic return=2366.087646484375\n", + "global step=48015360, episodic return=2359.86474609375\n", + "global step=48015360, episodic return=2422.720703125\n", + "global step=48017408, episodic return=2349.720703125\n", + "global step=48017408, episodic return=1438.30419921875\n", + "global step=48017408, episodic return=2405.86669921875\n", + "global step=48017408, episodic return=521.7162475585938\n", + "global step=48019456, episodic return=2389.4638671875\n", + "global step=48019456, episodic return=2440.3828125\n", + "global step=48019456, episodic return=2419.557373046875\n", + "global step=48021504, episodic return=2348.22021484375\n", + "global step=48023552, episodic return=2311.609130859375\n", + "global step=48023552, episodic return=1773.5032958984375\n", + "global step=48025600, episodic return=2371.426025390625\n", + "global step=48025600, episodic return=219.56008911132812\n", + "global step=48027648, episodic return=2415.705322265625\n", + "global step=48033792, episodic return=2247.9365234375\n", + "global step=48037888, episodic return=2391.5595703125\n", + "global step=48039936, episodic return=2372.36572265625\n", + "global step=48041984, episodic return=2389.016357421875\n", + "global step=48041984, episodic return=726.1647338867188\n", + "global step=48044032, episodic return=2307.712158203125\n", + "global step=48046080, episodic return=2362.30029296875\n", + "global step=48046080, episodic return=2386.4228515625\n", + "global step=48046080, episodic return=2345.961181640625\n", + "global step=48048128, episodic return=2407.7529296875\n", + "global step=48048128, episodic return=2425.173583984375\n", + "global step=48048128, episodic return=2300.2353515625\n", + "global step=48050176, episodic return=2324.49267578125\n", + "global step=48050176, episodic return=2370.57421875\n", + "global step=48050176, episodic return=2418.035400390625\n", + "global step=48052224, episodic return=2367.634765625\n", + "global step=48052224, episodic return=719.7755126953125\n", + "global step=48056320, episodic return=135.4484100341797\n", + "global step=48056320, episodic return=2386.1748046875\n", + "global step=48058368, episodic return=2212.611083984375\n", + "global step=48058368, episodic return=2325.533447265625\n", + "global step=48058368, episodic return=2330.809326171875\n", + "global step=48058368, episodic return=2431.70458984375\n", + "global step=48058368, episodic return=1604.56103515625\n", + "global step=48060416, episodic return=2402.45751953125\n", + "global step=48062464, episodic return=2403.80859375\n", + "global step=48062464, episodic return=2434.197021484375\n", + "global step=48062464, episodic return=2431.99658203125\n", + "global step=48062464, episodic return=2328.483154296875\n", + "global step=48072704, episodic return=2367.080322265625\n", + "global step=48072704, episodic return=2376.38720703125\n", + "global step=48074752, episodic return=2344.656005859375\n", + "global step=48074752, episodic return=2393.977294921875\n", + "global step=48076800, episodic return=2329.036865234375\n", + "global step=48076800, episodic return=1337.0892333984375\n", + "global step=48078848, episodic return=2349.18017578125\n", + "global step=48078848, episodic return=2381.8193359375\n", + "global step=48078848, episodic return=2375.409423828125\n", + "global step=48080896, episodic return=2392.31640625\n", + "global step=48084992, episodic return=2403.937744140625\n", + "global step=48084992, episodic return=2393.042236328125\n", + "global step=48087040, episodic return=2396.765869140625\n", + "global step=48087040, episodic return=2411.399169921875\n", + "global step=48089088, episodic return=2395.970458984375\n", + "global step=48089088, episodic return=661.1401977539062\n", + "global step=48091136, episodic return=2368.473388671875\n", + "global step=48095232, episodic return=2350.71875\n", + "global step=48095232, episodic return=2068.095703125\n", + "global step=48099328, episodic return=2348.96142578125\n", + "global step=48101376, episodic return=2393.77783203125\n", + "global step=48101376, episodic return=2381.49365234375\n", + "global step=48103424, episodic return=1044.847900390625\n", + "global step=48103424, episodic return=1751.662353515625\n", + "global step=48103424, episodic return=1843.97216796875\n", + "global step=48105472, episodic return=2295.3564453125\n", + "global step=48109568, episodic return=2371.185302734375\n", + "global step=48111616, episodic return=2412.963623046875\n", + "global step=48113664, episodic return=2429.695068359375\n", + "global step=48113664, episodic return=2342.808349609375\n", + "global step=48115712, episodic return=2393.000732421875\n", + "global step=48117760, episodic return=2399.9267578125\n", + "global step=48117760, episodic return=2344.467529296875\n", + "global step=48117760, episodic return=2422.002685546875\n", + "global step=48119808, episodic return=2339.927734375\n", + "global step=48119808, episodic return=2355.339111328125\n", + "global step=48119808, episodic return=2430.1474609375\n", + "global step=48119808, episodic return=2384.786376953125\n", + "global step=48119808, episodic return=937.8441772460938\n", + "global step=48121856, episodic return=1620.3153076171875\n", + "global step=48121856, episodic return=2343.349853515625\n", + "global step=48123904, episodic return=2319.895751953125\n", + "global step=48125952, episodic return=2333.153076171875\n", + "global step=48125952, episodic return=240.43275451660156\n", + "global step=48128000, episodic return=144.87832641601562\n", + "global step=48128000, episodic return=2441.79248046875\n", + "global step=48128000, episodic return=2367.712646484375\n", + "global step=48128000, episodic return=2274.45556640625\n", + "global step=48130048, episodic return=2375.737548828125\n", + "global step=48132096, episodic return=2413.791015625\n", + "global step=48132096, episodic return=2407.4296875\n", + "global step=48132096, episodic return=2364.87841796875\n", + "global step=48134144, episodic return=2414.145263671875\n", + "global step=48134144, episodic return=2346.787353515625\n", + "global step=48136192, episodic return=2434.93798828125\n", + "global step=48138240, episodic return=2358.03466796875\n", + "global step=48138240, episodic return=206.0554962158203\n", + "global step=48140288, episodic return=2392.685546875\n", + "global step=48142336, episodic return=2439.3125\n", + "global step=48142336, episodic return=2365.500732421875\n", + "global step=48142336, episodic return=2347.057373046875\n", + "global step=48144384, episodic return=2336.9345703125\n", + "global step=48144384, episodic return=700.8380126953125\n", + "global step=48146432, episodic return=2389.3759765625\n", + "global step=48148480, episodic return=2380.546875\n", + "global step=48152576, episodic return=2386.9814453125\n", + "global step=48152576, episodic return=2419.839111328125\n", + "global step=48154624, episodic return=2451.638916015625\n", + "global step=48154624, episodic return=2305.82373046875\n", + "global step=48154624, episodic return=1143.455322265625\n", + "global step=48156672, episodic return=2415.630126953125\n", + "global step=48158720, episodic return=2378.74072265625\n", + "global step=48158720, episodic return=2381.94091796875\n", + "global step=48162816, episodic return=2279.281005859375\n", + "global step=48164864, episodic return=2388.135986328125\n", + "global step=48164864, episodic return=28.82072639465332\n", + "global step=48171008, episodic return=2284.448974609375\n", + "global step=48171008, episodic return=477.9515380859375\n", + "global step=48175104, episodic return=2382.80419921875\n", + "global step=48177152, episodic return=2339.042724609375\n", + "global step=48177152, episodic return=2323.630126953125\n", + "global step=48181248, episodic return=2362.7431640625\n", + "global step=48181248, episodic return=2328.16845703125\n", + "global step=48181248, episodic return=2350.61083984375\n", + "global step=48183296, episodic return=2403.75048828125\n", + "global step=48187392, episodic return=2098.99755859375\n", + "global step=48187392, episodic return=60.788333892822266\n", + "global step=48187392, episodic return=2311.720947265625\n", + "global step=48189440, episodic return=950.2055053710938\n", + "global step=48189440, episodic return=2352.184326171875\n", + "global step=48189440, episodic return=2363.869384765625\n", + "global step=48189440, episodic return=348.66192626953125\n", + "global step=48189440, episodic return=1315.4468994140625\n", + "global step=48191488, episodic return=80.60077667236328\n", + "global step=48193536, episodic return=2400.31103515625\n", + "global step=48193536, episodic return=2429.86865234375\n", + "global step=48193536, episodic return=2322.845458984375\n", + "global step=48193536, episodic return=2422.9169921875\n", + "global step=48193536, episodic return=836.5750122070312\n", + "global step=48193536, episodic return=2397.543212890625\n", + "global step=48195584, episodic return=777.248779296875\n", + "global step=48197632, episodic return=2382.724365234375\n", + "global step=48201728, episodic return=2320.423828125\n", + "global step=48203776, episodic return=2394.39111328125\n", + "global step=48203776, episodic return=2427.031494140625\n", + "global step=48203776, episodic return=954.7694091796875\n", + "global step=48205824, episodic return=2268.538818359375\n", + "global step=48205824, episodic return=2396.166259765625\n", + "global step=48205824, episodic return=2275.982666015625\n", + "global step=48205824, episodic return=2370.6142578125\n", + "global step=48207872, episodic return=2429.066650390625\n", + "global step=48209920, episodic return=2337.8984375\n", + "global step=48209920, episodic return=187.28297424316406\n", + "global step=48211968, episodic return=2327.834228515625\n", + "global step=48211968, episodic return=2340.060546875\n", + "global step=48211968, episodic return=2240.12646484375\n", + "global step=48211968, episodic return=2300.57666015625\n", + "global step=48211968, episodic return=2380.017578125\n", + "global step=48214016, episodic return=865.3638916015625\n", + "global step=48214016, episodic return=2384.7724609375\n", + "global step=48216064, episodic return=2363.1767578125\n", + "global step=48216064, episodic return=2376.121826171875\n", + "global step=48216064, episodic return=2384.62939453125\n", + "global step=48216064, episodic return=2345.919677734375\n", + "global step=48218112, episodic return=2345.302978515625\n", + "global step=48218112, episodic return=2400.298583984375\n", + "global step=48220160, episodic return=279.30426025390625\n", + "global step=48222208, episodic return=2358.92822265625\n", + "global step=48222208, episodic return=2361.38525390625\n", + "global step=48224256, episodic return=2314.153076171875\n", + "global step=48224256, episodic return=2334.06884765625\n", + "global step=48224256, episodic return=2358.799072265625\n", + "global step=48226304, episodic return=2368.702392578125\n", + "global step=48226304, episodic return=2401.152099609375\n", + "global step=48230400, episodic return=2412.8466796875\n", + "global step=48230400, episodic return=2401.448974609375\n", + "global step=48230400, episodic return=2374.390380859375\n", + "global step=48230400, episodic return=2292.69482421875\n", + "global step=48232448, episodic return=2291.891845703125\n", + "global step=48232448, episodic return=2356.247802734375\n", + "global step=48232448, episodic return=2384.4521484375\n", + "global step=48232448, episodic return=2389.057861328125\n", + "global step=48234496, episodic return=37.37287521362305\n", + "global step=48234496, episodic return=2280.2802734375\n", + "global step=48234496, episodic return=2371.609375\n", + "global step=48234496, episodic return=2421.1982421875\n", + "global step=48236544, episodic return=2359.5390625\n", + "global step=48238592, episodic return=2345.679931640625\n", + "global step=48238592, episodic return=2431.961181640625\n", + "global step=48238592, episodic return=2350.216064453125\n", + "global step=48240640, episodic return=2418.805419921875\n", + "global step=48242688, episodic return=2369.170654296875\n", + "global step=48242688, episodic return=2375.85693359375\n", + "global step=48242688, episodic return=2340.656982421875\n", + "global step=48244736, episodic return=2348.7900390625\n", + "global step=48244736, episodic return=2350.070068359375\n", + "global step=48244736, episodic return=2377.124755859375\n", + "global step=48246784, episodic return=2340.04345703125\n", + "global step=48246784, episodic return=247.87322998046875\n", + "global step=48246784, episodic return=2392.65869140625\n", + "global step=48248832, episodic return=2351.875244140625\n", + "global step=48248832, episodic return=2289.68798828125\n", + "global step=48250880, episodic return=295.0412902832031\n", + "global step=48250880, episodic return=2307.626220703125\n", + "global step=48250880, episodic return=2299.279541015625\n", + "global step=48252928, episodic return=2359.71728515625\n", + "global step=48252928, episodic return=2377.357421875\n", + "global step=48254976, episodic return=2341.90869140625\n", + "global step=48257024, episodic return=2372.708740234375\n", + "global step=48257024, episodic return=2396.208251953125\n", + "global step=48257024, episodic return=2365.590576171875\n", + "global step=48259072, episodic return=2430.593994140625\n", + "global step=48259072, episodic return=2325.468017578125\n", + "global step=48259072, episodic return=2426.42236328125\n", + "global step=48261120, episodic return=2348.091064453125\n", + "global step=48261120, episodic return=2420.726318359375\n", + "global step=48261120, episodic return=2323.50048828125\n", + "global step=48263168, episodic return=2429.54443359375\n", + "global step=48265216, episodic return=184.206787109375\n", + "global step=48265216, episodic return=506.2603759765625\n", + "global step=48267264, episodic return=2373.1943359375\n", + "global step=48267264, episodic return=2279.94970703125\n", + "global step=48267264, episodic return=2389.34912109375\n", + "global step=48269312, episodic return=2018.3994140625\n", + "global step=48269312, episodic return=2420.820068359375\n", + "global step=48269312, episodic return=2371.796875\n", + "global step=48271360, episodic return=2346.73583984375\n", + "global step=48273408, episodic return=2396.278076171875\n", + "global step=48273408, episodic return=2357.482177734375\n", + "global step=48273408, episodic return=2423.45166015625\n", + "global step=48275456, episodic return=2439.198486328125\n", + "global step=48275456, episodic return=2305.61474609375\n", + "global step=48275456, episodic return=2425.780029296875\n", + "global step=48277504, episodic return=2398.19970703125\n", + "global step=48277504, episodic return=2420.489501953125\n", + "global step=48277504, episodic return=2390.50390625\n", + "global step=48279552, episodic return=2402.114013671875\n", + "global step=48279552, episodic return=2319.70361328125\n", + "global step=48281600, episodic return=2336.528564453125\n", + "global step=48281600, episodic return=2371.447998046875\n", + "global step=48281600, episodic return=2405.578857421875\n", + "global step=48285696, episodic return=2346.22021484375\n", + "global step=48287744, episodic return=2413.6416015625\n", + "global step=48289792, episodic return=2366.0380859375\n", + "global step=48289792, episodic return=2351.46533203125\n", + "global step=48289792, episodic return=2389.37939453125\n", + "global step=48289792, episodic return=2380.087890625\n", + "global step=48289792, episodic return=2315.17236328125\n", + "global step=48291840, episodic return=2328.51708984375\n", + "global step=48293888, episodic return=2354.936279296875\n", + "global step=48295936, episodic return=2317.9296875\n", + "global step=48295936, episodic return=2448.19482421875\n", + "global step=48295936, episodic return=2417.712646484375\n", + "global step=48300032, episodic return=2290.01123046875\n", + "global step=48300032, episodic return=2341.942138671875\n", + "global step=48306176, episodic return=2386.266357421875\n", + "global step=48308224, episodic return=2375.373291015625\n", + "global step=48312320, episodic return=2364.4677734375\n", + "global step=48314368, episodic return=376.66510009765625\n", + "global step=48314368, episodic return=2409.803955078125\n", + "global step=48316416, episodic return=2329.671142578125\n", + "global step=48318464, episodic return=2377.724365234375\n", + "global step=48320512, episodic return=2357.5263671875\n", + "global step=48322560, episodic return=2372.905029296875\n", + "global step=48322560, episodic return=2391.23388671875\n", + "global step=48326656, episodic return=2391.34765625\n", + "global step=48328704, episodic return=2402.994140625\n", + "global step=48328704, episodic return=57.758636474609375\n", + "global step=48328704, episodic return=2333.84912109375\n", + "global step=48330752, episodic return=256.8115234375\n", + "global step=48332800, episodic return=2357.329345703125\n", + "global step=48332800, episodic return=2403.792724609375\n", + "global step=48332800, episodic return=2310.49560546875\n", + "global step=48334848, episodic return=2391.925048828125\n", + "global step=48334848, episodic return=2309.5859375\n", + "global step=48334848, episodic return=2358.358154296875\n", + "global step=48336896, episodic return=2309.766357421875\n", + "global step=48338944, episodic return=2378.60107421875\n", + "global step=48338944, episodic return=2396.87060546875\n", + "global step=48340992, episodic return=2356.711669921875\n", + "global step=48340992, episodic return=1406.833251953125\n", + "global step=48343040, episodic return=2384.239013671875\n", + "global step=48343040, episodic return=2366.38720703125\n", + "global step=48345088, episodic return=2339.528076171875\n", + "global step=48345088, episodic return=2402.973876953125\n", + "global step=48345088, episodic return=2397.8984375\n", + "global step=48347136, episodic return=267.5933532714844\n", + "global step=48347136, episodic return=2360.678955078125\n", + "global step=48347136, episodic return=2396.855712890625\n", + "global step=48351232, episodic return=2436.0068359375\n", + "global step=48351232, episodic return=2339.76513671875\n", + "global step=48351232, episodic return=2317.553466796875\n", + "global step=48351232, episodic return=2360.119140625\n", + "global step=48353280, episodic return=1639.0084228515625\n", + "global step=48355328, episodic return=2402.41943359375\n", + "global step=48355328, episodic return=2380.403076171875\n", + "global step=48355328, episodic return=2387.258544921875\n", + "global step=48355328, episodic return=53.05404281616211\n", + "global step=48355328, episodic return=2392.72412109375\n", + "global step=48357376, episodic return=2387.1640625\n", + "global step=48363520, episodic return=238.2183074951172\n", + "global step=48363520, episodic return=2379.689453125\n", + "global step=48363520, episodic return=485.34625244140625\n", + "global step=48363520, episodic return=2349.105224609375\n", + "global step=48363520, episodic return=2401.88623046875\n", + "global step=48367616, episodic return=662.0960083007812\n", + "global step=48373760, episodic return=2327.448486328125\n", + "global step=48373760, episodic return=2207.244140625\n", + "global step=48373760, episodic return=1330.409912109375\n", + "global step=48375808, episodic return=2312.839111328125\n", + "global step=48377856, episodic return=2385.69580078125\n", + "global step=48377856, episodic return=2365.694580078125\n", + "global step=48377856, episodic return=2345.794189453125\n", + "global step=48379904, episodic return=1415.6097412109375\n", + "global step=48381952, episodic return=2362.08154296875\n", + "global step=48381952, episodic return=2329.58349609375\n", + "global step=48384000, episodic return=2410.89453125\n", + "global step=48386048, episodic return=2135.265869140625\n", + "global step=48388096, episodic return=2334.96337890625\n", + "global step=48390144, episodic return=530.1808471679688\n", + "global step=48390144, episodic return=2210.445068359375\n", + "global step=48390144, episodic return=2315.568359375\n", + "global step=48390144, episodic return=2339.239501953125\n", + "global step=48392192, episodic return=2355.57958984375\n", + "global step=48392192, episodic return=2331.848388671875\n", + "global step=48392192, episodic return=2408.180419921875\n", + "global step=48398336, episodic return=2284.458740234375\n", + "global step=48398336, episodic return=2396.309326171875\n", + "global step=48400384, episodic return=370.2727966308594\n", + "global step=48400384, episodic return=433.5399475097656\n", + "global step=48402432, episodic return=2276.141357421875\n", + "global step=48404480, episodic return=2364.175048828125\n", + "global step=48404480, episodic return=2377.34326171875\n", + "global step=48406528, episodic return=2357.20654296875\n", + "global step=48408576, episodic return=2389.002685546875\n", + "global step=48408576, episodic return=607.5357666015625\n", + "global step=48410624, episodic return=2369.588623046875\n", + "global step=48412672, episodic return=2393.95361328125\n", + "global step=48412672, episodic return=2374.04833984375\n", + "global step=48414720, episodic return=2376.25341796875\n", + "global step=48414720, episodic return=2348.887451171875\n", + "global step=48414720, episodic return=2359.45751953125\n", + "global step=48416768, episodic return=66.70016479492188\n", + "global step=48416768, episodic return=2335.262451171875\n", + "global step=48420864, episodic return=1187.3094482421875\n", + "global step=48420864, episodic return=176.0342559814453\n", + "global step=48420864, episodic return=2413.60107421875\n", + "global step=48422912, episodic return=2443.17529296875\n", + "global step=48424960, episodic return=2377.621826171875\n", + "global step=48424960, episodic return=2293.005126953125\n", + "global step=48427008, episodic return=2390.86767578125\n", + "global step=48429056, episodic return=1435.1082763671875\n", + "global step=48429056, episodic return=2259.030517578125\n", + "global step=48431104, episodic return=2432.84765625\n", + "global step=48431104, episodic return=2341.45068359375\n", + "global step=48433152, episodic return=2319.49609375\n", + "global step=48437248, episodic return=2330.894775390625\n", + "global step=48437248, episodic return=2375.193603515625\n", + "global step=48437248, episodic return=2396.30810546875\n", + "global step=48437248, episodic return=2398.78466796875\n", + "global step=48439296, episodic return=2400.15478515625\n", + "global step=48439296, episodic return=2382.72314453125\n", + "global step=48441344, episodic return=2339.554931640625\n", + "global step=48447488, episodic return=2361.89599609375\n", + "global step=48453632, episodic return=2306.271484375\n", + "global step=48455680, episodic return=2385.30712890625\n", + "global step=48455680, episodic return=2358.009521484375\n", + "global step=48455680, episodic return=2337.83056640625\n", + "global step=48457728, episodic return=2334.4384765625\n", + "global step=48459776, episodic return=2232.13916015625\n", + "global step=48459776, episodic return=2287.25244140625\n", + "global step=48459776, episodic return=2385.33447265625\n", + "global step=48463872, episodic return=2342.773681640625\n", + "global step=48465920, episodic return=2310.1376953125\n", + "global step=48467968, episodic return=2320.008056640625\n", + "global step=48472064, episodic return=2388.677001953125\n", + "global step=48472064, episodic return=2328.078369140625\n", + "global step=48472064, episodic return=2413.25927734375\n", + "global step=48472064, episodic return=2322.845703125\n", + "global step=48472064, episodic return=2323.3984375\n", + "global step=48474112, episodic return=2300.839599609375\n", + "global step=48474112, episodic return=2453.9130859375\n", + "global step=48474112, episodic return=2399.41064453125\n", + "global step=48474112, episodic return=2296.720703125\n", + "global step=48474112, episodic return=2284.985595703125\n", + "global step=48476160, episodic return=2273.71044921875\n", + "global step=48478208, episodic return=2326.100830078125\n", + "global step=48478208, episodic return=310.5660095214844\n", + "global step=48478208, episodic return=2399.2314453125\n", + "global step=48480256, episodic return=1947.8470458984375\n", + "global step=48482304, episodic return=2343.455078125\n", + "global step=48482304, episodic return=2414.90380859375\n", + "global step=48484352, episodic return=2336.309814453125\n", + "global step=48484352, episodic return=2293.642578125\n", + "global step=48486400, episodic return=2316.0439453125\n", + "global step=48486400, episodic return=2358.646484375\n", + "global step=48486400, episodic return=2390.180908203125\n", + "global step=48486400, episodic return=2310.78125\n", + "global step=48490496, episodic return=2380.102294921875\n", + "global step=48490496, episodic return=2298.19482421875\n", + "global step=48490496, episodic return=2320.532958984375\n", + "global step=48492544, episodic return=2376.88671875\n", + "global step=48492544, episodic return=2323.96240234375\n", + "global step=48494592, episodic return=2347.289306640625\n", + "global step=48494592, episodic return=2315.84912109375\n", + "global step=48496640, episodic return=2352.891845703125\n", + "global step=48496640, episodic return=2354.37939453125\n", + "global step=48496640, episodic return=2412.231201171875\n", + "global step=48496640, episodic return=2362.334228515625\n", + "global step=48498688, episodic return=2352.094482421875\n", + "global step=48500736, episodic return=2324.510498046875\n", + "global step=48500736, episodic return=25.114280700683594\n", + "global step=48500736, episodic return=2337.6328125\n", + "global step=48502784, episodic return=2352.360107421875\n", + "global step=48502784, episodic return=2258.298583984375\n", + "global step=48504832, episodic return=2374.26318359375\n", + "global step=48504832, episodic return=2334.59423828125\n", + "global step=48504832, episodic return=2275.70361328125\n", + "global step=48504832, episodic return=2341.140380859375\n", + "global step=48506880, episodic return=2330.38037109375\n", + "global step=48506880, episodic return=2386.22998046875\n", + "global step=48506880, episodic return=2297.5029296875\n", + "global step=48508928, episodic return=2300.9658203125\n", + "global step=48508928, episodic return=2350.46533203125\n", + "global step=48508928, episodic return=2401.865966796875\n", + "global step=48508928, episodic return=2420.710693359375\n", + "global step=48510976, episodic return=2375.93359375\n", + "global step=48510976, episodic return=2360.787841796875\n", + "global step=48510976, episodic return=2351.410400390625\n", + "global step=48510976, episodic return=2373.5654296875\n", + "global step=48513024, episodic return=2328.82861328125\n", + "global step=48513024, episodic return=2253.834228515625\n", + "global step=48513024, episodic return=2322.439208984375\n", + "global step=48513024, episodic return=2392.803466796875\n", + "global step=48515072, episodic return=2368.738037109375\n", + "global step=48519168, episodic return=2329.55615234375\n", + "global step=48519168, episodic return=2274.846923828125\n", + "global step=48519168, episodic return=2371.344482421875\n", + "global step=48519168, episodic return=2319.87158203125\n", + "global step=48519168, episodic return=2181.7705078125\n", + "global step=48521216, episodic return=2315.931884765625\n", + "global step=48523264, episodic return=2302.137939453125\n", + "global step=48523264, episodic return=2348.596435546875\n", + "global step=48523264, episodic return=2363.041748046875\n", + "global step=48523264, episodic return=1873.0244140625\n", + "global step=48525312, episodic return=2312.52490234375\n", + "global step=48529408, episodic return=1764.425048828125\n", + "global step=48529408, episodic return=2250.4990234375\n", + "global step=48529408, episodic return=2309.747802734375\n", + "global step=48531456, episodic return=2294.864501953125\n", + "global step=48531456, episodic return=1964.413330078125\n", + "global step=48531456, episodic return=198.66566467285156\n", + "global step=48533504, episodic return=2333.7470703125\n", + "global step=48535552, episodic return=2324.8203125\n", + "global step=48535552, episodic return=2209.420166015625\n", + "global step=48535552, episodic return=2317.771728515625\n", + "global step=48537600, episodic return=2347.92529296875\n", + "global step=48539648, episodic return=2248.1005859375\n", + "global step=48539648, episodic return=2114.2509765625\n", + "global step=48539648, episodic return=2352.987548828125\n", + "global step=48539648, episodic return=1308.9755859375\n", + "global step=48541696, episodic return=2314.2734375\n", + "global step=48541696, episodic return=2388.38916015625\n", + "global step=48543744, episodic return=2282.97802734375\n", + "global step=48545792, episodic return=2396.33837890625\n", + "global step=48545792, episodic return=2360.016357421875\n", + "global step=48545792, episodic return=2278.01611328125\n", + "global step=48551936, episodic return=2304.034423828125\n", + "global step=48553984, episodic return=1810.8082275390625\n", + "global step=48553984, episodic return=2403.749267578125\n", + "global step=48553984, episodic return=2272.67041015625\n", + "global step=48558080, episodic return=2275.730224609375\n", + "global step=48558080, episodic return=2300.8564453125\n", + "global step=48558080, episodic return=2312.592041015625\n", + "global step=48558080, episodic return=2263.49365234375\n", + "global step=48560128, episodic return=2361.13916015625\n", + "global step=48562176, episodic return=2298.979736328125\n", + "global step=48562176, episodic return=2318.413818359375\n", + "global step=48562176, episodic return=2260.43115234375\n", + "global step=48564224, episodic return=2362.099365234375\n", + "global step=48564224, episodic return=2383.627197265625\n", + "global step=48566272, episodic return=2424.497802734375\n", + "global step=48568320, episodic return=2348.9248046875\n", + "global step=48568320, episodic return=2338.825927734375\n", + "global step=48570368, episodic return=182.49171447753906\n", + "global step=48570368, episodic return=2361.219970703125\n", + "global step=48572416, episodic return=2262.05078125\n", + "global step=48572416, episodic return=2354.2109375\n", + "global step=48572416, episodic return=2276.677001953125\n", + "global step=48574464, episodic return=2286.979736328125\n", + "global step=48574464, episodic return=2319.908935546875\n", + "global step=48576512, episodic return=2338.112060546875\n", + "global step=48576512, episodic return=2346.83642578125\n", + "global step=48576512, episodic return=1653.3096923828125\n", + "global step=48578560, episodic return=2286.712890625\n", + "global step=48578560, episodic return=2318.845703125\n", + "global step=48580608, episodic return=2334.655029296875\n", + "global step=48580608, episodic return=215.2087860107422\n", + "global step=48580608, episodic return=2293.359619140625\n", + "global step=48582656, episodic return=2324.04443359375\n", + "global step=48586752, episodic return=2381.286865234375\n", + "global step=48586752, episodic return=2333.346923828125\n", + "global step=48586752, episodic return=2310.119873046875\n", + "global step=48588800, episodic return=2347.435791015625\n", + "global step=48588800, episodic return=2370.142578125\n", + "global step=48590848, episodic return=2265.263916015625\n", + "global step=48592896, episodic return=2070.305419921875\n", + "global step=48594944, episodic return=2298.572509765625\n", + "global step=48596992, episodic return=2339.093505859375\n", + "global step=48599040, episodic return=2345.341064453125\n", + "global step=48599040, episodic return=2366.298828125\n", + "global step=48603136, episodic return=2322.081298828125\n", + "global step=48603136, episodic return=2348.507080078125\n", + "global step=48603136, episodic return=2292.989501953125\n", + "global step=48603136, episodic return=2376.9365234375\n", + "global step=48603136, episodic return=2335.60400390625\n", + "global step=48605184, episodic return=2337.05859375\n", + "global step=48605184, episodic return=2329.61865234375\n", + "global step=48605184, episodic return=2311.395751953125\n", + "global step=48607232, episodic return=2382.144287109375\n", + "global step=48607232, episodic return=2292.167236328125\n", + "global step=48607232, episodic return=2316.724365234375\n", + "global step=48607232, episodic return=2335.779296875\n", + "global step=48609280, episodic return=2361.04052734375\n", + "global step=48609280, episodic return=2283.723388671875\n", + "global step=48611328, episodic return=2150.379638671875\n", + "global step=48611328, episodic return=2332.989013671875\n", + "global step=48611328, episodic return=2355.017578125\n", + "global step=48613376, episodic return=2373.87890625\n", + "global step=48613376, episodic return=2362.027099609375\n", + "global step=48613376, episodic return=2337.0\n", + "global step=48615424, episodic return=2384.41259765625\n", + "global step=48617472, episodic return=2269.4833984375\n", + "global step=48619520, episodic return=2370.86669921875\n", + "global step=48619520, episodic return=2131.26953125\n", + "global step=48619520, episodic return=2294.95068359375\n", + "global step=48621568, episodic return=2351.5234375\n", + "global step=48621568, episodic return=2340.8505859375\n", + "global step=48621568, episodic return=2298.2294921875\n", + "global step=48623616, episodic return=2376.337646484375\n", + "global step=48623616, episodic return=2372.295654296875\n", + "global step=48625664, episodic return=2351.371826171875\n", + "global step=48625664, episodic return=2276.5556640625\n", + "global step=48627712, episodic return=2365.99951171875\n", + "global step=48627712, episodic return=2295.219970703125\n", + "global step=48627712, episodic return=2368.5595703125\n", + "global step=48629760, episodic return=2232.134765625\n", + "global step=48629760, episodic return=2304.415283203125\n", + "global step=48631808, episodic return=2373.9697265625\n", + "global step=48631808, episodic return=2332.63916015625\n", + "global step=48633856, episodic return=2332.083740234375\n", + "global step=48633856, episodic return=2394.47900390625\n", + "global step=48633856, episodic return=2320.2294921875\n", + "global step=48633856, episodic return=2370.680908203125\n", + "global step=48633856, episodic return=2328.62255859375\n", + "global step=48635904, episodic return=2392.5048828125\n", + "global step=48635904, episodic return=2224.755859375\n", + "global step=48635904, episodic return=2303.12451171875\n", + "global step=48637952, episodic return=2368.83740234375\n", + "global step=48637952, episodic return=227.34967041015625\n", + "global step=48637952, episodic return=2319.45703125\n", + "global step=48637952, episodic return=2394.255126953125\n", + "global step=48637952, episodic return=2347.6435546875\n", + "global step=48640000, episodic return=2342.103515625\n", + "global step=48640000, episodic return=2273.590576171875\n", + "global step=48642048, episodic return=2304.5205078125\n", + "global step=48644096, episodic return=2340.5244140625\n", + "global step=48644096, episodic return=2349.105712890625\n", + "global step=48646144, episodic return=2301.66748046875\n", + "global step=48646144, episodic return=2354.8427734375\n", + "global step=48646144, episodic return=2371.967529296875\n", + "global step=48646144, episodic return=2331.841796875\n", + "global step=48648192, episodic return=2364.592041015625\n", + "global step=48648192, episodic return=2317.1240234375\n", + "global step=48650240, episodic return=2379.589599609375\n", + "global step=48652288, episodic return=460.72515869140625\n", + "global step=48652288, episodic return=2379.093505859375\n", + "global step=48654336, episodic return=2219.364990234375\n", + "global step=48654336, episodic return=177.3762969970703\n", + "global step=48654336, episodic return=2303.546630859375\n", + "global step=48654336, episodic return=2325.8173828125\n", + "global step=48656384, episodic return=2275.703857421875\n", + "global step=48656384, episodic return=2394.19189453125\n", + "global step=48656384, episodic return=2211.91357421875\n", + "global step=48656384, episodic return=2359.337646484375\n", + "global step=48656384, episodic return=2246.32666015625\n", + "global step=48658432, episodic return=2366.938232421875\n", + "global step=48660480, episodic return=2379.46826171875\n", + "global step=48660480, episodic return=2332.0966796875\n", + "global step=48662528, episodic return=2351.99462890625\n", + "global step=48662528, episodic return=2282.339599609375\n", + "global step=48664576, episodic return=2349.3447265625\n", + "global step=48664576, episodic return=2384.004638671875\n", + "global step=48666624, episodic return=81.80037689208984\n", + "global step=48666624, episodic return=2339.14501953125\n", + "global step=48666624, episodic return=2352.74560546875\n", + "global step=48668672, episodic return=2326.2607421875\n", + "global step=48668672, episodic return=2390.207763671875\n", + "global step=48670720, episodic return=2334.266845703125\n", + "global step=48672768, episodic return=2328.213623046875\n", + "global step=48672768, episodic return=2334.623779296875\n", + "global step=48674816, episodic return=2364.21484375\n", + "global step=48674816, episodic return=2336.728515625\n", + "global step=48676864, episodic return=2310.875244140625\n", + "global step=48676864, episodic return=2237.72607421875\n", + "global step=48678912, episodic return=2295.215087890625\n", + "global step=48678912, episodic return=2322.936767578125\n", + "global step=48678912, episodic return=2344.51025390625\n", + "global step=48680960, episodic return=2371.28076171875\n", + "global step=48683008, episodic return=2324.6240234375\n", + "global step=48683008, episodic return=2216.536865234375\n", + "global step=48683008, episodic return=2294.144287109375\n", + "global step=48683008, episodic return=2387.77783203125\n", + "global step=48683008, episodic return=2383.714599609375\n", + "global step=48685056, episodic return=2361.31005859375\n", + "global step=48685056, episodic return=2289.4091796875\n", + "global step=48687104, episodic return=2376.86083984375\n", + "global step=48687104, episodic return=2253.5888671875\n", + "global step=48687104, episodic return=2224.72119140625\n", + "global step=48689152, episodic return=2327.8642578125\n", + "global step=48689152, episodic return=977.2349243164062\n", + "global step=48689152, episodic return=2343.894775390625\n", + "global step=48689152, episodic return=1333.791015625\n", + "global step=48691200, episodic return=2296.90673828125\n", + "global step=48691200, episodic return=2341.537353515625\n", + "global step=48691200, episodic return=2376.15087890625\n", + "global step=48691200, episodic return=73.67579650878906\n", + "global step=48691200, episodic return=2398.4453125\n", + "global step=48693248, episodic return=2310.34130859375\n", + "global step=48693248, episodic return=2295.77685546875\n", + "global step=48693248, episodic return=2282.3271484375\n", + "global step=48693248, episodic return=2366.99755859375\n", + "global step=48695296, episodic return=2368.6533203125\n", + "global step=48695296, episodic return=2365.463134765625\n", + "global step=48695296, episodic return=2382.807861328125\n", + "global step=48695296, episodic return=2305.121337890625\n", + "global step=48697344, episodic return=2381.508056640625\n", + "global step=48697344, episodic return=2332.60302734375\n", + "global step=48697344, episodic return=2411.250732421875\n", + "global step=48697344, episodic return=2351.90234375\n", + "global step=48699392, episodic return=2335.541259765625\n", + "global step=48699392, episodic return=2367.7041015625\n", + "global step=48699392, episodic return=2382.53662109375\n", + "global step=48699392, episodic return=2362.902587890625\n", + "global step=48701440, episodic return=2352.705322265625\n", + "global step=48701440, episodic return=2317.663818359375\n", + "global step=48701440, episodic return=2326.665283203125\n", + "global step=48701440, episodic return=2368.27392578125\n", + "global step=48701440, episodic return=2216.58349609375\n", + "global step=48701440, episodic return=2329.302734375\n", + "global step=48701440, episodic return=2335.6982421875\n", + "global step=48703488, episodic return=2298.87646484375\n", + "global step=48703488, episodic return=2315.94384765625\n", + "global step=48703488, episodic return=2336.372314453125\n", + "global step=48703488, episodic return=2403.163330078125\n", + "global step=48705536, episodic return=2349.209716796875\n", + "global step=48705536, episodic return=2349.236328125\n", + "global step=48705536, episodic return=2295.9228515625\n", + "global step=48705536, episodic return=2277.074951171875\n", + "global step=48705536, episodic return=2377.0185546875\n", + "global step=48705536, episodic return=2391.176513671875\n", + "global step=48707584, episodic return=2311.004150390625\n", + "global step=48707584, episodic return=2349.705322265625\n", + "global step=48707584, episodic return=2341.452880859375\n", + "global step=48707584, episodic return=2369.593994140625\n", + "global step=48709632, episodic return=2333.593994140625\n", + "global step=48709632, episodic return=2398.965087890625\n", + "global step=48709632, episodic return=2360.11572265625\n", + "global step=48709632, episodic return=2311.897216796875\n", + "global step=48711680, episodic return=2250.990478515625\n", + "global step=48713728, episodic return=2303.197265625\n", + "global step=48713728, episodic return=2316.246826171875\n", + "global step=48713728, episodic return=2368.556640625\n", + "global step=48713728, episodic return=2364.34375\n", + "global step=48715776, episodic return=2403.16064453125\n", + "global step=48715776, episodic return=154.7716827392578\n", + "global step=48715776, episodic return=2311.0244140625\n", + "global step=48715776, episodic return=2353.161865234375\n", + "global step=48717824, episodic return=2236.042236328125\n", + "global step=48717824, episodic return=2379.737060546875\n", + "global step=48719872, episodic return=2348.845947265625\n", + "global step=48719872, episodic return=2332.858642578125\n", + "global step=48721920, episodic return=2309.682861328125\n", + "global step=48721920, episodic return=2297.96142578125\n", + "global step=48723968, episodic return=2376.275390625\n", + "global step=48723968, episodic return=2303.991455078125\n", + "global step=48728064, episodic return=167.3451690673828\n", + "global step=48728064, episodic return=2367.776611328125\n", + "global step=48728064, episodic return=2306.26123046875\n", + "global step=48728064, episodic return=2282.09716796875\n", + "global step=48728064, episodic return=2386.586181640625\n", + "global step=48728064, episodic return=2322.62646484375\n", + "global step=48730112, episodic return=2280.54052734375\n", + "global step=48730112, episodic return=2247.4658203125\n", + "global step=48730112, episodic return=2336.58056640625\n", + "global step=48732160, episodic return=2318.6728515625\n", + "global step=48732160, episodic return=2318.856201171875\n", + "global step=48732160, episodic return=2261.658935546875\n", + "global step=48732160, episodic return=2220.416015625\n", + "global step=48734208, episodic return=2385.591552734375\n", + "global step=48734208, episodic return=2351.453125\n", + "global step=48738304, episodic return=2422.8310546875\n", + "global step=48740352, episodic return=2366.98193359375\n", + "global step=48740352, episodic return=2279.884033203125\n", + "global step=48740352, episodic return=2369.251708984375\n", + "global step=48740352, episodic return=2300.6201171875\n", + "global step=48742400, episodic return=2328.779052734375\n", + "global step=48742400, episodic return=2332.88916015625\n", + "global step=48742400, episodic return=2330.06884765625\n", + "global step=48744448, episodic return=2389.346923828125\n", + "global step=48744448, episodic return=2326.259521484375\n", + "global step=48746496, episodic return=2364.927734375\n", + "global step=48746496, episodic return=2305.765380859375\n", + "global step=48748544, episodic return=2331.712158203125\n", + "global step=48748544, episodic return=2377.46484375\n", + "global step=48748544, episodic return=2310.429931640625\n", + "global step=48748544, episodic return=2372.9228515625\n", + "global step=48750592, episodic return=2356.665771484375\n", + "global step=48750592, episodic return=2363.778076171875\n", + "global step=48752640, episodic return=2354.33056640625\n", + "global step=48754688, episodic return=2306.53173828125\n", + "global step=48756736, episodic return=2387.807373046875\n", + "global step=48758784, episodic return=2289.828857421875\n", + "global step=48758784, episodic return=2384.739013671875\n", + "global step=48758784, episodic return=2315.841064453125\n", + "global step=48758784, episodic return=2347.517333984375\n", + "global step=48760832, episodic return=2289.9462890625\n", + "global step=48762880, episodic return=2270.8447265625\n", + "global step=48762880, episodic return=2288.509521484375\n", + "global step=48762880, episodic return=2393.800048828125\n", + "global step=48762880, episodic return=2300.435302734375\n", + "global step=48769024, episodic return=2295.09814453125\n", + "global step=48771072, episodic return=2336.898193359375\n", + "global step=48771072, episodic return=2380.08837890625\n", + "global step=48771072, episodic return=2299.005615234375\n", + "global step=48773120, episodic return=2319.498046875\n", + "global step=48773120, episodic return=2319.908447265625\n", + "global step=48773120, episodic return=2334.92578125\n", + "global step=48775168, episodic return=2359.04150390625\n", + "global step=48775168, episodic return=165.6797332763672\n", + "global step=48775168, episodic return=2353.88623046875\n", + "global step=48775168, episodic return=2338.504638671875\n", + "global step=48777216, episodic return=2310.278076171875\n", + "global step=48777216, episodic return=2331.400390625\n", + "global step=48779264, episodic return=2344.237060546875\n", + "global step=48779264, episodic return=2398.167236328125\n", + "global step=48779264, episodic return=2257.93359375\n", + "global step=48781312, episodic return=2310.21240234375\n", + "global step=48781312, episodic return=2347.0751953125\n", + "global step=48781312, episodic return=2357.7509765625\n", + "global step=48781312, episodic return=294.3549499511719\n", + "global step=48781312, episodic return=2444.00146484375\n", + "global step=48783360, episodic return=698.7841186523438\n", + "global step=48785408, episodic return=2259.50244140625\n", + "global step=48785408, episodic return=219.49749755859375\n", + "global step=48785408, episodic return=2342.992919921875\n", + "global step=48787456, episodic return=2212.07568359375\n", + "global step=48789504, episodic return=2342.712646484375\n", + "global step=48789504, episodic return=2396.87255859375\n", + "global step=48791552, episodic return=2254.138671875\n", + "global step=48791552, episodic return=2368.293212890625\n", + "global step=48791552, episodic return=2285.72998046875\n", + "global step=48793600, episodic return=2338.2978515625\n", + "global step=48793600, episodic return=2371.458984375\n", + "global step=48795648, episodic return=2325.212890625\n", + "global step=48797696, episodic return=2332.034912109375\n", + "global step=48797696, episodic return=2220.12939453125\n", + "global step=48797696, episodic return=2342.755615234375\n", + "global step=48799744, episodic return=2373.56005859375\n", + "global step=48799744, episodic return=2314.995361328125\n", + "global step=48799744, episodic return=491.86834716796875\n", + "global step=48801792, episodic return=2352.19677734375\n", + "global step=48803840, episodic return=2297.92236328125\n", + "global step=48803840, episodic return=2392.03271484375\n", + "global step=48805888, episodic return=2247.205078125\n", + "global step=48805888, episodic return=2302.285888671875\n", + "global step=48805888, episodic return=2336.414794921875\n", + "global step=48805888, episodic return=621.5323486328125\n", + "global step=48805888, episodic return=2302.53125\n", + "global step=48805888, episodic return=2293.730224609375\n", + "global step=48807936, episodic return=2358.85888671875\n", + "global step=48807936, episodic return=2258.58642578125\n", + "global step=48807936, episodic return=2378.16259765625\n", + "global step=48807936, episodic return=2331.110107421875\n", + "global step=48809984, episodic return=2237.589599609375\n", + "global step=48809984, episodic return=2338.005859375\n", + "global step=48809984, episodic return=2307.288330078125\n", + "global step=48812032, episodic return=2315.4326171875\n", + "global step=48812032, episodic return=327.8624572753906\n", + "global step=48814080, episodic return=2317.2763671875\n", + "global step=48814080, episodic return=2365.130859375\n", + "global step=48820224, episodic return=2388.1123046875\n", + "global step=48820224, episodic return=2316.4990234375\n", + "global step=48820224, episodic return=2422.279541015625\n", + "global step=48820224, episodic return=231.8127899169922\n", + "global step=48820224, episodic return=1714.647705078125\n", + "global step=48822272, episodic return=2282.213134765625\n", + "global step=48822272, episodic return=2350.64697265625\n", + "global step=48824320, episodic return=2315.95751953125\n", + "global step=48826368, episodic return=2322.2822265625\n", + "global step=48826368, episodic return=2320.623046875\n", + "global step=48828416, episodic return=2323.423095703125\n", + "global step=48828416, episodic return=2273.34912109375\n", + "global step=48830464, episodic return=2269.588134765625\n", + "global step=48832512, episodic return=2374.9951171875\n", + "global step=48832512, episodic return=2371.711669921875\n", + "global step=48836608, episodic return=551.4971923828125\n", + "global step=48838656, episodic return=2348.383544921875\n", + "global step=48840704, episodic return=2352.783935546875\n", + "global step=48840704, episodic return=2356.502685546875\n", + "global step=48840704, episodic return=2375.20556640625\n", + "global step=48840704, episodic return=2331.097412109375\n", + "global step=48842752, episodic return=2274.177978515625\n", + "global step=48842752, episodic return=2355.857421875\n", + "global step=48842752, episodic return=57.506080627441406\n", + "global step=48842752, episodic return=2350.6455078125\n", + "global step=48844800, episodic return=2272.420654296875\n", + "global step=48844800, episodic return=2342.77001953125\n", + "global step=48846848, episodic return=56.76155090332031\n", + "global step=48846848, episodic return=2353.65966796875\n", + "global step=48848896, episodic return=2221.9609375\n", + "global step=48848896, episodic return=2322.7724609375\n", + "global step=48848896, episodic return=1587.5987548828125\n", + "global step=48848896, episodic return=2359.408203125\n", + "global step=48850944, episodic return=2334.45654296875\n", + "global step=48850944, episodic return=2321.727294921875\n", + "global step=48852992, episodic return=2367.794677734375\n", + "global step=48855040, episodic return=2286.1748046875\n", + "global step=48855040, episodic return=2379.246826171875\n", + "global step=48857088, episodic return=2291.6923828125\n", + "global step=48857088, episodic return=1094.1031494140625\n", + "global step=48857088, episodic return=2311.843505859375\n", + "global step=48857088, episodic return=2350.22607421875\n", + "global step=48859136, episodic return=2252.172119140625\n", + "global step=48859136, episodic return=1671.363037109375\n", + "global step=48859136, episodic return=2316.625732421875\n", + "global step=48861184, episodic return=2337.79931640625\n", + "global step=48861184, episodic return=2347.4189453125\n", + "global step=48861184, episodic return=2240.709716796875\n", + "global step=48863232, episodic return=2364.713623046875\n", + "global step=48863232, episodic return=2426.96044921875\n", + "global step=48863232, episodic return=172.1077423095703\n", + "global step=48865280, episodic return=2316.874755859375\n", + "global step=48865280, episodic return=2273.515625\n", + "global step=48865280, episodic return=2410.062744140625\n", + "global step=48867328, episodic return=2296.845703125\n", + "global step=48867328, episodic return=2336.884521484375\n", + "global step=48867328, episodic return=615.4798583984375\n", + "global step=48871424, episodic return=1993.61376953125\n", + "global step=48871424, episodic return=2270.16455078125\n", + "global step=48873472, episodic return=2346.973876953125\n", + "global step=48877568, episodic return=2377.40283203125\n", + "global step=48877568, episodic return=2297.95263671875\n", + "global step=48877568, episodic return=2286.776123046875\n", + "global step=48879616, episodic return=2316.583251953125\n", + "global step=48879616, episodic return=2327.89501953125\n", + "global step=48879616, episodic return=2364.076171875\n", + "global step=48879616, episodic return=2329.762451171875\n", + "global step=48883712, episodic return=87.75334167480469\n", + "global step=48883712, episodic return=2328.8564453125\n", + "global step=48883712, episodic return=2388.509765625\n", + "global step=48883712, episodic return=2355.724853515625\n", + "global step=48885760, episodic return=2312.991943359375\n", + "global step=48885760, episodic return=2300.039794921875\n", + "global step=48885760, episodic return=2362.8154296875\n", + "global step=48885760, episodic return=2352.270751953125\n", + "global step=48887808, episodic return=2337.763916015625\n", + "global step=48889856, episodic return=2336.04296875\n", + "global step=48889856, episodic return=2308.06298828125\n", + "global step=48889856, episodic return=2333.232666015625\n", + "global step=48889856, episodic return=1492.384765625\n", + "global step=48889856, episodic return=133.08262634277344\n", + "global step=48891904, episodic return=2320.05517578125\n", + "global step=48893952, episodic return=2359.0654296875\n", + "global step=48893952, episodic return=2386.20361328125\n", + "global step=48893952, episodic return=2337.95361328125\n", + "global step=48896000, episodic return=2332.12744140625\n", + "global step=48896000, episodic return=2346.720458984375\n", + "global step=48896000, episodic return=2391.45751953125\n", + "global step=48896000, episodic return=2409.560546875\n", + "global step=48896000, episodic return=2321.77880859375\n", + "global step=48900096, episodic return=1778.4864501953125\n", + "global step=48900096, episodic return=2361.87841796875\n", + "global step=48900096, episodic return=2333.283447265625\n", + "global step=48900096, episodic return=2395.506103515625\n", + "global step=48900096, episodic return=2329.658447265625\n", + "global step=48900096, episodic return=2169.20068359375\n", + "global step=48902144, episodic return=2306.972900390625\n", + "global step=48902144, episodic return=2360.857421875\n", + "global step=48902144, episodic return=2210.326904296875\n", + "global step=48904192, episodic return=158.37339782714844\n", + "global step=48906240, episodic return=2354.218505859375\n", + "global step=48908288, episodic return=2380.490966796875\n", + "global step=48908288, episodic return=2270.58154296875\n", + "global step=48908288, episodic return=2384.841064453125\n", + "global step=48910336, episodic return=2337.400146484375\n", + "global step=48910336, episodic return=2406.158203125\n", + "global step=48912384, episodic return=2412.70263671875\n", + "global step=48912384, episodic return=2213.235107421875\n", + "global step=48914432, episodic return=2349.480712890625\n", + "global step=48916480, episodic return=2333.542724609375\n", + "global step=48916480, episodic return=2334.617431640625\n", + "global step=48918528, episodic return=2353.610595703125\n", + "global step=48918528, episodic return=2353.505615234375\n", + "global step=48920576, episodic return=2381.315673828125\n", + "global step=48920576, episodic return=2300.077880859375\n", + "global step=48920576, episodic return=2328.0517578125\n", + "global step=48920576, episodic return=2329.002685546875\n", + "global step=48922624, episodic return=2367.8310546875\n", + "global step=48922624, episodic return=2318.6826171875\n", + "global step=48922624, episodic return=2309.072265625\n", + "global step=48922624, episodic return=2316.045654296875\n", + "global step=48922624, episodic return=2359.22314453125\n", + "global step=48924672, episodic return=1234.7437744140625\n", + "global step=48924672, episodic return=2289.20654296875\n", + "global step=48930816, episodic return=2347.125\n", + "global step=48930816, episodic return=2322.92236328125\n", + "global step=48930816, episodic return=2353.81201171875\n", + "global step=48932864, episodic return=2332.61474609375\n", + "global step=48932864, episodic return=2317.250732421875\n", + "global step=48932864, episodic return=2331.64892578125\n", + "global step=48934912, episodic return=2420.9521484375\n", + "global step=48934912, episodic return=1125.9232177734375\n", + "global step=48936960, episodic return=2273.804443359375\n", + "global step=48936960, episodic return=2286.929443359375\n", + "global step=48936960, episodic return=2323.39794921875\n", + "global step=48936960, episodic return=2226.606689453125\n", + "global step=48936960, episodic return=2331.724853515625\n", + "global step=48936960, episodic return=2304.056884765625\n", + "global step=48939008, episodic return=2418.82763671875\n", + "global step=48939008, episodic return=2379.907958984375\n", + "global step=48939008, episodic return=2338.119140625\n", + "global step=48943104, episodic return=2381.391845703125\n", + "global step=48943104, episodic return=213.46156311035156\n", + "global step=48943104, episodic return=2349.172119140625\n", + "global step=48943104, episodic return=2368.97802734375\n", + "global step=48943104, episodic return=2346.84130859375\n", + "global step=48943104, episodic return=2294.017333984375\n", + "global step=48943104, episodic return=2345.96875\n", + "global step=48945152, episodic return=2345.001220703125\n", + "global step=48945152, episodic return=2332.305419921875\n", + "global step=48945152, episodic return=2295.37939453125\n", + "global step=48947200, episodic return=2384.682373046875\n", + "global step=48947200, episodic return=111.97212982177734\n", + "global step=48949248, episodic return=2354.12548828125\n", + "global step=48949248, episodic return=2365.298095703125\n", + "global step=48949248, episodic return=2342.07568359375\n", + "global step=48951296, episodic return=2390.858154296875\n", + "global step=48951296, episodic return=2247.21337890625\n", + "global step=48951296, episodic return=2343.90625\n", + "global step=48951296, episodic return=2387.999755859375\n", + "global step=48953344, episodic return=2356.810791015625\n", + "global step=48953344, episodic return=2329.01318359375\n", + "global step=48955392, episodic return=182.5056915283203\n", + "global step=48957440, episodic return=2263.2734375\n", + "global step=48957440, episodic return=2301.01123046875\n", + "global step=48959488, episodic return=632.134521484375\n", + "global step=48959488, episodic return=2385.91650390625\n", + "global step=48959488, episodic return=2255.781982421875\n", + "global step=48959488, episodic return=2367.416259765625\n", + "global step=48959488, episodic return=205.09219360351562\n", + "global step=48961536, episodic return=681.6267700195312\n", + "global step=48961536, episodic return=2330.810546875\n", + "global step=48961536, episodic return=2307.99658203125\n", + "global step=48961536, episodic return=2287.429443359375\n", + "global step=48961536, episodic return=208.22320556640625\n", + "global step=48961536, episodic return=2341.867431640625\n", + "global step=48961536, episodic return=2326.49267578125\n", + "global step=48961536, episodic return=2339.239013671875\n", + "global step=48961536, episodic return=1646.43994140625\n", + "global step=48961536, episodic return=2290.927978515625\n", + "global step=48963584, episodic return=2383.116943359375\n", + "global step=48963584, episodic return=2227.387451171875\n", + "global step=48963584, episodic return=2342.479248046875\n", + "global step=48965632, episodic return=2310.179931640625\n", + "global step=48965632, episodic return=261.9385986328125\n", + "global step=48965632, episodic return=2307.797119140625\n", + "global step=48967680, episodic return=2348.9111328125\n", + "global step=48967680, episodic return=2382.973388671875\n", + "global step=48967680, episodic return=2287.89013671875\n", + "global step=48967680, episodic return=2273.521240234375\n", + "global step=48967680, episodic return=2311.513916015625\n", + "global step=48969728, episodic return=2278.965087890625\n", + "global step=48969728, episodic return=2336.54248046875\n", + "global step=48969728, episodic return=2132.317138671875\n", + "global step=48969728, episodic return=2319.365478515625\n", + "global step=48971776, episodic return=2313.0634765625\n", + "global step=48971776, episodic return=2321.70849609375\n", + "global step=48973824, episodic return=15.681621551513672\n", + "global step=48973824, episodic return=2254.891357421875\n", + "global step=48973824, episodic return=940.7936401367188\n", + "global step=48975872, episodic return=2272.4208984375\n", + "global step=48975872, episodic return=138.19444274902344\n", + "global step=48975872, episodic return=2286.589599609375\n", + "global step=48977920, episodic return=1518.6666259765625\n", + "global step=48977920, episodic return=2308.603271484375\n", + "global step=48977920, episodic return=2321.991943359375\n", + "global step=48977920, episodic return=2327.25341796875\n", + "global step=48979968, episodic return=2334.906005859375\n", + "global step=48979968, episodic return=2343.113525390625\n", + "global step=48982016, episodic return=2371.919189453125\n", + "global step=48982016, episodic return=2293.87890625\n", + "global step=48982016, episodic return=239.1748504638672\n", + "global step=48982016, episodic return=41.857666015625\n", + "global step=48982016, episodic return=2269.3017578125\n", + "global step=48982016, episodic return=2345.6806640625\n", + "global step=48984064, episodic return=756.9124145507812\n", + "global step=48984064, episodic return=500.7112731933594\n", + "global step=48986112, episodic return=2324.078125\n", + "global step=48986112, episodic return=2355.7177734375\n", + "global step=48986112, episodic return=2360.354248046875\n", + "global step=48988160, episodic return=2297.23486328125\n", + "global step=48988160, episodic return=651.8301391601562\n", + "global step=48988160, episodic return=2270.27978515625\n", + "global step=48988160, episodic return=2354.00390625\n", + "global step=48988160, episodic return=2356.54931640625\n", + "global step=48990208, episodic return=2297.239013671875\n", + "global step=48992256, episodic return=2302.0732421875\n", + "global step=48992256, episodic return=2335.499267578125\n", + "global step=48992256, episodic return=207.4736328125\n", + "global step=48992256, episodic return=2331.826416015625\n", + "global step=48992256, episodic return=2315.630615234375\n", + "global step=48994304, episodic return=2343.375732421875\n", + "global step=48994304, episodic return=2414.249755859375\n", + "global step=48994304, episodic return=2323.97900390625\n", + "global step=48994304, episodic return=2285.53076171875\n", + "global step=48996352, episodic return=2299.69970703125\n", + "global step=48996352, episodic return=2335.94873046875\n", + "global step=48996352, episodic return=2264.707275390625\n", + "global step=48998400, episodic return=2369.051025390625\n", + "global step=48998400, episodic return=2350.509033203125\n", + "global step=48998400, episodic return=2332.667724609375\n", + "global step=49002496, episodic return=2299.087646484375\n", + "global step=49002496, episodic return=2259.43505859375\n", + "global step=49002496, episodic return=2294.67041015625\n", + "global step=49004544, episodic return=1298.6243896484375\n", + "global step=49004544, episodic return=2325.8759765625\n", + "global step=49004544, episodic return=1241.0556640625\n", + "global step=49006592, episodic return=2218.006591796875\n", + "global step=49006592, episodic return=2300.0400390625\n", + "global step=49006592, episodic return=2369.986572265625\n", + "global step=49008640, episodic return=2289.73046875\n", + "global step=49010688, episodic return=2336.188232421875\n", + "global step=49012736, episodic return=2360.330322265625\n", + "global step=49014784, episodic return=2342.038330078125\n", + "global step=49014784, episodic return=261.4680480957031\n", + "global step=49016832, episodic return=2341.082275390625\n", + "global step=49016832, episodic return=2282.797119140625\n", + "global step=49016832, episodic return=2274.617919921875\n", + "global step=49016832, episodic return=145.2392120361328\n", + "global step=49018880, episodic return=2382.7578125\n", + "global step=49018880, episodic return=2357.775634765625\n", + "global step=49018880, episodic return=2391.282958984375\n", + "global step=49020928, episodic return=2349.457275390625\n", + "global step=49020928, episodic return=2328.977783203125\n", + "global step=49020928, episodic return=2330.609619140625\n", + "global step=49022976, episodic return=2260.485107421875\n", + "global step=49022976, episodic return=2311.957275390625\n", + "global step=49022976, episodic return=2282.262451171875\n", + "global step=49022976, episodic return=2220.738525390625\n", + "global step=49025024, episodic return=2268.004150390625\n", + "global step=49025024, episodic return=2391.391845703125\n", + "global step=49025024, episodic return=2271.11279296875\n", + "global step=49025024, episodic return=2343.01025390625\n", + "global step=49025024, episodic return=2355.692138671875\n", + "global step=49027072, episodic return=2327.48828125\n", + "global step=49027072, episodic return=2383.567138671875\n", + "global step=49027072, episodic return=2349.065185546875\n", + "global step=49027072, episodic return=2370.024169921875\n", + "global step=49027072, episodic return=2351.89208984375\n", + "global step=49027072, episodic return=2179.349365234375\n", + "global step=49027072, episodic return=1713.4781494140625\n", + "global step=49029120, episodic return=1164.537841796875\n", + "global step=49029120, episodic return=2283.8251953125\n", + "global step=49031168, episodic return=2260.81201171875\n", + "global step=49033216, episodic return=2341.443603515625\n", + "global step=49033216, episodic return=2374.106201171875\n", + "global step=49033216, episodic return=2256.90673828125\n", + "global step=49035264, episodic return=2344.345458984375\n", + "global step=49035264, episodic return=2316.26318359375\n", + "global step=49035264, episodic return=2390.172607421875\n", + "global step=49035264, episodic return=2335.31201171875\n", + "global step=49037312, episodic return=2257.526611328125\n", + "global step=49037312, episodic return=2285.762451171875\n", + "global step=49037312, episodic return=2348.771240234375\n", + "global step=49039360, episodic return=2388.801025390625\n", + "global step=49039360, episodic return=2367.44140625\n", + "global step=49041408, episodic return=2302.00341796875\n", + "global step=49041408, episodic return=2298.501708984375\n", + "global step=49041408, episodic return=2315.022705078125\n", + "global step=49041408, episodic return=598.8919067382812\n", + "global step=49041408, episodic return=2295.79345703125\n", + "global step=49043456, episodic return=2350.68212890625\n", + "global step=49043456, episodic return=2300.655517578125\n", + "global step=49047552, episodic return=2292.5595703125\n", + "global step=49047552, episodic return=2308.410400390625\n", + "global step=49049600, episodic return=2306.317626953125\n", + "global step=49049600, episodic return=2397.99951171875\n", + "global step=49051648, episodic return=2364.171630859375\n", + "global step=49051648, episodic return=2296.62451171875\n", + "global step=49053696, episodic return=2372.38525390625\n", + "global step=49055744, episodic return=2324.59716796875\n", + "global step=49055744, episodic return=2363.185302734375\n", + "global step=49057792, episodic return=2415.688720703125\n", + "global step=49057792, episodic return=185.01385498046875\n", + "global step=49059840, episodic return=2324.02392578125\n", + "global step=49059840, episodic return=2326.887939453125\n", + "global step=49059840, episodic return=2260.136962890625\n", + "global step=49059840, episodic return=2339.61376953125\n", + "global step=49061888, episodic return=2369.901611328125\n", + "global step=49061888, episodic return=2334.091064453125\n", + "global step=49061888, episodic return=2324.8369140625\n", + "global step=49061888, episodic return=2375.052490234375\n", + "global step=49061888, episodic return=2305.881591796875\n", + "global step=49061888, episodic return=2290.676513671875\n", + "global step=49061888, episodic return=2286.322265625\n", + "global step=49061888, episodic return=2329.221435546875\n", + "global step=49063936, episodic return=2179.637451171875\n", + "global step=49063936, episodic return=848.7493896484375\n", + "global step=49065984, episodic return=2267.039794921875\n", + "global step=49065984, episodic return=2388.21240234375\n", + "global step=49065984, episodic return=2387.4375\n", + "global step=49068032, episodic return=1631.6025390625\n", + "global step=49068032, episodic return=2338.098388671875\n", + "global step=49070080, episodic return=2323.443359375\n", + "global step=49070080, episodic return=2311.85302734375\n", + "global step=49070080, episodic return=2304.7861328125\n", + "global step=49070080, episodic return=2352.478759765625\n", + "global step=49074176, episodic return=2277.0439453125\n", + "global step=49074176, episodic return=1692.98193359375\n", + "global step=49076224, episodic return=2286.68603515625\n", + "global step=49076224, episodic return=2126.482177734375\n", + "global step=49076224, episodic return=2385.078857421875\n", + "global step=49076224, episodic return=2298.738037109375\n", + "global step=49076224, episodic return=2201.19677734375\n", + "global step=49078272, episodic return=2404.395263671875\n", + "global step=49078272, episodic return=2375.04541015625\n", + "global step=49078272, episodic return=2235.41552734375\n", + "global step=49078272, episodic return=2323.546630859375\n", + "global step=49078272, episodic return=2299.232666015625\n", + "global step=49078272, episodic return=2271.11181640625\n", + "global step=49080320, episodic return=2255.71484375\n", + "global step=49080320, episodic return=2289.301025390625\n", + "global step=49080320, episodic return=2124.431884765625\n", + "global step=49080320, episodic return=2333.657470703125\n", + "global step=49080320, episodic return=2381.956298828125\n", + "global step=49082368, episodic return=2303.999267578125\n", + "global step=49082368, episodic return=749.2763671875\n", + "global step=49084416, episodic return=2282.416015625\n", + "global step=49084416, episodic return=2341.035888671875\n", + "global step=49084416, episodic return=2340.02880859375\n", + "global step=49084416, episodic return=2344.80908203125\n", + "global step=49084416, episodic return=2251.997314453125\n", + "global step=49084416, episodic return=2189.379150390625\n", + "global step=49088512, episodic return=2321.36572265625\n", + "global step=49088512, episodic return=2385.4052734375\n", + "global step=49088512, episodic return=2284.8037109375\n", + "global step=49090560, episodic return=2325.87451171875\n", + "global step=49092608, episodic return=2333.7998046875\n", + "global step=49092608, episodic return=2341.510498046875\n", + "global step=49092608, episodic return=2288.91357421875\n", + "global step=49092608, episodic return=2389.57470703125\n", + "global step=49092608, episodic return=2364.588134765625\n", + "global step=49094656, episodic return=2302.784912109375\n", + "global step=49094656, episodic return=1095.1558837890625\n", + "global step=49094656, episodic return=2229.627685546875\n", + "global step=49096704, episodic return=2326.75390625\n", + "global step=49096704, episodic return=2236.10986328125\n", + "global step=49098752, episodic return=2306.3779296875\n", + "global step=49098752, episodic return=2302.41357421875\n", + "global step=49098752, episodic return=1197.688232421875\n", + "global step=49100800, episodic return=2280.457275390625\n", + "global step=49100800, episodic return=2328.365478515625\n", + "global step=49100800, episodic return=2276.607666015625\n", + "global step=49102848, episodic return=2322.190185546875\n", + "global step=49102848, episodic return=2334.71484375\n", + "global step=49102848, episodic return=2347.66943359375\n", + "global step=49102848, episodic return=2250.98828125\n", + "global step=49104896, episodic return=2321.5751953125\n", + "global step=49108992, episodic return=2334.17578125\n", + "global step=49108992, episodic return=2342.635009765625\n", + "global step=49111040, episodic return=385.3845520019531\n", + "global step=49113088, episodic return=2173.259521484375\n", + "global step=49113088, episodic return=2353.782958984375\n", + "global step=49113088, episodic return=2291.4443359375\n", + "global step=49115136, episodic return=1421.1702880859375\n", + "global step=49115136, episodic return=2239.3154296875\n", + "global step=49115136, episodic return=775.3026123046875\n", + "global step=49115136, episodic return=2276.673583984375\n", + "global step=49115136, episodic return=2335.9677734375\n", + "global step=49117184, episodic return=2304.587646484375\n", + "global step=49117184, episodic return=2307.033935546875\n", + "global step=49117184, episodic return=2255.620361328125\n", + "global step=49117184, episodic return=2394.377685546875\n", + "global step=49117184, episodic return=2398.6708984375\n", + "global step=49119232, episodic return=1044.6536865234375\n", + "global step=49119232, episodic return=2279.90869140625\n", + "global step=49121280, episodic return=2308.701416015625\n", + "global step=49121280, episodic return=2333.953857421875\n", + "global step=49121280, episodic return=2307.23193359375\n", + "global step=49123328, episodic return=2296.261474609375\n", + "global step=49123328, episodic return=2255.971923828125\n", + "global step=49125376, episodic return=2357.797607421875\n", + "global step=49125376, episodic return=2063.244384765625\n", + "global step=49127424, episodic return=2362.73583984375\n", + "global step=49127424, episodic return=2380.406982421875\n", + "global step=49127424, episodic return=2357.957275390625\n", + "global step=49127424, episodic return=2364.16748046875\n", + "global step=49129472, episodic return=2298.828369140625\n", + "global step=49129472, episodic return=2358.533203125\n", + "global step=49129472, episodic return=2303.02392578125\n", + "global step=49131520, episodic return=2322.87646484375\n", + "global step=49131520, episodic return=2324.51318359375\n", + "global step=49131520, episodic return=2270.220458984375\n", + "global step=49131520, episodic return=140.17630004882812\n", + "global step=49131520, episodic return=1770.6512451171875\n", + "global step=49131520, episodic return=2345.663818359375\n", + "global step=49133568, episodic return=2353.093994140625\n", + "global step=49133568, episodic return=2333.888671875\n", + "global step=49133568, episodic return=2394.190673828125\n", + "global step=49135616, episodic return=2374.185546875\n", + "global step=49135616, episodic return=2281.11962890625\n", + "global step=49135616, episodic return=1506.81982421875\n", + "global step=49135616, episodic return=2114.69482421875\n", + "global step=49137664, episodic return=980.3997192382812\n", + "global step=49139712, episodic return=2297.447021484375\n", + "global step=49139712, episodic return=2282.8984375\n", + "global step=49139712, episodic return=2309.480712890625\n", + "global step=49139712, episodic return=2268.518310546875\n", + "global step=49139712, episodic return=592.0565795898438\n", + "global step=49141760, episodic return=2200.531982421875\n", + "global step=49141760, episodic return=2306.997802734375\n", + "global step=49141760, episodic return=2312.6142578125\n", + "global step=49141760, episodic return=2339.751953125\n", + "global step=49141760, episodic return=2317.77685546875\n", + "global step=49143808, episodic return=2317.745361328125\n", + "global step=49145856, episodic return=2317.982666015625\n", + "global step=49145856, episodic return=2377.597412109375\n", + "global step=49145856, episodic return=2042.6036376953125\n", + "global step=49147904, episodic return=2310.839111328125\n", + "global step=49147904, episodic return=1362.771240234375\n", + "global step=49147904, episodic return=2344.90771484375\n", + "global step=49147904, episodic return=2379.374755859375\n", + "global step=49147904, episodic return=2328.376708984375\n", + "global step=49147904, episodic return=2401.223876953125\n", + "global step=49147904, episodic return=2299.682373046875\n", + "global step=49149952, episodic return=2372.78369140625\n", + "global step=49149952, episodic return=414.2689208984375\n", + "global step=49152000, episodic return=2337.091064453125\n", + "global step=49152000, episodic return=963.5714111328125\n", + "global step=49152000, episodic return=2306.409912109375\n", + "global step=49152000, episodic return=2137.93310546875\n", + "global step=49154048, episodic return=2314.772705078125\n", + "global step=49156096, episodic return=2321.965087890625\n", + "global step=49156096, episodic return=2295.03662109375\n", + "global step=49158144, episodic return=1372.937255859375\n", + "global step=49158144, episodic return=2370.90673828125\n", + "global step=49160192, episodic return=2307.144287109375\n", + "global step=49160192, episodic return=1385.4261474609375\n", + "global step=49162240, episodic return=2350.27099609375\n", + "global step=49162240, episodic return=2328.725341796875\n", + "global step=49162240, episodic return=2316.44091796875\n", + "global step=49162240, episodic return=2236.008056640625\n", + "global step=49162240, episodic return=2312.352783203125\n", + "global step=49164288, episodic return=2166.175048828125\n", + "global step=49166336, episodic return=2336.616943359375\n", + "global step=49166336, episodic return=2314.705078125\n", + "global step=49166336, episodic return=2326.186767578125\n", + "global step=49166336, episodic return=276.34014892578125\n", + "global step=49170432, episodic return=2254.343017578125\n", + "global step=49170432, episodic return=2365.235595703125\n", + "global step=49172480, episodic return=2362.715087890625\n", + "global step=49172480, episodic return=310.6550598144531\n", + "global step=49172480, episodic return=2333.28662109375\n", + "global step=49174528, episodic return=2309.880615234375\n", + "global step=49174528, episodic return=2321.55810546875\n", + "global step=49178624, episodic return=2345.06591796875\n", + "global step=49178624, episodic return=2265.2158203125\n", + "global step=49178624, episodic return=2332.193603515625\n", + "global step=49178624, episodic return=2260.37890625\n", + "global step=49178624, episodic return=2370.417236328125\n", + "global step=49180672, episodic return=2364.37109375\n", + "global step=49180672, episodic return=2327.162353515625\n", + "global step=49180672, episodic return=2324.85693359375\n", + "global step=49180672, episodic return=2272.857177734375\n", + "global step=49180672, episodic return=2323.76904296875\n", + "global step=49182720, episodic return=2292.3134765625\n", + "global step=49184768, episodic return=2318.510498046875\n", + "global step=49184768, episodic return=2361.293701171875\n", + "global step=49184768, episodic return=2295.191650390625\n", + "global step=49184768, episodic return=166.91163635253906\n", + "global step=49188864, episodic return=2302.5751953125\n", + "global step=49188864, episodic return=2326.1318359375\n", + "global step=49188864, episodic return=2306.48876953125\n", + "global step=49188864, episodic return=1409.646240234375\n", + "global step=49188864, episodic return=2312.69140625\n", + "global step=49188864, episodic return=2334.590087890625\n", + "global step=49190912, episodic return=2273.5498046875\n", + "global step=49192960, episodic return=2338.616455078125\n", + "global step=49195008, episodic return=2323.745849609375\n", + "global step=49197056, episodic return=2079.454345703125\n", + "global step=49197056, episodic return=917.0172729492188\n", + "global step=49197056, episodic return=2240.188232421875\n", + "global step=49203200, episodic return=1725.1702880859375\n", + "global step=49203200, episodic return=2306.427734375\n", + "global step=49205248, episodic return=2322.081787109375\n", + "global step=49205248, episodic return=2291.08935546875\n", + "global step=49205248, episodic return=2366.49658203125\n", + "global step=49209344, episodic return=2258.908935546875\n", + "global step=49209344, episodic return=2297.0400390625\n", + "global step=49209344, episodic return=2307.2978515625\n", + "global step=49211392, episodic return=1474.9847412109375\n", + "global step=49211392, episodic return=836.0236206054688\n", + "global step=49211392, episodic return=2318.500244140625\n", + "global step=49211392, episodic return=2046.0478515625\n", + "global step=49213440, episodic return=2261.115478515625\n", + "global step=49213440, episodic return=2288.069091796875\n", + "global step=49213440, episodic return=2325.27001953125\n", + "global step=49213440, episodic return=2397.1806640625\n", + "global step=49215488, episodic return=2344.387451171875\n", + "global step=49215488, episodic return=262.26129150390625\n", + "global step=49215488, episodic return=2286.44873046875\n", + "global step=49217536, episodic return=2361.153564453125\n", + "global step=49217536, episodic return=2313.1884765625\n", + "global step=49217536, episodic return=2295.118408203125\n", + "global step=49217536, episodic return=2335.982177734375\n", + "global step=49217536, episodic return=2363.74462890625\n", + "global step=49219584, episodic return=2346.246826171875\n", + "global step=49219584, episodic return=264.2996520996094\n", + "global step=49219584, episodic return=2249.944091796875\n", + "global step=49219584, episodic return=1339.415283203125\n", + "global step=49221632, episodic return=2267.038818359375\n", + "global step=49221632, episodic return=2331.615478515625\n", + "global step=49223680, episodic return=977.0323486328125\n", + "global step=49223680, episodic return=2330.46533203125\n", + "global step=49225728, episodic return=1036.356689453125\n", + "global step=49225728, episodic return=2285.929443359375\n", + "global step=49225728, episodic return=2238.05712890625\n", + "global step=49225728, episodic return=2300.202880859375\n", + "global step=49225728, episodic return=2230.729248046875\n", + "global step=49231872, episodic return=2280.7509765625\n", + "global step=49231872, episodic return=2402.25048828125\n", + "global step=49231872, episodic return=2299.467529296875\n", + "global step=49233920, episodic return=1843.2869873046875\n", + "global step=49235968, episodic return=1659.469482421875\n", + "global step=49235968, episodic return=2299.149658203125\n", + "global step=49235968, episodic return=2349.83544921875\n", + "global step=49235968, episodic return=2311.3955078125\n", + "global step=49235968, episodic return=2278.34814453125\n", + "global step=49238016, episodic return=2353.806396484375\n", + "global step=49238016, episodic return=2323.48291015625\n", + "global step=49238016, episodic return=2315.99853515625\n", + "global step=49238016, episodic return=2338.59228515625\n", + "global step=49240064, episodic return=2241.417236328125\n", + "global step=49242112, episodic return=18.429349899291992\n", + "global step=49242112, episodic return=2385.419677734375\n", + "global step=49242112, episodic return=2359.904296875\n", + "global step=49242112, episodic return=1653.23193359375\n", + "global step=49242112, episodic return=2341.753662109375\n", + "global step=49242112, episodic return=2334.192138671875\n", + "global step=49242112, episodic return=2319.17333984375\n", + "global step=49244160, episodic return=1341.64111328125\n", + "global step=49246208, episodic return=2361.578369140625\n", + "global step=49246208, episodic return=2308.715576171875\n", + "global step=49246208, episodic return=2291.08837890625\n", + "global step=49246208, episodic return=2392.411865234375\n", + "global step=49246208, episodic return=2317.55712890625\n", + "global step=49248256, episodic return=2210.494873046875\n", + "global step=49248256, episodic return=1833.4796142578125\n", + "global step=49248256, episodic return=2295.947021484375\n", + "global step=49250304, episodic return=2281.8837890625\n", + "global step=49250304, episodic return=2320.580810546875\n", + "global step=49252352, episodic return=2336.849609375\n", + "global step=49252352, episodic return=2271.643798828125\n", + "global step=49254400, episodic return=2330.54248046875\n", + "global step=49254400, episodic return=2195.49560546875\n", + "global step=49254400, episodic return=2255.58056640625\n", + "global step=49254400, episodic return=2312.743408203125\n", + "global step=49258496, episodic return=2347.32666015625\n", + "global step=49258496, episodic return=2378.0546875\n", + "global step=49258496, episodic return=300.7857666015625\n", + "global step=49262592, episodic return=2347.8671875\n", + "global step=49262592, episodic return=2322.09375\n", + "global step=49262592, episodic return=2376.998779296875\n", + "global step=49264640, episodic return=731.9921264648438\n", + "global step=49264640, episodic return=2353.7080078125\n", + "global step=49264640, episodic return=2394.470458984375\n", + "global step=49264640, episodic return=2331.000732421875\n", + "global step=49264640, episodic return=2366.85107421875\n", + "global step=49266688, episodic return=2275.77783203125\n", + "global step=49268736, episodic return=2259.2861328125\n", + "global step=49268736, episodic return=2337.30224609375\n", + "global step=49268736, episodic return=2328.01708984375\n", + "global step=49268736, episodic return=2340.733154296875\n", + "global step=49270784, episodic return=1380.3720703125\n", + "global step=49270784, episodic return=2358.759765625\n", + "global step=49272832, episodic return=2341.21826171875\n", + "global step=49272832, episodic return=2288.193115234375\n", + "global step=49272832, episodic return=2353.79541015625\n", + "global step=49272832, episodic return=2317.62158203125\n", + "global step=49274880, episodic return=2320.232421875\n", + "global step=49274880, episodic return=2385.94677734375\n", + "global step=49274880, episodic return=2416.8720703125\n", + "global step=49276928, episodic return=2382.907958984375\n", + "global step=49276928, episodic return=1937.4783935546875\n", + "global step=49276928, episodic return=1619.9981689453125\n", + "global step=49276928, episodic return=2280.75927734375\n", + "global step=49276928, episodic return=1627.7982177734375\n", + "global step=49278976, episodic return=2317.5966796875\n", + "global step=49278976, episodic return=2252.060546875\n", + "global step=49281024, episodic return=2337.4970703125\n", + "global step=49281024, episodic return=75.77298736572266\n", + "global step=49281024, episodic return=2315.10986328125\n", + "global step=49281024, episodic return=2272.584716796875\n", + "global step=49283072, episodic return=2320.08251953125\n", + "global step=49283072, episodic return=2337.88134765625\n", + "global step=49283072, episodic return=2240.71630859375\n", + "global step=49285120, episodic return=64.69793701171875\n", + "global step=49285120, episodic return=442.47650146484375\n", + "global step=49285120, episodic return=1422.0106201171875\n", + "global step=49285120, episodic return=2217.095703125\n", + "global step=49285120, episodic return=2404.4482421875\n", + "global step=49285120, episodic return=2321.784912109375\n", + "global step=49287168, episodic return=2278.259765625\n", + "global step=49287168, episodic return=2318.4599609375\n", + "global step=49287168, episodic return=2290.566650390625\n", + "global step=49289216, episodic return=2381.693115234375\n", + "global step=49289216, episodic return=2293.139892578125\n", + "global step=49289216, episodic return=1760.400390625\n", + "global step=49289216, episodic return=2333.966064453125\n", + "global step=49289216, episodic return=2335.216796875\n", + "global step=49291264, episodic return=2292.41357421875\n", + "global step=49291264, episodic return=1212.6444091796875\n", + "global step=49291264, episodic return=2381.265380859375\n", + "global step=49291264, episodic return=2364.550048828125\n", + "global step=49293312, episodic return=2347.85693359375\n", + "global step=49293312, episodic return=2322.909912109375\n", + "global step=49293312, episodic return=2291.62255859375\n", + "global step=49297408, episodic return=2341.941650390625\n", + "global step=49297408, episodic return=544.3009033203125\n", + "global step=49297408, episodic return=1101.234619140625\n", + "global step=49299456, episodic return=2397.58935546875\n", + "global step=49299456, episodic return=1696.9246826171875\n", + "global step=49301504, episodic return=2283.567138671875\n", + "global step=49301504, episodic return=2373.18798828125\n", + "global step=49303552, episodic return=2272.9189453125\n", + "global step=49303552, episodic return=2315.69189453125\n", + "global step=49303552, episodic return=2250.049560546875\n", + "global step=49305600, episodic return=2244.942138671875\n", + "global step=49305600, episodic return=2144.7216796875\n", + "global step=49305600, episodic return=2307.02734375\n", + "global step=49307648, episodic return=2314.07666015625\n", + "global step=49307648, episodic return=2238.924560546875\n", + "global step=49307648, episodic return=2318.5771484375\n", + "global step=49307648, episodic return=1564.0067138671875\n", + "global step=49307648, episodic return=2333.215087890625\n", + "global step=49307648, episodic return=1533.4429931640625\n", + "global step=49309696, episodic return=2258.4306640625\n", + "global step=49309696, episodic return=161.77381896972656\n", + "global step=49309696, episodic return=2351.914306640625\n", + "global step=49309696, episodic return=2352.08447265625\n", + "global step=49309696, episodic return=2345.068603515625\n", + "global step=49311744, episodic return=2274.23095703125\n", + "global step=49311744, episodic return=2349.978271484375\n", + "global step=49311744, episodic return=2279.12353515625\n", + "global step=49311744, episodic return=2313.1884765625\n", + "global step=49313792, episodic return=2417.19140625\n", + "global step=49313792, episodic return=2073.682373046875\n", + "global step=49315840, episodic return=2100.276611328125\n", + "global step=49315840, episodic return=2338.83203125\n", + "global step=49315840, episodic return=2352.598876953125\n", + "global step=49317888, episodic return=2372.275634765625\n", + "global step=49317888, episodic return=2284.644287109375\n", + "global step=49321984, episodic return=2008.3428955078125\n", + "global step=49321984, episodic return=2337.0673828125\n", + "global step=49321984, episodic return=2325.009033203125\n", + "global step=49324032, episodic return=1091.7513427734375\n", + "global step=49324032, episodic return=2368.4169921875\n", + "global step=49326080, episodic return=102.289306640625\n", + "global step=49328128, episodic return=2328.190185546875\n", + "global step=49328128, episodic return=2357.0888671875\n", + "global step=49330176, episodic return=2292.989501953125\n", + "global step=49330176, episodic return=238.51080322265625\n", + "global step=49330176, episodic return=1584.9713134765625\n", + "global step=49332224, episodic return=2206.35546875\n", + "global step=49332224, episodic return=2287.3896484375\n", + "global step=49334272, episodic return=2295.89306640625\n", + "global step=49334272, episodic return=2360.629150390625\n", + "global step=49334272, episodic return=2334.03369140625\n", + "global step=49334272, episodic return=2246.6455078125\n", + "global step=49334272, episodic return=303.46307373046875\n", + "global step=49336320, episodic return=24.39471435546875\n", + "global step=49336320, episodic return=2315.7158203125\n", + "global step=49338368, episodic return=2340.82373046875\n", + "global step=49338368, episodic return=2297.155517578125\n", + "global step=49340416, episodic return=2363.488525390625\n", + "global step=49340416, episodic return=2289.20947265625\n", + "global step=49342464, episodic return=22.29538345336914\n", + "global step=49344512, episodic return=2248.81005859375\n", + "global step=49344512, episodic return=2361.380126953125\n", + "global step=49346560, episodic return=2350.318115234375\n", + "global step=49346560, episodic return=2295.27734375\n", + "global step=49348608, episodic return=1738.4044189453125\n", + "global step=49348608, episodic return=1772.1676025390625\n", + "global step=49348608, episodic return=2171.1904296875\n", + "global step=49350656, episodic return=110.6652603149414\n", + "global step=49350656, episodic return=2310.34716796875\n", + "global step=49350656, episodic return=2343.798828125\n", + "global step=49352704, episodic return=2310.585693359375\n", + "global step=49352704, episodic return=2280.645263671875\n", + "global step=49352704, episodic return=2238.343505859375\n", + "global step=49352704, episodic return=403.7435607910156\n", + "global step=49354752, episodic return=2227.944091796875\n", + "global step=49354752, episodic return=2259.499755859375\n", + "global step=49354752, episodic return=2373.7041015625\n", + "global step=49356800, episodic return=2360.96044921875\n", + "global step=49356800, episodic return=2311.390869140625\n", + "global step=49356800, episodic return=2313.05078125\n", + "global step=49358848, episodic return=2322.926513671875\n", + "global step=49358848, episodic return=148.13526916503906\n", + "global step=49358848, episodic return=2322.821044921875\n", + "global step=49360896, episodic return=2300.08935546875\n", + "global step=49360896, episodic return=2336.0361328125\n", + "global step=49364992, episodic return=23.2838134765625\n", + "global step=49364992, episodic return=832.300048828125\n", + "global step=49364992, episodic return=2388.760009765625\n", + "global step=49364992, episodic return=2369.715576171875\n", + "global step=49364992, episodic return=2298.085205078125\n", + "global step=49364992, episodic return=2371.960693359375\n", + "global step=49369088, episodic return=2238.34375\n", + "global step=49371136, episodic return=2270.216064453125\n", + "global step=49371136, episodic return=2262.151611328125\n", + "global step=49371136, episodic return=1847.18701171875\n", + "global step=49371136, episodic return=1320.9918212890625\n", + "global step=49373184, episodic return=1150.8876953125\n", + "global step=49373184, episodic return=2326.753173828125\n", + "global step=49375232, episodic return=2328.973388671875\n", + "global step=49377280, episodic return=2328.768310546875\n", + "global step=49377280, episodic return=2327.802001953125\n", + "global step=49377280, episodic return=2342.71240234375\n", + "global step=49377280, episodic return=1255.166015625\n", + "global step=49377280, episodic return=2283.041748046875\n", + "global step=49379328, episodic return=2359.771728515625\n", + "global step=49379328, episodic return=2356.771240234375\n", + "global step=49383424, episodic return=2342.59765625\n", + "global step=49385472, episodic return=2323.025390625\n", + "global step=49385472, episodic return=2291.48291015625\n", + "global step=49387520, episodic return=2381.3583984375\n", + "global step=49387520, episodic return=2322.13916015625\n", + "global step=49389568, episodic return=2230.53515625\n", + "global step=49389568, episodic return=2300.001708984375\n", + "global step=49389568, episodic return=2204.774658203125\n", + "global step=49391616, episodic return=360.5334777832031\n", + "global step=49391616, episodic return=2395.5712890625\n", + "global step=49393664, episodic return=2302.02685546875\n", + "global step=49395712, episodic return=2281.656982421875\n", + "global step=49395712, episodic return=1001.3135986328125\n", + "global step=49397760, episodic return=348.8876647949219\n", + "global step=49397760, episodic return=2335.683349609375\n", + "global step=49397760, episodic return=2327.532470703125\n", + "global step=49399808, episodic return=2392.986083984375\n", + "global step=49399808, episodic return=2173.27099609375\n", + "global step=49399808, episodic return=2317.67626953125\n", + "global step=49401856, episodic return=2359.28759765625\n", + "global step=49401856, episodic return=2297.758056640625\n", + "global step=49403904, episodic return=2323.827880859375\n", + "global step=49403904, episodic return=2294.61669921875\n", + "global step=49403904, episodic return=978.8890991210938\n", + "global step=49405952, episodic return=2354.843017578125\n", + "global step=49405952, episodic return=2295.196044921875\n", + "global step=49405952, episodic return=2385.05859375\n", + "global step=49405952, episodic return=1652.1370849609375\n", + "global step=49410048, episodic return=2322.8642578125\n", + "global step=49412096, episodic return=2234.311767578125\n", + "global step=49412096, episodic return=2337.1318359375\n", + "global step=49412096, episodic return=2356.047607421875\n", + "global step=49412096, episodic return=2367.94873046875\n", + "global step=49414144, episodic return=2348.52978515625\n", + "global step=49414144, episodic return=368.9786682128906\n", + "global step=49416192, episodic return=2316.578369140625\n", + "global step=49416192, episodic return=2290.728515625\n", + "global step=49416192, episodic return=1403.498779296875\n", + "global step=49416192, episodic return=2043.656005859375\n", + "global step=49418240, episodic return=2225.14501953125\n", + "global step=49418240, episodic return=295.07769775390625\n", + "global step=49418240, episodic return=388.6015930175781\n", + "global step=49418240, episodic return=285.6953125\n", + "global step=49420288, episodic return=2294.65869140625\n", + "global step=49420288, episodic return=979.6961059570312\n", + "global step=49420288, episodic return=2346.45263671875\n", + "global step=49422336, episodic return=2341.5615234375\n", + "global step=49424384, episodic return=2310.42626953125\n", + "global step=49426432, episodic return=2297.636962890625\n", + "global step=49428480, episodic return=2281.7060546875\n", + "global step=49428480, episodic return=1649.62646484375\n", + "global step=49428480, episodic return=2370.392822265625\n", + "global step=49428480, episodic return=2338.66650390625\n", + "global step=49430528, episodic return=2309.17236328125\n", + "global step=49430528, episodic return=2228.23193359375\n", + "global step=49432576, episodic return=2342.386474609375\n", + "global step=49432576, episodic return=2268.03857421875\n", + "global step=49432576, episodic return=2332.70703125\n", + "global step=49432576, episodic return=2369.246337890625\n", + "global step=49432576, episodic return=2306.4638671875\n", + "global step=49432576, episodic return=2269.2138671875\n", + "global step=49434624, episodic return=2410.431640625\n", + "global step=49434624, episodic return=2300.641357421875\n", + "global step=49436672, episodic return=2376.123291015625\n", + "global step=49438720, episodic return=2344.593505859375\n", + "global step=49438720, episodic return=2296.18310546875\n", + "global step=49438720, episodic return=2331.903076171875\n", + "global step=49438720, episodic return=2378.877685546875\n", + "global step=49440768, episodic return=2352.40869140625\n", + "global step=49440768, episodic return=2320.11474609375\n", + "global step=49440768, episodic return=2322.19775390625\n", + "global step=49442816, episodic return=2343.840576171875\n", + "global step=49442816, episodic return=1848.04833984375\n", + "global step=49442816, episodic return=2161.996337890625\n", + "global step=49442816, episodic return=572.151611328125\n", + "global step=49444864, episodic return=2387.47314453125\n", + "global step=49446912, episodic return=2363.925048828125\n", + "global step=49446912, episodic return=91.45612335205078\n", + "global step=49446912, episodic return=2316.8662109375\n", + "global step=49446912, episodic return=274.657470703125\n", + "global step=49448960, episodic return=340.84564208984375\n", + "global step=49448960, episodic return=168.91268920898438\n", + "global step=49451008, episodic return=188.0784912109375\n", + "global step=49451008, episodic return=2362.984375\n", + "global step=49451008, episodic return=2331.989013671875\n", + "global step=49451008, episodic return=2234.379150390625\n", + "global step=49453056, episodic return=2402.5625\n", + "global step=49453056, episodic return=2398.196044921875\n", + "global step=49455104, episodic return=2356.308837890625\n", + "global step=49455104, episodic return=2302.886962890625\n", + "global step=49457152, episodic return=2291.763916015625\n", + "global step=49457152, episodic return=2377.309326171875\n", + "global step=49457152, episodic return=2338.01220703125\n", + "global step=49457152, episodic return=2193.63525390625\n", + "global step=49459200, episodic return=2261.3603515625\n", + "global step=49459200, episodic return=2290.515380859375\n", + "global step=49459200, episodic return=2385.890869140625\n", + "global step=49461248, episodic return=2232.744384765625\n", + "global step=49461248, episodic return=2296.06396484375\n", + "global step=49461248, episodic return=2270.63232421875\n", + "global step=49461248, episodic return=2022.900634765625\n", + "global step=49465344, episodic return=239.61972045898438\n", + "global step=49465344, episodic return=2289.5126953125\n", + "global step=49467392, episodic return=676.1195068359375\n", + "global step=49467392, episodic return=2280.02197265625\n", + "global step=49467392, episodic return=2362.138427734375\n", + "global step=49469440, episodic return=2390.160888671875\n", + "global step=49471488, episodic return=2309.05419921875\n", + "global step=49473536, episodic return=461.0591125488281\n", + "global step=49473536, episodic return=233.3565673828125\n", + "global step=49473536, episodic return=812.508056640625\n", + "global step=49475584, episodic return=2310.270263671875\n", + "global step=49475584, episodic return=26.937509536743164\n", + "global step=49475584, episodic return=2299.060302734375\n", + "global step=49475584, episodic return=583.7249755859375\n", + "global step=49477632, episodic return=2347.830810546875\n", + "global step=49477632, episodic return=2358.318359375\n", + "global step=49479680, episodic return=2273.3359375\n", + "global step=49479680, episodic return=298.1123962402344\n", + "global step=49481728, episodic return=427.7969970703125\n", + "global step=49483776, episodic return=2386.20654296875\n", + "global step=49485824, episodic return=2343.170654296875\n", + "global step=49485824, episodic return=2333.31787109375\n", + "global step=49485824, episodic return=2220.2216796875\n", + "global step=49487872, episodic return=2163.780029296875\n", + "global step=49489920, episodic return=2329.48291015625\n", + "global step=49491968, episodic return=2367.31689453125\n", + "global step=49498112, episodic return=2363.373779296875\n", + "global step=49498112, episodic return=2337.675048828125\n", + "global step=49498112, episodic return=2310.73876953125\n", + "global step=49500160, episodic return=2314.757568359375\n", + "global step=49500160, episodic return=394.6507873535156\n", + "global step=49502208, episodic return=2242.180908203125\n", + "global step=49502208, episodic return=2391.016845703125\n", + "global step=49504256, episodic return=2318.62890625\n", + "global step=49504256, episodic return=2273.065673828125\n", + "global step=49504256, episodic return=1770.8785400390625\n", + "global step=49504256, episodic return=2237.32958984375\n", + "global step=49504256, episodic return=2344.41650390625\n", + "global step=49504256, episodic return=2318.227294921875\n", + "global step=49506304, episodic return=2321.057861328125\n", + "global step=49506304, episodic return=2228.888916015625\n", + "global step=49510400, episodic return=2297.21337890625\n", + "global step=49512448, episodic return=2296.21435546875\n", + "global step=49512448, episodic return=2327.005859375\n", + "global step=49512448, episodic return=2322.7548828125\n", + "global step=49512448, episodic return=2346.30126953125\n", + "global step=49512448, episodic return=212.53858947753906\n", + "global step=49514496, episodic return=852.3226318359375\n", + "global step=49516544, episodic return=224.06898498535156\n", + "global step=49516544, episodic return=2397.05029296875\n", + "global step=49516544, episodic return=2373.484375\n", + "global step=49518592, episodic return=787.0548706054688\n", + "global step=49518592, episodic return=647.0743408203125\n", + "global step=49520640, episodic return=2360.63671875\n", + "global step=49520640, episodic return=2313.793701171875\n", + "global step=49520640, episodic return=2314.87109375\n", + "global step=49520640, episodic return=2360.739013671875\n", + "global step=49522688, episodic return=2355.893798828125\n", + "global step=49522688, episodic return=2363.80419921875\n", + "global step=49524736, episodic return=2371.775390625\n", + "global step=49524736, episodic return=1142.54150390625\n", + "global step=49524736, episodic return=1854.6092529296875\n", + "global step=49524736, episodic return=2255.467529296875\n", + "global step=49524736, episodic return=2157.7529296875\n", + "global step=49526784, episodic return=2344.074951171875\n", + "global step=49526784, episodic return=2363.7509765625\n", + "global step=49526784, episodic return=459.93634033203125\n", + "global step=49528832, episodic return=2337.63427734375\n", + "global step=49528832, episodic return=2263.585693359375\n", + "global step=49528832, episodic return=1819.4423828125\n", + "global step=49528832, episodic return=2374.524169921875\n", + "global step=49528832, episodic return=352.70697021484375\n", + "global step=49530880, episodic return=2381.608154296875\n", + "global step=49530880, episodic return=2361.4140625\n", + "global step=49530880, episodic return=204.9413604736328\n", + "global step=49530880, episodic return=2313.11572265625\n", + "global step=49530880, episodic return=2228.8203125\n", + "global step=49530880, episodic return=2351.105712890625\n", + "global step=49532928, episodic return=518.4313354492188\n", + "global step=49532928, episodic return=194.54550170898438\n", + "global step=49532928, episodic return=2334.427978515625\n", + "global step=49534976, episodic return=2322.879638671875\n", + "global step=49534976, episodic return=2253.470458984375\n", + "global step=49534976, episodic return=2299.894287109375\n", + "global step=49537024, episodic return=2326.676513671875\n", + "global step=49537024, episodic return=2326.392578125\n", + "global step=49537024, episodic return=2299.763671875\n", + "global step=49539072, episodic return=2331.8779296875\n", + "global step=49539072, episodic return=2341.168701171875\n", + "global step=49539072, episodic return=696.0571899414062\n", + "global step=49539072, episodic return=2425.151123046875\n", + "global step=49541120, episodic return=1426.9073486328125\n", + "global step=49541120, episodic return=23.607715606689453\n", + "global step=49543168, episodic return=2343.289794921875\n", + "global step=49545216, episodic return=2322.995361328125\n", + "global step=49545216, episodic return=2294.899169921875\n", + "global step=49547264, episodic return=2065.359130859375\n", + "global step=49549312, episodic return=2324.211669921875\n", + "global step=49549312, episodic return=2357.05322265625\n", + "global step=49549312, episodic return=656.3121948242188\n", + "global step=49551360, episodic return=2360.252197265625\n", + "global step=49553408, episodic return=204.85244750976562\n", + "global step=49553408, episodic return=416.7616271972656\n", + "global step=49553408, episodic return=2360.131591796875\n", + "global step=49555456, episodic return=2319.216064453125\n", + "global step=49557504, episodic return=399.65960693359375\n", + "global step=49557504, episodic return=2305.202392578125\n", + "global step=49557504, episodic return=910.0831298828125\n", + "global step=49557504, episodic return=2272.316650390625\n", + "global step=49557504, episodic return=2304.108154296875\n", + "global step=49559552, episodic return=2370.653564453125\n", + "global step=49559552, episodic return=2129.53857421875\n", + "global step=49559552, episodic return=2174.037841796875\n", + "global step=49559552, episodic return=2258.6357421875\n", + "global step=49561600, episodic return=2106.37060546875\n", + "global step=49563648, episodic return=2331.8828125\n", + "global step=49563648, episodic return=2386.667724609375\n", + "global step=49563648, episodic return=2333.55029296875\n", + "global step=49563648, episodic return=2294.57080078125\n", + "global step=49563648, episodic return=2303.9580078125\n", + "global step=49563648, episodic return=2297.4912109375\n", + "global step=49565696, episodic return=2355.868896484375\n", + "global step=49565696, episodic return=2395.246826171875\n", + "global step=49565696, episodic return=2314.519775390625\n", + "global step=49567744, episodic return=2332.923583984375\n", + "global step=49567744, episodic return=2431.42138671875\n", + "global step=49567744, episodic return=677.9805297851562\n", + "global step=49567744, episodic return=2352.248046875\n", + "global step=49569792, episodic return=2148.610107421875\n", + "global step=49569792, episodic return=2394.74560546875\n", + "global step=49571840, episodic return=2406.52294921875\n", + "global step=49571840, episodic return=2291.5703125\n", + "global step=49575936, episodic return=2373.1005859375\n", + "global step=49575936, episodic return=2247.5830078125\n", + "global step=49575936, episodic return=2376.786376953125\n", + "global step=49575936, episodic return=2406.10302734375\n", + "global step=49580032, episodic return=2321.04345703125\n", + "global step=49582080, episodic return=2252.8662109375\n", + "global step=49582080, episodic return=1529.4154052734375\n", + "global step=49582080, episodic return=2264.033203125\n", + "global step=49584128, episodic return=2313.0625\n", + "global step=49586176, episodic return=1163.2413330078125\n", + "global step=49588224, episodic return=2309.126220703125\n", + "global step=49588224, episodic return=1043.1729736328125\n", + "global step=49590272, episodic return=2364.584228515625\n", + "global step=49590272, episodic return=2329.37060546875\n", + "global step=49590272, episodic return=2344.988037109375\n", + "global step=49594368, episodic return=2287.2763671875\n", + "global step=49596416, episodic return=2327.3125\n", + "global step=49596416, episodic return=57.53447723388672\n", + "global step=49596416, episodic return=2181.947265625\n", + "global step=49598464, episodic return=2271.22119140625\n", + "global step=49600512, episodic return=2355.229736328125\n", + "global step=49600512, episodic return=2383.291015625\n", + "global step=49602560, episodic return=2380.2509765625\n", + "global step=49602560, episodic return=2376.758056640625\n", + "global step=49604608, episodic return=2294.87548828125\n", + "global step=49604608, episodic return=2357.65966796875\n", + "global step=49604608, episodic return=2356.78515625\n", + "global step=49606656, episodic return=992.8257446289062\n", + "global step=49606656, episodic return=2290.861572265625\n", + "global step=49608704, episodic return=2307.133544921875\n", + "global step=49608704, episodic return=2211.01513671875\n", + "global step=49610752, episodic return=2358.202880859375\n", + "global step=49610752, episodic return=2021.5775146484375\n", + "global step=49610752, episodic return=19.963735580444336\n", + "global step=49612800, episodic return=2327.17333984375\n", + "global step=49614848, episodic return=2304.9443359375\n", + "global step=49616896, episodic return=2321.233154296875\n", + "global step=49618944, episodic return=2367.036376953125\n", + "global step=49618944, episodic return=2366.280517578125\n", + "global step=49618944, episodic return=2338.911865234375\n", + "global step=49620992, episodic return=2357.858154296875\n", + "global step=49620992, episodic return=2263.7490234375\n", + "global step=49620992, episodic return=2320.71533203125\n", + "global step=49620992, episodic return=2393.346435546875\n", + "global step=49620992, episodic return=2336.634765625\n", + "global step=49623040, episodic return=2284.962890625\n", + "global step=49623040, episodic return=2340.23095703125\n", + "global step=49623040, episodic return=2320.84033203125\n", + "global step=49625088, episodic return=2169.787109375\n", + "global step=49625088, episodic return=1282.6982421875\n", + "global step=49627136, episodic return=2228.3310546875\n", + "global step=49627136, episodic return=2296.90087890625\n", + "global step=49627136, episodic return=2348.429931640625\n", + "global step=49629184, episodic return=2349.057861328125\n", + "global step=49629184, episodic return=2283.375\n", + "global step=49631232, episodic return=2366.365478515625\n", + "global step=49631232, episodic return=2347.726806640625\n", + "global step=49633280, episodic return=1805.6912841796875\n", + "global step=49633280, episodic return=2248.03759765625\n", + "global step=49633280, episodic return=2391.476318359375\n", + "global step=49633280, episodic return=2392.07470703125\n", + "global step=49633280, episodic return=2370.4580078125\n", + "global step=49635328, episodic return=297.72235107421875\n", + "global step=49635328, episodic return=2239.5673828125\n", + "global step=49639424, episodic return=2176.748291015625\n", + "global step=49639424, episodic return=2354.563232421875\n", + "global step=49639424, episodic return=2270.83984375\n", + "global step=49641472, episodic return=624.2545166015625\n", + "global step=49641472, episodic return=2391.056884765625\n", + "global step=49643520, episodic return=873.1441650390625\n", + "global step=49643520, episodic return=2385.907470703125\n", + "global step=49643520, episodic return=2310.321044921875\n", + "global step=49645568, episodic return=2272.330078125\n", + "global step=49645568, episodic return=2367.472412109375\n", + "global step=49645568, episodic return=2320.578125\n", + "global step=49647616, episodic return=2325.35498046875\n", + "global step=49649664, episodic return=2335.456787109375\n", + "global step=49649664, episodic return=2336.98828125\n", + "global step=49649664, episodic return=2283.86328125\n", + "global step=49651712, episodic return=2044.4610595703125\n", + "global step=49653760, episodic return=2387.08642578125\n", + "global step=49653760, episodic return=2368.6845703125\n", + "global step=49655808, episodic return=1022.4634399414062\n", + "global step=49657856, episodic return=2319.573974609375\n", + "global step=49657856, episodic return=2399.00732421875\n", + "global step=49659904, episodic return=2292.215576171875\n", + "global step=49659904, episodic return=2411.80517578125\n", + "global step=49659904, episodic return=2335.374755859375\n", + "global step=49659904, episodic return=791.970458984375\n", + "global step=49659904, episodic return=2322.165771484375\n", + "global step=49661952, episodic return=414.0552673339844\n", + "global step=49661952, episodic return=681.5596313476562\n", + "global step=49666048, episodic return=2307.509521484375\n", + "global step=49666048, episodic return=2291.334716796875\n", + "global step=49668096, episodic return=2241.757568359375\n", + "global step=49668096, episodic return=2333.031982421875\n", + "global step=49668096, episodic return=2286.39306640625\n", + "global step=49670144, episodic return=2421.64453125\n", + "global step=49670144, episodic return=509.6307678222656\n", + "global step=49674240, episodic return=2288.28076171875\n", + "global step=49674240, episodic return=388.8466491699219\n", + "global step=49674240, episodic return=2311.58056640625\n", + "global step=49674240, episodic return=2362.052001953125\n", + "global step=49678336, episodic return=2155.89013671875\n", + "global step=49678336, episodic return=594.2682495117188\n", + "global step=49680384, episodic return=2335.21630859375\n", + "global step=49680384, episodic return=2320.183837890625\n", + "global step=49680384, episodic return=2385.24072265625\n", + "global step=49682432, episodic return=172.10968017578125\n", + "global step=49682432, episodic return=2232.65087890625\n", + "global step=49682432, episodic return=2322.837890625\n", + "global step=49684480, episodic return=60.90057373046875\n", + "global step=49684480, episodic return=2230.927490234375\n", + "global step=49684480, episodic return=2375.73095703125\n", + "global step=49684480, episodic return=2302.24951171875\n", + "global step=49686528, episodic return=1297.071044921875\n", + "global step=49686528, episodic return=2380.95703125\n", + "global step=49686528, episodic return=2327.865478515625\n", + "global step=49686528, episodic return=2371.59423828125\n", + "global step=49688576, episodic return=2278.583984375\n", + "global step=49688576, episodic return=2300.09765625\n", + "global step=49690624, episodic return=2364.45751953125\n", + "global step=49690624, episodic return=2371.846923828125\n", + "global step=49690624, episodic return=2280.569091796875\n", + "global step=49690624, episodic return=2287.006103515625\n", + "global step=49690624, episodic return=2227.595458984375\n", + "global step=49694720, episodic return=2371.3515625\n", + "global step=49696768, episodic return=2327.425537109375\n", + "global step=49696768, episodic return=2303.85498046875\n", + "global step=49696768, episodic return=1910.9151611328125\n", + "global step=49698816, episodic return=2290.623779296875\n", + "global step=49698816, episodic return=2351.074462890625\n", + "global step=49700864, episodic return=2275.353515625\n", + "global step=49700864, episodic return=2336.71923828125\n", + "global step=49700864, episodic return=1652.97705078125\n", + "global step=49700864, episodic return=2374.65087890625\n", + "global step=49702912, episodic return=2323.1943359375\n", + "global step=49702912, episodic return=2231.7880859375\n", + "global step=49702912, episodic return=2329.22705078125\n", + "global step=49707008, episodic return=2330.642822265625\n", + "global step=49709056, episodic return=2342.31884765625\n", + "global step=49709056, episodic return=2364.658935546875\n", + "global step=49709056, episodic return=408.26751708984375\n", + "global step=49709056, episodic return=408.45166015625\n", + "global step=49711104, episodic return=2264.504150390625\n", + "global step=49711104, episodic return=2242.846923828125\n", + "global step=49713152, episodic return=280.13702392578125\n", + "global step=49713152, episodic return=2373.741455078125\n", + "global step=49715200, episodic return=2302.759521484375\n", + "global step=49715200, episodic return=2327.351318359375\n", + "global step=49715200, episodic return=2339.98681640625\n", + "global step=49715200, episodic return=2245.8173828125\n", + "global step=49717248, episodic return=2319.8203125\n", + "global step=49717248, episodic return=2327.050048828125\n", + "global step=49717248, episodic return=2219.430419921875\n", + "global step=49719296, episodic return=1434.972412109375\n", + "global step=49721344, episodic return=2174.473388671875\n", + "global step=49723392, episodic return=2247.08984375\n", + "global step=49725440, episodic return=2335.70361328125\n", + "global step=49725440, episodic return=1750.49072265625\n", + "global step=49725440, episodic return=2386.03564453125\n", + "global step=49725440, episodic return=2361.169921875\n", + "global step=49727488, episodic return=987.6546020507812\n", + "global step=49727488, episodic return=2310.858642578125\n", + "global step=49727488, episodic return=76.55936431884766\n", + "global step=49727488, episodic return=1101.308837890625\n", + "global step=49729536, episodic return=2441.0322265625\n", + "global step=49729536, episodic return=2359.1474609375\n", + "global step=49729536, episodic return=2265.23681640625\n", + "global step=49729536, episodic return=2314.187255859375\n", + "global step=49731584, episodic return=2328.873779296875\n", + "global step=49731584, episodic return=2144.476806640625\n", + "global step=49733632, episodic return=2375.66162109375\n", + "global step=49733632, episodic return=2335.29052734375\n", + "global step=49735680, episodic return=2325.101806640625\n", + "global step=49735680, episodic return=198.61431884765625\n", + "global step=49735680, episodic return=2336.772705078125\n", + "global step=49735680, episodic return=1231.02294921875\n", + "global step=49735680, episodic return=2387.04541015625\n", + "global step=49737728, episodic return=2295.95947265625\n", + "global step=49739776, episodic return=569.049072265625\n", + "global step=49741824, episodic return=2333.378173828125\n", + "global step=49741824, episodic return=2364.173828125\n", + "global step=49741824, episodic return=2296.149169921875\n", + "global step=49741824, episodic return=2331.0126953125\n", + "global step=49743872, episodic return=2259.287109375\n", + "global step=49743872, episodic return=567.356201171875\n", + "global step=49743872, episodic return=2327.6259765625\n", + "global step=49743872, episodic return=2295.360107421875\n", + "global step=49745920, episodic return=2379.266357421875\n", + "global step=49745920, episodic return=2322.58349609375\n", + "global step=49745920, episodic return=2324.23681640625\n", + "global step=49747968, episodic return=219.38735961914062\n", + "global step=49750016, episodic return=2145.59765625\n", + "global step=49750016, episodic return=2335.197509765625\n", + "global step=49750016, episodic return=2389.79736328125\n", + "global step=49752064, episodic return=1908.817626953125\n", + "global step=49754112, episodic return=1628.0799560546875\n", + "global step=49754112, episodic return=2407.079833984375\n", + "global step=49754112, episodic return=2357.7724609375\n", + "global step=49754112, episodic return=2375.910400390625\n", + "global step=49754112, episodic return=2343.901611328125\n", + "global step=49754112, episodic return=2293.47998046875\n", + "global step=49756160, episodic return=2345.771484375\n", + "global step=49756160, episodic return=2322.46875\n", + "global step=49758208, episodic return=2347.196044921875\n", + "global step=49758208, episodic return=1002.3689575195312\n", + "global step=49760256, episodic return=2344.244140625\n", + "global step=49760256, episodic return=2415.592529296875\n", + "global step=49760256, episodic return=2248.8193359375\n", + "global step=49760256, episodic return=2274.44775390625\n", + "global step=49760256, episodic return=2358.46533203125\n", + "global step=49760256, episodic return=2317.44482421875\n", + "global step=49762304, episodic return=2293.119384765625\n", + "global step=49762304, episodic return=2342.461181640625\n", + "global step=49762304, episodic return=2307.11474609375\n", + "global step=49764352, episodic return=2329.46923828125\n", + "global step=49764352, episodic return=2357.16064453125\n", + "global step=49764352, episodic return=2247.705810546875\n", + "global step=49766400, episodic return=183.7881317138672\n", + "global step=49768448, episodic return=1328.8251953125\n", + "global step=49768448, episodic return=2331.982177734375\n", + "global step=49768448, episodic return=2294.145751953125\n", + "global step=49770496, episodic return=873.5508422851562\n", + "global step=49770496, episodic return=1786.8319091796875\n", + "global step=49770496, episodic return=2409.208740234375\n", + "global step=49770496, episodic return=2375.493896484375\n", + "global step=49770496, episodic return=2318.79541015625\n", + "global step=49772544, episodic return=1560.715576171875\n", + "global step=49772544, episodic return=2287.08154296875\n", + "global step=49774592, episodic return=2204.3681640625\n", + "global step=49774592, episodic return=2364.43017578125\n", + "global step=49774592, episodic return=784.801025390625\n", + "global step=49776640, episodic return=2352.47021484375\n", + "global step=49778688, episodic return=2338.033935546875\n", + "global step=49778688, episodic return=2335.126953125\n", + "global step=49780736, episodic return=2329.143798828125\n", + "global step=49782784, episodic return=2176.7822265625\n", + "global step=49782784, episodic return=2311.643798828125\n", + "global step=49782784, episodic return=702.7716064453125\n", + "global step=49782784, episodic return=2369.642578125\n", + "global step=49784832, episodic return=2262.42041015625\n", + "global step=49784832, episodic return=625.3032836914062\n", + "global step=49784832, episodic return=2311.5078125\n", + "global step=49784832, episodic return=2368.1123046875\n", + "global step=49786880, episodic return=2318.2861328125\n", + "global step=49788928, episodic return=2420.427978515625\n", + "global step=49790976, episodic return=2368.38671875\n", + "global step=49790976, episodic return=2299.544921875\n", + "global step=49790976, episodic return=2034.8204345703125\n", + "global step=49793024, episodic return=2284.564697265625\n", + "global step=49793024, episodic return=132.78269958496094\n", + "global step=49793024, episodic return=629.573974609375\n", + "global step=49793024, episodic return=2269.408447265625\n", + "global step=49795072, episodic return=2381.15380859375\n", + "global step=49795072, episodic return=2189.054931640625\n", + "global step=49797120, episodic return=2344.879638671875\n", + "global step=49799168, episodic return=2300.051025390625\n", + "global step=49799168, episodic return=2322.78662109375\n", + "global step=49799168, episodic return=2273.959716796875\n", + "global step=49801216, episodic return=2323.468994140625\n", + "global step=49801216, episodic return=276.03582763671875\n", + "global step=49801216, episodic return=2290.856201171875\n", + "global step=49801216, episodic return=1156.383056640625\n", + "global step=49807360, episodic return=2336.311279296875\n", + "global step=49809408, episodic return=2300.201171875\n", + "global step=49809408, episodic return=1881.9940185546875\n", + "global step=49809408, episodic return=146.89779663085938\n", + "global step=49809408, episodic return=2425.701416015625\n", + "global step=49811456, episodic return=1319.2283935546875\n", + "global step=49813504, episodic return=2365.02978515625\n", + "global step=49815552, episodic return=2337.3388671875\n", + "global step=49815552, episodic return=2339.005615234375\n", + "global step=49817600, episodic return=404.3575439453125\n", + "global step=49817600, episodic return=1415.175048828125\n", + "global step=49819648, episodic return=2335.6455078125\n", + "global step=49821696, episodic return=2356.656494140625\n", + "global step=49821696, episodic return=2364.278564453125\n", + "global step=49823744, episodic return=1230.1561279296875\n", + "global step=49827840, episodic return=1469.77734375\n", + "global step=49827840, episodic return=671.5615844726562\n", + "global step=49827840, episodic return=2379.53515625\n", + "global step=49829888, episodic return=884.5309448242188\n", + "global step=49831936, episodic return=1568.683837890625\n", + "global step=49831936, episodic return=1410.476318359375\n", + "global step=49831936, episodic return=2348.45849609375\n", + "global step=49831936, episodic return=2278.509765625\n", + "global step=49831936, episodic return=784.7481079101562\n", + "global step=49831936, episodic return=1792.5216064453125\n", + "global step=49833984, episodic return=2371.18701171875\n", + "global step=49833984, episodic return=1171.5458984375\n", + "global step=49836032, episodic return=2354.359619140625\n", + "global step=49838080, episodic return=2388.638671875\n", + "global step=49840128, episodic return=958.3092041015625\n", + "global step=49840128, episodic return=2323.502685546875\n", + "global step=49840128, episodic return=2297.71728515625\n", + "global step=49842176, episodic return=2288.97509765625\n", + "global step=49842176, episodic return=2404.281494140625\n", + "global step=49844224, episodic return=2257.062255859375\n", + "global step=49846272, episodic return=1644.9542236328125\n", + "global step=49846272, episodic return=2346.06103515625\n", + "global step=49846272, episodic return=2335.643310546875\n", + "global step=49848320, episodic return=2060.29833984375\n", + "global step=49848320, episodic return=2398.46728515625\n", + "global step=49850368, episodic return=2202.555419921875\n", + "global step=49850368, episodic return=1412.3763427734375\n", + "global step=49852416, episodic return=2130.7685546875\n", + "global step=49852416, episodic return=2356.02587890625\n", + "global step=49856512, episodic return=1388.598876953125\n", + "global step=49856512, episodic return=2148.9736328125\n", + "global step=49858560, episodic return=407.4899597167969\n", + "global step=49860608, episodic return=2252.37890625\n", + "global step=49860608, episodic return=2046.81884765625\n", + "global step=49860608, episodic return=2222.04736328125\n", + "global step=49862656, episodic return=2286.98095703125\n", + "global step=49864704, episodic return=2308.066650390625\n", + "global step=49866752, episodic return=2270.89453125\n", + "global step=49868800, episodic return=2202.455078125\n", + "global step=49868800, episodic return=2293.688232421875\n", + "global step=49868800, episodic return=2307.79833984375\n", + "global step=49870848, episodic return=355.1280212402344\n", + "global step=49870848, episodic return=2325.771240234375\n", + "global step=49870848, episodic return=457.438232421875\n", + "global step=49870848, episodic return=2309.756591796875\n", + "global step=49872896, episodic return=1616.965087890625\n", + "global step=49874944, episodic return=2375.864990234375\n", + "global step=49874944, episodic return=2332.222412109375\n", + "global step=49874944, episodic return=2360.3701171875\n", + "global step=49874944, episodic return=2337.395263671875\n", + "global step=49876992, episodic return=2122.924072265625\n", + "global step=49876992, episodic return=945.1820068359375\n", + "global step=49879040, episodic return=208.4359130859375\n", + "global step=49879040, episodic return=2381.698974609375\n", + "global step=49879040, episodic return=696.0839233398438\n", + "global step=49881088, episodic return=2397.824951171875\n", + "global step=49881088, episodic return=2348.5146484375\n", + "global step=49883136, episodic return=1323.9725341796875\n", + "global step=49883136, episodic return=546.9297485351562\n", + "global step=49883136, episodic return=2267.01806640625\n", + "global step=49885184, episodic return=2366.177734375\n", + "global step=49885184, episodic return=2392.742919921875\n", + "global step=49885184, episodic return=2412.65625\n", + "global step=49885184, episodic return=2402.5390625\n", + "global step=49885184, episodic return=2379.841552734375\n", + "global step=49887232, episodic return=2256.976806640625\n", + "global step=49887232, episodic return=2393.62548828125\n", + "global step=49887232, episodic return=2321.75048828125\n", + "global step=49889280, episodic return=1518.6629638671875\n", + "global step=49889280, episodic return=1518.0537109375\n", + "global step=49889280, episodic return=2359.865966796875\n", + "global step=49889280, episodic return=2372.87353515625\n", + "global step=49891328, episodic return=2378.693115234375\n", + "global step=49891328, episodic return=2285.60498046875\n", + "global step=49891328, episodic return=2312.378662109375\n", + "global step=49891328, episodic return=2223.5283203125\n", + "global step=49891328, episodic return=2278.485107421875\n", + "global step=49891328, episodic return=2260.763671875\n", + "global step=49891328, episodic return=2338.822509765625\n", + "global step=49893376, episodic return=2356.431640625\n", + "global step=49893376, episodic return=2269.700439453125\n", + "global step=49893376, episodic return=2348.191162109375\n", + "global step=49895424, episodic return=2306.480224609375\n", + "global step=49895424, episodic return=2349.398193359375\n", + "global step=49895424, episodic return=2130.083251953125\n", + "global step=49897472, episodic return=2308.832275390625\n", + "global step=49897472, episodic return=1982.74658203125\n", + "global step=49897472, episodic return=2355.52734375\n", + "global step=49897472, episodic return=687.7605590820312\n", + "global step=49897472, episodic return=2298.813232421875\n", + "global step=49899520, episodic return=2382.8271484375\n", + "global step=49899520, episodic return=2304.619384765625\n", + "global step=49899520, episodic return=201.75131225585938\n", + "global step=49901568, episodic return=636.508544921875\n", + "global step=49901568, episodic return=1814.447509765625\n", + "global step=49901568, episodic return=2345.327392578125\n", + "global step=49901568, episodic return=2357.904541015625\n", + "global step=49901568, episodic return=2330.477294921875\n", + "global step=49901568, episodic return=2401.219482421875\n", + "global step=49903616, episodic return=2438.111328125\n", + "global step=49903616, episodic return=269.3561706542969\n", + "global step=49903616, episodic return=192.5988006591797\n", + "global step=49905664, episodic return=2336.650634765625\n", + "global step=49907712, episodic return=2270.67333984375\n", + "global step=49907712, episodic return=2371.6650390625\n", + "global step=49907712, episodic return=2306.30810546875\n", + "global step=49907712, episodic return=2287.5556640625\n", + "global step=49907712, episodic return=2279.810791015625\n", + "global step=49907712, episodic return=157.3290252685547\n", + "global step=49907712, episodic return=2325.507080078125\n", + "global step=49909760, episodic return=1709.1943359375\n", + "global step=49909760, episodic return=2360.171142578125\n", + "global step=49911808, episodic return=2396.775390625\n", + "global step=49911808, episodic return=55.06678771972656\n", + "global step=49911808, episodic return=2305.36279296875\n", + "global step=49911808, episodic return=2349.94140625\n", + "global step=49913856, episodic return=2342.6123046875\n", + "global step=49913856, episodic return=1576.76611328125\n", + "global step=49913856, episodic return=1776.0928955078125\n", + "global step=49915904, episodic return=2372.211181640625\n", + "global step=49915904, episodic return=2434.65869140625\n", + "global step=49917952, episodic return=1315.358154296875\n", + "global step=49917952, episodic return=2310.888427734375\n", + "global step=49917952, episodic return=2317.93505859375\n", + "global step=49920000, episodic return=2377.580078125\n", + "global step=49920000, episodic return=1369.09814453125\n", + "global step=49920000, episodic return=2391.156982421875\n", + "global step=49922048, episodic return=2360.140380859375\n", + "global step=49922048, episodic return=1349.85791015625\n", + "global step=49922048, episodic return=2279.81005859375\n", + "global step=49922048, episodic return=31.69176483154297\n", + "global step=49922048, episodic return=2401.411376953125\n", + "global step=49924096, episodic return=2413.309326171875\n", + "global step=49926144, episodic return=2342.61962890625\n", + "global step=49926144, episodic return=1397.941650390625\n", + "global step=49926144, episodic return=2396.797119140625\n", + "global step=49928192, episodic return=1832.379150390625\n", + "global step=49928192, episodic return=1188.14794921875\n", + "global step=49928192, episodic return=145.25047302246094\n", + "global step=49928192, episodic return=2400.770751953125\n", + "global step=49930240, episodic return=1322.0655517578125\n", + "global step=49930240, episodic return=2340.07666015625\n", + "global step=49934336, episodic return=2405.41845703125\n", + "global step=49936384, episodic return=2290.59912109375\n", + "global step=49936384, episodic return=1988.3309326171875\n", + "global step=49938432, episodic return=2188.473388671875\n", + "global step=49938432, episodic return=2423.254638671875\n", + "global step=49940480, episodic return=2364.288330078125\n", + "global step=49944576, episodic return=2410.190673828125\n", + "global step=49944576, episodic return=602.414794921875\n", + "global step=49944576, episodic return=2413.05908203125\n", + "global step=49946624, episodic return=766.959716796875\n", + "global step=49946624, episodic return=2407.553955078125\n", + "global step=49948672, episodic return=1011.510498046875\n", + "global step=49950720, episodic return=2377.91015625\n", + "global step=49952768, episodic return=2294.837646484375\n", + "global step=49952768, episodic return=2287.400146484375\n", + "global step=49954816, episodic return=2380.587890625\n", + "global step=49956864, episodic return=2422.224365234375\n", + "global step=49956864, episodic return=2346.64599609375\n", + "global step=49960960, episodic return=2286.2392578125\n", + "global step=49965056, episodic return=2306.370849609375\n", + "global step=49965056, episodic return=2351.66015625\n", + "global step=49967104, episodic return=2358.28466796875\n", + "global step=49967104, episodic return=2252.802001953125\n", + "global step=49967104, episodic return=875.8146362304688\n", + "global step=49967104, episodic return=2356.3525390625\n", + "global step=49969152, episodic return=2404.72998046875\n", + "global step=49971200, episodic return=2321.868408203125\n", + "global step=49973248, episodic return=2331.1904296875\n", + "global step=49973248, episodic return=2093.574462890625\n", + "global step=49973248, episodic return=2366.510498046875\n", + "global step=49977344, episodic return=565.162109375\n", + "global step=49977344, episodic return=2406.40576171875\n", + "global step=49977344, episodic return=2354.103759765625\n", + "global step=49977344, episodic return=1459.4671630859375\n", + "global step=49979392, episodic return=2416.726318359375\n", + "global step=49979392, episodic return=2399.031005859375\n", + "global step=49981440, episodic return=2318.92724609375\n", + "global step=49981440, episodic return=2398.32763671875\n", + "global step=49983488, episodic return=2388.466552734375\n", + "global step=49985536, episodic return=2338.72509765625\n", + "global step=49985536, episodic return=2382.102294921875\n", + "global step=49985536, episodic return=2018.578857421875\n", + "global step=49989632, episodic return=2318.885986328125\n", + "global step=49989632, episodic return=2265.79541015625\n", + "global step=49989632, episodic return=1786.970947265625\n", + "global step=49991680, episodic return=2326.166259765625\n" + ] + } + ], "source": [ "config = {\n", " \"LR\": 3e-4,\n", @@ -1292,10 +125445,10 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.8.10" + "version": "3.8.18" }, "orig_nbformat": 4 }, "nbformat": 4, "nbformat_minor": 2 -} \ No newline at end of file +}